Введение в MLOps

Основные понятия DevOps

Задачи CI/CD

Версионирование

Автоматизация тестирования

Управление конфигурациями

Контейнеризация и виртуализация

Оркестрация

Управление развертыванием

Особенности ИИС

Определение ИИС (ИИ, МО, модели). ИИ-проекты, ML-проекты, DS-проекты

Концептуальная схема “обучение-инференс” моделей

Проблемы с операционализацией ИИС

Архитектурные особенности ИИС

Исследовательский контур моделей

Сервисный и операционный режим работы моделей

Исследовательский и продуктовый контур работы моделей

Модели жизненного цикла ИИС

Жизненный цикл исследовательского процесса в ML

Модель CRISP-DM

Модель CRISP-ML

Основные задачи MLOps

DataOps, AIOs, ModelOps

Стадии зрелости MLOps-инфраструктуры

Модель Microsoft

Другие модели¹

Операционализация моделей

Операционализация исследовательского кода

Операционализация инжиниринга данных, в т.ч. параметрического

Операционализация инжиниринга моделей

Операционализация оценки модели и управление экспериментами

Управление артефактами

Виды артефактов - модель, данные, код

Версионирование данных и моделей - DVC

Хранение данных

Структурированные хранилища данных - БД, хранилище признаков

Data Lakes, DWH

Распределенные системы хранения

Платформы данных

ETL-процессы

Построение и выполнение DAG на AirFlow

Потоковая обработка данных с Apache Spark

Интеграция моделей

Схемы интеграции модели с прикладным приложением

Предварительный расчет

Непосредственная интеграция

Повторная реализация

Микросервисная интеграция

Развертывание моделей

Оценка качества моделей

Функции ошибки моделей

Метрики качества моделей

Бизнес-метрики моделей

Нефункциональные требования к моделям

Интерпретируемость

Скорость работы

Робастность

Мониторинг моделей

Априорный анализ качества моделей

Prometheus и Grafana

Качество данных

Структура качества данных

ФЛК

Потоковый мониторинг данных

Дрейф моделей

Дрейф данных

Дрейф моделей

Дрейф концепций

Инвалидизация моделей

Схема “чемпион-претендент”

A/B тестирование моделей

Настройка триггеров

Масштабирование моделей

Kubeflow

Нестандартные архитектуры ИИС

Трансферное обучение

Онлайн-обучение

Федеративное обучение

Notes