MLflow — платформа с открытым исходным кодом для управления жизненным циклом машинного обучения.
Введение
В машинном обучении бесплатных обедов не бывает. Мы не знаем, какая предварительная обработка данных или какой алгоритм машинного обучения лучше всего подходит для конкретной задачи. Не существует одного уникального алгоритма, который работает лучше всего. Вот почему экспериментирование является типичным методом для достижения соответствующего результата. Чтобы проводить эффективные эксперименты с машинным обучением, нам нужно отслеживать, запоминать и визуализировать каждый из экспериментальных запусков.
Оглавление
Что — отслеживание эксперимента?
Почему важно отслеживать эксперименты?
Как — это сделать?
Практическая демонстрация экспериментального отслеживания с использованием MLFlow
Что такое отслеживание экспериментов машинного обучения?
Отслеживание эксперимента — это процесс отслеживания всей соответствующей информации из эксперимента ML, такой как:
- Исходный код
- Среда
- Данные
- Модель
- промежуточный результат
- Гиперпараметры
- Метрики
- и т. д.
Вот некоторые термины, которые необходимо запомнить:
- Эксперимент машинного обучения: повторяющийся процесс построения модели машинного обучения.
- Проведение эксперимента: одно испытание в рамках эксперимента машинного обучения.
- Артефакт запуска: любые данные файла, связанные с запуском машинного обучения.
- Метаданные эксперимента: вся информация, связанная с экспериментами.
Почему важно отслеживать эксперименты?
Экспериментальное отслеживание имеет решающее значение по нескольким причинам, таким как:
- Воспроизводимость: записывая все соответствующие конфигурации экспериментов, включая версию данных, модель, гиперпараметры, случайное начальное число и т. д., мы можем воссоздать ту же среду и при необходимости повторить эксперимент. Это гарантирует, что результаты могут быть воспроизведены и проверены другими.
- Сотрудничество: это позволяет нам организовать…
