Kubeflow.

Если вы продолжите читать, возможно, вы просто влюбитесь в Kubeflow. Это не просто приятный способ освоить машинное обучение, это нечто огромное для сообщества специалистов по науке о данных. Вас предупредили.

Трудный путь

Давайте поговорим о древнем явлении: поклонении Твердому Пути. Многие из нас были виноваты в этом, но это особенно распространено среди специалистов STEM, которые десятилетиями подвергались дедовщине. Типа дедовщины, который измеряет вашу ценность по тому, насколько хорошо вы можете изобрести колесо, насколько хорошо вы можете все делать самостоятельно и насколько мало помощи вы принимаете. Когда вы находитесь в самой гуще этого менталитета, вы думаете, что сложность или сложность задачи имеет большее значение, чем ее ценность. (И, возможно, однажды вы воспользуетесь отпуском, чтобы собрать компьютер и его операционную систему с нуля, просто чтобы убедиться, что вы действительно понимаете все и вся.)

Трудный путь означает плавание через липкий сироп изнурительной работы, требуя целую вечность, чтобы довести дело до конца.

У меня было такое отношение в моей бешеной юности, но сегодня мне неловко за силы, которые без уважительной причины усложняют жизнь. Прогресс имеет тенденцию к тому, чтобы делать вещи проще. Я предпочел бы праздновать прогресс, а не гордиться тем, что все еще могу делать что-то нелегко. Конечно, я могу перевернуть матрицу ручкой и бумагой… зачем мне вообще это делать? Потому что все компьютеры мира могут быть взорваны?

Давайте приветствуем сокращение тяжелого труда, которое приносит технология. Плохие инструменты и процессы, которые замедляют всех, входят в список исчезающих видов - давайте начнем гордиться тем, что делаем то, что ценно, а не то, что сложно, и если вы настаиваете на решении реальной проблемы, почему бы не поработать, чтобы облегчить трудные вещи для всех остальных?

Kubeflow олицетворяет позицию против того, чтобы делать вещи The Hard Way. Это горнолыжный подъемник для вашей горы домашних дел.

Среди инструментов, олицетворяющих сопротивление The Hard Way, Kubeflow - проект, который мне близок - Дэвид Арончик, и я написал несколько оригинальных чертежей в маниакальной лихорадке сразу после нашей первая чашка кофе вместе. Я почти уверен, что в тот день я не встал для пропитания, хотя первый набросок проектной документации был еще внутри наших черепов.

Что такое Kubeflow?

Итак, что такое Kubeflow и почему он вызвал такую ​​сильную страсть? Это горнолыжный подъемник, который поможет вам с горой рутинной настройки машинного обучения. Давай распакуем это…

Документ, который мы написали Дэвид, начинался под другим названием. В конце концов он получил кодовое название Grace, но мы назвали первую версию Beautiful Machine Learning. Хорошо, может быть, это не самый оригинальный момент для меня, но позвольте мне немного расслабиться. Нам, статистикам, нравится делать именно то, что написано на банке. (Слава богу, кто-то с некоторым творчеством исправил это позже, не так ли?)

В этом суть Kubeflow: красивое машинное обучение. В частности, красота опыта специалистов по данным, когда они пытаются подчинить себе чудовище, которым является машинное обучение в мультиоблачных гибридных средах как единое целое. Что, если вы пытались сделать это своими руками до Kubeflow, было совсем не красиво.

Если вы похожи на меня, вы с трудом переносите скучные части процесса науки о данных, и очень трудно работать с песней в своем сердце, пока вы делаете то, что требует минимальной хитрости и максимальной рутинной работы. (Личным исключением является моя извращенная любовь к очистке данных, которой я наслаждаюсь как медитативное занятие в той же категории, что и игра 2048. Мммм… привносить порядок в хаос. Вкусно.)

Чего хотят специалисты по данным

Вы хотите работать над этими интересными моделями, вы хотите сосредоточиться на проверке своих гипотез, вы хотите создавать великолепные сюжеты (вы из тех, чье сердце бьется немного быстрее, когда я говорю интерактивный, блестящий, анимированный?), И вы хотите получить к практическим идеям. Да, я тоже. Но сначала мы должны потратить целую вечность на настройку, операционные системы, масштабирование и всевозможные до боли скучные вещи. Я имею в виду, да ладно, кому-нибудь действительно нравится особый подход к большим данным по сравнению с небольшими данными?

Что касается большинства специалистов по данным, было бы замечательно, если бы весь код, который мы написали, был одинаковым для большого или маленького, ноутбука или облака, прототипа или производства ...

Глубоко внутри мы знаем, что единственная причина, по которой это не так, заключается в том, что мы живем в темные века, когда наши инструменты - отстой.

Так как насчет того, чтобы заставить их отказываться? И пока мы занимаемся этим, как насчет того, чтобы у нас был идеальный рабочий процесс в области науки о данных, в котором все было бы продумано так, чтобы их использование было легким, и мы могли бы просто продолжить веселые части нашей работы?

Kubeflow предоставляет специалистам по обработке данных тот опыт, который у них был бы, если бы они избавились от всех ненужных мелочей.

В этом суть красивого машинного обучения и, в конечном итоге, Kubeflow. Это план того, как воплотить мечту в жизнь, дать специалистам по данным опыт, который у них был бы, если бы они избавились от всех ненужных мелочей. Kubeflow еще не идеален (впервые он увидел свет в конце прошлого года), но быстро движется в правильном направлении.

Оттачиваем наши инструменты

Если мы хотим что-то исправить, с чего нам начать? Команда Kubeflow выбрала компоновку, переносимость и масштабируемость.

  • Составное машинное обучение включает в себя все различные инструменты для анализа данных.
  • Портативное машинное обучение означает, что можно легко перейти от прототипирования моделей на ноутбуке к их запуску в неизменном виде.
  • Масштабируемое машинное обучение означает, что вы легко сможете перейти от небольшого прототипа данных к огромным конвейерам данных.

Вы знаете, что действительно хорошо сочетается с компоновкой, переносимостью и масштабируемостью? Контейнеры и Кубернетес!

Для большинства специалистов по данным даже обсуждение этих технических словечек - это упражнение в импровизации.

Тьфу, попался. Для большинства специалистов по данным даже обсуждение этих технических словечек - это упражнение в импровизации. Если вы еще не являетесь экспертом, использование машинного обучения в Kubernetes представляет собой мир боли - не только потому, что вы должны стать экспертом во многих вещах, не связанных с вашей зоной комфорта, но и потому, что все праймеры написаны для другого инженера. Вам нужно будет заработать второй черный пояс в дополнение к машинному обучению. Аааа, и мы снова столкнулись с проблемой!

Второй черный пояс?

Большинство специалистов по данным считают изучение всего этого особого рода пыткой, а у тех, кого это волнует, может просто не хватить свободного времени. Может ли кто-нибудь другой изучить Kubernetes за нас, чтобы мы могли продолжить нашу настоящую работу?

Считайте Kubeflow своим другом-волонтером. Вся суть в том, чтобы облегчить всем разработку, развертывание и управление переносимым распределенным машинным обучением на Kubernetes. Никаких дополнительных черных поясов не требуется. Цель состоит в том, чтобы сделать весь ваш стек не раздражающим и укомплектованным каждой красивой игрушкой, которую вы хотите. Мы еще не достигли цели, но мы быстро набираем скорость. Например, Kubeflow v0.2 дает вам полную настройку с помощью одной (!) Единственной строчки кода.

Требуется всего одна линия усилий, чтобы подготовить записные книжки Jupyter, распределенное обучение и обслуживание моделей для гибридной облачной среды. Да, еще есть настраиваемая упаковка ksonnet, инструменты H2O.ai и мощная настройка гиперпараметров. Специалисты по обработке данных, подумайте об этих дополнительных вещах, посмотрите мне в глаза и скажите, что вы хотите вычислить автоматическое масштабирование на основе отправки заданий, облачных виртуальных машин и предотвращения кражи данных. Нет? Что ж, к счастью, в этом нет необходимости. Поздравляем, вы ждете достаточно долго, чтобы о нем позаботились за вас, как будто вам больше не нужно собирать собственный компьютер.

Изменение отношения к инклюзии

Наука о данных - это дисциплина, позволяющая сделать данные полезными, и поскольку мир генерирует данные, как никогда раньше, работа, которую выполняют специалисты по данным, становится как никогда необходимой. Все мы хотим мира, в котором информация используется для улучшения жизни, а не для сбора паутины. Так много данных и так много работы, что нам нужно как можно быстрее снизить барьеры для входа в аналитику. Я горжусь той ролью, которую в этом играет Kubeflow.

Мы вступаем в эпоху, когда каждый может встать на плечи гигантов.

На самом деле, говоря о том, насколько привлекательно блестящий Kubeflow, я мог отвлечь вас от более важного момента: того, что он представляет. Это изменение отношения к инклюзивности, и это один из первых шагов нашего сообщества в эпоху, которая ускоряет способность каждого стоять на плечах гигантов. Он указывает на яркое и захватывающее будущее!

Представьте себе мир, в котором инструменты настолько просты, что ими может пользоваться каждый. Вот куда мы направляемся!

Я горжусь тем, что, как сообщество профессионалов в области данных, мы начинаем избегать трудного пути и делаем все возможное, чтобы облегчить выполнение непонятных вещей для всех остальных. Мы начинаем говорить: «Не знаете кровавых закулисных подробностей? Это нормально! Мы отказываемся оставлять вас позади. Присаживайтесь за наш стол и присоединяйтесь к нам в создании невероятных вещей ».

Для меня это пахнет прогрессом - давайте еще!

Если вы хотите попробовать Kubeflow, начните здесь. Или узнайте больше из сказочного выступления Дэвида.

Спасибо за прочтение! Как насчет курса YouTube?

Если вам здесь было весело и вы ищете прикладной курс искусственного интеллекта, предназначенный для развлечения как новичков, так и экспертов, вот один, который я сделал для вашего развлечения: