Kubernetes как основа для ИИ: как Headlamp упрощает управление ML-ресурсами

Kubernetes стал неотъемлемой частью экосистемы машинного обучения и искусственного интеллекта. С его помощью компании запускают серверы для дата-сайентистов, планируют распределенные задачи обучения и настраивают гиперпараметры. В этом контексте Kubeflow выступает как один из самых популярных инструментов, позволяющих организовать ML-пайплайны, используя преимущества Kubernetes. Каждая функция Kubeflow описана как Custom Resource Definition (CRD), что делает управление ML-нагрузками более интегрированным в существующую инфраструктуру Kubernetes.

Проблема интеграции

Несмотря на удобство, специализированные дашборды для ML скрывают под собой сложный уровень Kubernetes. Когда возникают проблемы, такие как зависание notebook или сбой задачи обучения, операторам часто приходится возвращаться к командной строке и использовать kubectl для диагностики. Это создает разрыв между высокоуровневыми инструментами и низкоуровневыми ресурсами Kubernetes.

Решение: плагин Headlamp для Kubeflow

Команда VK Cloud разработала плагин Headlamp для Kubeflow, который помогает закрыть этот разрыв, предоставляя возможность визуализировать пользовательские ресурсы Kubeflow прямо в универсальном интерфейсе Kubernetes. Headlamp — это расширяемый веб-UI, который можно использовать как десктопное приложение или развернуть внутри кластера. Он поддерживается в рамках Kubernetes SIG UI и лицензирован под Apache 2.0.

Почему операторам нужно другое представление

Специализированные ML-дашборды ориентированы на дата-сайентистов, позволяя им отправлять эксперименты и управлять пайплайнами. Однако операторы кластера и SRE сталкиваются с другими задачами, такими как:

Почему notebook завис? Это связано с ImagePullBackOff, OOMKilled или ожиданием PersistentVolumeClaim?

Какие ресурсы Run упали в разных пространствах имен?

Какой набор параметров Katib Experiment считается оптимальным?

Плагин Headlamp Kubeflow позволяет ответить на эти вопросы, обращаясь напрямую к API-серверу Kubernetes. Он отображает состояние Pod, причины сбоев и ресурсы из разных namespace, не требуя промежуточного ML-сервиса.

Что покрывает плагин

Kubeflow модульный, и команды могут устанавливать только необходимые компоненты. Плагин Headlamp обнаруживает API-группы Kubeflow в кластере и отображает соответствующие разделы. Он поддерживает следующие компоненты и API-ресурсы:

Notebooks: среды разработки, такие как Jupyter и VS Code.

Pipelines: отслеживание пайплайнов, версий и запусков.

Katib: автоматизация настройки гиперпараметров.

Training: запуск распределенных задач обучения.

Spark: обработка данных с Apache Spark.

Возможности визуализации

Плагин Headlamp предоставляет множество возможностей для анализа состояния ресурсов:

Разбор Pod-ов notebook-серверов: отображает условия Pod и их поля, такие как reason и message, а также запросы и лимиты ресурсов.

Разбор настройки гиперпараметров: показывает алгоритм настройки и статус каждого Trial.

Разбор состояния пайплайна: позволяет видеть состояние пайплайнов без необходимости обращения к API-сервису Kubeflow.

Карта ML-ресурсов: визуализирует ресурсы как узлы графа, показывая связи между ними.

Попробуйте Headlamp

Плагин Headlamp можно установить и настроить в локальном кластере, включая легкий путь для оценки. Он автоматически обнаруживает установленные API-группы, что позволяет использовать его с существующей модульной установкой Kubeflow.

Применение паттерна к другим платформам

Kubeflow иллюстрирует более широкий паттерн, когда платформы моделируют специфичные рабочие процессы с помощью пользовательских ресурсов. Плагин на основе CRD в универсальном UI Kubernetes позволяет операторам видеть состояние ресурсов, не переключаясь между различными инструментами. Это упрощает управление и диагностику, что особенно важно в условиях быстро меняющейся среды разработки и эксплуатации. Плагин Headlamp разрабатывается в рамках Kubernetes SIG UI и доступен для улучшений и отчетов о проблемах через issue tracker и pull requests.