OlmoEarth: Инновационная платформа для наблюдения за Землёй

Платформа OlmoEarth: Обзор

OlmoEarth представляет собой семью моделей для наблюдения за Землёй, которые были предварительно обучены на основе примерно 10 терабайт мультимодальных спутниковых данных. Эти модели уже адаптированы правительствами, НПО и другими организациями, ориентированными на миссию, для таких приложений, как мониторинг вырубки лесов, обеспечение продовольственной безопасности и оценка рисков лесных пожаров.

Зачем нужна OlmoEarth?

В Ai2 понимают, как создавать и выпускать мощные открытые модели. Для организаций с сильными инженерными командами открытая модель может быть достаточной для работы. Однако большинство организаций в области экологии, которые лучше всего подходят для применения этих моделей, не имеют инфраструктуры или инженерных команд, способных управлять полным жизненным циклом: от аннотирования данных до тонкой настройки моделей и выполнения масштабного вывода.

Опыт и вызовы

Мы более десяти лет работаем с платформами, такими как Skylight и EarthRanger, которые ежедневно используются пользователями по всему миру. Этот опыт научил нас, что для достижения результата необходимо:

Эффективно запускать модели в нужное время и в нужном месте.

Мониторить производительность.

Превращать сырые результаты в практические инсайты.

Проверять, что эти результаты приводят к желаемым результатам.

Именно поэтому была создана платформа OlmoEarth — инфраструктура для переноса геопространственных моделей от тонкой настройки и оценки до масштабного вывода.

Проблемы спутникового вывода

Спутниковая обработка данных требует значительно больших ресурсов по сравнению с обычными ML моделями, которые обрабатывают несколько мегабайт данных за секунду. В Earth observation inference одна задача может перемещать терабайты данных и выполняться в течение нескольких часов. Входные данные могут охватывать несколько спектральных диапазонов и типов сенсоров, а также могут включать отсутствующие или закрытые облаками наблюдения.

Эффективная обработка данных

Для того чтобы оптимизировать процесс, мы разделяем каждую задачу на три стадии, каждая из которых соответствует определенному профилю оборудования: 1. Приобретение и предварительная обработка данных (CPU, высокий I/O): Получение, переработка, выравнивание и нормализация изображений. 2. Вывод (GPU): Запуск прямого прохода модели и запись минимально обработанных выходных данных. 3. Постобработка (CPU): Сшивание выходных данных, применение масок или пересчет, экспорт в удобные форматы.

Масштабируемость и параллелизм

OlmoEarth Run, слой выполнения платформы для крупных задач вывода, делит географический регион на партиции, которые обрабатываются независимо. Это позволяет обрабатывать одну часть карты без ожидания завершения работы другой. Например, для создания карты рисков лесных пожаров по всей Северной Америке мы использовали около 19,600 CPU и 994 GPU одновременно, что позволило сократить время вычислений с 4,737 часов до 30.5 часов.

Поиск и получение данных

Платформа должна определить, какие спутниковые сцены должны быть использованы для модели. Это включает в себя идентификацию доступных изображений, их местоположение и время получения. Мы используем публичные каталоги STAC и открытые стандарты, чтобы избежать перегрузки внешних сервисов.

Обработка ошибок

Платформа OlmoEarth спроектирована для автоматического восстановления после сбоев. Каждая задача может быть повторно запущена, если возникает ошибка, что позволяет эффективно обрабатывать сбои на уровне инфраструктуры.

Будущее OlmoEarth

Наши планы включают:

Автоматизацию запуска моделей.

Обнаружение изменений и уведомления пользователей.

Разработка инструментов для пользователей с разным уровнем технической подготовки.

Ускорение моделей и добавление новых источников данных.

OlmoEarth — это только начало. Геопространственные модели и их операционализация — это еще развивающаяся технология, и мы стремимся помочь организациям, работающим в области охраны окружающей среды, сократить разрыв между их потребностями и возможностями.