OlmoEarth: Новые горизонты в наблюдении за Землей с помощью векторных эмбеддингов

Платформа OlmoEarth Studio, разработанная Allen Institute for Artificial Intelligence, предлагает пользователям возможность вычислять и экспортировать векторные эмбеддинги — компактные числовые представления данных наблюдения за Землей, созданные на основе открытых моделей OlmoEarth. Эти модели и их исходный код доступны для общественности, что позволяет исследовать, как именно генерируются эмбеддинги.

Что такое эмбеддинги и как они работают?

Эмбеддинги представляют собой мощный инструмент для анализа данных, позволяющий быстро и эффективно использовать данные наблюдения за Землей в различных задачах. Они поддерживают широкий спектр приложений, включая:

Поиск схожих объектов

Сегментацию

Ненадзорное исследование

Эмбеддинги OlmoEarth показывают высокую производительность как в собственных тестах, так и в независимых оценках. Экспортируемые Cloud-Optimized GeoTIFFs (COGs) легки и удобны для обмена. Пользователи могут выбрать интересующую область, временной диапазон, вариант кодировщика, разрешение и источники изображений через интерфейс Studio или API, получая COG, который можно использовать по своему усмотрению.

Как вычисляются эмбеддинги в OlmoEarth Studio?

Процесс вычисления эмбеддингов в Studio аналогичен любому другому предсказанию. Пользователь настраивает модель, запускает её и загружает результаты. Основные параметры, которые можно настроить:

Область интереса: можно нарисовать или загрузить полигон; Studio самостоятельно обрабатывает получение изображений и их разбиение.

Временной диапазон: от 1 до 12 месяцев.

Вариант кодировщика: Nano (128-дим, 1.4M параметров), Tiny (192-дим, 6.2M параметров) или Base (768-дим, 89M параметров).

Пространственное разрешение: 10, 20, 40 или 80 метров на пиксель.

Источники изображений: Sentinel-2 L2A, Sentinel-1 RTC или оба.

Studio генерирует COG с одной полосой на каждое измерение эмбеддинга. Векторы хранятся как знаковые 8-битные целые числа (int8), значения которых варьируются от -127 до +127, где -128 зарезервировано для обозначения отсутствующих данных. Это позволяет пользователям получать эмбеддинги, которые точно отражают условия, которые их интересуют, включая возможность генерации месячных эмбеддингов для захвата сезонной динамики.

Применение эмбеддингов OlmoEarth

Эмбеддинги OlmoEarth открывают широкий спектр возможностей для анализа данных. Рассмотрим несколько примеров:

Поиск схожих объектов

С помощью эмбеддингов можно находить участки, похожие на заданный пиксель. Например, выбрав пиксель в центре города Мерсед, Калифорния, и вычислив косинусное сходство с другими пикселями, можно получить тепловую карту, показывающую, где ландшафт наиболее и наименее похож на заданный.

Сегментация с использованием небольшого количества меток

Эмбеддинги позволяют создавать карты земного покрова, используя всего несколько размеченных пикселей. Например, в регионе мангров в Вьетнаме было размечено всего 60 пикселей, и на основе этих данных была создана карта с весом F1 = 0.84. Это демонстрирует, что эмбеддинги уже содержат богатую информацию, что позволяет достигать высокой точности с минимальным количеством размеченных данных.

Обнаружение изменений

С помощью Studio можно сравнивать эмбеддинги за разные временные периоды, чтобы выявить изменения в поверхностных условиях. Например, сравнение эмбеддингов за сентябрь 2023 и сентябрь 2024 года показало явные изменения в результате лесного пожара в округе Батт, Калифорния.

Ненадзорное исследование

Если у вас нет конкретных меток или местоположений для запроса, можно использовать метод главных компонент (PCA) для визуализации структуры эмбеддингов. Это позволяет увидеть, как модель воспринимает различные участки, и выявить внутренние структуры без предварительного обучения.

Экспорт и использование эмбеддингов

Эмбеддинги OlmoEarth можно экспортировать в формате GeoTIFF, который совместим с любыми геопространственными инструментами, такими как QGIS, GDAL и rasterio. Для пользователей доступны инструкции по вычислению собственных эмбеддингов с использованием открытых моделей OlmoEarth.

Возможности дообучения

Хотя в примерах использовались замороженные эмбеддинги без специфического обучения, OlmoEarth Studio также поддерживает дообучение с использованием собственных меток, что позволяет создавать модели, которые обычно превосходят линейные модели на замороженных признаках.

Ограничения

Важно учитывать, что качество эмбеддингов зависит от качества входных изображений. Постоянные облака, атмосферные артефакты или пропуски в наблюдениях могут повлиять на результаты. Поэтому рекомендуется проверять качество эмбеддингов для конкретных задач с использованием описанных выше методов.