Inkling: новая мультимодальная модель от Thinking Machines Lab с открытыми весами

Thinking Machines Lab, стартап, основанный бывшим техническим директором OpenAI Мирой Мурати, представил свою первую модель под названием Inkling. Разработка этой модели заняла почти полтора года, и она обещает произвести фурор в мире искусственного интеллекта.

Архитектура и параметры модели

Inkling — это мультимодальная модель, которая способна обрабатывать текст, изображения и аудио. Она построена на архитектуре "смесь экспертов" (Mixture of Experts, MoE), что позволяет ей эффективно использовать ресурсы и обеспечивать высокую производительность. Модель содержит 975 миллиардов параметров, из которых активны 41 миллиард на каждый токен. Это делает Inkling одной из самых мощных моделей на рынке.

Поддержка контекста и рассуждающий режим

Одной из ключевых особенностей Inkling является возможность работы с контекстом до 1 миллиона токенов. Это значительно превышает возможности большинства существующих моделей и открывает новые горизонты для применения в различных задачах. Модель также поддерживает рассуждающий режим, что позволяет ей не просто генерировать текст, но и анализировать информацию, делая выводы на основе предоставленных данных.

Открытые веса: новый подход к разработке

Главное отличие Inkling от других флагманских моделей, таких как GPT от OpenAI, Claude от Anthropic и PaLM от Google, заключается в открытых весах. Это означает, что модель доступна для скачивания и дообучения любым желающим. Inkling уже размещена на платформе Hugging Face, что делает ее доступной для исследователей, разработчиков и энтузиастов. Открытые веса позволяют не только адаптировать модель под специфические задачи, но и способствуют развитию сообщества вокруг нее.

Возможности и применение

С учетом мультимодальности и открытых весов, Inkling может найти применение в самых разных областях. Она может быть использована для создания чат-ботов, генерации контента, анализа данных и многого другого. Возможность дообучения под конкретные задачи делает ее особенно привлекательной для стартапов и исследовательских групп, которые хотят использовать мощь ИИ без необходимости разрабатывать собственные модели с нуля.

Заключение

Thinking Machines Lab с моделью Inkling делает значительный шаг вперед в области искусственного интеллекта, предлагая мощный инструмент с открытыми возможностями. Это открывает новые горизонты для разработчиков и исследователей, стремящихся использовать ИИ в своих проектах. С учетом растущего интереса к мультимодальным моделям, Inkling может стать важным игроком на рынке, способствуя инновациям и развитию технологий.