Как запустить LLM на собственном железе: практическое руководство от MLOps-инженера

Саша Рыжов, MLOps-инженер в hh.ru, делится опытом запуска больших языковых моделей (LLM) на собственных серверах. В 2026 году компании, работающие с генеративным искусственным интеллектом, сталкиваются с необходимостью эффективного инференса LLM. Несмотря на множество туториалов, реальная работа с инференсом требует глубокого понимания проблем, связанных с памятью видеокарт.

Проблемы инференса LLM

Основная проблема, с которой сталкиваются разработчики, заключается в управлении памятью видеокарт. Эффективность инференса зависит не только от выбранной модели, но и от того, как организовано использование памяти. Ключевым элементом здесь является KV-кэш, который позволяет избежать повторных вычислений при генерации токенов. Без него модель вынуждена пересчитывать все предыдущие токены на каждом шаге, что значительно увеличивает нагрузку на вычислительные ресурсы.

KV-кэш и его значение

KV-кэш — это хранилище промежуточных состояний, которое позволяет языковой модели не пересчитывать уже обработанные токены. Это приводит к значительному снижению вычислительных шагов: вместо 35 вычислений для генерации 5 токенов с кэшем мы получаем всего 5 вычислений и 30 чтений из памяти. Таким образом, инференс становится memory-bound, и скорость чтения памяти становится критически важной.

Жизненный цикл запроса

Чтобы лучше понять, как работает KV-кэш, рассмотрим жизненный цикл запроса: 1. HTTP-запрос: приходит текст. 2. Токенизация: текст преобразуется в набор чисел. 3. Prefill: модель считывает весь промпт и записывает состояния K/V в KV-кэш. 4. Decode: генерация нового токена с использованием данных из KV-кэша. На стадии decode происходит основное чтение памяти, что и определяет эффективность работы.

Движки инференса: vLLM и SGLang

С учетом того, что инференс упирается в память, разработка движков для инференса сводится к оптимизации использования памяти. Два основных движка, о которых стоит упомянуть, это vLLM и SGLang.

vLLM

vLLM — это открытый движок, который эффективно обслуживает запросы к большим языковым моделям. Он решает проблемы внутренней и внешней фрагментации памяти:

Internal fragmentation: память резервируется под максимальную длину запроса, даже если фактически используется меньше.

External fragmentation: необходимость находить непрерывные блоки памяти для новых запросов.

vLLM использует блочную схему, разбивая память на блоки по 16 токенов, что позволяет избежать обеих проблем и значительно увеличить утилизацию GPU.

SGLang

SGLang, в свою очередь, предлагает более гибкий подход к переиспользованию уже посчитанных данных. Он использует структуру RadixAttention, которая позволяет эффективно обрабатывать общие префиксы запросов. Это означает, что если несколько запросов имеют схожие части, SGLang может переиспользовать вычисленные состояния, что значительно ускоряет процесс генерации.

Технологии управления памятью

Для оптимизации работы с памятью также используются различные технологии:

FlashAttention: переписывает формулу вычисления attention, чтобы уменьшить трафик между HBM и SRAM, что критично для производительности.

Compressed FSM: позволяет переиспользовать грамматики для структурированного вывода, что снижает необходимость в генерации с нуля.

Выбор движка и стратегии параллелизма

При выборе движка инференса в 2026 году важно учитывать характеристики вашего железа:

H100 и выше: рекомендуется использовать SGLang.

Ampere и ниже: лучше подойдет vLLM.

Также стоит определиться со стратегией параллелизма:

Tensor Parallelism (TP): увеличивает скорость обработки, но требует постоянной коммуникации между GPU.

Data Parallelism (DP): позволяет обрабатывать больше запросов одновременно, но требует больше ресурсов.

Заключение

Запуск LLM на собственном железе требует тщательной подготовки и понимания особенностей работы с памятью. Эффективное управление памятью, выбор подходящего движка и стратегия параллелизма — ключевые факторы, определяющие успех вашего проекта. Не забывайте, что каждая деталь имеет значение, и правильный подход к организации инференса может значительно повысить производительность вашей системы.