MLOps / инженер LLM-инфраструктуры

Обязанности:

• Эксплуатировать и масштабировать стек обслуживания: vLLM, LiteLLM как шлюз, и др. Nginx, авторизация по bearer-токену для каждого сервиса.
• Проводить нагрузочные тесты на разных GPU и моделях при разной конкурентности и длине контекста и превращать результаты в решения по аппаратному обеспечению и моделям.
• Размещать несколько сервисов на ограниченных GPU: квантизация, sleep mode в vLLM и загрузка по требованию, совместное размещение STT/TTS, сервисов эмбеддингов и других моделей/сервисов.
• Строить мониторинг, алертинг и наблюдаемость LLM (Prometheus/Grafana, Langfuse), а также отчёты по использованию и затратам по командам.
• Автоматизировать деплой: CI/CD в GitLab, версионированные Docker-образы, воспроизводимые окружения с учётом корпоративной TLS-инспекции.
• Отвечать за бэкапы, защиту и контроль доступа на GPU-серверах.
• Другие задачи связанные с ML

Требования:

• От 3 лет в DevOps, SRE или MLOps; минимум 1 год обслуживания LLM или других GPU-моделей в продакшне.
• Глубокий практический опыт с vLLM, TGI, SGLang или TensorRT-LLM; понимание KV-кэша, батчинга, tensor parallelism и квантизации (AWQ, GPTQ, FP8).
• Уверенные Linux, Docker, драйверы NVIDIA/CUDA, Nginx, сети и TLS.
• Нагрузочное тестирование и анализ производительности: пропускная способность, TTFT, перцентили задержки.
• Скрипты на Python и Bash; GitLab CI или аналоги.

Будет плюсом

• Kubernetes с NVIDIA GPU Operator или Ray Serve.
• Опыт совмещения собственных и арендованных облачных GPU.
• Пайплайны дообучения (LoRA) и реестры моделей.

Условия:

• Оформление трудовых отношений в соответствии с действующим законодательством.
• Добровольная медицинская страховка или абонемент в фитнес-клуб Чехов.
• 27 календарных дней оплачиваемого отпуска в год.
• Возможности для обучения и развития сотрудников, корпоративные тренинги.
• Служебная сотовая связь.