MLOps (Инженер LLM-инфраструктуры)
Вакансия опубликована на hh.ru — открыть оригинал ↗
Похожие вакансии
Все вакансии →MLOps-инженер
Развёртывание и эксплуатация серверов инференса LLM (vLLM/SGLang) на GPU-узлах в закрытом контуре: подбор режимов под нагрузку, шлюз LiteLLM с аутентификацией и квотами, мониторинг, обновление моделей и дежурство. Дополнительно — отбор и оценка открытых моделей под задачи компании, настройка клиентов для разработчиков и RAG-конвейер над кодом и документацией с учётом прав доступа. Удалённый формат, график 5/2.
LLMOps
Развертывание, сопровождение и обновление LLM-инференс платформ, эксплуатация AI-платформы в Kubernetes, настройка мониторинга и CI/CD. Требуется опыт DevOps от 3 лет.
ML-инженер по продуктивизации LLM (инференс и поставка, MWS AI)
Продуктивизация больших языковых моделей в MWS AI (экосистема МТС): квантование (GPTQ, W8A8, FP8), ускорение инференса (speculative decoding, кэширование префиксов), выбор и настройка рантаймов (vLLM, SGLang, TensorRT-LLM), нагрузочное тестирование и автоматическая оценка на бенчмарках. Подготовка релизов моделей (чекпоинт в S3, Docker-образ) и поставка в продукты и клиентам, разбор инцидентов у пользователей.
ML Engineer (Middle+/Senior)
Прикладной AI/ML-инженер для запуска и адаптации open-source LLM (Qwen, Llama) под продукты компании: сервинг и инференс через vLLM на GPU Nvidia, файн-тюнинг через LoRA/QLoRA, RAG-пайплайны, AI-агенты и генерация изображений. Требуется коммерческий опыт в ML/NLP от 2 лет, Python и понимание работы с CUDA и видеопамятью.