Senior MLOps/LLMOps Engineer
Вакансия опубликована на hh.ru — открыть оригинал ↗
Похожие вакансии
Все вакансии →MLOps-инженер
Развёртывание и эксплуатация серверов инференса LLM (vLLM/SGLang) на GPU-узлах в закрытом контуре: подбор режимов под нагрузку, шлюз LiteLLM с аутентификацией и квотами, мониторинг, обновление моделей и дежурство. Дополнительно — отбор и оценка открытых моделей под задачи компании, настройка клиентов для разработчиков и RAG-конвейер над кодом и документацией с учётом прав доступа. Удалённый формат, график 5/2.
LLMOps
Развертывание, сопровождение и обновление LLM-инференс платформ, эксплуатация AI-платформы в Kubernetes, настройка мониторинга и CI/CD. Требуется опыт DevOps от 3 лет.
ML-инженер по продуктивизации LLM (инференс и поставка, MWS AI)
Продуктивизация больших языковых моделей в MWS AI (экосистема МТС): квантование (GPTQ, W8A8, FP8), ускорение инференса (speculative decoding, кэширование префиксов), выбор и настройка рантаймов (vLLM, SGLang, TensorRT-LLM), нагрузочное тестирование и автоматическая оценка на бенчмарках. Подготовка релизов моделей (чекпоинт в S3, Docker-образ) и поставка в продукты и клиентам, разбор инцидентов у пользователей.
MLOps (Инженер LLM-инфраструктуры)
Инженер в AI Platform Team Битрикс24: проектирование, развёртывание и оптимизация платформы инференса больших языковых моделей (BitrixGPT, локальные и облачные модели) на базе vLLM, Nvidia Triton и GPU-кластеров. Задачи — балансировка нагрузки, батчинг и стриминг токенов, capacity planning, профилирование latency/throughput и построение observability-стека (Prometheus, Grafana, ELK). Требуется продовый опыт эксплуатации ML/LLM-сервисов, Python, Docker и понимание архитектуры трансформеров.