Вступить в клуб →
← К вакансиям
KODE85/100

LLMOps

170 000–230 000 RUB
Опубликовано: 21 июля 2026
remoteML / Data SciencefulltimeКалининградrukubernetesdockerhelmvllmsglangollamanvidiacudaprometheusgrafanapythongitops
Контакты и отклик открываются после вступления в клубВступить →
Публикатор: Татьяна Горбацевич Обсуждение: @•••••• #вакансия LLMOps Город и адрес офиса: Калининград Формат работы: удаленка, гибрид, офис Занятость: полная Зарплатная вилка: от 170000 gross до 230000 gross Особенности найма: - 2 этапа интервью Описание вакансии: Чем предстоит заниматься: - Развертывание, сопровождение и обновление LLM-инференс платформ (vLLM, SGLang, Ollama); - Эксплуатация и развитие AI-платформы в Kubernetes, включая масштабирование и управление GPU-ресурсами; - Настройка AI Gateway (LiteLLM): маршрутизация запросов, API-ключи, квоты, лимиты и политики доступа; - Оптимизация производительности inference: batching, KV Cache, semantic cache, снижение latency и стоимости инференса; - Настройка мониторинга, логирования и трассировки (OpenTelemetry, Langfuse, SigNoz, Prometheus/Grafana); - Автоматизация CI/CD процессов для инфраструктуры и моделей, поддержка GitOps-подхода; - Интеграция и сопровождение сервисов памяти, векторных хранилищ и компонентов RAG/Agentic AI; - Диагностика и устранение инцидентов, обеспечение стабильности и высокой доступности LLM-платформы. Что мы ждём от нового члена команды: - ВАЖНО! Опыт в роли DevOps от 3 лет; - Опыт администрирования Kubernetes в production, Docker, Helm, понимание GitOps-подходов; - Опыт эксплуатации LLM inference-серверов (vLLM, SGLang, Ollama или TGI) и понимание их архитектуры; - Хорошее понимание принципов работы LLM: токены, KV Cache, batching, streaming, квантование, RAG; - Практический опыт работы с GPU (NVIDIA/CUDA), распределением ресурсов и оптимизацией производительности; - Опыт настройки мониторинга и observability (Prometheus, Grafana, OpenTelemetry, SigNoz/Langfuse); - Уверенные знания Linux, Docker, сетевого взаимодействия и диагностики инфраструктурных проблем; - Навыки автоматизации на Python и работы с CI/CD (GitLab CI/GitHub Actions); - Опыт работы с Redis, PostgreSQL и API-шлюзами; - Знание LiteLLM, KEDA, Qdrant/Milvus будет преимуществом. Название компании: KODE

Похожие вакансии

Все вакансии →
MiractalМоскваremotefulltimesenior76

MLOps-инженер

Развёртывание и эксплуатация серверов инференса LLM (vLLM/SGLang) на GPU-узлах в закрытом контуре: подбор режимов под нагрузку, шлюз LiteLLM с аутентификацией и квотами, мониторинг, обновление моделей и дежурство. Дополнительно — отбор и оценка открытых моделей под задачи компании, настройка клиентов для разработчиков и RAG-конвейер над кодом и документацией с учётом прав доступа. Удалённый формат, график 5/2.

vllmsglangtensorrt-llmlinuxdockercuda+6
15 октября 2026
Сибинтек-СофтМоскваhybridfulltimesenior88

Senior MLOps/LLMOps Engineer

Развёртывание и эксплуатация LLM-сервисов на GPU-кластере: настройка и тюнинг инференс-движков (vLLM/SGLang), мультинодовые схемы TP/PP/EP, P/D-дисагрегация с передачей KV-кэша по RDMA, наблюдаемость и планирование мощности. Требуется глубокий опыт с vLLM в проде, знание NVIDIA-стека, Kubernetes и нагрузочного тестирования инференса.

vllmsglangtensorrt-llmcudancclrdma+6
2 ноября 2026
МТС (MWS AI)Москваhybridfulltimemiddle72

ML-инженер по продуктивизации LLM (инференс и поставка, MWS AI)

Продуктивизация больших языковых моделей в MWS AI (экосистема МТС): квантование (GPTQ, W8A8, FP8), ускорение инференса (speculative decoding, кэширование префиксов), выбор и настройка рантаймов (vLLM, SGLang, TensorRT-LLM), нагрузочное тестирование и автоматическая оценка на бенчмарках. Подготовка релизов моделей (чекпоинт в S3, Docker-образ) и поставка в продукты и клиентам, разбор инцидентов у пользователей.

pythonllmvllmquantizationpytorchdocker+6
15 октября 2026
Битрикс24Москваhybridfulltimesenior76

MLOps (Инженер LLM-инфраструктуры)

Инженер в AI Platform Team Битрикс24: проектирование, развёртывание и оптимизация платформы инференса больших языковых моделей (BitrixGPT, локальные и облачные модели) на базе vLLM, Nvidia Triton и GPU-кластеров. Задачи — балансировка нагрузки, батчинг и стриминг токенов, capacity planning, профилирование latency/throughput и построение observability-стека (Prometheus, Grafana, ELK). Требуется продовый опыт эксплуатации ML/LLM-сервисов, Python, Docker и понимание архитектуры трансформеров.

vllmnvidia tritongpucudapythondocker+6
14 октября 2026