Старший инженер по машинному обучению, оптимизация вывода LLM

О Nebius:

Nebius возглавляет новую эру в облачной инфраструктуре для глобальной экономики ИИ. Мы создаем полнофункциональную облачную платформу ИИ, которая поддерживает разработчиков и предприятия от обучения данным и моделям до развертывания в производстве, без затрат и сложности создания большой внутренней инфраструктуры ИИ/МО.

Построенная инженерами для инженеров. От крупномасштабной оркестровки GPU до оптимизации вывода, мы занимаемся сложными проблемами в области вычислений, хранения, сетевых технологий и прикладного ИИ.

Входит в список Nasdaq (NBIS) и штаб-квартирой в Амстердаме, мы имеем глобальное присутствие с центрами исследований и разработок по всей Европе, Великобритании, Северной Америке и Израилю. Наша команда из более 1 500 человек включает сотни инженеров с глубоким опытом в области аппаратного, программного обеспечения и исследований и разработок ИИ.

Роль

В качестве старшего инженера по машинному обучению в команде прикладного ИИ в Nebius Token Factory вы будете отвечать за оптимизацию моделей и конечных точек от артефактов моделей до развертывания в производстве. Ваша работа будет охватывать внутреннюю часть моделей, квантизацию и сжатие моделей, спекулятивное декодирование, оптимизацию KV-кеша, движки вывода, архитектуру обслуживания и бенчмаркинг для улучшения задержки, пропускной способности, эффективности использования памяти, использования GPU и стоимости на токен при сохранении качества и надежности.

Вы будете работать с инженерами ядра и платформы для исследования проблем обслуживания, сравнения конфигураций и решения проблем производительности и качества. Вы будете оценивать оптимизации на уровне моделей и движков вместе с распределенными дизайнами вывода, включая маршрутизацию запросов, планирование, координацию предзаполнения/декодирования и выполнение на нескольких узлах GPU. Ваши улучшения будут подтверждены воспроизводимыми бенчмарками и безопасными производственными развертываниями под реальными рабочими нагрузками.

Ваши обязанности

• Заниматься проектами оптимизации для конкретных семейств моделей, конечных точек клиентов или серверных частей.

• Сравнивать движки вывода и рекомендовать конфигурации обслуживания, подходящие для отдельных рабочих нагрузок.

• Диагностировать проблемы с качеством модели и производительностью во время производственных развертываний.

• Улучшать задержку, пропускную способность, эффективность использования памяти, использование GPU, качество и стоимость на токен для конечных точек LLM и VLM.

• Развертывать, конфигурировать, тестировать и расширять движки, такие как vLLM, SGLang, TensorRT-LLM, Triton Inference Server и NVIDIA Dynamo.

• Разрабатывать производственные рабочие процессы сжатия моделей, охватывающие квантизацию, обучение с учетом квантизации, дистилляцию, низкобитное обслуживание и восстановление точности.

• Реализовать или интегрировать спекулятивное декодирование, подходы на основе черновых моделей, оптимизацию KV-кеша, кэширование префиксов, фрагментированное предзаполнение, непрерывную пакетную обработку и разнесенное предзаполнение/декодирование. Для разнесения предзаполнения и декодирования (PDD) оценить передачу KV-кеша, размещение рабочих процессов и балансировку емкости, чтобы определить, какие рабочие нагрузки выигрывают от этой архитектуры.

• Разработать и улучшить маршрутизаторы запросов LLM и политики планирования, которые балансируют использование рабочих процессов, очередирование, характеристики запросов и локальность KV-кеша, одновременно соответствуя целевым значениям задержки и надежности.

• Масштабировать плотный и смешанный вывод экспертов на нескольких узлах GPU. Выбрать и настроить тензорный, конвейерный, данных и экспертный параллелизм, включая широкий экспертный параллелизм (WideEP), с учетом топологии аппаратного обеспечения, балансировки нагрузки экспертов и накладных расходов на связь.

• Создать воспроизводимые тестовые наборы для измерения TTFT, TPOT, токенов в секунду на GPU, задержки p95/p99, памяти GPU, надежности и стоимости токена. Проверить архитектурные решения под репрезентативным трафиком и постоянными бюджетами GPU.

• Сотрудничать с инженерами GPU и платформенными инженерами для отслеживания узких мест на уровнях модельного кода, ядер, среды выполнения, планировщика, шлюза и кластера.

• Создавать проектные документы, отчеты о производительности, планы развертывания и технические объяснения для клиентов.

Требуемые навыки

• Сильные навыки инженерии на Python и PyTorch.

• Практический опыт развертывания или оптимизации LLM, VLM или высокопроизводительного вывода трансформаторов.

• Практические знания хотя бы одного современного стека вывода, такого как vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe или эквивалентной внутренней системы.

• Глубокое понимание узких мест вывода трансформаторов, связанных с KV-кешем, вниманием, пропускной способностью памяти, пакетной обработкой, параллелизмом и обслуживанием длинного контекста.

• Способность количественно оценивать компромиссы между задержкой, пропускной способностью, качеством, использованием и стоимостью.

• Опыт проектирования или оптимизации архитектуры распределенной системы вывода с практическим опытом в одной или нескольких областях, таких как маршрутизация запросов, распределенное планирование, PDD, многоузловой вывод или экспертный параллелизм.

• Сильные навыки общения и сотрудничества с исследовательскими, ядерными, инфраструктурными, продуктовыми и клиентскими командами.

Желательные навыки

• Опыт работы с обучением с учетом квантования, пост-тренировочной квантования, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ или SmoothQuant.

• Опыт работы с дистилляцией, спекулятивным декодированием, EAGLE, Medusa, многотокенным предсказанием или связанными методами ускорения вывода.

• Опыт поддержки агентных рабочих нагрузок, включающих вызовы инструментов, структурированные выходные данные, потоковые API, высокую параллельность и многошаговую оркестрацию.

• Знакомство с CUDA или Triton; для этой должности не требуется, чтобы кандидат имел опыт kernel engineering как основную специализацию.

• Участие в открытых проектах, таких как vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray или KServe.

• Опыт реализации маршрутизации запросов с учетом кеша, PDD или WideEP, включая диагностику коммуникационных узких мест и несбалансированности нагрузки.

• Знакомство с библиотеками и интерконнектами GPU-коммуникации, такими как NCCL, NVLink, InfiniBand или RoCE.

Преимущества и льготы:

• Конкурентная компенсация

• Возможности карьерного роста и обучения

• Гибкость и автономность

• Коллаборативная и инновационная культура

• Возможность работать над impactful AI проектами

• Международная среда и талантливые команды

Что значит работать в Nebius: