Üst Düzey Makine Öğrenimi Mühendisi, LLM Çıkarım Optimizasyonu

Nebius Hakkında :

Nebius, küresel yapay zeka ekonomisi için bulut altyapısında yeni bir çağ liderliği yapmaktadır. Geliştiriciler ve kuruluşlar için veri ve model eğitimi, üretim dağıtımı sürecini, büyük ölçekli kendi bünyelerinde yapay zeka/ML altyapısı kurmanın getirdiği maliyet ve karmaşıklık olmadan destekleyen eksiksiz bir yapay zeka bulut platformu oluşturuyoruz.

Mühendisler tarafından, mühendisler için inşa edilmiştir. Büyük ölçekli GPU düzenleme ve çıkarım optimizasyonundan, hesaplama, depolama, ağ ve uygulamalı yapay zeka genelinde zor sorunlara sahibiz.

Nasdaq'ta (NBIS) listelenen ve Amsterdam'da merkezlenen Nebius, Avrupa, İngiltere, Kuzey Amerika ve İsrail genelinde R&D merkezleri ile küresel bir ayak izine sahiptir. 1.500'den fazla kişiden oluşan ekibimiz, donanım, yazılım ve yapay zeka R&D alanlarında derin uzmanlığa sahip yüzlerce mühendis içerir.

Rol

Nebius Token Factory'deki Uygulamalı Yapay Zeka ekibinde Üst Düzey Makine Öğrenimi Mühendisi olarak, model artefaktlarından üretim dağıtımına kadar model ve uç nokta optimizasyonunu yöneteceksiniz. Çalışmanız, model iç mekanizmaları, nicelendirme ve model sıkıştırma, spekülatif kod çözme, KV-cache optimizasyonu, çıkarım motorları, hizmet mimarisi ve gecikme, verim, bellek verimliliği, GPU kullanımı ve token başına maliyetin iyileştirilmesini, kalite ve güvenilirliği korurken içerecektir.

Çekirdek ve platform mühendisleriyle birlikte, hizmet sorunlarını araştırmak, konfigürasyonları karşılaştırmak ve performans ve kalite gerilemelerini çözmek için çalışacaksınız. Model ve motor düzeyinde optimizasyonları, dağıtılmış çıkarım tasarımlarıyla birlikte değerlendireceksiniz, bu tasarımlar istek yönlendirme, zamanlama, ön doldurma/kod çözme koordinasyonu ve çok düğümlü GPU yürütmeyi içerir. İyileştirmeleriniz, tekrarlanabilir ölçütler ve gerçek dünya iş yükleri altında güvenli üretim dağıtımlarıyla doğrulanacaktır.

Sorumluluklarınız

• Belirli model aileleri, müşteri uç noktaları veya hizmet arka planları için optimizasyon projelerini yönetmek.

• Çıkarım motorlarını karşılaştırmak ve bireysel iş yüklerine uygun hizmet konfigürasyonlarını önermek.

• Üretim dağıtımları sırasında model-kalite ve performans gerilemelerini teşhis etmek.

• LLM ve VLM uç noktası gecikme, verim, bellek verimliliği, GPU kullanımı, kalite ve token başına maliyetini iyileştirmek.

• vLLM, SGLang, TensorRT-LLM, Triton Inference Server ve NVIDIA Dynamo gibi motorları dağıtmak, yapılandırmak, ölçütlemek ve genişletmek.

• Nicelendirme, nicelendirme farkındalı eğitimi, damıtma, düşük bit hizmeti ve doğruluk kurtarma işlemlerini kapsayan üretim model-sıkıştırma iş akışlarını geliştirmek.

• Spekülatif kod çözme, taslak model yaklaşımları, KV-cache optimizasyonu, önek önbelleği, bölümlü ön doldurma, sürekli toplu işleme ve ayrık ön doldurma/kod çözme hizmeti verme gibi yöntemleri uygulayın veya entegre edin. Önbellek- kod çözme ayrışması (PDD) için, hangi iş yüklerinin mimariden yararlandığını belirlemek amacıyla KV-cache aktarımı, çalışan yerleşimi ve kapasite dengelemeyi değerlendirin.

• LLM istek yönlendiricilerini ve iş yükü kullanımını, kuyruklanmayı, istek özelliklerini ve KV-cache yerellemeyi dengeleyen, gecikme ve güvenilirlik hedeflerini karşılayan planlama politikalarını tasarlayın ve iyileştirin.

• Birden fazla GPU düğümü genelinde yoğun ve uzman karışımı çıkarımı ölçeklendirin. Donanım topolojisi, uzman yük dengesi ve iletişim yüküne dikkat ederek tensör, pipeline, veri ve uzman paralelliğini - geniş uzman paralelliği (WideEP) dahil - seçin ve ayarlayın.

• TTFT, TPOT, saniye başına token, GPU başına token, p95/p99 gecikme, GPU belleği, güvenilirlik ve token başına maliyet ölçen, tekrarlanabilir kıyaslama araçları oluşturun. Temsilci trafik ve tutarlı GPU bütçeleri altında mimari seçimleri doğrulayın.

• GPU çekirdeği ve platform mühendisleriyle işbirliği yaparak model kodu, çekirdekler, çalışma zamanı, planlayıcı, ağ geçidi ve küme katmanları genelinde darboğazları izleyin.

• Tasarım belgeleri, performans raporları, dağıtım planları ve müşteri odaklı teknik açıklamalar üretin.

Gerekli beceriler

• Python ve PyTorch'ta güçlü mühendislik becerileri.

• LLM, VLM veya yüksek verimli transformatör çıkarımını dağıtma veya optimize etme deneyimi.

• vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe veya eşdeğer bir dahili sistem gibi modern bir çıkarım yığını hakkında pratik bilgi.

• KV önbelleği, dikkat, bellek bant genişliği, toplu işleme, paralellik ve uzun bağlam hizmeti verme dahil olmak üzere transformatör çıkarım darboğazları hakkında güçlü bir anlayış.

• Gecikme, verim, kalite, kullanım ve maliyet arasındaki ödünleşimleri ölçme yeteneği.

• Dağıtılmış çıkarım sistemi mimarisini tasarlama veya optimize etme deneyimi, istek yönlendirme, dağıtılmış planlama, PDD, çok düğümlü çıkarım veya uzman paralelliği gibi bir veya daha fazla alanda pratik çalışma.

• Araştırma, çekirdek, altyapı, ürün ve müşteri ekipleri arasında güçlü iletişim ve işbirliği becerileri.

İstenmeyenler

• Nicel farkındalık eğitimi, eğitim sonrası nicel farkındalık, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ veya SmoothQuant deneyimi.

• Damıtma, spekülatif kod çözme, EAGLE, Medusa, çok tokenlı tahmin veya ilgili çıkarım hızlandırma yöntemleri deneyimi.

• Araç çağrıları, yapılandırılmış çıktılar, akış API'leri, yüksek eşzamanlılık ve çok adımlı düzenleme içeren ajansal iş yüklerini destekleme deneyimi.

• CUDA veya Triton'a aşinalık; rolün, adayının öncelikli uzmanlık alanı olması gerekmeyen çekirdek mühendisliği gerektirmez.

• vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray veya KServe gibi açık kaynaklı projelere katkılar.

• Önbellek farkındalı istek yönlendirme, PDD veya WideEP uygulaması deneyimi, iletişim darboğazlarının ve yük dengesizliğinin teşhis edilmesini içerir.

• NCCL, NVLink, InfiniBand veya RoCE gibi GPU iletişim kütüphaneleri ve ara bağlantılarla aşinalık.

Avantajlar ve İkramiyeler:

• Rekabetçi ücret

• Kariyer büyümesi ve öğrenme fırsatları

• Esneklik ve sahiplik

• İşbirlikçi ve yenilikçi kültür

• Etkili AI projelerinde çalışma fırsatı

• Uluslararası ortam ve yetenekli ekipler

Nebius'ta çalışmak nasıl bir şey: