უფროსი მანქანური სწავლების ინჟინერი, LLM ინფერენციის ოპტიმიზაცია

ნებიუსის შესახებ :

ნებიუსი ახალი ეპოქას უძღვება გლობალური ხელოვნური ინტელექტის ეკონომიკისათვის განკუთვნილი ღრუბლოვანი ინფრასტრუქტურის სფეროში. ჩვენ ვქმნით სრულფასოვან ხელოვნური ინტელექტის ღრუბლოვან პლატფორმას, რომელიც მხარს უჭერს დეველოპერებსა და საწარმოებს მონაცემთა და მოდელის ტრენინგიდან წარმოების განლაგებამდე, დიდი შიდა ხელოვნური ინტელექტის/მანქანური სწავლების ინფრასტრუქტურის აშენების ხარჯებისა და სირთულის გარეშე.

აშენებულია ინჟინრების მიერ, ინჟინრებისთვის. დიდი მასშტაბის GPU ორკესტრაციიდან ინფერენციის ოპტიმიზაციამდე, ჩვენ ვფლობთ რთულ პრობლემებს გამოთვლების, შენახვის, ქსელის და გამოყენებითი ხელოვნური ინტელექტის სფეროში.

ნასდაკზე ჩამოთვლილი (NBIS) და ამსტერდამში დაფუძნებული, ჩვენ გვაქვს გლობალური კვალი ევროპაში, დიდ ბრიტანეთში, ჩრდილოეთ ამერიკასა და ისრაელში R&D ჰაბებით. ჩვენი გუნდი 1,500+ ადამიანისგან შედგება, რომელშიც ასობით ინჟინერია ჩართული აპარატურის, პროგრამული უზრუნველყოფის და ხელოვნური ინტელექტის კვლევასა და განვითარებაში.

როლი

როგორც ნებიუს ტოკენ ფაბრიკის გამოყენებითი ხელოვნური ინტელექტის გუნდში უფროსი მანქანური სწავლების ინჟინერი, თქვენ ფლობთ მოდელისა და საბოლოო წერტილის ოპტიმიზაციას მოდელის არტეფაქტებიდან წარმოების განლაგებამდე. თქვენი სამუშაო მოიცავს მოდელის შიდა კომპონენტებს, კვანტიზაციას და მოდელის შეკუმშვას, სპეკულაციურ გაშიფვრას, KV-ქეშის ოპტიმიზაციას, ინფერენციის ძრავებს, სერვირების არქიტექტურას და ბენჩმარკინგს შეყოვნების, გამტარუნარიანობის, მეხსიერების ეფექტურობის, GPU გამოყენების და ღირებულების თითო ტოკენზე გასაუმჯობესებლად, ხარისხისა და საიმედოობის შენარჩუნებისას.

თქვენ იმუშავებთ ბირთვისა და პლატფორმის ინჟინრებთან ერთად სერვირების პრობლემების გამოსაძიებლად, კონფიგურაციების შესადარებლად და შესრულების და ხარისხის რეგრესიების გადასაჭრელად. თქვენ შეაფასებთ მოდელის და ძრავის დონის ოპტიმიზაციას განაწილებული ინფერენციის დიზაინებთან ერთად, მათ შორის მოთხოვნის მარშრუტიზაციის, დაგეგმვის, წინასწარი შევსების/გაშიფვრის კოორდინაციის და მრავალკვანძოვანი GPU შესრულების. თქვენი გაუმჯობესებები დადასტურდება რეპროდუცირებადი ბენჩმარკებით და უსაფრთხო წარმოების გავრცელებით რეალური სამუშაო დატვირთვის ქვეშ.

თქვენი პასუხისმგებლობები

• ფლობთ ოპტიმიზაციის პროექტებს კონკრეტული მოდელის ოჯახებისთვის, მომხმარებლის საბოლოო წერტილებისთვის ან სერვირების უკანა ნაწილებისთვის.

• შეადარეთ ინფერენციის ძრავები და გირჩიოთ სერვირების კონფიგურაციები, რომლებიც შესაფერისია ინდივიდუალური სამუშაო დატვირთვისთვის.

• დიაგნოსტიკა მოდელის ხარისხისა და მუშაობის რეგრესიები წარმოების გავრცელების დროს.

• გააუმჯობესეთ LLM და VLM საბოლოო წერტილის შეყოვნება, გამტარუნარიანობა, მეხსიერების ეფექტურობა, GPU გამოყენება, ხარისხი და ღირებულება თითო ტოკენზე.

• განათავსეთ, დააკონფიგურირეთ, შეამოწმეთ და გააფართოვეთ ძრავები, როგორიცაა vLLM, SGLang, TensorRT-LLM, Triton Inference Server და NVIDIA Dynamo.

• შეიმუშავეთ წარმოების მოდელის შეკუმშვის სამუშაო პროცესები, რომლებიც მოიცავს კვანტიზაციას, კვანტიზაციის ცნობიერ ტრენინგს, დისტილაციას, დაბალი ბიტის სერვირებას და სიზუსტის აღდგენას.

• განახორციელეთ ან ინტეგრირეთ სპეკულაციური გაშიფვრა, პროექტის მოდელის მიდგომები, KV-ქეშის ოპტიმიზაცია, პრეფიქსის ქეშირება, ჩუნკირებული პრეფილტრი, უწყვეტი ბატჩირება და დისაგრეგირებული პრეფილტრი/გაშიფვრის სერვირება. პრეფილტრი-გაშიფვრის დისაგრეგაციის (PDD) შემთხვევაში, შეაფასეთ KV-ქეშის გადაცემა, სამუშაოს განთავსება და სიმძლავრის დაბალანსება, რათა განსაზღვროთ რომელი სამუშაოები სარგებლობენ არქიტექტურით.

• შექმენით და გააუმჯობესეთ LLM-ის მოთხოვნის როუტერები და დაგეგმვის პოლიტიკა, რომლებიც აბალანსებენ სამუშაოს გამოყენებას, რიგში დგომას, მოთხოვნის მახასიათებლებს და KV-ქეშის ლოკალურობას, ხოლო აკმაყოფილებენ ლატენტურობას და საიმედოობის მიზნებს.

• გააფართოვეთ მკვრივი და ექსპერტების ნარევის ინფერენცია მრავალ GPU კვანძზე. შეარჩიეთ და დააკონფიგურირეთ ტენსორი, მილსადენი, მონაცემთა და ექსპერტის პარალელიზმი - მათ შორის ფართო ექსპერტის პარალელიზმი (WideEP) - აპარატურის ტოპოლოგიის, ექსპერტის დატვირთვის ბალანსისა და კომუნიკაციის ხარჯების გათვალისწინებით.

• შექმენით რეპროდუცირებადი საორიენტაციო მატარებლები, რომლებიც ზომავენ TTFT, TPOT, ტოკენებს წამში GPU-ს მიხედვით, p95/p99 ლატენტურობას, GPU-ს მეხსიერებას, საიმედოობას და ღირებულებას ტოკენზე. დაადასტურეთ არქიტექტურული არჩევანი წარმომადგენლობითი ტრაფიკის და თანმიმდევრული GPU ბიუჯეტების ქვეშ.

• თანამშრომლობა გაუწიეთ GPU ბირთვის და პლატფორმის ინჟინრებს მოდელის კოდის, ბირთვების, रनტაიმის, შუამავლის, კარიბჭისა და კლასტერული ფენების ბოტლენეკების გასარკვევად.

• შექმენით დიზაინის დოკუმენტები, შესრულების ანგარიშები, განლაგების გეგმები და მომხმარებლის ტექნიკური ახსნა-განმარტებები.

აუცილებელი მოთხოვნები

• ძლიერი საინჟინრო უნარები Python-სა და PyTorch-ში.

• პრაქტიკული გამოცდილება LLM-ის, VLM-ის ან მაღალი ხარისხის ტრანსფორმერის ინფერენციის დანერგვის ან ოპტიმიზაციისას.

• პრაქტიკული ცოდნა ერთი თანამედროვე ინფერენციის სტეკის შესახებ, როგორიცაა vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe ან ექვივალენტური შიდა სისტემა.

• ტრანსფორმერის ინფერენციის ბოტლენეკების ძლიერი გაგება, რომლებიც მოიცავს KV ქეშს, ყურადღებას, მეხსიერების გამტარობას, ბატჩირებას, პარალელიზმს და გრძელი კონტექსტის სერვირებას.

• ვაჭრობის ოფციების რაოდენობრივი შეფასების შესაძლებლობა ლატენტურობას, გამტარობას, ხარისხს, გამოყენებას და ღირებულებას შორის.

• გამოცდილება განაწილებული ინფერენციის სისტემის არქიტექტურის დიზაინში ან ოპტიმიზაციაში, პრაქტიკული სამუშაოთი ერთ ან რამდენიმე სფეროში, როგორიცაა მოთხოვნის როუტინგი, განაწილებული დაგეგმვა, PDD, მრავალკვანძოვანი ინფერენცია ან ექსპერტის პარალელიზმი.

• ძლიერი კომუნიკაციის და თანამშრომლობის უნარები კვლევის, ბირთვის, ინფრასტრუქტურის, პროდუქტისა და მომხმარებლის გუნდებში.

სასურველი მოთხოვნები

• გამოცდილება კვანტიზაციის შესახებ ცნობილი ტრენინგით, ტრენინგის შემდგომი კვანტიზაციით, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ ან SmoothQuant.

• გამოცდილება დისტილაციასთან, სპეკულაციურ გაშიფვრასთან, EAGLE-თან, Medusa-სთან, მრავალტოკენიანი პროგნოზით ან მსგავსი ინფერენციის აჩქარების მეთოდებით.

• გამოცდილება აგენტური სამუშაო დატვირთვების მხარდაჭერაში, რომლებიც მოიცავს ხელსაწყოების გამოძახებას, სტრუქტურირებულ გამოსვლებს, სტრიმინგ API-ს, მაღალ კონკურენციას და მრავალსაფეხოვან ორკესტრაციას.

• გაცნობა CUDA ან Triton; როლს არ სჭირდება კერნელის ინჟინერიის კანდიდატის ძირითადი სპეციალობა.

• წვლილი ღია პროექტებში, როგორიცაა vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray ან KServe.

• განხორციელების გამოცდილება ქეშ-მინიშნება მოთხოვნის მარშრუტიზაციით, PDD ან WideEP, კომუნიკაციის შეფერხებების და დატვირთვის დისბალანსის დიაგნოსტიკის ჩათვლით.

• გაცნობა GPU კომუნიკაციის ბიბლიოთეკებთან და ინტერკონექტებთან, როგორიცაა NCCL, NVLink, InfiniBand ან RoCE.

Benefits & Perks:

• კონკურენტული კომპენსაცია

• კარიერული ზრდისა და სწავლის შესაძლებლობები

• მოქნილობა და საკუთრება

• თანამშრომლობითი და ინოვაციური კულტურა

• შესაძლებლობა იმუშაოთ გავლენიან AI პროექტებზე

• საერთაშორისო გარემო და ნიჭიერი გუნდები

What's it like to work at Nebius: