უფროსი კვლევითი ინჟინერი - მულტიმოდალური გენერაციული მოდელირება

Synthesia არის მსოფლიოს წამყვანი AI ვიდეო პლატფორმა ბიზნესისთვის, რომელსაც Fortune 100-ის 90% იყენებს. დაარსებული 2017 წელს, კომპანია დაფუძნებულია ლონდონში, ოფისებითა და გუნდებით ევროპასა და აშშ-ში.

როგორც AI აგრძელებს ჩვენი ცხოვრებისა და მუშაობის ფორმირებას, Synthesia ავითარებს პროდუქტებს ვიზუალური კომუნიკაციისა და საწარმოს უნარების განვითარების გასაუმჯობესებლად, რაც ეხმარება ადამიანებს უკეთ მუშაობაში და წარმატებული ორგანიზაციების ცენტრში დარჩენაში.

ჩვენი ბოლო სერიის E დაფინანსების რაუნდის შემდეგ, სადაც ჩვენ ავიღეთ $200 მილიონი, ჩვენი შეფასება დადგენილია $4 მილიარდად. ჩვენი მთლიანი დაფინანსება აღემატება $530 მილიონს პრემიერ ინვესტორებისგან, მათ შორის Accel, NVentures (Nvidia-ს VC განყოფილება), Kleiner Perkins, GV და Evantic Capital, დამფუძნებლებისა და Stripe, Datadog, Miro და Webflow-ის ოპერატორების გვერდით.

როლის შესახებ

Synthesia-ს გრძელვადიანი ხედვაა შექმნას საუკეთესო ადამიანური ინტერაქტიული მოდელები: სისტემები, რომლებიც არა მხოლოდ ესაუბრებიან ადამიანებს, არამედ აღიქვამენ და რეაგირებენ მათზე, რეაგირებენ მომხმარებლის მოქმედებებსა და ემოციებზე, არა მხოლოდ მათ სიტყვებზე. დღეს 60 000-ზე მეტი ბიზნესი ეყრდინება ჩვენს პლატფორმას, და მომდევნო ნახტომი იმისა, რასაც ჩვენ შეგვიძლია შევთავაზოთ, დამოკიდებულია მოდელებზე, რომლებიც აერთიანებენ ტექსტს, აუდიოსა და ვიდეოს ერთ რეალურ დროში ინტერაქტიულ გამოცდილებაში.

როგორც უფროსი კვლევითი ინჟინერი, თქვენ შეუერთდებით ხმის გუნდს ჩვენს 40+ კაციან კვლევისა და განვითარების დეპარტამენტში, მაგრამ თქვენი ფარგლები ბევრად უფრო გაფართოვდება, ვიდრე ხმა. თქვენ დაგეხმარებით განსაზღვროთ და განახორციელოთ ეს უფრო ფართო ხედვა გუნდებში, შემოგთავაზოთ ამბიციური კვლევითი მიმართულებები და პირდაპირი მფლობელობა მისი ყველაზე კრიტიკული კომპონენტების დიზაინისა და განხორციელებისთვის. თქვენ პირდაპირ იმუშავებთ ჩვენს ხმის ლიდერთან და მჭიდროდ ითანამშრომლებთ ჩვენს ვიდეო გუნდებთან და ორგანიზაციის სხვა უფროს წევრებთან.

კონკრეტულად, თქვენ იმუშავებთ ხმა-ხმის მოდელებზე, რომლებიც ერთდროულად აწარმოებენ ტექსტსა და ხმას. მოდელები, რომელთაც შეუძლიათ მსჯელობა, შეაწყვეტონ მომხმარებელი უკანა არხით და საუბარი. მოდელები, რომლებიც გრძნობენ, რომ თქვენ ბუნებრივ საუბარს აწარმოებთ, ტრადიციული საუბრისგან განსხვავებით, რომელიც დომინანტურია მიმდინარე მეტყველებიდან მეტყველებამდე მოდელებში. თქვენი როლი იქნება პარტნიორობა გზის რუქის განსაზღვრაში, მის განხორციელებაში და შედეგების პროდუქტზე გადატანაში.

რას გააკეთებთ

- ჩვენს გზას რუქას შევქმნით ახალი მოდელის შესაძლებლობების შესაქმნელად და ჩვენი მომხმარებლის ბაზისთვის ახალი ფუნქციონალების განბლოკვისთვის, როგორც მოკლე, ისე გრძელვადიან პერსპექტივაში.

- შემოგთავაზებთ მულტიმოდალური სისტემების ახალ არქიტექტურებს (განსაკუთრებით ტექსტი და ხმა).

- განვითარება და შეფასება სტრიმინგისა და საკონვერტაციო სისტემებისა დაბალი ლატენტური, ინტერაქტიული ხმა-ვიდეო სინთეზისთვის.

- დიზაინის გადაწყვეტილებები, რომლებიც აძლიერებენ ემოციურ ექსპრესიულობას და ბუნებრივ ურთიერთქმედებას.

- განხორციელება და დიზაინის გაცოცხლება, პრეტრენინგიდან პოსტ-ტრენინგამდე.

- ინტეგრაცია და ტესტირება ახალი არქიტექტურების (ნეირონული კოდეკები, დიფუზია, ნაკადის შესატყვისი) რეალიზმისა და რეაგირების გასაძლიერებლად.

- განსაზღვრული ახალი შეფასების მეტრიკები საუბრის სისტემებისთვის, მათ შორის ლატენტურ-შეგნებული და ურთიერთქმედების საფუძველზე გაზომვები.

- თვალყური ადევნეთ უახლეს კვლევებს აუდიო-ვიზუალური დიფუზიის, ავტორეგრესიული მოდელების, ნეირონული კოდეკებისა და მულტიმოდალური LLM-ების მიმართ.

- ახალი მონაცემების შექმნა არსებული მონაცემების შესავსებად.

- ხელმძღვანელობა პოსტ-ტრენინგის ინიციატივებზე, როგორიცაა DPO, ფინინგ-ტუნინგი და დისტილაცია მოდელების გადაზიდვის ხარისხამდე მისაღებად.

- მოდელების გადაზიდვა წარმოებაში ოპტიმიზებული რუნტიმით მომხმარებლების მომსახურეობისთვის და მათი გამოხმაურების მოგვარება შემდგომში.

თქვენ ამ როლში წარმატებული იქნებით თუ თქვენ გაქვთ

- ახალი იდეებისა და დიზაინების მოტანისა და ინტერაქტიული მულტიმოდალური სისტემების სფეროს წინსვლის უნარი.

- ძლიერი გაგება გენერაციული მოდელირების შესახებ, იდეალურად გამოყენებული სექვენციური ან მულტიმოდალური მონაცემებისთვის.

- დიდი ენების მოდელებთან ან მსგავსი ტრანსფორმატორული არქიტექტურების ხელით მუშაობის გამოცდილება.

- მაღალი პროფესიონალობა PyTorch-ში, მათ შორის განაწილებული ტრენინგი და მოდელის ოპტიმიზაცია.

- დროის სერიების მოდელირებისა და ტოკენიზაციის მყარი გაგება, უპირატესად აუდიო, მეტყველების ან ვიდეო კონტექსტში.

- საჩვენებელი უნარი სწრაფად პროტოტიპების შესაქმნელად, ჰიპოთეზების შესამოწმებლად და ეფექტურად გამეორებისთვის.

- ღრმა სწავლების მოდელების ტრენინგის დამტკიცებული გამოცდილება საბოლოოდან საბოლოომდე, მონაცემების მომზადებიდან შეფასებამდე.

- ძლიერი ზოგადი პროგრამული ინჟინერიის უნარები, რაც უზრუნველყოფს დიდი, საერთო კვლევითი ინფრასტრუქტურის განვითარებას.

განსაკუთრებით აქტუალური გამოცდილება

- გენერაციული მოდელის გადაზიდვა ცოცხალ პროდუქტში, რომელიც გამოიყენება მნიშვნელოვან მასშტაბზე, არა მხოლოდ გამოქვეყნებული ან პროტოტიპული.

- საუბრის ან ინტერაქტიული სისტემების შემუშავება, სადაც ლატენტურობა, რეაგირება და მომხმარებლის გამოცდილება იყვნენ პირველადი შეზღუდვები და არა შემდგომი ფიქრები.

- LLM-ების შემუშავება დიდი მასშტაბის ტრენინგით, რაც მოდელებს გონივრულ მსჯელობის შესაძლებლობებს აძლევს.

- კვლევითი პრობლემის სრული მფლობელობა: არქიტექტურის წინადადებიდან პრეტრენინგამდე, პოსტ-ტრენინგამდე და წარმოების განლაგებამდე.

- ურთიერთქმედება მოდალობებს ან გუნდებს შორის (მაგალითად, აუდიო და ვიდეო, ან კვლევა და პროდუქტი) ერთიანი სისტემის გადაზიდვისთვის.

ბონუს ქულები

- რეალურ დროში ან ნაკადის არქიტექტურებთან მუშაობის გამოცდილება.

- აუდიო და მეტყველების გენერაციის სფეროში უახლესი არქიტექტურების ცოდნა, როგორიცაა დიფუზიის მოდელები, ნეირონული კოდეკები, ნაკადის შესატყვისი მოდელები ან ავტორეგრესიული დეკოდერები.

- ერთ ან რამდენიმე შემდეგ მოდალობაში სრულყოფილება: ხმა, ტექსტი, ვიდეო.

- ორიგინალური კვლევითი წვლილის მტკიცებულება, როგორიცაა პუბლიკაციები ან ღია კოდის სამუშაოები უმაღლესი დონის სფეროებში (მაგალითად, NeurIPS, CVPR, ICML, ICLR, Interspeech).