Personel Araştırma Mühendisi - Çok Modlu Üretken Modelleme

Synthesia, Fortune 100'ün %90'ından fazla tarafından kullanılan, dünyanın önde gelen iş dünyası için yapay zeka tabanlı video platformudur. 2017'de kurulan şirket, Londra'da merkezlenmiştir ve Avrupa ve ABD'de ofisleri ve ekipleri bulunmaktadır.

Yapay zeka hayatımızı ve işimizi şekillendirmeye devam ederken, Synthesia, görsel iletişimi ve kurumsal beceri gelişimini geliştirmek için ürünler geliştiriyor, insanları daha iyi çalışmaya ve başarılı organizasyonların merkezinde kalmaya yardımcı oluyor.

Geçtiğimiz Seri E fonlama turumuzda, 200 milyon dolar yükselttik ve değerlememiz 4 milyar dolara ulaştı. Toplam fonlamamız, Accel, NVentures (Nvidia'nın VC kolu), Kleiner Perkins, GV ve Evantic Capital gibi önde gelen yatırımcılardan, Stripe, Datadog, Miro ve Webflow'un kurucuları ve operatörleri ile birlikte 530 milyon doları aşıyor.

Rol hakkında

Synthesia'nın uzun vadeli vizyonu, en iyi insan-interaktif modellerini oluşturmak: sadece insanlarla konuşan değil, aynı zamanda onları algılayan ve yanıtlayan, kullanıcının eylemleri ve duyguları ile, sadece sözlerini değil, reaksiyona giren sistemler. Bugün 60.000'den fazla işletme platformumuza güveniyor ve onlara sunabileceğimiz bir sonraki sıçrama, metin, ses ve videoyu tek bir gerçek zamanlı interaktif deneyime birleştiren modellere bağlı.

Staff Research Engineer olarak, R&D departmanımızdaki Voice ekibine katılacaksınız, ancak kapsamınız sesin ötesine geçecek. Daha geniş vizyonu ekipler arasında tanımlayacak ve yönlendireceksiniz, iddialı araştırma yönleri önerisinde bulunacak ve en kritik bileşenlerin tasarım ve uygulamasının doğrudan sahipliğini alacaksınız. Doğrudan ses liderimizle çalışacak ve video ekiplerimiz ve organizasyonun diğer kıdemli üyeleriyle yakın işbirliği içinde olacaksınız.

Somut olarak, aynı anda metin ve ses üreten ses ile ses modelleri üzerinde çalışacaksınız. Modeller ki akıl yürütebilir, kullanıcıyı geri kanal ile kesebilir ve konuşabilir. Modeller ki, doğal bir konuşma içinde olduğunuz hissi verir, mevcut konuşma modellerinde hakim olan sırayla konuşma hissi olmadan. Rolünüz, bir yol haritası tanımlamak, uygulamak ve sonuçları ürüne teslim etmek olacaktır.

Yapacaklarınız

- Yeni model yetenekleri oluşturmak ve müşteri tabanımız için yeni işlevsellikleri kilidini açmak için yol haritamızı şekillendirin, hem kısa hem de uzun vadeli zaman dilimlerinde.

- Yeni çok modlu sistem mimarileri önerin (özellikle metin ve ses).

- Düşük hız, interaktif ses-videoyu sentezlemek için akış ve konuşma sistemlerini geliştirin ve değerlendirin.

- Duygusal ifade ve doğal etkileşimi güçlendiren çözümler tasarlayın.

- Tasarım ve uygulamaları hayata geçirin, ön eğitimden son eğitime kadar.

- Yeni mimarileri entegre edin ve test edin (nöron kodlayıcılar, difüzyon, akış eşleme) gerçekçiliği ve yanıt verme yeteneğini geliştirmek için.

- Konuşmalı sistemler için gecikme farkındalıklı ve etkileşim tabanlı ölçümleri içeren yeni değerlendirme metrikleri tanımlayın.

- Ses-görsel difüzyon, otoregresif modeller, sinir kodlayıcıları ve çok modlu büyük dil modelleri alanındaki son araştırmaları takip edin.

- Mevcut verileri tamamlamak için yeni veri kümeleri küratörlüğü yapın.

- DPO, ince ayar ve damıtma gibi eğitim sonrası girişimleri yöneterek modelleri üretim kalitesine getirin.

- Modelleri optimize edilmiş çalışma zamanı ile üretime alın ve müşterilerin geri bildirimlerini takip edin.

Bu rolde başarılı olacaksınız eğer

- Etkileşimli çok modlu sistemler alanını ilerleten yeni fikirler ve tasarımlar getirebiliyorsanız.

- Üretken modelleme konusunda güçlü bir anlayışa sahipsiniz, ideal olarak sıralı veya çok modlu verilere uygulanmıştır.

- Büyük dil modelleri veya benzeri transformatör tabanlı mimarilerle pratik deneyime sahipsiniz.

- PyTorch'ta yüksek düzeyde yeterliliğe sahipsiniz, dağıtılmış eğitim ve model optimizasyonu dahil.

- Zaman serisi modelleme ve tokenleştirme konusunda sağlam bir kavrayışa sahipsiniz, tercihen ses, konuşma veya video bağlamında.

- Hızlı prototip oluşturma, hipotezleri test etme ve verimli bir şekilde yineleme yapma yeteneğine sahipsiniz.

- Veri hazırlığından değerlendirmeye kadar derin öğrenme modellerini baştan başa eğitme deneyimine sahipsiniz.

- Büyük, paylaşılan bir araştırma altyapısına katkılar sağlamak için güçlü genel yazılım mühendisliği becerilerine sahipsiniz.

Özellikle ilgili deneyim

- Canlı bir üründe kullanılan ve anlamlı ölçekte kullanılan üretken bir modeli sevk etmiş olmak, sadece yayınlamak veya prototiplemek değil.

- Gecikme, yanıt verme ve kullanıcı deneyiminin birinci sınıf kısıtlamalar olduğu, sonradan düşünülmeyen konuşmalı veya etkileşimli sistemler üzerinde çalışmış olmak.

- Büyük ölçekli eğitimlere liderlik eden ve makul akıl yürütme yeteneklerine sahip modellere sahip büyük dil modelleri üzerinde çalışmış olmak.

- Mimari öneriden ön eğitim, eğitim sonrası ve üretim dağıtımına kadar araştırma problemini baştan başa sahip olmak.

- Ses ve video, veya araştırma ve ürün gibi farklı modlar veya ekipler arasında işbirliği yaparak birleşik bir sistem sevk etmek.

Bonus puanlar için

- Gerçek zamanlı veya akışlı mimarilerle deneyim.

- Ses ve konuşma oluşturma alanındaki en son mimarilere aşinalık, difüzyon modelleri, sinir kodlayıcıları, akış eşleme modelleri veya otoregresif kod çözücüler gibi.

- Aşağıdaki modlardan bir veya birkaçında mükemmellik: ses, metin, video.

- Özgün araştırma katkıları, yayınlar veya üst düzey forumlarda açık kaynaklı çalışmalar (ör. NeurIPS, CVPR, ICML, ICLR, Interspeech) gibi kanıtlar.