Инженер-исследователь персонала - Мультимодальное генеративное моделирование

Synthesia - ведущая мировая платформа ИИ-видео для бизнеса, используемая более чем 90% компаний из списка Fortune 100. Основана в 2017 году, компания имеет штаб-квартиру в Лондоне, с офисами и командами по всей Европе и США.

По мере того, как ИИ продолжает формировать наш образ жизни и работы, Synthesia разрабатывает продукты для улучшения визуальной коммуникации и развития навыков предприятий, помогая людям работать лучше и оставаться в центре успешных организаций.

После недавнего раунда финансирования серии E, в ходе которого мы привлекли 200 миллионов долларов, наша оценка составляет 4 миллиарда долларов. Наш общий объем финансирования превышает 530 миллионов долларов от ведущих инвесторов, включая Accel, NVentures (венчурное подразделение Nvidia), Kleiner Perkins, GV и Evantic Capital, а также основателей и операторов Stripe, Datadog, Miro и Webflow.

О роли

Долгосрочная цель Synthesia - создать лучшие человеко-интерактивные модели: системы, которые не просто разговаривают с людьми, но воспринимают и реагируют на них, реагируют на действия и эмоции пользователя, а не только на его слова. Сегодня более 60 000 компаний полагаются на нашу платформу, и следующий шаг в том, что мы можем им предложить, зависит от моделей, которые объединяют текст, аудио и видео в единый интерактивный опыт в реальном времени.

В качестве инженера-исследователя персонала вы присоединитесь к команде Voice в нашем 40+ человековом отделе исследований и разработок, но ваш масштаб будет намного шире. Вы поможете определить и продвигать это более широкое видение через команды, предлагая амбициозные направления исследований и беря на себя прямую ответственность за проектирование и реализацию его наиболее критических компонентов. Вы будете работать напрямую с нашим лидером Voice и тесно сотрудничать с нашими видеокомандами и другими старшими членами организации.

Конкретно, вы будете работать над моделями голос-голос, которые одновременно производят текст и голос. Модели, которые могут рассуждать, прерывать пользователя обратной связью и говорить. Модели, которые кажутся естественным разговором с пользователем, без ощущения очередности, доминирующей в текущих моделях речи к речи. Ваша роль будет заключаться в партнерстве в определении дорожной карты, реализации ее и поставке результатов в продукт.

Что вы будете делать

- Сформируйте нашу дорожную карту для создания новых возможностей моделей и разблокировки новой функциональности для нашей клиентской базы, как в краткосрочной, так и в долгосрочной перспективе.

- Предложите новые архитектуры мультимодальных систем (особенно текст и голос).

- Разработайте и оцените потоковые и разговорные системы для низкозадержной интерактивной видео-синтеза.

- Разработайте решения, которые усиливают эмоциональную выразительность и естественное взаимодействие.

- Реализуйте и воплощайте дизайны, от предварительного обучения до пост-обучения.

- Интегрируйте и тестируйте новые архитектуры (нейронные кодеки, диффузия, потоковое сопоставление) для повышения реализма и отзывчивости.

- Разработать новые метрики оценки для разговорных систем, включая измерения, учитывающие задержку и взаимодействие.

- Отслеживать последние исследования в области аудиовизуальной диффузии, авторегрессионных моделей, нейронных кодеков и мультимодальных LLM.

- Подготавливать новые наборы данных для дополнения существующих данных.

- Руководить инициативами по пост-тренингу, такими как DPO, тонкая настройка и дистилляция, для доведения моделей до качества поставки.

- Передавать модели в производство с оптимизированным временем выполнения для обслуживания клиентов и устранения их замечаний впоследствии.

Вы преуспеете в этой роли, если у вас есть

- Способность выдвигать новые идеи и проекты, развивающие область интерактивных мультимодальных систем.

- Глубокое понимание генеративного моделирования, желательно применяемого к последовательным или мультимодальным данным.

- Практический опыт работы с большими языковыми моделями или подобными архитектурами на основе трансформеров.

- Высокая квалификация в PyTorch, включая распределенное обучение и оптимизацию моделей.

- Твердое понимание моделирования временных рядов и токенизации, желательно в контексте аудио, речи или видео.

- Демонстрированная способность быстро создавать прототипы, тестировать гипотезы и эффективно повторять.

- Подтвержденный опыт обучения глубоких моделей обучения от начала до конца, от подготовки данных до оценки.

- Сильные общие навыки программного инжиниринга, позволяющие вносить вклад в большую общую исследовательскую инфраструктуру.

Особенно актуальный опыт

- Внедрение генеративной модели в живой продукт, используемый в значительных масштабах, а не просто публикация или создание прототипа.

- Работа над разговорными или интерактивными системами, где задержка, отзывчивость и пользовательский опыт были первоочередными ограничениями, а не последующими мыслями.

- Работа с LLM с большим масштабом обучения, приводящим к моделям с приличными возможностями рассуждения.

- Решение исследовательской проблемы от начала до конца: от предложения архитектуры до предварительного обучения, пост-тренинга и развертывания в производстве.

- Сотрудничество между модальностями или командами (например, аудио и видео, или исследования и продукт) для поставки единой системы.

Бонусные баллы за

- Опыт работы с архитектурами реального времени или потоковой передачи.

- Знакомство с современными архитектурами в области генерации аудио и речи, такими как модели диффузии, нейронные кодеки, модели потокового сопоставления или авторегрессионные декодеры.

- Отличная квалификация в одной или нескольких из следующих модальностей: голос, текст, видео.

- Доказательства оригинальных исследовательских вкладов, таких как публикации или открытые работы на ведущих площадках (например, NeurIPS, CVPR, ICML, ICLR, Interspeech).