AWS Инженер по данным (Старший) (Фрилансер)

Компания Mactores - это фирма, специализирующаяся на модернизации AWS для агентов. Большая часть работ по модернизации не доводится до конца, она застревает на этапе пилотных проектов, затягивается на год или обходится в три раза дороже запланированного. Мы занимаемся тем, что доводим дело до конца: развертываем рабочие системы, отказываемся от устаревших решений и оцениваем результаты. Наша работа основана на платформе Aedeon, созданной компанией-сестрой Mactores, которая позволяет автоматизировать 60-70% рутинной работы, такой как исследование, составление карт зависимостей, валидация и генерация тестов, что обычно выполняется консультантами за человеко-часы. Наши инженеры, работающие на передовой, занимаются остальной работой: архитектурой, оценкой и переходом на новые системы в сроки, указанные в контракте.

Это старшая фриланс-должность в нашем подразделении модернизации платформ данных: консолидация и миграция инфраструктуры данных клиентов на AWS в течение недель, а не кварталов. К нам обращаются клиенты, когда их проекты по обработке данных застряли - pipelines, которым никто не доверяет, хранилища данных, на которых никто не запускает новые рабочие нагрузки, модернизация, которая привела к созданию диаграмм вместо рабочих систем.

Платформа Aedeon обрабатывает автоматизированное обнаружение источников, сопоставление схем, извлечение родословной и параллельную валидацию. Вы будете выполнять работу, требующую оценки старшего инженера: создание pipelines на EMR и Glue, модели данных для Redshift, Snowflake, Athena и Presto, оркестрация Airflow и устранение неполадок, которые позволяют системе работать стабильно до перехода на новые системы. Фриланс в нашей компании означает реальную работу по доставке на реальных проектах - а не просто увеличение штата в чей-то backlog.

Что вы будете делать?

• Создавать и поддерживать pipelines данных на Amazon EMR или Amazon Glue, работающие в производстве.

• Разрабатывать модели данных и запросы конечных пользователей на Amazon Redshift или Snowflake, Amazon Athena и Presto.

• Создавать и поддерживать оркестрацию pipelines с помощью Airflow.

• Работать с другими командами, чтобы понять потребности в данных и разработать решения, удовлетворяющие этим потребностям.

• Устранять неполадки и оптимизировать pipelines и модели данных, пока они не смогут работать под реальной нагрузкой.

• Писать и поддерживать скрипты PySpark и SQL для извлечения, преобразования и загрузки данных.

• Документировать и сообщать технические решения техническим и нетехническим аудиториям.

• Отслеживать новые технологии AWS для данных и оценивать их влияние на наши системы.

Что мы ищем?

• Степень бакалавра в области компьютерных наук, инженерии или смежной области.

• 3+ года опыта работы с PySpark и SQL.

• 2+ года опыта создания и поддержки pipelines данных с помощью Amazon EMR или Amazon Glue.

• 2+ года опыта работы с моделированием данных и запросами конечных пользователей с помощью Amazon Redshift или Snowflake, Amazon Athena и Presto.

• 1+ год опыта создания и поддержки оркестрации pipelines с помощью Airflow.

• Сильные навыки решения проблем и устранения неполадок.

• Отличные коммуникативные и коллаборативные навыки.

• Способность работать самостоятельно и в команде.

Вы будете предпочтительным кандидатом, если у вас есть

• Сертификация AWS Data Analytics Specialty

• Опыт работы с методологией гибкой разработки

Как мы работаем?

Мы используем модель предварительного развертывания: инженеры интегрируются с командами доставки, владеют своей частью результата и поставляют его в соответствии с согласованными сроками. Это удалённое фриланс-сотрудничество, поэтому мы будем честны о форме: вы работаете над проектами внутри этой модели, Aedeon берёт на себя повторяющийся слой, чтобы ваше оплачиваемое время шло на инженерное суждение, а не на ручную проверку. Вы будете работать самостоятельно, тесно координируя с командой проекта, и ваш результат будет попадать в производственные системы, которые клиенты одобряют.

Компенсация

Дополнительная информация

Жизнь в Mactores

Мы заботимся о создании культуры, которая реально меняет жизнь каждого сотрудника. Наши 10 основных принципов лидерства, которые ценят принятие решений, лидерство, сотрудничество и любопытство, определяют наш стиль работы.

1. Быть на шаг впереди

2. Доставлять лучшее

3. Быть смелым

4. Обращать внимание на детали

5. Наслаждаться вызовом

6. Быть любопытным и действовать

7. Проявлять лидерство

8. Владеть

9. Доставлять ценность

10. Быть коллаборативным

Мы хотели бы, чтобы вы прочитали больше деталей о корпоративной культуре на https://mactores.com/careers

Путь к присоединению к команде Mactores

В Mactores наш процесс набора персонала структурирован вокруг трёх отдельных этапов:

Предварительная оценка:

Серия оценок вашей технической квалификации и пригодности для роли.

Собеседование с менеджером: Менеджер по найму engages с вами в несколько обсуждений, 30 минут до часа каждый, охватывающих технические навыки, практический опыт, потенциал лидерства и коммуникацию.

Обсуждение с HR: Во время этой 30-минутной сессии у вас будет возможность обсудить предложение и следующие шаги с членом команды HR.

Mactores предоставляет равные возможности во всех практиках найма. Мы не дискриминируем по расовому, религиозному, половому, национальному происхождению, возрасту, инвалидности, семейному положению, статусу военнослужащего, генетической информации или любой другой категории, защищённой федеральными, государственными и местными законами. Это относится ко всем аспектам трудовых отношений, набору персонала, компенсации, продвижению, переводам, дисциплинарным мерам, сокращению, обучению и социальным программам.

Примечание: Пожалуйста, ответьте на как можно большее количество вопросов в этом заявлении, чтобы ускорить процесс найма.