Middle Data Engineer [Защитник] Big Data
#удаленка #офис #middle
Компания: МТС
*?Что нужно делать*
-Разрабатывать сервисы продуктов группы Защитник - REST/GRPC сервисы, Kafka/RabbitMQ consumers
-Разрабатывать пайплайны обработки данных и машинного обучения на Python и Spark с использованием Airflow, MLflow, а также собственных разработок
-Осуществлять интеграцию с внешними системами (S3, Kafka, API , FTP)
-Поддерживать разработанные решения и обеспечивать качество данных

?Кого мы ищем
-Понимание моделей данных и принципов устройства хранилищ данных
-Хорошее знание SQL
-Опыт работы хотя бы с одной промышленной БД
-Знание стека Hadoop/Hive/Spark и опыт работы с большими объемами данных
-Знание Python, написание API
-Знакомство с CI/CD и Docker
-Умение вести проекты в GIT

?Что предлагаем
-График работы: плавающее начало рабочего дня, гибридный график (или возможность работать из дома)
-ДМС с 1 месяца работы, куда включены: стоматология, страхование жизни и страховка при поездках за рубеж
-Десятки курсов и тренингов в Корпоративном университете МТС и Собственная виртуальная библиотека
-Корпоративный психолог и карьерный коуч
-Спорт: спортзал в офисе, компенсация фитнес-абонемента, бассейна, скидка в «Alex fitness», «Spirit fitness», «World class» и др.
-Well-being: бесплатный фреш-бар, массажный кабинет, массажные кресла и массаж на рабочем месте
-Бесплатная сотовая связь, выгодные тарифы для ваших близких, промокод на онлайн-кинотеатр KION и бесплатная подписка на МТС Premium
-Программа «Invite IT» (реферальная программа поощрения за рекомендацию ИТ-специалиста)
Контакты: https://job.mts.ru/vacancy/middle-data-engineer-zaschitnik-big-data-427015495602930875

https://t.me/de_rabota

Senior Data Engineer
#офис #senior
Локация: Москва
Компания: СБер
*?Обязанности*
-ведение стримов разработки витрин. Нам важна проактивность, наличие собственного мнения и гордости за свои решения
-управление жизненным циклом разработки витрин, умение находить правильный баланс между скоростью и качеством разработки
-организация внутрикомандных взаимодействий, мотивация
-совместно с владельцем продукта участвовать в определении сроков выполнения задач.

?Требования
-опыт руководства командой разработки от 1 года
-уверенное владение фреймворком Spark и опыт разработки приложений на Spark от 2х лет
-знание и опыт программирования на Scala/Java, готовы рассмотреть Python
-знание основных компонент инфраструктуры Hadoop, понимание принципов их работы (HDFS, YARN, Spark, Oozie)
-опыт работы со стриминговым ETL: Flink/Kafka, будет плюсом
-знание конвейеров и инструментов CI/CD (например, Jenkins, Git, Docker) для автоматизации процессов сборки, тестирования и развертывания программного обеспечения
-понимание SQL и NoSQL баз данных.

?Условия
-гибкий график
-официальное трудоустройство согласно ТК РФ
-белая заработная плата (оклад + годовая премия)
-страхование (от несчастных случаев, ДМС - с первого дня)
-оздоровительные программы для детей сотрудников
-возможность обучения за счет компании
-выплаты материальной помощи в особых/чрезвычайных случаях
-дисконт-программы от компаний партнеров (фитнес, страхование, туризм)
-льготное кредитование
-столовая на территории офиса
Контакты: https://rabota.sber.ru/search/4333455/

https://t.me/de_rabota

Senior data engineer / DWH architect
#удаленка #офис #гибрид #senior #400k
Требуемый опыт работы: 3–6 лет
Компания: Lion Recruitment
ЗП: от 350 000 до 450 000 ₽
О проекте: разработка хранилища данных и разработка BI, как в управляющей компании, так и в дочерних предприятиях. В команде офиса данных сейчас работают 8 специалистов. Текущий этап проекта - становление: сбор и консолидация данных.
Причина появление вакансии: расширение штата и активный рост бизнеса

?Задачи:
-Проектирование целевой архитектуры платформы данных;
-Разработка и внедрение компонентов платформы данных;
-Организация загрузки данных из различных источников (внутренние БД, файловые хранилища, API, web-ресурсы);
-Создание SQL витрин и процедур;
-Формирование системы контроля и мониторинга целостности и качества данных;
-Подготовка и поддержание в актуальном состоянии каталога метаданных;
-Выстраивание процесса CI/CD совместно с DevOps;
-Code review и наставничество команды DE.

?Требования:
-Глубокое понимание принципов проектирования архитектуры хранилищ данных DWH (Data vault/Inmon/Kimball);
-Опыт проектирование и разработки хранилищ данных от 5 лет. В роли Team lead от 1 года;
-Опыт разработки и организации ETL на Python (Airflow, Nifi, Prefect) от 2 лет;
-Уверенное знание SQL, опыт разработки сложных запросов и процедур в (MS SQL, Postgres - преимущество) от 5 лет;
-Опыт выстраивания CI/CD (DataOps);
-Опыт внедрения Kafka, RabbitMQ, dbt, Airflow, Greenplum/Clickhouse – сильное преимущество;
Linux;
-Автономность, навыки самостоятельного поиска технических решений.

?Условия:
-Возможность реализовать ключевые проекты для компании.
-Соблюдение трудового кодекса РФ – оформление только в штат компании
-Удаленная работа или гибрид/офис в Москве
-Работа в аккредитованной ИТ-компании
-Годовой бонус выплачивается 1 раз в год в зависимости от результатов работы (3-4 оклада)
-Индексация зарплат в ИТ-отделе 2 раза в год
-ДМС со стоматологией с первого рабочего дня
-Оплата питания в офисе в Москве.
-Частичное финансирование фитнеса в Москве
-Обучение за счет компании включается в индивидуальный план развития – в учебных центрах по выбору сотрудника.
-Возможность карьерного развития в стабильно растущем и крупнейшем экспортере России
-Современный стек и возможность строить новую платформу + профессиональное развитие + дружная команда и комфортная среда
Контакты: alex@lion-r.ru

Data Engineer Работа Вакансии

Data Engineer (DWH)
#удаленка #300k
Требуемый опыт работы: 3–6 лет
Компания: Excdev
ЗП: от 180 000 до 300 000 ₽
*?Чем предстоит заниматься:*
-Разработка, тестирование и оптимизация ETL процессов для загрузки данных в DWH.
-Интеграция данных из различных источников (ERP, Web API) с использованием Apache Airflow.
-Разработка и поддержка потоков данных с использованием Kafka.
-Парсинг данных из интернета, их очистка и нормализация для использования в DWH.
-Работа с PostgreSQL и ClickHouse для хранения и обработки данных.
-Автоматизация процессов обработки данных и обеспечение их надежности.
-Участие в проектировании архитектуры DWH и поддержка существующих решений.
-Взаимодействие с командами аналитиков и BI для обеспечения корректности данных.

?Наши ожидания от кандидата:
-Высшее математическое или техническое образование;
-Минимум 3 года опыта работы в управлении данными, инжиниринге данных или анализе данных в сфере веб и/или мобильных продуктов;
-Опыт разработки ETL процессов и работы с инструментами ETL (например, Apache Airflow).
-Глубокие знания SQL и опыт работы с реляционными базами данных (PostgreSQL).
-Опыт работы с ClickHouse и понимание его архитектуры.
-Опыт работы с Apache Kafka для интеграции и передачи данных.
-Навыки парсинга данных из интернета (например, с использованием Python, BeautifulSoup,Scrapy).
-Знание принципов и практик управления данными и архитектуры DWH.
-Опыт работы с большими данными и понимание их особенностей.
-Навыки оптимизации производительности запросов и процессов.

?Будет огромным плюсом:
-Опыт работы с инструментами BI (Superset, Power BI, Tableau).
-Опыт работы с Python и знание его экосистемы для работы с данными.
-Опыт работы в среде DevOps и облачных технологиях (AWS, GCP, Azure).

?Условия:
-удаленный формат работы,5/2 с 10.00 до 19.00 по московскому времени;
-возможность работать из любого города или из любой страны;
Контакты: [email protected]

https://t.me/de_rabota

Middle Data Engineer [Golden Record] Big Data
#удаленка #офис #middle
Компания: МТС
*?Что нужно делать*
-Процессить данные, собирать витрины с помощью pyspark на хадуп-кластере (постановка – от аналитиков)
-Выстраивать регламенты обработки данных (Airflow)
-Настраивать ETL процессы загрузки данных через стриминги (kafka)
-Решать проблемы с качеством данных: матчинг сущностей, дедупликации, нормализации
-Осуществлять работы по повышению отказоустойчивости и скорости работы дата части сервисов

?Кого мы ищем
-Знание и опыт работы с Python
-Знание и опыт работы с SQL
-Опыт работы с Spark, Hive, Hadoop
-Знание PostgeSQL
-Знание Git
-Желателен опыт работы с Kafka
-Будет плюсом опыт с Cassandra, Scylla
-Будет плюсом знакомство с библиотекой onETL- https://github.com/MobileTeleSystems/onetl

?Что предлагаем
-График работы: плавающее начало рабочего дня, гибридный график (или возможность работать из дома)
-ДМС с 1 месяца работы, куда включены: стоматология, страхование жизни и страховка при поездках за рубеж
-Десятки курсов и тренингов в Корпоративном университете МТС и Собственная виртуальная библиотека
-Корпоративный психолог и карьерный коуч
-Спорт: спортзал в офисе, компенсация фитнес-абонемента, бассейна, скидка в «Alex fitness», «Spirit fitness», «World class» и др.
-Well-being: бесплатный фреш-бар, массажный кабинет, массажные кресла и массаж на рабочем месте
-Бесплатная сотовая связь, выгодные тарифы для ваших близких, промокод на онлайн-кинотеатр KION и бесплатная подписка на МТС Premium
-Программа «Invite IT» (реферальная программа поощрения за рекомендацию ИТ-специалиста)
Контакты: https://job.mts.ru/vacancy/middle-data-engineer-golden-record-big-data-379164142038159176

https://t.me/de_rabota

#вакансия #vacancy #fulltime
Ведущий разработчик Clickhouse (Data Engineer) в Merlion Tech.

Рабочие задачи:
?Разрабатывать ETL\ELT процессы
?Чинить ошибки, выявленные в ходе эксплуатации
?Разрабатывать общие шаблоны типовых трансформаций, инструментарий автодокументирования и линеджа
?Разработка Framework и инструментов для автоматизации сервисов DWH\ETL
?Тестировать свой код, рефакторить код и поддерживать читаемость кода и документации.

Наш стек: OpenMetadata, Python, Vertica SQL, MS SQL, Atlassian Jira, Confluence, Bitbucket/GitLab, SSIS, SSAS, Tabular, S3, PBI, DataLens, ClickHouse, Apache AirFlow, SSRS.

Ваш опыт, навыки
?Уверенное владение SQL, диалекты MPP RDBMS, опыт работы с ClickHouse/ Vertica
?Знание принципов организации и типовых практик по загрузке и базовой трансформации (очистка, приведение типов и т.д.) данных
?Навыки получения данных с различных типов источников: БД, API, Web сервисы, e-mail, Kafka, различные форматы файлов (Excel, JSON, Xml, Parquet) на различных источниках (S3, папка, Sftp),
?Опыт работы с AirFlow.

Как мы работаем:

У нас in-house разработка.
Долгосрочные проекты – игра «в долгую» (не проектная занятость).
Используем agile-подход с двухнедельными спринтами.
Один на один с трудностями не оставляем, всё обсуждаем и помогаем друг другу.

Мы предлагаем:

?Удаленный график работы,
?Корпоративная программа лояльности, скидки на товары и услуги партнёров
?Сильная команда специалистов по разным направлениям
?Официальное трудоустройство в штат аккредитованной IT компании по ТК РФ.

Ключевые навыки:
✅Clickhouse/ Vertica
✅Python
✅SQL

Контакты:
Людмила,
8 (925) 130-22-32.

Будем рады видеть Вас в нашей команде!

Data engineer (Рекламная платформа)#офис
Локация: Москва
Компания: Сбер
*?Обязанности*
-Разработка/развитие и поддержка пайплайнов обработки данных в облачной среде;
-Проводение оптимизации и тестирования пайплайнов;
-Участие в создании дашбордов;
-Создание систем мониторинга;
-Участие в процессах создания Data Quality;
-Развитие документации.

?Требования
-Отличные знания SQL: оптимизация и понимание планов запроса, внутренней работы SQL (алгоритмы соединения, индексы и т.п.)
-Опыт промышленной разработки на Python от 2х лет и хорошее понимание принципов этого языка
-Уверенное понимание работы Spark
-Опыт использования AirFlow или других планировщиков задач
-Понимание концепции хранилищ данных (DWH, Data Lake): слои, витрины, агрегаты
-Опыт работы с Git

?Плюсом будет:
-Опыт работы со стриминговым ETL: Spark Structured Streaming, Kafka
-Знакомы с Kubernetes
-Знакомы с Docker
-Опыт работы с большими данными

?Условия
-Интересные задачи по продуктам, влияющим одновременно на всю Экосистему: мы пишем продукты с 0, а значит никакого legacy и свобода творчества;
-Команда специалистов из топовых ИТ компаний;
-Регулярное обучение и профильные конференции, современное оборудование для работы;
-Уровень дохода, который готовы обсуждать и отталкиваться от ваших пожеланий, плюс премии;
-Комфортный офис и гибкий график;
-Множество плюшек от Сбера.
Контакты: https://rabota.sber.ru/search/4309399/

https://t.me/de_rabota

Data Engineer/ML Engineer (Python)#удаленка#300k
Требуемый опыт работы: 3–6 лет
Компания: ООО Ваш KPI
ЗП: от 220 000 до 320 000 ₽
Для зарубежного проекта с центральным офисом в UAE требуется Data Engineer/ ML Engineer (компания является прямым подрядчиком, не кадровым агентством, поэтому собеседования будут проходить непосредственно с техническими руководителями).
ВАЖНО: требуется наличие английского языка на продвинутом уровне (Intermediate и выше).
Наша инженерная команда разрабатывает платформу для трансформации e-commerce data с помощью AI. В рамках стоящих задача также предполагается работа с искусственным интеллектом для выполнения задач модерации и генерации контента.

?УСЛОВИЯ:
-возможность улучшить свой инструментарий и применять новые технологии;
-оформление по ТК РФ в аккредитованную it-компанию: отпуска, оплата больничного, отсрочка от мобилизации (возможны другие способы трудоустройства); возможно официальное оформление в юр. лице на территории Республики Казахстан (заработная плата в тенге);
-вся заработная плата белая, уровень обсуждаем по итогам интервью;
-полностью удалённый формат работы: не используем тайм-трекеры, ориентируемся на результат и согласованные сроки;
-гибкий график при условии выполнения плана работ;
-молодая, профессиональная и драйвовая команда.

?КЛЮЧЕВЫЕ ЗАДАЧИ:
-Разработка и внедрение методик оценки качества существующих и разрабатываемых алгоритмов машинного обучения;
-Ведение списка гипотез, участие и проведение брейнштормов;
-Формирование датасетов, формулирование требований к их размеру и качеству;
-Доработка и улучшение алгоритмов распознавания типа товара, его атрибутов;
-Помощь в интеграции и дебаггинге моделей в сервисах;
-Помощь в развертывании MLOps инфраструктуры для проведения экспериментов, поставки моделей в сервис;
-Оптимизация алгоритмов по скорости работы и стоимости вычислений.

?ТРЕБОВАНИЯ:
-Опыт работы в области машинного обучения с решением аналогичных задач не менее 3 лет;
-Опыт работы с LangChain, LangSmith или другими инструментами работы с LLM не менее 6 месяцев;
-Высокий уровень самостоятельности, умение организовать рабочее пространство на Linux/Ubuntu;
-Желательно: высшее образование в области информатики, математики или искусственного интеллекта;
-Желательно: практический опыт работы с локальными LLM, включая их оптимизацию;
-Желательно: опыт работы с генеративными моделями для обработки изображений.

?STACK:
Python
Langstmith
Langchain
LLM
Promt engeneering
Airflow
SQL
Oauth2
S3
Контакты: @Anzhelika_Skvortsova

https://t.me/de_rabota

Senior data engineer / DWH architect
#удаленка #офис #гибрид #senior #400k
Требуемый опыт работы: 3–6 лет
Компания: Lion Recruitment
ЗП: от 350 000 до 450 000 ₽
О проекте: разработка хранилища данных и разработка BI, как в управляющей компании, так и в дочерних предприятиях. В команде офиса данных сейчас работают 8 специалистов. Текущий этап проекта - становление: сбор и консолидация данных.
Причина появление вакансии: расширение штата и активный рост бизнеса

?Задачи:
-Проектирование целевой архитектуры платформы данных;
-Разработка и внедрение компонентов платформы данных;
-Организация загрузки данных из различных источников (внутренние БД, файловые хранилища, API, web-ресурсы);
-Создание SQL витрин и процедур;
-Формирование системы контроля и мониторинга целостности и качества данных;
-Подготовка и поддержание в актуальном состоянии каталога метаданных;
-Выстраивание процесса CI/CD совместно с DevOps;
-Code review и наставничество команды DE.

?Требования:
-Глубокое понимание принципов проектирования архитектуры хранилищ данных DWH (Data vault/Inmon/Kimball);
-Опыт проектирование и разработки хранилищ данных от 5 лет. В роли Team lead от 1 года;
-Опыт разработки и организации ETL на Python (Airflow, Nifi, Prefect) от 2 лет;
-Уверенное знание SQL, опыт разработки сложных запросов и процедур в (MS SQL, Postgres - преимущество) от 5 лет;
-Опыт выстраивания CI/CD (DataOps);
-Опыт внедрения Kafka, RabbitMQ, dbt, Airflow, Greenplum/Clickhouse – сильное преимущество;
Linux;
-Автономность, навыки самостоятельного поиска технических решений.

?Условия:
-Возможность реализовать ключевые проекты для компании.
-Соблюдение трудового кодекса РФ – оформление только в штат компании
-Удаленная работа или гибрид/офис в Москве
-Работа в аккредитованной ИТ-компании
-Годовой бонус выплачивается 1 раз в год в зависимости от результатов работы (3-4 оклада)
-Индексация зарплат в ИТ-отделе 2 раза в год
-ДМС со стоматологией с первого рабочего дня
-Оплата питания в офисе в Москве.
-Частичное финансирование фитнеса в Москве
-Обучение за счет компании включается в индивидуальный план развития – в учебных центрах по выбору сотрудника.
-Возможность карьерного развития в стабильно растущем и крупнейшем экспортере России
-Современный стек и возможность строить новую платформу + профессиональное развитие + дружная команда и комфортная среда
Контакты: alex@lion-r.ru

Data Engineer Работа Вакансии