Главная O центре Эксперты Учебного центра IBS Котельников Егор

КотельниковЕгор

Специалист в области BigData

О тренере

Егор работает в области разработки данных с 2018 года. За это время успел поработать в таких крупных компаниях, как МТС, Билайн, Сбермегамаркет и группа компаний «Самолёт». Принимает активное участие в онбординге и обучение младших разработчиков.

О проектах:

В роли инженера данных участвовал в проекте миграции хранилища с hadoop стека на s3 + kubernetes для ГК «Самолёт».
Руководил группой, которая занималась разработкой и поддержкой проекта по загрузке потоковых и пакетных данных в hdfs. А также оптимизацией загрузки большого объёма данных (100 Тб в месяц), построение витрин для Beeline.
Занимался руководством команды разработки аналитического хранилища с использованием hadoop, pyspark, airflow (arenadata), kafka, MS SQL. Разворачиванием кластера Arenadata, подключением zeppelin, интеграцией с системами (kafka, ms sql, gbq, sftp). Также группа занималась разработкой загрузки сырых данных с помощью шаблонных дагов в airflow, сборкой витрин для проектов сортировки, рекомендательной системы в Sbermegamarket.ru.
Выполнял роль ведущего разработчика на проектах: создание аналитического хранилища на базе Hadoop, Spark (Scala); разработка хранилища данных об использовании маркетплейса для целей маркетинговой аналитики; реализация потоковой обработки больших данных с использованием машинного обучения — в Goods.ru.
Был инженером-разработчиком на проектах: разработка библиотеки для использования в отделе больших данных, создание хранилища данных, реализация аналитических продуктов на больших данных — в Платформе ОФД.

Ключевые области знаний:

Построение распределенных масштабируемых хранилищ данных
Hadoop
Spark (Scala)
MS SQL
s3

Нужна помощь? Оставьте заявку, и мы свяжемся с вами в ближайшее время

Запрос нового пароля

Новый пароль отправлен

КотельниковЕгор

О тренере

Ключевые области знаний:

Нужна помощь? Оставьте заявку, и мы свяжемся с вами в ближайшее время