Я Data Engineer: создаю надёжные и поддерживаемые системы обработки данных
Для меня качественная работа в Data Engineering — это:
- Надёжность: конвейеры данных, которым можно доверять.
- Масштабируемость: системы, растущие вместе с бизнесом.
- Понятность: код и архитектура, которые легко изучать и развивать.
Используемые технологии: Python, SQL, Apache Spark, Airflow, Docker, Kubernetes, AWS/GCP.
Открыт к сотрудничеству и изучению новых инструментов.
- Marketplace Items & Sellers Analytics — ETL‑пайплайн аналитики маркетплейса: обработка сырых данных в Apache Spark (K8s), загрузка в Greenplum, отчётные представления по продавцам и брендам. Airflow, PySpark, S3, PXF.
- ETL automation of data preparation — Проект реализует пайплайн для автоматизированного получения данных, выгрузки в таблицы и построения витрин данных (Apache Airflow).
- spotify-data-pipeline — ETL‑пайплайн для сбора и анализа данных о прослушиваниях из Spotify Web API. Извлекает recently_played по курсору after, дедуплицирует данные в PostgreSQL, загружает в ClickHouse. Аналитика строится через материализованное представление. Оркестрация — Apache Airflow, локальный запуск — Docker Compose.
- Email: octagon4469@gmail.com
- Telegram: @gilyazov_de
