Я работал в небольшой международной команде инженеров данных и количественных аналитиков, принимая участие во множестве процессов, включая: ● Построение и поддержку пайплайнов для загрузки и обработки данных. ● Выявление признаков и проблем в данных. ● Взаимодействие с трейдерами и исследователями: сбор требований, анализ болевых точек. Кроме того, я инициировал и возглавил ряд проектов, которые значительно повысили эффективность и надежность нашей дата-инфраструктуры. ● Помог перейти на Apache Airflow для оркестрации пайплайнов данных. Это дало нам большую прозрачность и контроль, позволив сократить время на отладку и исключить лишние операции. ● Руководил переработкой моделей данных с использованием продвинутых подходов, таких как размерное моделирование по Кимбелл. Это ускорило выполнение запросов и упростило анализ данных конечными пользователями. Благодаря этому трейдеры и аналитики смогли быстрее находить инсайты и принимать более обоснованные решения.

● Разрабатывал и внедрял масштабируемые пайплайны обработки данных с использованием Apache NiFi и Python для трансформации данных из различных источников. ● Создавал сложные хранимые процедуры и функции на pgSQL для оптимизации операций с данными и реализации бизнес-логики. ● Сотрудничал с бизнес-аналитиками для выявления потребностей в отчетности и их преобразования в эффективные модели данных. ● Реализовал поддержку медленно меняющихся измерений (SCD) для отслеживания исторических изменений в данных. ● Проектировал и внедрял DAG'и в Apache Airflow для автоматизации задач обработки данных. Настроил системы мониторинга и оповещений для обеспечения стабильной работы пайплайнов.