билайн провел митап по Data Engineering. На встрече эксперты обсудили внедрение микросервисов на ETL-потоках, оптимизацию запуска приложения Spark в базовой и расширенной конфигурациях, а также выбор каталога данных для управления ими.
Кто и о чем?
Максим Петров, билайн — «ETL Pipelines как микросервисы»
Рассказал о своем опыте внедрения микросервисов на ETL-потоках. Максим поделился, как с помощью этого подхода в билайне удалось создать систему со встроенными аналитическими возможностями и какие потребности бизнеса она может выполнять.
Андрей Чучалов, билайн — «Как оптимизировать параметры запуска приложения Spark — ищем проблемы и повышаем производительность»
Обсудили вопросы запуска приложения Spark в базовой и расширенной конфигурациях, разобрали методы расчета основных параметров работы приложения для производительности и эффективности использования доступных ресурсов кластера.
Владислав Шевченко, Альфа-Банк и Оксана Солдатова, билайн — «Как мы управляем данными с помощью каталога данных»
Как в Альфа-Банке и билайне выбирался и внедрялся каталог данных: что от него ожидали и что фактически получилось.
В дополнение рекомендуем всем дата-инженерам прочитать «книжку с кабанчиком» — Designing Data-Intensive Applications.
Максим Петров, руководитель департамента развития платформы «Голосовой антифрод» в билайне: «Нам удалось собрать крутую аудиторию — говорили много о микросервисах в общем, о качестве данных и отказоустойчивости. Очевидно, что сам по себе вектор создания data-driven продуктов — давно хайповый, но мы в билайне их делаем для эффективности и качества наших сервисов, ориентируясь на потребности клиентов. Радует, что специалисты очень подготовленные, хотя ребята приходят в Data Engineering по-разному: из роли бизнес-аналитика, «бывшие» разработчики или те, кто отучились по «модной» специальности.
Мне нравится принимать участие в таких мероприятиях — и как спикер, и как слушатель: мы делимся информацией, опытом и кейсами, создаем отдельное комьюнити по интересам и поддерживаем общение внутри. Круто, что в компании есть такие возможности: билайн — это не только связь и технологии, но и мощное IT».
