Хочу поступить
Хочу поступить
Скидка до
-40%
до 31 мая
Полгода обучения бесплатно — первый платеж через 6 месяцев!

Факультет
Data Engineering

Вы научитесь собирать и обрабатывать данные, проектировать хранилища и работать с инфраструктурой. Повысьте квалификацию и уровень дохода вместе с GeekBrains.

Хочу поступить
ФакультетData Engineering
Скидка до
-40%
до 31 мая
-40%
7 курсов  бесплатно
Купите этот курс со скидкой до 19 апреля, получите ещё 7 в подарок и прокачайте суперсилы любого востребованного специалиста: от умения считать юнит-экономику до знаний в интернет-маркетинге.

Освойте Data Engineering
с нуля и получите востребованную профессию

Дата-инженеры помогают аналитикам и дата саентистам своевременно получать качественные данные, на основании которых принимаются взвешенные бизнес-решения и создаются конкурентоспособные продукты с применением машинного обучения, аналитических систем, корпоративные хранилища.

После курса вы сможете работать по специальностям:
  • Data Engineer
  • Инженер дата-центра
  • DWH-аналитик
  • Инженер пайплайнов данных для машинного обучения (ML Engineer)

А также владеть DevOps компетенциями.

Зарабатывайте в любых условиях

Получайте заказы на фрилансе или удалёнке
Стройте карьеру в компании или стартапе
Развивайте свой бизнес

Кому подойдёт курс

Кому подойдёт курс Data Engineering

Всем, кому интересно работать с данными.

Вы научитесь обрабатывать самые разные источники и форматы данных, освоите обработку больших массивов данных (BigData) на распределенных системах, максимизируйте пользу, извлекаемую из данных.

Начинающим аналитикам и разработчикам.

У вас будет всё для ускоренного карьерного роста: комплексные знания и опыт работы с продвинутыми инструментами, методологиями и стандартами. Прокачайте свои навыки для выхода на новый уровень.

Практикующим IT-специалистам.

Рассмотрим знакомые темы с новых углов, приумножим имеющиеся знания, подскажем, как перейти в востребованное направление и зарабатывать больше.

Обучение в GeekBrains — двойная выгода для карьеры

По данным сайта hh.ru, выйдя на уровень middle-специалиста, вы будете претендовать на более высокую зарплату и на большее количество вакансий.

90 000 ₽

Зарплата в месяц

8%от всех на hh.ru

Доступных вакансий

130 000 ₽

Зарплата в месяц

40%от всех на hh.ru

Доступных вакансий

Помогаем стать
дата-инженером

1

Даём необходимые знания

Вы осваиваете все необходимые инструменты и компетенции для развития карьеры.
2

Консультируем

Поможем проанализировать ваши компетенции и пути карьерного развития.
3

Помогаем с резюме

Чтобы вы выгодно выделялись на фоне конкурентов, наши HR-специалисты помогут составить резюме

Наши ученики трудоустроились в компании

Преимущества факультета Data Engineering

Преимущества факультета Data Engineering

Даём обратную связь

Обучение на 70% состоит из вебинаров: преподаватели разбирают практические задания, отвечают на вопросы и делятся кейсами. Все вебинары можно пересмотреть в записи. 

Постоянно обновляем программу

Вы получаете актуальные навыки и знания: программа учитывает требования работодателей по компетенциям дата-инженера.

Сопровождаем на всех этапах

Менеджеры GeekBrains помогают записаться на курс, освоиться в личном кабинете и решить технические проблемы. Если попалось сложное задание, можете обратиться за помощью к личному наставнику.

Вас будут обучать
эксперты-практики

Фёдор Ерин
Декан факультета Data Engineering, Data Scientist в X5 Retail Group

Разрабатывает интеллектуальные системы в ритейле. Был аналитиком данных в Mail.ru Group, помогал бизнесу принимать решения на основе данных, создавал проекты с помощью машинного обучения.

Василий Кузнецов
Data Engineer в Mail.ru Group

Создает, поддерживает и тестирует ETL-процессы. Работал ETL-разработчиком в МТС, писал sql-запросы, проектировал хранилища данных, настраивал Power BI. Автор и преподаватель курса «Построение хранилища данных и основы ETL». Окончил МГТУ им. Н.Э. Баумана.

Антон Брызгалов
Data Engineer, ex-Yandex

Инженер и архитектор данных с опытом более 4 лет. Консультант по machine learning (ML), сотрудничает с KaiOS Tech. Разработал бессерверную платформу данных на базе AWS, основал ориентированную на ML-инфраструктуру ETL, внедрил систему отслеживания событий в реальном времени на базе ClickHouse. Работал с технологией MapReduce и инструментами BI. Магистр компьютерных наук.

Михаил Филоненко
Backend-разработчик, Tarantool solutions Mail.ru Group

Разработчик прикладного софта с опытом более 10 лет. Последние 5 лет специализируется на backend-разработке. Автор курса «Введение в noSQL базы данных + Tarantool».

Дмитрий Кравчук
Senior Data Scientist в «Магните»

Занимается алгоритмами машинного обучения и переводом информационных систем из тестовой среды в продакшен. Руководит командой дата-сайентистов, разворачивает модели машинного обучения в распределённых системах по типу Hadoop и Azure. Работает дата-сайентистом 3 года. До этого работал 2 года дата-инженером и 1,5 года — аналитиком данных.

Александр Волынский
PaaS-архитектор в Mail.ru Cloud Solutions

Специализируется на построении хранилищ и платформ по работе с данными, а также на PaaS-сервисах, DS- и ML-решениях в облаках. Создавал хранилища данных для Платформы ОФД и X5 Retail Group.

Никита Варганов
Senior Data Scientist в «Сбербанке»

Решает задачи машинного обучения, специализируется на выводе моделей в эксплуатацию. Раньше анализировал внешние данные для построения скоринговых и uplift-моделей, а также моделей оттока.

Сергей Ширкин
Data Scientist в Dentsu Russia, декан факультета Искусственный интеллект.

Прогнозирует просмотры рекламы и строит финансовые модели с помощью ИИ и машинного обучения. Автоматизировал финтех и базы данных в «Сбербанке» и «Росбанке», строил финмодели на основе машинного обучения.

Андрей Деканович
Администратор Big Data в «МегаФоне»

Занимается поддержкой и развитием Hadoop-инфраструктуры в нефтегазовой отрасли, банковском деле, промышленной автоматизации, телекоме. Считает, что в области Big Data важно уметь траблшутить проблемы. Окончил Новосибирский государственный технический университет в 2002 году.

Егор Котельников
Ведущий разработчик в goods.ru

Создает аналитические хранилища на базе Hadoop и Spark. Разрабатывает хранилища данных для маркетинговой аналитики, реализует потоковую обработку больших данных с помощью машинного обучения. Разрабатывал библиотеки для больших данных, создавал хранилища и аналитические продукты в Платформе ОФД.

Илья Акчурин
Программист, преподаватель программирования в вузе

Обучает студентов языку программирования Python. До этого более 9 лет работал программистом, в том числе руководил IT-командой. Администрировал сервера, создавал скрипты для автоматизации, занимался разработкой внутреннего веб-сервиса с использованием фреймворка Django. Окончил ИжГТУ им М. Т. Калашникова.

Сергей Романчук
Технический директор в Forly Capital, декан факультета интернета-вещей

Руководит разработкой аналитических алгоритмов прогнозирования финансовых рынков криптовалюты Forly Capital. Работал инженером-исследователем в концерне «Калашников», занимался разработкой средств сбора данных о ICO-проектах с последующим скорингом в Squilla LLC.

Андрей Телюков
Руководитель направления анализа данных и машинного обучения, Альфа-банк

Возглавляет направление, которое занимается анализом и обработкой данных, а также построением предсказательных моделей. До этого разрабатывал решения для сбора и хранения данных (Kafka, Vertica), внедрял системы бизнес-аналитики (Tableau/Superset) и модели предсказания заинтересованности продуктом. Работает со стеком технологий Hadoop, Airbnb Airflow/Superset, Docker.

Иван Маржановский
Data Scientist & Researcher, VisionLabs

Работает над нейронной сетью для обнаружения различных объектов в видеопотоке. Основные разработки и исследования ведутся на Python с применением Deep Learning. Также владеет языками программирования C++, C#, JavaScript. Занимался разработкой алгоритмов обработки медицинских сигналов. Окончил МГТУ им. Баумана с отличием.

Александр Власенко
PHP-программист в ФК Краснодар

Разрабатывает и сопровождает информационные системы клуба: медицинскую систему (антропометрия, истории болезней, исследования, обследования), тренерскую (тренировки, игры, статистика) и финансовую (контрагенты, договоры, документооборот, платежи). Работал с веб-сервисами в компаниях S Media Link, OrgPlan, ДККБ Краснодара (медицинская система).

Юрий Новиков
Преподаватель, программист

Начальник отдела защиты информации в государственной организации. Обслуживает информационную систему органов исполнительной власти Курской области. На поддержке находится VipNet сеть, включающая более 200 координаторов и 3000 клиентов. Более 15 лет работал программистом: разрабатывал веб-приложения, сервисы и прикладное ПО, поддерживал сайты. Преподаватель в вузе. Окончил аспирантуру в Курском государственном техническом университете.

Программа обучения

Научитесь собирать и обрабатывать данные, проектировать хранилища и витрины, работать с инфраструктурой и с современными фреймворками обработки данных.

141

час обучающего контента

279

часов практики

2-3

вебинара
в неделю

Подготовительный блок

Мы рекомендуем пройти подготовительные курсы, чтобы закрыть возможные пробелы в знаниях.

Курсы

Git. Базовый курс
  • Введение в Git
  • Установка и настройка Git
  • Основные команды терминала
  • Работа с репозиториями в Git
  • Управление файлами репозитория
  • История изменений
  • Работа с ветками репозитория
  • Публикация репозитория
  • Слияния веток
  • Управление версиями
  • Создание pull-request
  • Сложные операции
  • Работа с Fork-репозиториями
13 видео-уроков
2 часа обучающего контента
I четверть

Сбор и хранение данных

Вы погрузитесь в профессию дата-инженера: познакомитесь с понятием базы данных, научитесь использовать SQL, создавать запросы, программировать на Python. Также познакомитесь с открытыми данными, RESTful и SOAP-сервисами, форматами XML и JSON.

Курсы

Основы реляционных баз данных. MySQL
  • Вебинар. Установка окружения. DDL-команды
  • Видеоурок. Управление базами данных. Язык запросов SQL
  • Вебинар. Введение в проектирование баз данных
  • Вебинар. CRUD-операции
  • Видеоурок. Операторы, фильтрация, сортировка и ограничение. Агрегация данных
  • Вебинар. Операторы, фильтрация, сортировка и ограничение. Агрегация данных
  • Видеоурок. Сложные запросы
  • Вебинар. Сложные запросы
  • Видеоурок. Транзакции, переменные, представления. Администрирование. Хранимые процедуры и функции, триггеры
  • Вебинар. Транзакции, переменные, представления. Администрирование. Хранимые процедуры и функции, триггеры
  • Видеоурок. Оптимизация запросов. NoSQL
  • Вебинар. Оптимизация запросов
1 месяц — 12 уроков
18 часов контента, 36 часов практики
Основы Python
  • Знакомство с Python
  • Некоторые встроенные типы и операции с ними
  • Функции. Словари
  • Функции. Словари
  • Генераторы и comprehensions. Множества
  • Работа с файлами
  • Работа с файловой системой. Исключения в Python
  • Регулярные выражения и декораторы в Python
  • Объектно-ориентированное программирование (ООП). Введение
  • Объектно-ориентированное программирование (ООП). Продвинутый уровень
  • Объектно-ориентированное программирование (ООП). Полезные дополнения
1 месяц — 11 уроков
17 часов контента, 34 часа практики
Методы сбора и обработки данных из интернета
  • Основы клиент-серверного взаимодействия. Парсинг API
  • Парсинг HTML. Beautiful Soup, MongoDB
  • Системы управления базами данных MongoDB и SQLite в Python
  • Парсинг HTML. XPath
  • Фреймворк Scrapy
  • Scrapy. Парсинг фото и файлов
  • Selenium в Python
  • Работа с данными
1 месяц — 8 уроков
12 часов контента, 24 часа практики

Проект

Разработка собственного парсера

II четверть

Построение хранилищ данных для систем аналитики

Познакомитесь с реляционными и нереляционными базами данных, узнаете, как строить хранилища данных и выбирать архитектуры под конкретную задачу.

Курсы

Построение хранилища данных и основы ETL-процессов
  • Введение
  • Архитектура хранилищ
  • Проектирование хранилища, часть 1:
  • Проектирование хранилища, часть 2:
  • Создание ETL-процесса, часть 1:
  • Создание ETL-процесса, часть 2:
  • Управление качеством данных
  • Курсовой проект
1 месяц — 8 уроков
12 часов контента, 24 часа практики
Технологии OLAP + BI
  • Почему OLAP. Готовим ETL и DWH
  • Многомерное хранилище. Работа с измерениями
  • Создание мер. Процессинг и его оптимизация
  • Работа в MDX. Автопроцессинг
  • Подключение BI-системы
1 месяц — 4 урока
13 часов контента, 27 часов практики
Введение в NoSQL баз данных. Tarantool
  • Подходы к организации NoSQL данных
  • Redis
  • MongoDB. Часть 1
  • MongoDB. Часть 2
  • MongoDB. Часть 3
  • Tarantool. Часть 1
  • Tarantool. Часть 2

1 месяц — 7 уроков
14 часов контента, 12 часов практики

Проект

Хранилище для BI-системы

III четверть

Распределенные базы данных

В данной четверти вы познакомитесь с инструментами обработки больших массивов данных, в первую очередь с инструментами экосистемы Hadoop: HDFS, Yarn, Hive, Hue, Flume, Cassandra и другими. Вы освоите возможности фреймворка Apache Spark для распределённой обработки неструктурированных и слабоструктурированных данных. В конце четверти познакомитесь с популярным инструментом Apache Airflow для планирования и мониторинга пакетных процессов работы с большими данными.

Курсы

Big Data. Экосистема Hadoop
  • Введение в Hadoop
  • HDFS
  • YARN, MR
  • Hive, HUE
  • Форматы хранения
  • ETL
  • NoSQL
  • DWH
1 месяц — 8 уроков
12 часов контента, 24 часа практики
Big Data. Фреймворк Apache Spark
  • Архитектура Spark. Принципы исполнения запросов. Сохранение и чтение данных
  • Операции с данными: агрегаты, джойны. Оптимизация SQL-запросов
  • Типы данных в Spark. Коллекции как объекты DataFrame. User-defined Functions
  • Машинное обучение на PySpark на примере линейной регрессии
1 месяц — 4 урока
6 часов контента, 12 часов практики
Настройка потоков данных. Apache Airflow
  1. Планирование задач. Введение Apache AirFlow
  2. Установка Airflow. Создание и основные параметры DAG
  3. Разработка потоков данных
  4. Airflow в production. Примеры реальных задач

1 месяц — 4 урока
8 часов контента, 18 часов практики

Проект

Полноценный ETL-пайплайн с использованием инструментов работы с большими данными

IV четверть

Real-time обработка данных и инфраструктура

В последней четверти вы освоите потоковую обработку данных с использованием инструментов Kafka и Spark Streaming. Также освоите практики DevOps, необходимые для работы дата-инженером.

Курсы

Потоковая обработка данных
  • Архитектура Kafka, Kafka Workflow
  • Kafka Producer и Kafka Consumer
  • Kafka Broadcasting and Groups
  • Kafka Stream
  • Processor API
  • Динамические запросы в Apache Kafka
1 месяц — 8 уроков
9 часов контента, 18 часов практики
Микросервисная архитектура и контейнеризация
  • Микросервисы и контейнеры
  • Docker
  • Введение в Kubernetes
  • Хранение данных и ресурсы
  • Сетевые абстракции Kubernetes
  • Устройство кластера
  • Продвинутые абстракции
  • Деплой тестового приложения в кластер, CI/CD
1 месяц — 8 уроков
12 часов контента, 24 часов практики

Проект

Потоковый сервис для оценки кредитоспособности клиентов банка с использованием машинного обучения

Курсы вне четверти

Предметы с индивидуальным выбором даты старта

Курсы вне четверти являются частью основной программы обучения и обязательны к прохождению. Вы можете формировать часть расписания самостоятельно и регулировать интенсивность обучения. На прохождение этих предметов у вас есть 2.5 года с момента покупки обучения в GeekUniversity. Проходите параллельно с четвертями или после года обучения.

Курсы

Подготовка данных для ML Applications
  • Введение в машинное обучение
  • Построение ML-модели, часть 1:
  • Построение ML-модели, часть 2:
  • Подготовка данных для разных задач
1 месяц – 4 урока
6 часов контента, 12 часов практики
Linux. Рабочая станция
  • Введение. Установка ОС
  • Настройка и знакомство с интерфейсом командной строки
  • Пользователи. Управление пользователями и группами
  • Загрузка ОС и процессы
  • Устройство файловой системы Linux. Понятия файла и каталога
  • Введение в скрипты Bash. Планировщики задач crontab и at
  • Управление пакетами и репозиториями. Основы сетевой безопасности
  • Введение в Docker
1 месяц — 8 уроков
12 часов контента, 24 часа практики

Получите программу курса на email

Нажимая на кнопку, вы даете согласие на обработку своих персональных данных в соответствии с политикой конфиденциальности.
Спасибо!
Программа отправлена на вашу почту.
Oops! Something went wrong while submitting the form.

Освойте современные технологии и компетенции Data Engineering

Python
Jupyter
SQL
DDL
NoSQL
Linux
CLI
HTML
HTTP
REST API
Hadoop
Map Reduce
Hive
HBase
Hue
Apache Spark
PySpark
Spark Streaming
Kafka
Airflow
MongoDB
Cassandra
HDFS
RDBMS
DevOps
Gitlab
CI/CD
Docker
Kubernetes
Machine Learning
Разработка, поддержка и оптимизация пайплайнов обработки данных и машинного обучения на Python и Spark
Проработка архитектуры разрабатываемых решений
Опыт проектирования аналитических систем хранения и обработки больших данных
Знание принципов работы БД (SQL/noSQL) и методологий моделирования
Опыт работы с Airflow и другими инструментами для запуска регулярных задач
Опыт с Devops (Docker, Kubernetes) инструментами
Понимание принципов машинного обучения и подготовки данных для ML-приложений
Опыт работы с ОС Linux
Сбор процессов очистки и валидации данных
Опыт работы с ETL-инструментами и сервисами
Опыт работы с пакетной и потоковой выгрузкой данных в аналитическое хранилище
Разработка витрин данных для бизнес-пользователей аналитики
Опыт работы с Hadoop кластером и HDFS, мониторинг своих приложений

Вы получите диплом о профессиональной переподготовке

Вы получаете электронный сертификат и диплом о профессиональной переподготовке, их можно приложить к портфолио и показать работодателю. Обучение проводим на основании гослицензии № 040485.

Диплом Data Engineering

Истории успеха

Истории успеха GeekBrains
«Зарабатываю в 2,5 раза больше, чем раньше»
Алексей Старцев
Читать подробнее
Истории успеха GeekBrains
«Развиваю бизнес с помощью искусственного интеллекта»
Ярослав Стеценко
Читать подробнее
Истории успеха GeekBrains
«Прогнозирую спрос с помощью Data Science»
Константин Воронков
Читать подробнее
Истории успеха GeekBrains
«Мир меняется всё быстрее, нужно соответствовать реалиям»
Александр Вайншток
Читать подробнее

Мы дарим подарки всем студентам

Дарим 7 видеокурсов
Прививка от безработицы!
Дарим  7  видеокурсов стоимостью более 100 000 ₽!
Предложение не является офертой, подробности акции по ссылке

Удобная рассрочка до 36 месяцев

Если удобнее платить за учёбу постепенно — возьмите рассрочку без переплат от нашего надёжного банка-партнёра.
Полгода обучения бесплатно — первый платеж через 6 месяцев!
Цена сегодня
7 084₽/месяц
Цена без скидки
8500 ₽/месяц
Сэкономьте еще 13%
Вы можете вернуть 13% стоимости через налоговый вычет. Оставьте заявку и спросите об этом менеджера.

Записаться на курс и получить бесплатную карьерную консультацию

Начало занятий: 28 июня

Бесплатный звонок по России 8 800 700-68-41
Отправляя заявку,  вы принимаете условия договора-оферты и даете согласие на обработку своих персональных данных в соответствии с политикой конфиденциальности.
Спасибо! 
Ваша заявка принята. Наш менеджер свяжется с вами в ближайшее время.
Упс! Что-то пошло не так
Скидка до
-40%
до 31 мая

Часто задаваемые вопросы

Как проходит обучение?

Уроки проходят в формате online-трансляций, несколько раз в неделю в вечернее время по Москве. Преподаватель объясняет темы, все его действия отображаются на экране. Студенты задают вопросы и обсуждают материал в чате. В конце каждого урока студенты получают практические задания. Преподаватель оценивает их и обсуждает плюсы и минусы на следующем занятии. Некоторые курсы будут представлены в виде заранее записанных видеолекций.

Что делать, если я не могу учиться онлайн?

Для тех, кто не смог вовремя присутствовать на уроке, мы записываем каждое занятие. Видеозаписи всегда доступны в разделе обучения. Также к каждому уроку мы разработали методички, с помощью которых можно лучше подготовиться к занятиям и получить дополнительные знания.

Можно ли делать перерывы в обучении?

Между курсами можно делать перерывы и регулировать интенсивность своего развития по мере усвоения знаний. Мы рекомендуем не записываться на все курсы сразу, а проходить их последовательно и работать на результат.

Кто преподаёт в GeekBrains?

Преподавать в GeekBrains могут только специалисты с большим опытом реализации проектов. Мы проводим жёсткий отбор кандидатов с помощью программ аттестации и внутреннего обучения. Студенты оценивают уровень преподавателя и качество программы по пятибалльной шкале. Таким образом, мы улучшаем образовательный процесс ежедневно.

Помогаете ли вы с трудоустройством?

Мы помогаем с трудоустройством студентам, которые показывали хорошую успеваемость на протяжении обучения и подали заявку в сервис трудоустройства. Далее вместе с HR-специалистами GeekBrains вы создадите CV и будете рассматривать предложенные нами позиции, самостоятельно откликаться на вакансии и участвовать в поиске идеального места работы. Вместе мы сделаем все, чтобы вы начали строить карьеру и расти профессионально.

Что делать, если у меня проблема или срочный вопрос?

Если вы являетесь студентом платных курсов и у вас возникли вопросы, связанные с образовательным процессом, свяжитесь с нами: sales@geekbrains.ru или 8-800-700-68-41 (звонок бесплатный). По остальным вопросам пишите нам на support@geekbrains.ru.

Какой требуется опыт для обучения?

Наши образовательные программы ориентированы на тех, кто хочет с нуля освоить профессиональные навыки. Для обучения начальной подготовки или базовых знаний не требуется.

Какие минимальные требования к оборудованию и программному обеспечению?

Для учебы вам необходим компьютер с двухъядерным (желательно четырехъядерным) процессором с частотой 1.8 ГГц и выше, и оперативной памятью от 2 Гб (в идеале 4Гб). На нем должна быть установлена любая современная операционная система и настроенная в зависимости от языка программирования среда разработки: для Java — установленный JDK и любая привычная IDE, для Python — установленный интерпретатор с python.org и любая привычная IDE.