• Востребованная профессия

Факультет
Data Engineering

Вы научитесь собирать и обрабатывать данные, проектировать хранилища и работать с инфраструктурой. Повысьте квалификацию и уровень дохода вместе с GeekBrains.

  • Диплом о профессиональной переподготовке
  • Государственная образовательная лицензия
в месяц от в месяц Россия ...список стран и валют Россия Беларусь Китай Казахстан Украина Молдова Армения Кыргызстан Узбекистан При рассрочке до 36 месяцев Подробнее о тарифах и офисах в вашей стране
  • РАЗНЫЕ ФОРМАТЫ ОБУЧЕНИЯ
    • Занятия в группе с преподавателем
    • Онлайн-лекции и вебинары
    • Видеозаписи занятий
  • ДЛИТЕЛЬНОСТЬ12
    2 занятия в неделю
  • РЕЗУЛЬТАТДиплом
    о профессиональной
    переподготовке
  • ПОМОЩЬТрудоустройство
    после обучения

Оставьте заявку

Начало обучения:
Старт потока каждые 2 недели

Отправляя заявку, вы принимаете условия договора-оферты и даете согласие на обработку своих персональных данных в соответствии с политикой конфиденциальности.

Получите свой грант10 000 ₽на обучение

Для вас согласован подарок, с помощью которого можно уменьшить стоимость программы. Узнайте все подробности у менеджера.

Получить грант

Зарабатывайте в любых условиях

Получайте заказы на фрилансе или удалёнке
Стройте карьеру в компании или стартапе
Развивайте свой бизнес
Дата-инженеры востребованы на рынке
По данным сайта hh.ru, освоив Data Engineering, вы будете претендовать на более высокую зарплату и на большее количество вакансий.
90 000 ₽
Зарплата в месяц
8% от всех
Доступных вакансий на hh.ru
130 000 ₽
Зарплата в месяц
40% от всех
Доступных вакансий на hh.ru

Освойте Data Engineering с нуля

Студент-наставник
Во время обучения вам может понадобиться поддержка и помощь с домашним заданием. Вашим наставником станет выпускник или студент, который получил такой же опыт обучения на курсе и успешно справился со всеми практическими работами.
Командная работа
Сопровождаем на всех этапах
Менеджеры GeekBrains помогают записаться на курс, освоиться в личном кабинете и решить технические проблемы. Если попалось сложное задание, можете обратиться за помощью к личному наставнику.
Опытные преподаватели
Куратор
Поможет вам освоиться в личном кабинете, в процессе обучения всегда будет на связи и поможет найти ответы на вопросы.
Реальные кейсы
Постоянно обновляем программу
Вы получаете актуальные навыки и знания: программа учитывает требования работодателей по компетенциям дата-инженера.
Доступ к сообществу GeekBrains
Вы найдёте полезные контакты и единомышленников в вашем городе, сможете делиться опытом в базе знаний GeekBrains. Будете посещать закрытые митапы, хакатоны и другие онлайн- и офлайн-мероприятия как слушатели и спикеры.
Даём обратную связь
Обучение на 70% состоит из вебинаров: преподаватели разбирают практические задания, отвечают на вопросы и делятся кейсами. Все вебинары можно пересмотреть в записи. 

Вас будут обучать топовые эксперты

Программа обучения

Наша программа одна из самых объёмных и содержательных. В то же время её легко понять, потому что знания даются постепенно: от базы к продвинутым инструментам.

141

часов обучающего контента

279

часов практики

2-3

вебинара в неделю

Подготовительный блок

Мы рекомендуем пройти подготовительные курсы, чтобы закрыть возможные пробелы в знаниях.
Курсы
Git. Базовый курс
  • Введение в Git
  • Установка и настройка Git
  • Основные команды терминала
  • Работа с репозиториями в Git
  • Управление файлами репозитория
  • История изменений
  • Работа с ветками репозитория
  • Публикация репозитория
  • Слияния веток
  • Управление версиями
  • Создание pull-request
  • Сложные операции
  • Работа с Fork-репозиториями
13 видео-уроков
2 часа обучающего контента
I четверть

Сбор и хранение данных

Вы погрузитесь в профессию дата-инженера: познакомитесь с понятием базы данных, научитесь использовать SQL, создавать запросы, программировать на Python. Также познакомитесь с открытыми данными, RESTful и SOAP-сервисами, форматами XML и JSON.
Курсы
Основы реляционных баз данных. MySQL
  • Вебинар. Установка окружения. DDL-команды
  • Видеоурок. Управление базами данных. Язык запросов SQL
  • Вебинар. Введение в проектирование баз данных
  • Вебинар. CRUD-операции
  • Видеоурок. Операторы, фильтрация, сортировка и ограничение. Агрегация данных
  • Вебинар. Операторы, фильтрация, сортировка и ограничение. Агрегация данных
  • Видеоурок. Сложные запросы
  • Вебинар. Сложные запросы
  • Видеоурок. Транзакции, переменные, представления. Администрирование. Хранимые процедуры и функции, триггеры
  • Вебинар. Транзакции, переменные, представления. Администрирование. Хранимые процедуры и функции, триггеры
  • Видеоурок. Оптимизация запросов. NoSQL
  • Вебинар. Оптимизация запросов
1 месяц — 12 уроков
18 часов контента, 36 часов практики
Основы Python
  • Знакомство с Python
  • Некоторые встроенные типы и операции с ними
  • Функции. Словари
  • Функции. Словари
  • Генераторы и comprehensions. Множества
  • Работа с файлами
  • Работа с файловой системой. Исключения в Python
  • Регулярные выражения и декораторы в Python
  • Объектно-ориентированное программирование (ООП). Введение
  • Объектно-ориентированное программирование (ООП). Продвинутый уровень
  • Объектно-ориентированное программирование (ООП). Полезные дополнения
1 месяц — 11 уроков
17 часов контента, 34 часа практики
Методы сбора и обработки данных из интернета
  • Основы клиент-серверного взаимодействия. Парсинг API
  • Парсинг HTML. Beautiful Soup, MongoDB
  • Системы управления базами данных MongoDB и SQLite в Python
  • Парсинг HTML. XPath
  • Фреймворк Scrapy
  • Scrapy. Парсинг фото и файлов
  • Selenium в Python
  • Работа с данными
1 месяц — 8 уроков
12 часов контента, 24 часа практики

Проект

  • Разработка собственного парсера
II четверть

Построение хранилищ данных для систем аналитики

Познакомитесь с реляционными и нереляционными базами данных, узнаете, как строить хранилища данных и выбирать архитектуры под конкретную задачу.
Курсы
Построение хранилища данных и основы ETL-процессов
  • Введение
  • Архитектура хранилищ
  • Проектирование хранилища, часть 1
  • Проектирование хранилища, часть 2
  • Создание ETL-процесса, часть 1
  • Создание ETL-процесса, часть 2
  • Управление качеством данных
  • Курсовой проект
1 месяц — 8 уроков
12 часов контента, 24 часа практики
Технологии OLAP + BI
  • Почему OLAP. Готовим ETL и DWH
  • Многомерное хранилище. Работа с измерениями
  • Создание мер. Процессинг и его оптимизация
  • Работа в MDX. Автопроцессинг
  • Подключение BI-системы
1 месяц — 4 урока
13 часов контента, 27 часов практики
Введение в NoSQL баз данных. Tarantool
  • Подходы к организации NoSQL данных
  • Redis
  • MongoDB. Часть 1
  • MongoDB. Часть 2
  • MongoDB. Часть 3
  • Tarantool. Часть 1
  • Tarantool. Часть 2
1 месяц — 7 уроков
14 часов контента, 12 часов практики

Проект

  • Хранилище для BI-системы
III четверть

Распределенные базы данных

В данной четверти вы познакомитесь с инструментами обработки больших массивов данных, в первую очередь с инструментами экосистемы Hadoop: HDFS, Yarn, Hive, Hue, Flume, Cassandra и другими. Вы освоите возможности фреймворка Apache Spark для распределённой обработки неструктурированных и слабоструктурированных данных. В конце четверти познакомитесь с популярным инструментом Apache Airflow для планирования и мониторинга пакетных процессов работы с большими данными.
Курсы
Big Data. Экосистема Hadoop
  • Введение в Hadoop
  • HDFS
  • YARN, MR
  • Hive, HUE
  • Форматы хранения
  • ETL
  • NoSQL
  • DWH
1 месяц – 8 уроков
12 часов контента, 24 часа практики
Big Data. Фреймворк Apache Spark
  • Архитектура Spark. Принципы исполнения запросов. Сохранение и чтение данных
  • Операции с данными: агрегаты, джойны. Оптимизация SQL-запросов
  • Типы данных в Spark. Коллекции как объекты DataFrame. User-defined Functions
  • Машинное обучение на PySpark на примере линейной регрессии
1 месяц — 4 урока
6 часов контента, 12 часов практики
Настройка потоков данных. Apache Airflow
  • Планирование задач. Введение Apache AirFlow
  • Установка Airflow. Создание и основные параметры DAG
  • Разработка потоков данных
  • Airflow в production. Примеры реальных задач
1 месяц — 4 урока
8 часов контента, 18 часов практики

Проект

  • Полноценный ETL-пайплайн с использованием инструментов работы с большими данными
IV четверть

Real-time обработка данных и инфраструктура

В последней четверти вы освоите потоковую обработку данных с использованием инструментов Kafka и Spark Streaming. Также освоите практики DevOps, необходимые для работы дата-инженером.
Курсы
Потоковая обработка данных
  • Архитектура Kafka, Kafka Workflow
  • Kafka Producer и Kafka Consumer
  • Kafka Broadcasting and Groups
  • Kafka Stream
  • Processor API
  • Динамические запросы в Apache Kafka
1 месяц — 8 уроков
9 часов контента, 18 часов практики
Микросервисная архитектура и контейнеризация
  • Микросервисы и контейнеры
  • Docker
  • Введение в Kubernetes
  • Хранение данных и ресурсы
  • Сетевые абстракции Kubernetes
  • Устройство кластера
  • Продвинутые абстракции
  • Деплой тестового приложения в кластер, CI/CD
1 месяц — 8 уроков
12 часов контента, 24 часов практики

Проекты

  • Потоковый сервис для оценки кредитоспособности клиентов банка с использованием машинного обучения
Курсы вне четверти

Предметы с индивидуальным выбором даты старта

Курсы вне четверти являются частью основной программы обучения и обязательны к прохождению. Вы можете формировать часть расписания самостоятельно и регулировать интенсивность обучения. На прохождение этих предметов у вас есть 2.5 года с момента покупки обучения в GeekUniversity. Проходите параллельно с четвертями или после года обучения.
Курсы
JVM в экосистеме Hadoop
  • JVM & Apache Hadoop
  • Введение в Scala
  • Spark Core DSL
  • Spark Core техники
  • Преобразование структурированных данных в Spark SQL
  • Потоковая обработка данных Spark Streaming
  • Введение в машинное обучение на Spark ML
  • Интерактивный анализ данных в Apache Zeppelin
1 месяц – 8 уроков
16 часов контента, 8 часов практики
Linux. Рабочая станция
  • Введение. Установка ОС
  • Настройка и знакомство с интерфейсом командной строки
  • Пользователи. Управление пользователями и группами
  • Загрузка ОС и процессы
  • Устройство файловой системы Linux. Понятия файла и каталога
  • Введение в скрипты Bash. Планировщики задач crontab и at
  • Управление пакетами и репозиториями. Основы сетевой безопасности
  • Введение в Docker
1 месяц — 8 уроков
12 часов контента, 24 часа практики
Открыть всю программу

Получите программу курса на email

Нажимая на кнопку, вы даете согласие на обработку своих персональных данных в соответствии с политикой конфиденциальности.
Спасибо! Ваша заявка принята.
Мы уже выслали программу курса на вашу почту.
Oops! Something went wrong while submitting the form.

Освойте современные технологии и компетенции Data Engineering

Python
Jupyter
SQL
DDL
NoSQL
Linux
CLI
HTML
HTTP
REST API
Hadoop
Map Reduce
Hive
HBase
Hue
Apache Spark
PySpark
Spark Streaming
Kafka
Airflow
MongoDB
Cassandra
HDFS
RDBMS
DevOps
Gitlab
CI/CD
Docker
Kubernetes
Machine Learning
Разработка, поддержка и оптимизация пайплайнов обработки данных и машинного обучения на Python и Spark
Проработка архитектуры разрабатываемых решений
Опыт проектирования аналитических систем хранения и обработки больших данных
Знание принципов работы БД (SQL/noSQL) и методологий моделирования
Опыт работы с Airflow и другими инструментами для запуска регулярных задач
Опыт с Devops (Docker, Kubernetes) инструментами
Понимание принципов машинного обучения и подготовки данных для ML-приложений
Опыт работы с ОС Linux
Сбор процессов очистки и валидации данных
Опыт работы с ETL-инструментами и сервисами
Опыт работы с пакетной и потоковой выгрузкой данных в аналитическое хранилище
Разработка витрин данных для бизнес-пользователей аналитики
Опыт работы с Hadoop кластером и HDFS, мониторинг своих приложений

Вы получите диплом о профессиональной переподготовке

Мы проводим обучение на основании государственной лицензии № 040485. Вы получите диплом о профессиональной переподготовке и электронный сертификат, которые можно добавить в портфолио и показать работодателю.

Мы дарим подарки всем студентам

Изучение английского языка с Kespa
3 месяца к Premium подписке
Английский для
IT-специалистов
Видеокурс
Ключ от продуктов
JetBrains
Бесплатная подписка

Почему студенты
выбирают GeekBrains

GeekBrains ― лидирующая образовательная онлайн-платформа для специалистов в IT и диджитал. Обучаем с нуля востребованным специальностям и профессиям.
11 лет
обучаем востребованным
профессиям
2,7 млн
пользователей
312 000
активных студентов
2 800
преподавателей
и наставников
965 000
человек построили
карьеру с нами
Программы обучения
современным профессиям
Готовим специалистов актуальных профессий и для разных областей: учим как веб-разработке, так и машинному обучению или созданию искусственного интеллекта.
База знаний
В распоряжении студентов есть онлайн-библиотека с видеоуроками, учебными статьями и подкастами. Учится можно где угодно с помощью ноутбука, планшета или смартфона.
Бесплатные мероприятия
и онлайн-марафоны
Получите ответы на сложные вопросы про переход в IT и трудоустройство, выберите для себя одну из ключевых специализаций в IT и получите гайд для создания карьеры с нуля.
Коммьюнити
Наша платформа объединяет крупнейшее сообщество IT-специалистов: практикующих экспертов, работодателей и людей, которые осваивают новые профессии.
Государственная лицензия ДПО № 040485
Проводим обучение на основании государственной лицензии от 3 декабря 2019 года на право оказывать услуги по дополнительному профессиональному образованию и дополнительному образованию детей и взрослых.
Посмотрите лицензию и приложение
1,1 Мб
После успешного прохождения выпускных испытаний студенты получают документ, подтверждающий уровень их компетенций
Наши выпускники работают и стажируются в компаниях
Что о нас говорят и пишут
Жанара Абидова
46 лет, Юрмала
Лингвист-переводчик
Студент программы «Разработчик»
Цель обучения
найти себя, освоить новую перспективную профессию
Цель по доходу
80 000 ₽
Карьерные ожидания
стать аналитиком или продакт-менеджером
Выход на работу
планирует начать работу через 11 месяцев
Программа нравится. Преподаватель Ильнар Шафигуллин — прекрасный оратор. Все логично, без воды, прекрасная дикция и чувство юмора. Материалы в лекциях хорошо структурированы, презентации продуманы. Семинары дают полезную отработку полученных знаний. Преподаватель Денис Карпенко проводит их в виде квизов, теория легко усваивается
Анастасия Зубковских
23 года, Челябинск
Бариста, фрилансер-таргетолог
Студент программы «Разработчик»
Цель обучения
найти себя, освоить новую перспективную профессию
Цель по доходу
80 000 ₽
Карьерные ожидания
стать аналитиком или продакт-менеджером
Выход на работу
планирует начать работу через 11 месяцев
Раньше даже представить не могла, что получится решать задачи и писать код, на деле это оказалось не так уж страшно. Чувствую в себе потенциал! Нравится постепенное нарастание сложности материала. Здорово, что можно отработать новые знания на практике с преподавателем в режиме реального времени. Преподаватели все  подробно разжевывают, стараются помочь даже вне семинаров.
Жанара Абидова
46 лет, Юрмала
Лингвист-переводчик
Студент программы «Разработчик»
Программа нравится. Преподаватель Ильнар Шафигуллин — прекрасный оратор. Все логично, без воды, прекрасная дикция и чувство юмора. Материалы в лекциях хорошо структурированы, презентации продуманы. Семинары дают полезную отработку полученных знаний. Преподаватель Денис Карпенко проводит их в виде квизов, теория легко усваивается
Анастасия Зубковских
23 года, Челябинск
Бариста, фрилансер-таргетолог
Студент программы «Разработчик»
Раньше даже представить не могла, что получится решать задачи и писать код, на деле это оказалось не так уж страшно. Чувствую в себе потенциал! Нравится постепенное нарастание сложности материала. Здорово, что можно отработать новые знания на практике с преподавателем в режиме реального времени. Преподаватели все  подробно разжевывают, стараются помочь даже вне семинаров.
Название СМИ
Автор:
Программа нравится. Преподаватель Ильнар Шафигуллин — прекрасный оратор. Все логично, без воды, прекрасная дикция и чувство юмора. Материалы в лекциях хорошо структурированы, презентации продуманы. Семинары дают полезную отработку полученных знаний. Преподаватель Денис Карпенко проводит их в виде квизов, теория легко усваивается
Читать подробнее
Название СМИ
Автор:
Раньше даже представить не могла, что получится решать задачи и писать код, на деле это оказалось не так уж страшно. Чувствую в себе потенциал! Нравится постепенное нарастание сложности материала. Здорово, что можно отработать новые знания на практике с преподавателем в режиме реального времени. Преподаватели все  подробно разжевывают, стараются помочь даже вне семинаров.
Читать подробнее
Название награды
Год награждения:
Читать подробнее
Название награды
Год награждения:
Читать подробнее

Выберите пакет обучения

В зависимости от ваших целей и амбиций выберите комбинированное предложение по обучению. Длительность программы, учебный план и набор технологий зависят от пакетов.

В любом пакете уже включено:

Диплом о профессиональной переподготовке

Государственная образовательная лицензия

Гарантия трудоустройства

Доступ к дополнительными курсам GeekBrains  на ограниченное время

Выгода 20% при единовременной оплате

Intern
IT-Специалист

IT-Специалист

от  ₽
от  ₽
в месяц при рассрочке до 36 месяцев
Уровень навыков и профессионализма
Уровень знаний после обучения
Intern
Длительность обучения
6 мес
Доход после обучения
от 60 000 ₽
Выбрать
Выбрано
Junior
.

Специалист

от  ₽
от  ₽
в месяц при рассрочке до 36 месяцев
Уровень навыков и профессионализма
Уровень знаний после обучения
Junior
Длительность обучения
12 мес
Доход после обучения
от 80 000 ₽
Потенциальный доход через 3 года
от 120 000 ₽
Выбрать
Выбрано
Junior
.

Разработчик

от  ₽
от  ₽
в месяц при рассрочке до 36 месяцев
Уровень навыков и профессионализма
Уровень знаний после обучения
Junior
Длительность обучения
12 мес
Доход после обучения
от 80 000 ₽
Потенциальный доход через 3 года
от 150 000 ₽
+ Бизнес акселератор
+ Технологическая специализация
Выбрать
Выбрано
Middle
Диджитал-мастер

Digital-master

от  ₽
от  ₽
в месяц при рассрочке до 36 месяцев
Уровень навыков и профессионализма
Уровень знаний после обучения
Middle
Длительность обучения
24 мес
Доход после обучения
от 80 000 ₽
Потенциальный доход через 3 года
от 200 000 ₽
Спецпрограмма для Digital-мастеров
+ Бизнес акселератор
+ Технологическая специализация
Выбрать
Выбрано
Middle+
Гик

Geek

от  ₽
от  ₽
в месяц при рассрочке до 36 месяцев
Уровень навыков и профессионализма
Уровень знаний после обучения
Middle+
Длительность обучения
36 мес
Доход после обучения
от 80 000 ₽
Потенциальный доход через 3 года
от 250 000 ₽
Спецпрограмма для Geek’ов
+ Бизнес акселератор
+ Технологическая специализация
+ Отраслевая специализация
Выбрать
Выбрано

Дополнительная информация

Направьте материнский капитал на образование любого из детей.

Оформите налоговый вычет и верните 13 % от стоимости обучения.

Используйте материнский капитал

Получите налоговый вычет — 13%

  • Востребованная профессия

Факультет
Data Engineering

Вы научитесь собирать и обрабатывать данные, проектировать хранилища и работать с инфраструктурой. Повысьте квалификацию и уровень дохода вместе с GeekBrains.

в месяц от в месяц Россия ...список стран и валют Россия Беларусь Китай Казахстан Украина Молдова Армения Кыргызстан Узбекистан При рассрочке до 36 месяцев Подробнее о тарифах и офисах в вашей стране
  • ОСНОВНАЯ ИНФОРМАЦИЯ
    • Длительность 12
    • 2 занятия в неделю
    • Помощь в трудоустройстве
    • Диплом после обучения
  • РАЗНЫЕ ФОРМАТЫ ОБУЧЕНИЯ
    • Занятие в группе с преподавателем
    • Видеоуроки и вебинары
    • Видеозаписи занятий
    • Домашние задания
    • Практические задания
    • Онлайн-встречи с экспертами
    • Личные консультации
  • Диплом о профессиональной переподготовке
  • Государственная образовательная лицензия

Оставьте заявку

Начало обучения:
Старт потока каждые 2 недели

Отправляя заявку, вы принимаете условия договора-оферты и даете согласие на обработку своих персональных данных в соответствии с политикой конфиденциальности.

Часто задаваемые вопросы

Как проходит обучение?
Уроки проходят в формате online-трансляций, несколько раз в неделю в вечернее время по Москве. Преподаватель объясняет темы, все его действия отображаются на экране. Студенты задают вопросы и обсуждают материал в чате. В конце каждого урока студенты получают практические задания. Преподаватель оценивает их и обсуждает плюсы и минусы на следующем занятии.
Что делать, если я не могу учиться онлайн?
Для тех, кто не смог вовремя присутствовать на уроке, мы записываем каждое занятие. Видеозаписи всегда доступны в разделе обучения. Также к каждому уроку мы разработали методички, с помощью которых можно лучше подготовиться к занятиям и получить дополнительные знания.
Кто преподаёт в GeekBrains?
Между курсами можно делать перерывы и регулировать интенсивность своего развития по мере усвоения знаний. Мы рекомендуем не записываться на все курсы сразу, а проходить их последовательно и работать на результат.
Помогаете ли вы с трудоустройством?
Мы помогаем с трудоустройством студентам, которые показывали хорошую успеваемость на протяжении обучения и подали заявку в сервис трудоустройства. Далее вместе с HR-специалистами GeekBrains вы создадите CV и будете рассматривать предложенные нами позиции, самостоятельно откликаться на вакансии и участвовать в поиске идеального места работы. Вместе мы сделаем все, чтобы вы начали строить карьеру и расти профессионально.
Что делать, если у меня проблема или срочный вопрос?
Если вы являетесь студентом платных курсов и у вас возникли вопросы, связанные с образовательным процессом, свяжитесь с нами: sales@geekbrains.ru или 8-800-700-68-41 (звонок бесплатный). По остальным вопросам пишите нам на support@geekbrains.ru
Какой требуется опыт для обучения?
Наши образовательные программы ориентированы на тех, кто хочет с нуля освоить профессиональные навыки. Для обучения начальной подготовки или базовых знаний не требуется.
Какие минимальные требования к оборудованию и программному обеспечению?
Перед прохождением курса посмотрите в интернете инструкцию, как узнать технические характеристики вашего компьютера. Для учебы необходим компьютер с центральным процессором Intel i5-4590 или выше, который поддерживает набор инструкций SSE2, с оперативной памятью от 8 Гб. Также необходима видеокарта с поддержкой DirectX10 (версия шейдеров 4.0). Рекомендуется GeForce GTX 650 и выше, или Radeon R9 390/R9 290. Ноутбук и версии для него использовать крайне нежелательно. На компьютере необходимо установить Windows 10, 64-bit. Если у вас Mac, нужна macOS 10.11+. Среда разработки — Microsoft Visual Studio. Но подойдёт любая другая удобная для вас среда — Notepad++ или Microsoft Visual Сode для Mac. Также необходима Unity версии 2019.1 и выше.

Для 4-ой четверти понадобится VR-шлем (аренда/покупка). Без него вы не сможете протестировать свои разработанные проекты.