16 курсов по Data Engineer

Программа обучения

• Научитесь организовывать и обрабатывать информацию, проектировать хранилища и управлять инфраструктурой.
• Повысьте свой уровень профессионализма и заработной платы вместе с GeekBrains.

Кому подходит курс

Всем, кто интересуется работой с данными, в том числе:

• Начинающим аналитикам и разработчикам;
• Практикующим IT-специалистам.

Что вы узнаете

После завершения курса вы сможете:

• Осуществлять обработку различных источников и форматов данных;
• Работать с BigData на распределенных системах;
• Максимизировать ценность извлеченной информации.

Программа обучения

• 141 час обучающего контента;
• 279 часов практики;
• 2-3 вебинара в неделю.

Подготовительный блок

Рекомендуемые курсы для заполнения пробелов в знаниях:

Курсы Git. Базовый курс

• Введение и настройка Git;
• Основные команды терминала;
• Слияния веток и управление версиями.

I четверть

Сбор и хранение данных, включая курсы:

Основы реляционных баз данных MySQL

• Управление базами данных и язык запросов SQL;
• Сложные запросы и оптимизация запросов.

2. Специализации

После прохождения курса вы сможете работать в следующих областях:

• Data Engineer;
• Инженер дата-центра;
• DWH-аналитик;
• Инженер пайплайнов данных для машинного обучения (ML Engineer).

ВШЭ ДИ

Преимущества обучения на курсе:

• Переход в профессию с высоким окладом на малоконкурентном рынке
• Освоение ключевых технологий и превосходство над потребностями рынка
• Набор опыта 2-3 лет самостоятельного погружения в инженерию данных

Целевая аудитория курса:

• IT-специалистам и администраторам систем и сетей
• Backend и Fullstack-разработчикам
• Новичкам, стремящимся в сферу Data Science

Что предстоит изучить:

• Понимание структуры и архитектуры баз данных
• Проектирование схем хранения и выбор data warehouses в зависимости от потребностей бизнеса
• Создание процессов обработки данных
• Работа с основными инструментами для обработки больших данных
• Организация работы с данными в реальном времени
• Развитие навыков data literacy
• Построение рабочего пайплайна в облачной среде

Программа курса включает в себя обучение:

SQL и работе с данными

• Основам и продвинутым методам работы с базами данных
• Работе с PostgreSQL и MongoDB

Data Warehouse

• Классическому хранилищу данных
• BI-решениям и многомерным моделям данных
• Отчетности в реальном времени и современным подходам

Python

• Основам и статистике в Python
• Предобработке данных и выбору признаков

Data Lake & Hadoop

• Основным инструментам обработки больших данных

Работа с потоковыми данными

• Навыкам работы с данными в режиме реального времени

Работа с облачными данными

• Хранением данных в Google Cloud Platform и других облачных провайдерах
• Применением ML для поиска инсайтов в данных

Введение в Data Science и Machine Learning

• Основам машинного обучения, классификации и кластеризации
• Применению нейронных сетей и методов Feature engineering

MLOps

• Работе с DevOps, Docker и мониторингом для обучения ML-моделей
• Деплое ML-моделей

Дипломный проект:

• Разработка и документирование процессов ETL для загрузки данных в хранилище

Основные моменты:

Освоение лучших методов работы с огромными объемами данных: Архитектура, Data Lake, DWH, MLOps!

Почему вам стоит пройти этот курс:

• Понимание ключевых методов интеграции, обработки и хранения больших объемов данных
• Умение работать с компонентами экосистемы Hadoop, распределенными хранилищами и облачными решениями
• Получение практических навыков разработки дата-сервисов, витрин и приложений
• Знание принципов организации мониторинга, оркестрации и тестирования

Курс рассчитан на разработчиков, администраторов баз данных и всех, кто желает повысить свой профессиональный уровень, освоить новые инструменты и решать интересные задачи в области работы с данными.

После прохождения курса Data Engineering вы сможете:

• Разворачивать, настраивать и оптимизировать инструменты обработки данных
• Адаптировать датасеты для дальнейшей работы и аналитики
• Создавать сервисы, использующие результаты обработки больших массивов данных
• Отвечать за архитектуру данных в компании

Реальные кейс-стади:

Примеры внедрения, использования инструментов, оптимизации производительности, проблем, ошибок и прикладных результатов

Высокая практическая направленность:

• Создание работающего продукта в процессе курса
• Разбор вызовов и задач современного бизнеса и роль Инженера Данных в их решении

Знания и навыки:

Необходимые знания:

• Опыт разработки на Java/Python
• Основы работы с базами данных: SQL, индексы, агрегирующие функции
• Базовые знания операционных систем: работа с командной строкой, доступ по SSH

Будет плюсом:

• Навыки работы с Docker
• Знакомство с компонентами экосистемы Hadoop
• Понимание основ машинного обучения с позиции Data Scientist или аналитика

Программа обучения:

Модуль 1. Data Architecture

• Тема 1. Инженер Данных. Задачи, навыки, инструменты, потребность на рынке
• Тема 2. Архитектура аналитических приложений: базовые компоненты и принципы
• И так далее...

По завершении обучения вы получите:

• Основные и дополнительные материалы, видеозаписи занятий
• Образцы кода
• Собственный проект для демонстрации при трудоустройстве
• Сертификат о прохождении обучения

В результате обучения вы:

• Будете иметь представление об основных задачах Инженера Данных, инструментах для их решения
• Научитесь выстраивать пайплайны обработки данных
• Сможете проектировать хранилища данных и обеспечивать доступ для потребителей

Стань мастером обработки, хранения и передачи данных. Получи навыки, которые позволят тебе строить надежные и масштабируемые инфраструктуры для анализа и использования данных, и стань неотъемлемой частью цифровой революции!

Курс "Data Engineering: полный путь от новичка до профессионала"

Проект, подготовленный экспертами из ведущих компаний

• Сбербанк
• Visa
• Wildberries
• Luxoft
• PropellerAds

Рейтинг курса: 4,6 из 5 на основе 14 267 оценок

Преимущества курса:

• Обновлено в июне 2022 года
• 9 проектов для портфолио
• Возможность трудоустройства через 9 месяцев

Кому подойдет этот курс?

Новичкам:

• Изучите Python и SQL с нуля
• Научитесь собирать и анализировать данные
• Добавите решенные кейсы в свое портфолио

Программистам:

• Подтяните навыки работы с SQL
• Пройдете весь путь от сбора данных до деплоя модели
• Сможете легко сменить сферу деятельности

Начинающим аналитикам:

• Изучите все аспекты работы с данными
• Научитесь собирать и анализировать информацию
• Предоставите подготовленные данные для анализа

Чему вы научитесь на курсе?

Использовать инструменты анализа:

• Овладеете языками Python и SQL
• Научитесь работать с библиотеками и фреймворками pandas, airflow, spark

Обрабатывать данные:

• Узнаете, как подключаться к источникам информации
• Сможете очищать, сохранять и интегрировать данные

Тестировать код:

• Поймете, как проводить регрессионное тестирование
• Сможете тестировать пакеты, пайплайны и обрабатывать ошибки

Взаимодействовать с заказчиком:

• Разберетесь, как готовить отчеты и согласовывать инфраструктуру данных
• Сможете предоставить корректные данные заказчику

Развертывать проекты Data Science:

• Поймете, как загружать данные и собирать информацию из разных источников
• Сможете выстраивать пайплайн для проекта

Работать в команде:

• Познакомитесь с git и облачными сервисами для совместной работы
• Сможете эффективно взаимодействовать со всеми участниками процесса

Содержание курса

Вас ждут тематические модули и практика на реальных кейсах

80+ практических работ, 3 итоговых проекта

Уровни курса

Первый уровень: базовая подготовка

• Среднее время прохождения — 5 месяцев
• Введение в Data Science

Второй уровень: введение в дата-инженерию и трудоустройство

• Среднее время прохождения — 4 месяца
• Решение реальных кейсов и итоговый проект

Продвинутый уровень: погружение в профессию

• Среднее время прохождения — 3 месяца
• Data Engineer advanced

Дополнительные курсы

• Основы математики для Data Science
• Основы статистики и теории вероятностей
• Карьера разработчика: трудоустройство и развитие
• Система контроля версий Git
• Английский для IT-специалистов

Data Engineering – Ваш ключ к успешному старту в профессии!

Программа обучения для специалистов по данным

Подтверждается фактом, что за любой инновационной услугой или продуктом всегда стоят данные. Качество принимаемых решений напрямую зависит от качества этих данных, так как "garbage in - garbage out". За качественное сбор данных из различных источников отвечает специалист по данным.

Что включено в программу

• 6 лабораторных работ по lambda-архитектуре и kappa-архитектуре
• Более 10 инструментов, включая Kafka, HDFS, ClickHouse, Spark, Airflow и другие
• 21 занятие с прямыми эфирами и видеозаписями

Для кого предназначена программа обучения

• Специалисты по данным: получите опыт работы с различными инструментами, решая лабораторные работы и задавая вопросы преподавателям-практикам
• Администраторы баз данных: расширьте свой арсенал инструментов, работая с HDFS, ClickHouse, Kafka, ElasticSearch
• Менеджеры: поймите, какие инструменты использовать для эффективного развития продукта или подразделения

Что вы изучите

• Установка: научитесь устанавливать инструменты, указанные в программе
• Настройка: научитесь соединять инструменты друг с другом, формируя пайплайны
• Тюнинг: улучшите быстродействие и отказоустойчивость инструментов и пайплайнов

Проекты в программе

Проект 1: Lambda-архитектура

• Лаба 0: Подготовка - развертывание кластера в облаке и подключение Kafka
• Лаба 1 и суперачивка: Batch-layer - работа с данными на HDFS и ClickHouse
• Лаба 2 и суперачивка: Speed-layer - обработка данных в реальном времени
• Лаба 3 и суперачивка: Service-layer - использование BI-инструментов для аналитических запросов

Проект 2: Kappa-архитектура

• Лаба 4 и суперачивка: Speed-layer - построение модели машинного обучения с использованием Spark ML
• Лаба 5 и суперачивка: Service-layer - подключение BI-инструмента для доступа к сегментам аудитории

Инфраструктура программы обучения

В рамках программы вы будете работать с инструментами, такими как:

• Кластер: каждый участник поднимает свой собственный кластер на GCP
• GitHub: материалы программы доступны в закрытом репозитории на GitHub
• Личный кабинет: проверка лабораторных работ и доступ к видеозаписям занятий
• Slack: общение с преподавателями и участниками программы

Необходимые требования для участия

• Программирование на Python 3: базовые навыки работы с Python 3 необходимы для работы с инструментами программы
• Знание Linux: умение работать в командной строке Linux для работы с кластером
• SQL: знание SQL полезно для работы с Apache Spark и ClickHouse
• Hadoop: опыт работы с Hadoop-кластерами и YARN также будет полезен

Getting Started with Analytics (Data) Engineering

Этот курс рассказывает о моем опыте работы в области инженерии данных на протяжении более 10 лет в различных странах, таких как Россия, Европа, Канада и США. В нем я обозначу ключевые компетенции, которыми должен обладать специалист в этой области.

• Обучение включает в себя основы Business Intelligence инструментов, баз данных, ETL систем, облачных вычислений и многие другие аспекты.
• Первые модули уделяются основам аналитики и классическим задачам, таким как Business Intelligence, SQL, Excel и интеграция данных.
• Программа также предназначена для тех, у кого нет опыта работы с данными, поэтому начинающие могут легко вникнуть в тему.
• В дальнейших модулях курса мы перейдем к более специализированным темам и начнем изучение работы инженера данных.

Getting Started with Machine Learning and Data Science (ML-101)

Этот курс, разработанный Анастасией Риццо, представляет собой введение в теорию машинного обучения и науки о данных с использованием понятных объяснений и практических кейсов из реальной жизни.

• Первый модуль посвящен теории машинного обучения и науки о данных.
• Второй модуль охватывает тему регрессии как в теории, так и на практике.
• Третий модуль сосредотачивается на классификации с двумя практическими кейсами.
• Этот курс позволяет студентам попробовать себя в роли специалиста по аналитике данных и особенно подходит тем, кто хочет погрузиться в эту тему, но не знает, с чего начать.

Поиск работы для аналитических специальностей в России и за рубежом

Анастасия Дробышева, профессиональный консультант по рынку труда, представляет этот курс, включающий в себя 5 модулей, описывающий процесс поиска работы для аналитических специальностей.

• Анастасия обладает более чем 10-летним опытом работы и специализируется на IT, digital, internet и e-commerce рынках.
• Курс предоставляет инструменты для самостоятельного поиска работы в любой стране.

Аналитическое Комьюнити для Женщин

Помимо основных курсов, я призываю заинтересованных девушек присоединиться к развитию аналитического сообщества для женщин. Мне кажется, что русскоязычному сообществу не хватает подобных инициатив, которые широко распространены на Западе. Будет здорово иметь такое пространство, где женщины могут изучать аналитику и технологии в комфортной обстановке, на своем темпе. Я готов предоставить помощь с контентом, чтобы данное сообщество могло развиваться и процветать.

• IBM Data Engineering by IBM
• Data Engineering Foundations by IBM
• Data Engineering, Big Data, and Machine Learning on GCP by Google Cloud
• Preparing for Google Cloud Certification: Cloud Data Engineer by Google Cloud
• Data Warehousing for Business Intelligence by University of Colorado System
• Introduction to Data Engineering by IBM
• Data Science with Databricks for Data Analysts by Databricks
• Big Data by University of California San Diego
• Executive Data Science by Johns Hopkins University
• Python Project for Data Engineering by IBM
• Cloud Data Engineering by Duke University
• Google Data Analytics by Google
• IBM Full Stack Cloud Developer by IBM
• Introduction to Designing Data Lakes on AWS by Amazon Web Services
• Foundations: Data, Data, Everywhere by Google
• Business English for Non-Native Speakers by The Hong Kong University of Science and Technology
• Machine Learning Engineering for Production (MLOps) by DeepLearning.AI
• Software Design and Architecture by University of Alberta
• Preparing for Google Cloud Certification: Cloud Architect by Google Cloud
• Hands-on Foundations for Data Science and Machine Learning with Google Cloud Labs by Google Cloud

Программа курса:

• Введение, практический linux
• Кто такой Data Engineer и зачем ему Linux?
• Современные хранилища данных
• Разнообразие баз данных и их особенности
• Экосистема Hadoop
• Источники данных и работа с ними
• Apache Spark и обработка данных
• Hadoop как хранилище данных
• Apache Airflow для оркестрации конвейеров
• Обзор облачных хранилищ

На курсе обучение не заканчивается:

• Портфолио
• Готовый код и пайплайны для портфолио
• Развитие карьеры и бизнеса
• Помощь с трудоустройством и стажировкой
• Тусовка специалистов и полезные знакомства

Сертификат школы SkillFactory.

Профессиональный курс по базам данных для будущих Junior Data Engineer в NIX

• Подходит тем, у кого имеются базовые знания в области баз данных
• Предлагает глубокое изучение теории и практическое применение полученных знаний
• Стремление к превращению знаний в реальные навыки

Полученные навыки станут весомым преимуществом при начале карьеры в качестве Junior Data Engineer в NIX.

• Учиться всем секретам и навыкам Junior Data Engineer.
• Отметить успешное завершение обучения и получить звание Junior Data Engineer, вступив в команду NIX.

Для кого: Для специалистов в области аналитики и научных сотрудников

Изучение техники обработки данных поможет разобраться в процессах, происходящих после очистки и анализа информационных наборов, и позволит добиться новых высот в области аналитики.

Для разработчиков

Этот курс поможет понять задачи по созданию хранилищ данных и покажет, как использовать опыт разработки для решения проблем в области инженерии данных.

• Вы изучите:
• Проектирование DWH

Мы рассмотрим общую структуру хранилища данных, выявим его основные элементы, которые будут подробно освещены далее в курсе, и изучим различные методы проектирования детального уровня.

• Реляционные и MPP СУБД

Мы изучим работу реляционных и MPP баз данных, узнаем их внутреннее устройство и разберем, какой вариант лучше выбрать в определенной ситуации. Также рассмотрим архитектуру различных решений на рынке и потренируемся работать с PostgreSQL и MPP на примере GreenPlum.

• Big Data

Модуль знакомит с механизмами распределенного хранения и обработки данных на основе Hadoop. Мы изучим основные сценарии распределенной обработки, обсудим вопросы отказоустойчивости, потоковую обработку данных и методы мониторинга и профилирования задач Spark.

• ETL

Научимся работать с Apache Airflow, настроим его и создадим необходимые пайплайны.

• Хранилище в облаках

Изучим возможности облачных технологий в построении хранилищ данных и Data Lake, посмотрим на основы Kubernetes и освоим практические навыки работы с данными через Kubernetes.

• Визуализация

Погрузимся в работу с Tableau — мощным инструментом для визуализации данных и изучим основные принципы их представления.

• Big ML

Разберемся с модулем Spark ML, узнаем о методах обучения и применения моделей машинного обучения на больших данных.

• Управление моделями

Изучим инструменты для построения пайплайнов машинного обучения, версионирования данных и организации отслеживания моделей.

• Управление данными

Ознакомимся с методами управления данными, включая подходы к происхождению информации и контролю качества данных, применяемыми в компаниях.

Изучение обработки данных и ETL

• Изучение этапов обработки данных
• Разбор инструментов для работы с данными
• Построение ETL-систем
• Проектирование хранилищ данных

Преимущества прохождения курса

• Обработка и хранение больших объемов данных
• Изучение Hadoop, Apache Airflow, Apache Spark и других инструментов
• Создание собственных Data Platform для масштабирования
• Повышение квалификации и дохода

Кому будет полезен курс

• Data Scientist/Data Analyst
• Software/SQL/ETL Developer
• Data Engineer(beginner)

Программа курса

• Введение в Data Engineering: Обзор профессии Data Engineer и сравнение с Big Data Engineer
• Python для Data Engineering: Работа с различными структурами данных и загрузка данных с помощью Python
• SQL для Data Engineering: Использование SQL в Big Data и аналитические запросы
• Аналитические базы данных: Различия между OLTP и OLAP системами
• Проектирование хранилищ данных: Назначение и подходы к проектированию хранилищ данных
• Передача данных между системами: Проектирование ETL решения и работа с внешними источниками данных
• Распределенные вычисления: Понятие распределенных систем и вычислений
• Экосистема Hadoop для работы с файлами: Использование экосистемы Hadoop и HDFS
• Распределенные вычисления (MapReduce): Использование MapReduce для анализа больших данных
• Распределенные вычисления в оперативной памяти (Apache Spark): Использование Apache Spark для организации данных

Data Engineering – это профессия, связанная с обработкой и анализом данных, включая Big Data: программирование для сбора, хранения, обработки, поиска и визуализации информации.

Чему научит тренинг:

• Освоение современных технологий обработки и анализа данных;
• Изучение применения Python (включая библиотеки Pandas, NumPy);
• Получение навыков работы с SQL как универсальным «языком доступа к данным»;
• Приобретение опыта работы с Data Warehouses;
• Знакомство с основами Linux для работы с облачными сервисами;
• Изучение классической теории тестирования программного обеспечения.

Для кого подходит:

• Студентам 4-6 курсов технических специальностей, выпускникам и молодым специалистам;
• Людям, заинтересованным в обучении и развитии в сфере обработки данных и повышения их качества.

• Курсы:

1. Начало работы с инженерией данных и аналитикой (DE-101) - 10 недельный курс со встречей по вебинару еженедельно и домашними заданиями. Программа обхватывает от простого к сложному, что напоминает профессиональный рост за 10 недель.
2. Введение в машинное обучение и науку о данных (ML-101) - Требуется серьезная мотивация и нацеленность на результат для успешного завершения курса. Пройдя все модули курса ML-101, легко справляться с базовыми задачами на позициях стажера в области науки о данных, младшего специалиста по анализу данных, прикладного ученого.
3. Курс по поиску работы в аналитической сфере в России и за рубежом (JH-101)
4. Начало работы с SQL для начинающих - Практический видеокурс, посвященный работе с базами данных с использованием языка структурированных запросов SQL. Подойдет тем, кто слышал о SQL, но не решался его испытать.

• Женщины в обществе данных

Мы ставим перед собой задачу создать наиболее удобную среду для женщин, интересующихся карьерой в области данных. Помимо основных курсов, это коммьюнити, позволяющее общаться с женщинами из области данных, получить информацию о карьерных путях в данной сфере и задать любые интересующие вопросы.

• Кому подходят эти курсы:

• Аналитики - Изучите инструменты и станьте более востребованными специалистами.
• Маркетологи - Сможете систематизировать данные и повысить эффективность рекламных каналов.
• Руководители - Сможете проводить анализ продаж в различных аспектах и динамике.
• Предприниматели - Создайте систему аналитики и обнаружьте потенциальные точки роста для вашего бизнеса.
• Инженеры - Сможете изменить свою специализацию и увеличить доходы, ваши технические знания облегчат процесс обучения.
• Фрилансеры - Предлагайте дополнительные услуги своим клиентам или работайте с западными компаниями.
• Финансисты - Загружайте, анализируйте данные и составляйте отчеты.