что такое data engineering
Кто такой Data Engineer и как им стать
Сделали адаптированный перевод статьи Oleksii Kharkovyna о том, кто такие инженеры данных и что нужно знать новичкам, чтобы освоить профессию.
Инженер данных — смесь аналитика данных и дата-сайентиста. Он отвечает за извлечение, преобразование, загрузку данных и их обработку. Профессия востребована в первую очередь благодаря высоким зарплатам и спросу среди работодателей. Дальше расскажу, какие задачи выполняют инженеры данных, чем отличаются от дата-сайентистов и что нужно знать тем, кто хочет освоить специальность.
Что такое инженерия данных
«Учёный может открыть новую звезду, но не может создать её. Для этого ему пришлось бы обратиться к инженеру», — Гордон Линдсей Глегг
Из названия специальности следует, что она связана с данными: их доставкой, хранением и обработкой. Главная задача инженера — подготовить надёжную инфраструктуру для данных. В ИИ-иерархии потребностей инженерия данных занимает первые две-три ступени: сбор, перемещение и хранение, подготовка данных.
Что делает инженер данных
С появлением Big Data сфера ответственности специалистов по обработке данных изменилась. Если раньше инженеры писали большие SQL-запросы и обрабатывали данные с помощью таких инструментов, как Informatica ETL, Pentaho ETL, Talend, то теперь от них ждут большего. Специалисту нужно отлично знать SQL и Python, желательно — Java/Scala, иметь опыт работы с облачными платформами, в частности Amazon Web Services.
И это только самое необходимое. Логично предположить, что инженеры должны разбираться в разработке программного обеспечения и серверной разработке. В компании, которая генерирует большой объем данных из разных источников, задача инженера — организовать сбор информации, её обработку и хранение.
Инструменты могут отличаться — всё зависит от объема данных, их скорости поступления и неоднородности. Многие компании вообще не работают с большими данными, поэтому в качестве централизованного хранилища используют базу SQL (PostgreSQL, MySQL) с небольшим количеством скриптов, которые направляют данные в репозиторий.
У IT-гигантов вроде Google, Amazon, Facebook или Dropbox требования к кандидатам выше:
Основной упор в технологиях Big Data сейчас делают на их обработку в условиях высокой нагрузки. Поэтому компании повысили требования к отказоустойчивости системы.
Кто такой дата-инженер?
Эксперт в Data Engineering.
Дата-инженер – это человек, который организует потоки загрузки и обрабатывает данные. Как он это делает, что для этого нужно уметь, и насколько такая деятельность востребована, разбираемся с дата-инженером X5 Retail Group Максимом Кереметом.
Что делает дата-инженер?
Дата-инженер (Data Engineer) участвует в начальной и финальной стадиях анализа данных, обеспечивает их работу на инфраструктуре компании. Он занимается ETL-процессами, то есть обрабатывает данные: достает ( extract) их из сырых источников, трансформирует ( transform) и загружает ( load).
После предварительной обработки, очистки от повторов, ошибок, ненужных уточнений, он автоматизирует выполнение скриптов и, если нужно, настраивает мониторинги, алерты (сигналы о том, что в моделях что-то пошло не так), задает расписание, по которому сервис или программа будут работать с данными (шедуллит).
Задачи в компаниях могут отличаться: где-то инженер только обрабатывает данные, а где-то выполняет и программистскую работу: внедряет новые модели и переучивает старые.
Помимо сбора и обработки дата-инженер организует хранение данных. Для этого он строит архитектуру хранилищ – базы данных с таблицами, в которых они разбиты по смыслу. Дата-сайентистам это облегчает доступ к обработанным наборам данных (признакам), с помощью хранилища проще и быстрее масштабировать модели.
Чем дата-инженер отличается от дата-сайентиста?
Задачи дата-сайентиста и дата-инженера находятся на разных этапах работы с данными. Дата-сайентист – это исследователь, который придумывает, как решить задачу бизнеса. Например, прогнозирует, когда покупатель придет в магазин в следующий раз. Он готовит дата-сет, извлекает признаки, экспериментирует с моделями, делает пилотный запуск модели.
Для того, чтобы дата-сайентисту было с чем экспериментировать, дата-инженер готовит данные. Они обычно скрыты в хранилищах. Когда модель готова, дата-инженер масштабирует успешные решения на гораздо бОльшие объемы чем тренировочный датасет
Модель также нужно периодически обновлять: делать отчеты, чтобы бизнес мог ежедневно использовать этот труд, по мере необходимости обновлять признаки. Этим тоже занимается дата-инженер.
Читайте также: Чем занимается дата-инженер X5 Retail Group?
Где он нужен?
Везде, где работа с данными помогает бизнесу развиваться и зарабатывать.
Дата-инженеры особенно востребованы в телекоме, ритейле, банкинге – здесь генерируют больше всего данных. Конечно же, такие спецы нужны в интернет- и транспортных компаниях, маркетинге.
Часто небольшие компании ищут специалиста, который берет на себя задачи и дата-инженера, и дата-сайентиста. Но с ростом бизнеса обязанности разводятся между разными ролями: аналитиками, сайентистами и инженерами.
Пример задачи дата-инженера:
Коллеге дата-сайентисту нужно узнать, какие действия совершают пользователи, оставляющие больше всего денег в приложении такси. Чтобы дата-сайентист смог проанализировать историю их действий и сделать прогноз, дата-инженеру необходимо собрать нужную информацию из приложения. Для этого он:
Для этого необходимо создать пайплайн (процесс сбора, трансформации и загрузки в базу данных), который в реальном времени сможет собрать логи приложений и сервера, проанализировать их и соотнести с конкретным пользователем. Проанализированные логи дата-инженер собирает в базу данных так, чтобы их можно было без труда запросить по API.
Насколько это востребовано?
Из-за того, что данные растут в геометрической прогрессии, компании придумывают новые, более эффективные способы работы с ними. Для этого им нужны не только мощные платформы для хранения, но и сотрудники, которые оптимизируют процессы, поставляют уже подготовленные данные, ускоряя дальнейшую работу дата-сайентистов. Поэтому спрос на специалистов в этой сфере только увеличивается, а зарплаты в этом направлении – одни из самых высоких в IT.
Согласно отчету DICE о технических вакансиях за 2020 год количество вакансий дата-инженера выросло на 50% по сравнению в 2019 годом. Это самый большой показатель среди других профессий.
Сколько получает дата-инженер?
Зарплаты зависят от уровня: в среднем джуниоры получают 100-150 тыс. руб, миддл-специалисты 150-250 тыс. руб, а синьор-профессионалы 250-300 тыс. руб, основываясь на данных из сообщества ODS.
На июнь 2021 года на hh.ru почти тысяча вакансий по запросу data engineer.
Научитесь собирать данные из разных источников, помогайте аналитикам строить гипотезы и принимать бизнес-решения. Дополнительная скидка 5% по промокоду BLOG.
Что ему нужно знать?
По мнению Максима Керемета, на российском рынке дата-инженер – это человек, который может все по чуть-чуть: и программировать, и работать с базами данных, и провести несложную аналитику (построить дашборд в Power BI или Tableau), и самостоятельно написать приложение, которое может работать.
Традиционно дата-инженер работает с таблицами, поэтому ему необходимо знать, как писать SQL-запросы, разбираться в видах баз данных. В основном он сталкивается с реляционными (наборы данных, связанных между собой по значению) и колоночными (данные связаны не по строкам, а по колонкам) базами данных.
Наиболее популярная система управления реляционной БД – PostgreSQL, для колоночных – ClickHouse, он быстрый и используется для аналитики и логирования событий.
Дата-инженер должен хорошо знать Python: он умеет читать таблицы из источников на компьютере, понимает язык на уровне базовых структур, ООП. Python также нужен для того, чтобы писать веб-сервисы, чтобы в дальнейшем работать с продуктивизацией моделей. Кроме того, с помощью языка можно разрабатывать новые сервисы и модели, которые отслеживают стабильность уже работающих программ.
Плюсом будет знание Scala — язык эффективен в промышленных масштабах, когда становится важна скорость обработки данных. В этом Python уступает.
Нужно владеть инструментами экосистемы Hadoop (система управления базами данных Hive или фреймворк Spark) – они помогают работать с большими данными, которые невозможно обрабатывать на одном локальном компьютере из-за объемов и производительности. Для них используются кластерные машины с более мощными показателями.
Чтобы запускать уже готовые сервисы, не требующие доработки, на разных компьютерах, дата-инженеру нужно уметь использовать Docker. Он «упаковывает» сервис, написанный на локальном компьютере, в контейнер, и его можно воспроизводить на компьютере коллеги или кластерной машине.
А для автоматизации работы в команде дата-инженер использует GitLab.
Откуда приходят в дата-инженеры?
Максим Керемет добавляет: « Можно переквалифицироваться из дата-сайентиста, если хочется больше развиваться с точки зрения программирования и построить какой-то сервис или продукт. Кроме того, если надоело постоянно выполнять разные ситуативные задачи и хочется сконцентрироваться на среднесрочных проектах на несколько месяцев, дата-инженер — хороший вариант».
Плюсы и минусы профессии
Как начать?
Новичкам без бэкграунда в IT попасть в профессию сложно, так как она требует серьезной технической подготовки: нужно писать хотя бы на Python, владеть инструментами автоматизации.
Для специалиста в этой области важны знания алгоритмов и структур данных. Алгоритмические задачи хорошо выстраивают мышление, знание синтаксиса языка и его возможностей. Алгоритмы данных можно изучить на бесплатном курсе на Coursera.
Кроме того, на Coursera можно познакомиться с базовыми понятиями, научиться строить пайплайны (выстраивать весь ETL-процесс переноса данных из одного места в другое), разобраться в том, что такое базы данных и как устроены системы облачных хранилищ.
Можно попробовать самостоятельно определить траекторию обучения, ориентируясь на Road map профессии. C ее помощью удобно систематизировать, какими навыками вы уже овладели, а какие нужно подтянуть или выучить с нуля.
Полезные ссылки:
Либо можно пройти полноценный курс по Data Engineering. На нем есть главное – практика, благодаря которой вы сможете не просто в теории разобраться с программами и продуктами, которыми используют в профессии, но отработать технологии на реальных задачах и применить их в проекте.
Освойте перспективную профессию за 10 недель или усильте ваши навыки дата-инженера.
Что такое Big data engineering, и как развиваться в этой сфере
Как отдельная профессия Big Data Engineering появилась довольно недавно. И даже крупные компании очень часто путают, чем занимается этот специалист, каковы его компетенции и зачем он вообще в организации.
Поэтому в сегодняшней статье, специально к старту нового потока курса по Data Engineering, мы разберёмся, кто такой Big Data Engineer, чем он занимается и чем отличается от Data Analyst и Data Scientist. Этот гайд подойдёт людям, которые хотят работать с большими данными и присматриваются к профессии в целом. А также тем, кто просто хочет понять, чем занимаются инженеры данных.
Кто такой Big data engineer
Задачи, которые выполняет инженер больших данных, входят в цикл разработки машинного обучения. Его работа тесно связана с аналитикой данных и data science.
Главная задача Data engineer — построить систему хранения данных, очистить и отформатировать их, а также настроить процесс обновления и приёма данных для дальнейшей работы с ними. Помимо этого, инженер данных занимается непосредственным созданием моделей обработки информации и машинного обучения.
Инженер данных востребован в самых разных сферах: e-commerce, финансах, туризме, строительстве — в любом бизнесе, где есть поток разнообразных данных и потребность их анализировать.
К примеру, при разработке «умного» дома. Создание подобной системы требует считывания и обработки данных с IoT-сенсоров в режиме реального времени. Необходимо, чтобы данные обрабатывались с максимальной быстротой и минимальной задержкой. И даже при падении системы данные должны продолжать накапливаться, а затем и обрабатываться. Разработка системы, которая удовлетворяет этим требованиям, и есть задача инженера данных.
С технической стороны, наиболее частыми задачами инженера данных можно считать:
Разработка процессов конвейерной обработки данных. Это одна из основных задач BDE в любом проекте. Именно создание структуры процессов обработки и их реализация в контексте конкретной задачи. Эти процессы позволяют с максимальной эффективностью осуществлять ETL (extract, transform, load) — изъятие данных, их трансформирование и загрузку в другую систему для последующей обработки. В статичных и потоковых данных эти процессы значительно различаются. Для этого чаще всего используются фреймворки Kafka, Apache Spark, Storm, Flink, а также облачные сервисы Google Cloud и Azure.
Хранение данных. Разработка механизма хранения и доступа к данным — еще одна частая задача дата-инженеров. Нужно подобрать наиболее соответствующий тип баз данных — реляционные или нереляционные, а затем настроить сами процессы.
Обработка данных. Процессы структурирования, изменения типа, очищения данных и поиска аномалий во всех этих алгоритмах. Предварительная обработка может быть частью либо системы машинного обучения, либо системы конвейерной обработки данных.
Разработка инфраструктуры данных. Дата-инженер принимает участие в развёртывании и настройке существующих решений, определении необходимых ресурсных мощностей для программ и систем, построении систем сбора метрик и логов.
В иерархии работы над данными инженер отвечает за три нижние ступеньки: сбор, обработку и трансформацию данных.
Что должен знать Data Engineer
Структуры и алгоритмы данных;
Особенности хранения информации в SQL и NoSQL базах данных. Наиболее распространённые: MySQL, PostgreSQL, MongoDB, Oracle, HP Vertica, Amazon Redshift;
ETL-системы (BM WebSphere DataStage; Informatica PowerCenter; Oracle Data Integrator; SAP Data Services; SAS Data Integration Server);
Облачные сервисы для больших данных Amazon Web Services, Google Cloud Platform, Microsoft Azure;
Кластеры больших данных на базе Apache и SQL-движки для анализа данных;
Желательно знать языки программирования (Python, Scala, Java).
Стек умений и навыков инженера больших данных частично пересекается с дата-сайентистом, но в проектах они, скорее, дополняют друг друга.
Data Engineer сильнее в программировании, чем дата-сайентист. А тот, в свою очередь, сильнее в статистике. Сайентист способен разработать модель-прототип обработки данных, а инженер — качественно воплотить её в реальность и превратить код в продукт, который затем будет решать конкретные задачи.
Инженеру не нужны знания в Business Intelligence, а вот опыт разработки программного обеспечения и администрирования кластеров придётся как раз кстати.
Но, несмотря на то что Data Engineer и Data Scientist должны работать в команде, у них бывают конфликты. Ведь сайентист — это по сути потребитель данных, которые предоставляет инженер. И грамотно налаженная коммуникация между ними — залог успешности проекта в целом.
Плюсы и минусы профессии инженера больших данных
Плюсы:
Отрасль в целом и специальность в частности ещё очень молоды. Особенно в России и странах СНГ. Востребованность специалистов по BDE стабильно растёт, появляется всё больше проектов, для которых нужен именно инженер больших данных. На hh.ru, по состоянию на начало апреля, имеется 768 вакансий.
Пока что конкуренция на позиции Big Data Engineer в разы ниже, чем у Data Scientist. Для специалистов с опытом в разработке сейчас наиболее благоприятное время, чтобы перейти в специальность. Для изучения профессии с нуля или почти с нуля — тоже вполне хорошо (при должном старании). Тенденция роста рынка в целом будет продолжаться ближайшие несколько лет, и всё это время будет дефицит хороших спецов.
Задачи довольно разнообразные — рутина здесь есть, но её довольно немного. В большинстве случаев придётся проявлять изобретательность и применять творческий подход. Любителям экспериментировать тут настоящее раздолье.
Минусы
Большое многообразие инструментов и фреймворков. Действительно очень большое — и при подготовке к выполнению задачи приходится серьёзно анализировать преимущества и недостатки в каждом конкретном случае. А для этого нужно довольно глубоко знать возможности каждого из них. Да-да, именно каждого, а не одного или нескольких.
Уже сейчас есть целых шесть платформ, которые распространены в большинстве проектов.
Spark — популярный инструмент с богатой экосистемой и либами, для распределенных вычислений, который может использоваться для пакетных и потоковых приложений.
Flink — альтернатива Spark с унифицированным подходом к потоковым/пакетным вычислениям, получила широкую известность в сообществе разработчиков данных.
Kafka — сейчас уже полноценная потоковая платформа, способная выполнять аналитику в реальном времени и обрабатывать данные с высокой пропускной способностью. ElasticSearch — распределенный поисковый движок, построенный на основе Apache Lucene.
PostgreSQL — популярная бд с открытым исходным кодом.
Redshift — аналитическое решение для баз/хранилищ данных от AWS.
Без бэкграунда в разработке ворваться в BD Engineering сложно. Подобные кейсы есть, но основу профессии составляют спецы с опытом разработки от 1–2 лет. Да и уверенное владение Python или Scala уже на старте — это мастхэв.
Работа такого инженера во многом невидима. Его решения лежат в основе работы других специалистов, но при этом не направлены прямо на потребителя. Их потребитель — это Data Scientist и Data Analyst, из-за чего бывает, что инженера недооценивают. А уж изменить реальное и объективное влияние на конечный продукт и вовсе практически невозможно. Но это вполне компенсируется высокой зарплатой.
Как стать Data Engineer и куда расти
Профессия дата-инженера довольно требовательна к бэкграунду. Костяк профессии составляют разработчики на Python и Scala, которые решили уйти в Big Data. В русскоговорящих странах, к примеру, процент использования этих языков в работе с большими данными примерно 50/50. Если знаете Java — тоже хорошо.
Хорошее знание SQL тоже важно. Поэтому в Data Engineer часто попадают специалисты, которые уже ранее работали с данными: Data Analyst, Business Analyst, Data Scientist. Дата-сайентисту с опытом от 1–2 лет будет проще всего войти в специальность.
Фреймворками можно овладевать в процессе работы, но хотя бы несколько важно знать на хорошем уровне уже в самом начале.
Дальнейшее развитие для специалистов Big Data Engineers тоже довольно разнообразное. Можно уйти в смежные Data Science или Data Analytics, в архитектуру данных, Devops-специальности. Можно также уйти в чистую разработку на Python или Scala, но так делает довольно малый процент спецов.
Перспективы у профессии просто колоссальные. Согласно данным Dice Tech Job Report 2020, Data Engineering показывает невероятные темпы роста — в 2019 году рынок профессии увеличился на 50 %. Для сравнения: стандартным ростом считается 3–5 %.
В 2020 году темпы замедлились, но всё равно они многократно опережают другие отрасли. Спрос на специальность вырос ещё на 24,8 %. И подобные темпы сохранятся еще на протяжении минимум пяти лет.
Так что сейчас как раз просто шикарный момент, чтобы войти в профессию Data Engineering с нашим курсом Data Engineering и стать востребованным специалистом в любом серьёзном Data Science проекте. Пока рынок растёт настолько быстро, то возможность найти хорошую работу, есть даже у новичков.
Узнайте, как прокачаться и в других областях работы с данными или освоить их с нуля:
Что такое Data Engineering и как начать работу в этой сфере
Чем конкретно занимается инженер данных, что он должен уметь, чтобы хорошо зарабатывать, и что важно знать в начале карьеры — рассказывает декан факультета Сергей Ширкин.
Кто такой Data Engineer
Инженер данных – незаменимый сотрудник для любой команды, занимающейся Data Science. От дата-инженера зависит, насколько удобно будет построен процесс работы с данными в проекте. Этот специалист отвечает за сбор, хранение и обработку данных, выстраивает их кратчайший путь к дата-сайентистам – чтобы коллеги не отвлекались от своих основных задач. Поэтому команды, где есть дата-инженеры, работают быстрее и эффективнее тех, где при подготовке данных не хватает разделения труда.
Какую проблему рынка решает новый факультет
Бизнесу очень нужны специалисты по обработке данных, а вузы либо не готовят их вообще, либо обучают сильно устаревшим технологиям. Когда в компании остро не хватает дата-инженеров, на эти позиции зачастую берут самоучек. Но даже при таком сценарии многие вакансии долго остаются незакрытыми и вопросы дата-инжиниринга приходится решать дата-сайентистам или смежным IT-специалистам. Таким образом, на рынке труда есть явный запрос, который стоит удовлетворить.
Отличия от других факультетов направления Data Science
Дата-инженеры проходят подготовку за один год, потому что им не нужно углубляться в математику и тонкости построения моделей машинного обучения. Для сравнения, студенты факультетов искусственного интеллекта и аналитики Big Data учатся полтора года.
Инженеры данных заняты несколько другими вещами, нежели классические дата-сайентисты — IT-инфраструктурой, базами данных (SQL и NoSQL), оптимизацией процессов ETL (Extract, Transform, Load – «извлечение, преобразование, загрузка»), автоматизацией сбора данных из интернета и построением систем обработки данных в реальном времени.
Сходство между факультетами Data Engineering и аналитики Big Data в том, что и те и другие проводят большую часть обучения со стеком Hadoop/Spark. Именно эти технологии активно применяются в больших компаниях, и специалистов по работе с ними по-прежнему не хватает.
Что будет уметь выпускник факультета Data Engineering и каким будет его портфолио
Будущим инженерам предстоит выполнять курсовые проекты по итогам каждой четверти. Темы проектов будут связаны с актуальными рабочими процессами современных компаний.
В первой четверти студент познакомится с IT-инфраструктурой и параллельно научится собирать данные. Для закрепления знаний он создаст парсер (обработчик) интернет-сайтов – систему пополнения баз данных актуальной информацией из различных источников.
Во второй четверти учащиеся построят собственные хранилища для аналитической системы. Курсовая работа будет посвящена построению полного конвейера данных (pipeline) для Business intelligence (BI) — созданию системы перевода сырой информации в удобную для человеческого восприятия форму.
Третья четверть будет полностью посвящена работе с «большими данными». Сначала студенты освоят инструменты экосистемы Hadoop, а затем изучат Spark и познакомятся с обработкой потоков данных методами Big Data.
В заключительной четверти будущие выпускники изучат обработку данных в реальном времени и углубятся в инфраструктуру для работы с данными, доводя свои знания до продвинутого уровня.
Где работать
Нас часто спрашивают, на какой уровень знаний и зарплат можно рассчитывать после выпуска из GeekUniversity — Junior или Middle. Если студент активно работает, навыки и знания, которые он в итоге приобретёт, вполне могут соответствовать уровню подготовки Middle-специалиста. Но нужно понимать, что без опыта работы по профилю или хотя бы в смежных направлениях IT в первое время реальнее устроиться на позиции Junior. Но хорошая стартовая подготовка ускорит продвижение по карьерной лестнице, так что путь к Middle-вакансиям после окончания нашего факультета в любом случае станет проще и короче.
Многие наши студенты, кстати, находят работу ещё до окончания учёбы. Я знаю случаи, когда учащиеся по направлению Data Science трудоустраивались на младшие позиции уже после первой четверти в GeekUniversity и дальше успешно совмещали учёбу с работой. То есть даже прохождение начальных курсов в принципе позволяет начать зарабатывать.
Что нужно знать для поступления
Чтобы легче усваивать программу факультета, желательно к моменту поступления уже иметь начальные знания Python и SQL. Правда, наиболее мотивированные студенты умудряются получить эти знания уже по ходу обучения — начинают «с нуля», очень интенсивно занимаются и в итоге органично вливаются в учебный процесс.
Как организована учёба
В процессе обучения студент постоянно погружен в среду, способствующую его профессиональному росту. Взаимодействие с преподавателями, наставниками и однокурсниками строится по тем же принципам, что и на других факультетах направления Data Science. У каждой группы есть свой чат, где студенты общаются, обмениваются вопросами и решениями. Там же присутствуют и преподаватели, и наставники, к которым студенты всегда могут обратиться за консультацией. Наставники отвечают на вопросы, связанные с материалами лекций и выполнением домашних заданий.
На факультете преподают действующие специалисты в области работы с данными – у них можно получить не только обратную связь по выполненным учебным проектам, но и дельный совет по трудоустройству, прохождению собеседований и дальнейшему развитию карьеры. Так у будущего специалиста формируется более полное представление об отрасли и появляются первые знакомства в профессиональной среде.
Хотите приобщиться к работе над самыми передовыми IT-проектами, связанными с искусственным интеллектом, машинным обучением и анализом больших данных? Записывайтесь на факультет Data Engineering, чтобы стать специалистом, востребованным в любом серьёзном Data Science проекте!
Освоить востребованную профессию в Data Science можно всего за полтора года на курсах GeekBrains. После учёбы вы сможете работать по специальностям Data Scientist, Data Analyst, Machine Learning, Engineer Computer Vision-специалист или NLP-специалист.
Освоить востребованную профессию в Аналитике больших данных можно всего за полтора года на курсах GeekBrains.
Последние годы мы часто слышим про искусственный интеллект, машинное обучение и Big Data. «Это ж-ж-ж неспроста!». С развитием новых направлений в IT появляются новые профессии и специальности. В ответ на запрос рынка GeekUniversity открывает новый факультет Data Engineering, где студентов научат создавать системы предварительной обработки данных для проектов в области Data Science!
Чем конкретно занимается инженер данных, что он должен уметь, чтобы хорошо зарабатывать, и что важно знать в начале карьеры — рассказывает декан факультета Сергей Ширкин.
Кто такой Data Engineer
Инженер данных – незаменимый сотрудник для любой команды, занимающейся Data Science. От дата-инженера зависит, насколько удобно будет построен процесс работы с данными в проекте. Этот специалист отвечает за сбор, хранение и обработку данных, выстраивает их кратчайший путь к дата-сайентистам – чтобы коллеги не отвлекались от своих основных задач. Поэтому команды, где есть дата-инженеры, работают быстрее и эффективнее тех, где при подготовке данных не хватает разделения труда.
Какую проблему рынка решает новый факультет
Бизнесу очень нужны специалисты по обработке данных, а вузы либо не готовят их вообще, либо обучают сильно устаревшим технологиям. Когда в компании остро не хватает дата-инженеров, на эти позиции зачастую берут самоучек. Но даже при таком сценарии многие вакансии долго остаются незакрытыми и вопросы дата-инжиниринга приходится решать дата-сайентистам или смежным IT-специалистам. Таким образом, на рынке труда есть явный запрос, который стоит удовлетворить.
Отличия от других факультетов направления Data Science
Дата-инженеры проходят подготовку за один год, потому что им не нужно углубляться в математику и тонкости построения моделей машинного обучения. Для сравнения, студенты факультетов искусственного интеллекта и аналитики Big Data учатся полтора года.
Инженеры данных заняты несколько другими вещами, нежели классические дата-сайентисты — IT-инфраструктурой, базами данных (SQL и NoSQL), оптимизацией процессов ETL (Extract, Transform, Load – «извлечение, преобразование, загрузка»), автоматизацией сбора данных из интернета и построением систем обработки данных в реальном времени.
Сходство между факультетами Data Engineering и аналитики Big Data в том, что и те и другие проводят большую часть обучения со стеком Hadoop/Spark. Именно эти технологии активно применяются в больших компаниях, и специалистов по работе с ними по-прежнему не хватает.
Что будет уметь выпускник факультета Data Engineering и каким будет его портфолио
Будущим инженерам предстоит выполнять курсовые проекты по итогам каждой четверти. Темы проектов будут связаны с актуальными рабочими процессами современных компаний.
В первой четверти студент познакомится с IT-инфраструктурой и параллельно научится собирать данные. Для закрепления знаний он создаст парсер (обработчик) интернет-сайтов – систему пополнения баз данных актуальной информацией из различных источников.
Во второй четверти учащиеся построят собственные хранилища для аналитической системы. Курсовая работа будет посвящена построению полного конвейера данных (pipeline) для Business intelligence (BI) — созданию системы перевода сырой информации в удобную для человеческого восприятия форму.
Третья четверть будет полностью посвящена работе с «большими данными». Сначала студенты освоят инструменты экосистемы Hadoop, а затем изучат Spark и познакомятся с обработкой потоков данных методами Big Data.
В заключительной четверти будущие выпускники изучат обработку данных в реальном времени и углубятся в инфраструктуру для работы с данными, доводя свои знания до продвинутого уровня.
Где работать
Нас часто спрашивают, на какой уровень знаний и зарплат можно рассчитывать после выпуска из GeekUniversity — Junior или Middle. Если студент активно работает, навыки и знания, которые он в итоге приобретёт, вполне могут соответствовать уровню подготовки Middle-специалиста. Но нужно понимать, что без опыта работы по профилю или хотя бы в смежных направлениях IT в первое время реальнее устроиться на позиции Junior. Но хорошая стартовая подготовка ускорит продвижение по карьерной лестнице, так что путь к Middle-вакансиям после окончания нашего факультета в любом случае станет проще и короче.
Многие наши студенты, кстати, находят работу ещё до окончания учёбы. Я знаю случаи, когда учащиеся по направлению Data Science трудоустраивались на младшие позиции уже после первой четверти в GeekUniversity и дальше успешно совмещали учёбу с работой. То есть даже прохождение начальных курсов в принципе позволяет начать зарабатывать.
Что нужно знать для поступления
Чтобы легче усваивать программу факультета, желательно к моменту поступления уже иметь начальные знания Python и SQL. Правда, наиболее мотивированные студенты умудряются получить эти знания уже по ходу обучения — начинают «с нуля», очень интенсивно занимаются и в итоге органично вливаются в учебный процесс.
Как организована учёба
В процессе обучения студент постоянно погружен в среду, способствующую его профессиональному росту. Взаимодействие с преподавателями, наставниками и однокурсниками строится по тем же принципам, что и на других факультетах направления Data Science. У каждой группы есть свой чат, где студенты общаются, обмениваются вопросами и решениями. Там же присутствуют и преподаватели, и наставники, к которым студенты всегда могут обратиться за консультацией. Наставники отвечают на вопросы, связанные с материалами лекций и выполнением домашних заданий.
На факультете преподают действующие специалисты в области работы с данными – у них можно получить не только обратную связь по выполненным учебным проектам, но и дельный совет по трудоустройству, прохождению собеседований и дальнейшему развитию карьеры. Так у будущего специалиста формируется более полное представление об отрасли и появляются первые знакомства в профессиональной среде.
Хотите приобщиться к работе над самыми передовыми IT-проектами, связанными с искусственным интеллектом, машинным обучением и анализом больших данных? Записывайтесь на факультет Data Engineering, чтобы стать специалистом, востребованным в любом серьёзном Data Science проекте!
Освоить востребованную профессию в Data Science можно всего за полтора года на курсах GeekBrains. После учёбы вы сможете работать по специальностям Data Scientist, Data Analyst, Machine Learning, Engineer Computer Vision-специалист или NLP-специалист.
Освоить востребованную профессию в Аналитике больших данных можно всего за полтора года на курсах GeekBrains.