Über diesen Kurs
4.0
107 Bewertungen
20 Bewertungen

100 % online

Beginnen Sie sofort und lernen Sie in Ihrem eigenen Tempo.

Flexible Fristen

Setzen Sie Fristen gemäß Ihrem Zeitplan zurück.

Stufe „Fortgeschritten“

Ca. 74 Stunden zum Abschließen

Empfohlen: 6 weeks of study, 6-8 hours/week...

Englisch

Untertitel: Englisch, Koreanisch

Kompetenzen, die Sie erwerben

GraphsHiveApache HiveApache Spark

100 % online

Beginnen Sie sofort und lernen Sie in Ihrem eigenen Tempo.

Flexible Fristen

Setzen Sie Fristen gemäß Ihrem Zeitplan zurück.

Stufe „Fortgeschritten“

Ca. 74 Stunden zum Abschließen

Empfohlen: 6 weeks of study, 6-8 hours/week...

Englisch

Untertitel: Englisch, Koreanisch

Lehrplan - Was Sie in diesem Kurs lernen werden

Woche
1
22 Minuten zum Abschließen

Welcome to the Second Course: Big Data Analysis

...
8 Videos (Gesamt 12 min), 1 Lektüre
8 Videos
What is BigData Analysis?1m
Tools For BigData Analysis1m
Graph Data Analysis2m
Meet Alexey Dral2m
Meet Pavel Mezentsev37
Meet Natalia Pritykovskaya40
Meet Pavel Klemenkov40
1 Lektüre
Slack Channel is the quickest way to get answers to your questions10m
3 Stunden zum Abschließen

Big Data SQL: Hive

...
15 Videos (Gesamt 105 min), 3 Quiz
15 Videos
HTTP Web Service: Access Log Format4m
Business Use Cases: Solution with Hive6m
(optional) SQL: likbez10m
Hive Data Definition Language (DDL)11m
Hive Data Manipulation Language (DML)6m
Hive Analytics: RegexSerDe, Views7m
(optional) Regular Expressions, Likbez9m
Hive Analytics: UDF, UDAF, UDTF7m
Hive Streaming4m
Hive PTF (Window Functions)5m
Hive Optimization: Partitioning, Bucketing and Sampling8m
Hive Map-Side Joins: Plain, Bucket, Sort-Merge5m
Hive Optimization: Data Skew4m
Hive Optimization: Row-Columnar File Formats, Compression8m
3 praktische Übungen
Hive: SQL over Hadoop MapReduce20m
Hive Analytics with UDF and Streaming20m
Hive final20m
Woche
2
7 Stunden zum Abschließen

Big Data SQL: Hive (practice week)

...
3 Videos (Gesamt 11 min), 6 Lektüren, 5 Quiz
3 Videos
How to Install Docker on Windows 7, 8, 104m
How to submit your first Hadoop assignment3m
6 Lektüren
Assignments. General requirements10m
Hive assignment. Intro and instructions10m
Grading System: Instructions and Common Problems10m
Docker Installation Guide10m
Copy of Assignments. General requirements10m
Copy of Assignments. General requirements10m
Woche
3
2 Stunden zum Abschließen

Spark SQL and Spark Dataframe

...
14 Videos (Gesamt 82 min), 2 Quiz
14 Videos
What is Pandas DataFrame and how to create it4m
How to process a DataFrame as SQL4m
Working with Hive4m
Reading and Writing Files7m
RDD vs. DF vs. SQL3m
Projection and Filtering5m
Functions5m
Aggregates6m
Join8m
User Defined Functions8m
Time Processing4m
Window Functions7m
Two-Dimensional Distributions4m
2 praktische Übungen
Introducing DataFrame and SQL16m
Spark SQL and Spark Dataframe18m
Woche
4
4 Stunden zum Abschließen

Graph Analysis from Big Data Perspective

...
13 Videos (Gesamt 83 min), 5 Quiz
13 Videos
Graph representation7m
Counting common friends. Part I2m
Counting common friends. Part II10m
Counting common friends. Part III5m
GraphFrames: Introduction6m
Motif Finding: DSL6m
Motif Finding: Counting Mutual Friends6m
Motif Finding: Under The Hood. Part 114m
Motif Finding: Under The Hood. Part 24m
Triangles Count: Introduction3m
Triangles Count: Edge Lists6m
Triangles Count: GraphFrame6m
4 praktische Übungen
Graph Representations10m
Motif Finding18m
Triangles Count8m
Graph Analysis from Big Data Perspective20m
Woche
5
9 Stunden zum Abschließen

PageRank and Recent Advances

...
10 Videos (Gesamt 72 min), 1 Lektüre, 10 Quiz
10 Videos
Algorithm9m
GraphFrames8m
Random Walk5m
Page Rank Algorithm10m
RDD Implementation4m
GraphFrames API4m
Taste Graph. Part I10m
Taste Graph. Part II3m
Taste Graph. Part III9m
1 Lektüre
Graph based Music Recommender10m
4 praktische Übungen
Connected Components12m
PageRank16m
Label Propagation Algorithm (LPA)10m
PageRank and Recent Advances18m
Woche
6
4 Stunden zum Abschließen

Spark Internals and Optimization

...
17 Videos (Gesamt 87 min), 1 Lektüre, 5 Quiz
17 Videos
Spark Execution Model5m
Shuffle. Where to send data?5m
Shuffle. How to send data?4m
Optimizing Functions4m
PageRank Optimization5m
Spark SQL. Motivation8m
Catalyst5m
Catalyst Optimization Example5m
Joins3m
Optimizing Joins5m
UDF Optimization5m
Persistance and Checkpointing7m
Memory Management3m
Resource Allocation6m
Dynamic Allocation5m
Speculative Execution4m
1 Lektüre
Deployment of the environment10m
4 praktische Übungen
Spark Execution Model & RDD Internals10m
Spark SQL and Catalyst10m
Memory management and resource allocation10m
Final Quiz16m
4.0
20 BewertungenChevron Right

33%

nahm einen neuen Beruf nach Abschluss dieser Kurse auf

25%

ziehen Sie für Ihren Beruf greifbaren Nutzen aus diesem Kurs

Top-Bewertungen

von SMNov 13th 2018

content of the course is remarkable and the way they explained concepts is very lucid. I just want to give suggestions please give link to the data set they are using for illustrating the concepts.

von SSFeb 3rd 2018

I wish I could give more rating than 5 :). Excellent course. Thanks so much for such an excellent course. All the instructors are great.

Dozenten

Avatar

Pavel Klemenkov

Chief Data Scientist
NVIDIA
Avatar

Pavel Mezentsev

Senior Data Scientist
PulsePoint inc
Avatar

Alexey A. Dral

Founder and Chief Executive Officer
BigData Team

Über Yandex

Yandex is a technology company that builds intelligent products and services powered by machine learning. Our goal is to help consumers and businesses better navigate the online and offline world....

Über die Spezialisierung Big Data for Data Engineers

This specialization is made for people working with data (either small or big). If you are a Data Analyst, Data Scientist, Data Engineer or Data Architect (or you want to become one) — don’t miss the opportunity to expand your knowledge and skills in the field of data engineering and data analysis on the large scale. In four concise courses you will learn the basics of Hadoop, MapReduce, Spark, methods of offline data processing for warehousing, real-time data processing and large-scale machine learning. And Capstone project for you to build and deploy your own Big Data Service (make your portfolio even more competitive). Over the course of the specialization, you will complete progressively harder programming assignments (mostly in Python). Make sure, you have some experience in it. This course will master your skills in designing solutions for common Big Data tasks: - creating batch and real-time data processing pipelines, - doing machine learning at scale, - deploying machine learning models into a production environment — and much more! Join some of best hands-on big data professionals, who know, their job inside-out, to learn the basics, as well as some tricks of the trade, from them. Special thanks to Prof. Mikhail Roytberg (APT dept., MIPT), Oleg Sukhoroslov (PhD, Senior Researcher, IITP RAS), Oleg Ivchenko (APT dept., MIPT), Pavel Akhtyamov (APT dept., MIPT), Vladimir Kuznetsov, Asya Roitberg, Eugene Baulin, Marina Sudarikova....
Big Data for Data Engineers

Häufig gestellte Fragen

  • Sobald Sie sich für ein Zertifikat angemeldet haben, haben Sie Zugriff auf alle Videos, Quizspiele und Programmieraufgaben (falls zutreffend). Aufgaben, die von anderen Kursteilnehmern bewertet werden, können erst dann eingereicht und überprüft werden, wenn Ihr Unterricht begonnen hat. Wenn Sie sich den Kurs anschauen möchten, ohne ihn zu kaufen, können Sie womöglich auf bestimmte Aufgaben nicht zugreifen.

  • Wenn Sie sich für den Kurs anmelden, erhalten Sie Zugriff auf alle Kurse der Spezialisierung und Sie erhalten nach Abschluss aller Arbeiten ein Zertifikat. Ihr elektronisches Zertifikat wird zu Ihrer Seite „Errungenschaften“ hinzugefügt – von dort können Sie Ihr Zertifikat ausdrucken oder es zu Ihrem LinkedIn Profil hinzufügen. Wenn Sie nur lesen und den Inhalt des Kurses anzeigen möchten, können Sie kostenlos als Gast an dem Kurs teilnehmen.

Haben Sie weitere Fragen? Besuchen Sie das Hilfe-Center für Teiln..