Use the Apache Spark Structured Streaming API with MongoDB

von
Coursera Project Network
In diesem angeleitetes Projekt werden Sie:

Use the Apache Spark Structured Streaming API with Python to stream data from two different sources

Use the Apache Spark Structured Streaming API with Python to store a dataset in the MongoDB database and join two datasets

Clock2 hours
IntermediateMittel
CloudKein Download erforderlich
VideoVideo auf geteiltem Bildschirm
Comment DotsEnglisch
LaptopNur Desktop

By the end of this project, you will use the Apache Spark Structured Streaming API with Python to stream data from two different sources, store a dataset in the MongoDB database, and join two datasets. The Apache Spark Structured Streaming API is used to continuously stream data from various sources including the file system or a TCP/IP socket. One application is to continuously capture data from weather stations for historical purposes.

Kompetenzen, die Sie erwerben werden

  • Apache Spark SQL
  • Mongodb
  • Apache Spark Structured Streaming API
  • Apache Spark Schema
  • Apache Spark

Schritt für Schritt lernen

In einem Video, das auf einer Hälfte Ihres Arbeitsbereichs abgespielt wird, führt Sie Ihr Dozent durch diese Schritte:

  1. Create a Python PySpark program to read streaming structured data.

  2. Persist Apache Spark data to MongoDB.

  3. Use Spark Structured Query Language to query data.

  4. Use Spark to stream from two different structured data sources.

  5. Use the Spark Structured Streaming API to join two streaming datasets.

Ablauf angeleiteter Projekte

Ihr Arbeitsbereich ist ein Cloud-Desktop direkt in Ihrem Browser, kein Download erforderlich

Ihr Dozent leitet Sie in einem Video mit geteiltem Bildschirm Schritt für Schritt an.

Häufig gestellte Fragen

Häufig gestellte Fragen

Haben Sie weitere Fragen? Besuchen Sie das Learner Help Center.