”“”

Apache Spark 3 -Scala Spark編程初學者

使用結構化Spark API

的數據工程

評估：4.5 of 52325評論

總小時：8

總講座：68

所有級別

使用結構化Spark API

的數據工程

本課程不需要任何有關Apache Spark或Hadoop的知識。我們要小心地解釋Spark的架構和基本概念，以幫助您更新和了解本課程的內容。

關於該課程：
我正在創建“ Apache Spark 3-在Scala中為初學者進行Spark編程”課程，以幫助您了解Spark編程並應用此知識來構建數據工程解決方案。本課程以示例為指導，並遵循一種工作會議方法。我們將採用一種實時編碼方法，並在此過程中解釋所有必要的概念。

誰應該參加這門課程？
我為願意使用Apache Spark開發管道和數據工程應用程序的軟件工程師設計了此課程。我還為負責設計和構建以組織為中心的數據基礎架構的數據架構師和數據工程師創建了此課程。另一組人是不直接與Spark實施直接合作的經理和建築師。儘管如此，他們還是與在基本層面上實施Apache Spark的人一起工作。

課程中使用的火花版：
本課程使用Apache Spark 3.x。我測試了本課程中使用的所有源代碼和開源分佈Apache Spark 3.0.0中使用的示例。

您將學到什麼：
– Apache Spark和Spark Architecture的基本原理
– 火花時的數據工程和數據處理
– 使用來源和數據目的地
– 使用數據幀，數據集和Spark SQL
– 使用Intellij Idea進行火花開發和純化
– 單元測試，應用程序日誌管理和集群部署