例如,學習課程:Hadoop,MapReduce大數據問題

“例如,學習:Hadoop,MapReduce大數據挑戰

對Hadoop,MapReduce和平行思想的藝術的實際開發

由一支由四個專家組成的團隊教授,其中包括來自斯坦福大學的兩個受過良好教育的人,以及一家名為Flipkart的公司的兩名前領導人。該團隊憑藉其在Java的豐富經驗和處理大量數據的處理,可以很好地指導您在本課程中。

本課程為理解Hadoop,MapReduce和並行思維的概念提供了一種全面而實用的方法。

Zoom-In,Zoom-Out:

本課程既提供了每個Hadoop組件的詳細檢查,又提供對這些組件如何共同工作的更廣泛的了解。

涉及Hadoop,MapReduce的實用剝削:

從一開始,本課程就可以使您獲得Hadoop的實踐經驗。您將學習如何使用虛擬機(VM)和雲技術配置自己的群集。該課程涵蓋了MapReduce的所有主要功能,包括高級主題,例如總排序和次要排序。

平行思維的藝術:

MapReduce徹底改變了我們處理大數據處理的方式。將復雜的問題分為並行單位是可以提高的技能。通過實際示例,本課程將訓練您“平行思考”。

解決的問題:

本課程涵蓋了廣泛的主題,包括:

  • 使用MapReduce在社交網絡上推薦朋友,採用協作過濾算法。
  • 為搜索引擎構建倒置索引,使用MapReduce並行將任務並行。
  • 生成bigrams並在文本語料庫中計算其頻率分佈。

構建群集hadoop:

了解如何在獨立,偽分佈和完全分佈的模式中安裝Hadoop。使用Linux或Cloud VMS使用AWS和Cloudera Manager設置自己的Hadoop群集。深入了解HDF,MapReduce和Yarn,以及它們如何相互作用。

自定義您的MapReduce工作:

找出如何將各種MapReduce鏈接在一起,編寫您自己的自定義分區器,通過訂購大量數據,執行輔助分類並使用Hadoop的流媒體API集成Python。也將與MR單元進行單位測試。

當然,所有基本概念:

本課程涵蓋了基本概念,例如映射器,還原器,分類/合併,分區,洗牌和MapReduce排序。此外,您還將對HDF,紗線,Namenode,DataNode,資源管理器,節點管理器,MapReduce應用程序的解剖,紗線調度和HDFS以及YARN配置有深入的了解。

您將學到什麼

在本課程結束時,您將能夠:

  • 開發先進的磁石應用程序來處理大數據。
  • 掌握“並行思考”的藝術,並將任務分為地圖/減少轉換。
  • 獨立配置您自己的Hadoop迷你群集,是一個結,物理或云群。
  • 使用Hadoop和MapReduce解決各種問題,從自然語言處理(NLP)到倒置指數和建議。
  • 了解HDF,MapReduce和Yarn的複雜性,以及它們如何相互作用。
  • 獲取知識調整知識並有效地管理自己的集群。”
Scroll to Top