Spark分散式計算框架技術實務班

本課程透過上機實作方式，帶領學員們架設Apache .........

提供機構：

工業技術研究院(工研院產業學院)

加入收藏

轉寄

友善
列印

報名洽詢
機構資訊
授課講師
報名資訊
課程介紹

Spark分散式計算框架技術實務班

上課地址：工研院產業學院產業人才訓練一部(台北)，實際地點依上課通知為準!!!!

時數：18

起迄日期：2021-01-13~2021-01-15

聯絡資訊：黃靖棻/02-2730 1111 #304

報名截止日：2021-01-11

課程類別：人才培訓(課程)

活動代碼：2320090030

課程介紹

課程緣起

Spark叢集系統是由 UC Berkeley AMPLab 研究團隊於 2009 年開發出來的分散式計算框架技術，旨在有效提升 Apache Hadoop 分散式系統的效能。其中，Spark Core (核心技術) 從早期的 RDD (彈性分散式資料集) 到 DataFrame 為基礎的運算模式，使得運算效能 (相較於 Hadoop 系統) 提升百倍。
2013年，Spark 成為 Apache 所屬的頂級開發專案，透過不同的叢集管理 (cluster managers)，例如：Standalone、YARN、Mesos、…，可與 HDFS 或分散式資料庫系統等，進行高效能的叢集運算。同時，有效整合 Spark 上層的應用程式，例如：Spark SQL、Spark MLlib、Spark GraphX 以及 Spark Streaming等技術，為大數據分析提供資料處理、機器學習、圖論運算、資料串流等無縫接軌的運算功能。
~本課程歡迎企業包班，請來電洽詢課程承辦人黃小姐02-23701111#306 ~
更多軟體開發相關課程，請參主題館網址：https://college.itri.org.tw/edm/D1/008/04/edm.html

課程特色/目標

本課程透過上機實作方式，帶領學員們架設Apache Spark 叢集系統，並且學習 Spark 分散式計算框架的核心技術，進而使得學員們能夠熟悉並具備 Spark SQL資料處理與Spark MLlib機器學習運算的實務技能。

課程對象

1.資料工程師、資料分析師、資料科學家
2.希望轉職成為資料科學領域研發的從業人員
3.IT經理人、企業決策人員、系統網路管理人員

先備知識

了解Scala與Hadoop技術，建議先上過「Scala語言技術實務」與「Big Data 分散式平台-Hadoop技術實務」。

課程大綱

課程主題	課程內容
Spark/Scala系統建置與介紹	。Ubuntu/VMware 虛擬環境建置。Spark/Hadoop 分散式系統建置。Spark/Scala 運算環境建置。Spark 框架介紹
Spark 框架操作	。Spark Cluster 元件。Spark Cluster 模式。Spark Shell 互動式分析。spark-submit 啟動應用程式
Spark MLlib Pipeline — 機器學習 (ML) 原理與應用	。MLlib Pipeline 元件。MLlib Pipeline 架構。ML persistence
WORKSHOP 1 : Spark數據處理技術	。Spark Core : DataFrame vs. RDD 。Spark SQL 技術
WORKSHOP 2 : Spark 特徵工程技術	。Feature Extraction 。Feature Transformation 。Feature Selection
WORKSHOP 3 : 監督學習 — 分類模型	。Logistic Regression 。Decision-tree 分類演算法。Random-forest分類演算法。Gradient-boosted tree分類演算法。Multilayer perceptron 分類演算法。Linear Support Vector Machine 。Naïve Bayes分類演算法
WORKSHOP 4 : 監督學習 — 迴歸模型	。Linear regression 。Generalized linear regression 。Decision-tree迴歸演算法。 Random-forest 迴歸演算法。Gradient-boosted tree 迴歸演算法
WORKSHOP 5 : 無監督學習 — 集群分析	。K-means 演算法。Gaussian Mixture Model (GMM) 演算法
WORKSHOP 6 : Case Study — 推薦系統	。 Collaborative Filtering 演算法。Movie recommendation with Spark MLlib

* 課程執行單位保留調整課程內容、日程與講師之權利

價格

	課程費用
課程原價 (每人)	$15,000元
10天前報名優惠價(每人)	$12,000元
10天前報名+兩人揪團同行優惠價(每人)	$11,400元
10天前報名+四人(含)以上揪團同行/工研人優惠價(每人)	$10,800元

課程日期

110年1/13-1/15，週三四五白天9:30 ~12:00,13:00~16:30 ，共3天、計18小時。

上課地點：

主辦單位：財團法人工業技術研究院產業人才訓練一部(台北)
舉辦地點：工研院產業學院產業人才訓練一部(台北)，實際地點依上課通知為準!!!!

報名方式

報名方式：
(1)紙本報名：請以正楷填妥報名表傳真至02-2381-1000 (02-2370-1111 分機306 黃小姐)
(2)線上報名：到工研院產業學院官網報名課程洽詢：02-2370-1111 分機306黃小姐

報名確認與取消

1.已完成報名與繳費之學員，課程主辦單位將於開課三天前以E-mail方式寄發上課通知函；若課程因故取消或延期，亦將以E-mail方式通知，如未收到任何通知，敬請來電確認。
2.已完成繳費之學員如欲取消報名，請於實際上課日前以書面通知業務承辦人，主辦單位將退還80% 課程費用。
3.學員於培訓期間如因個人因素無法繼續參與課程，將依課程退費規定辦理之：上課未逾總時數三分之一，欲辦理退費，退還所有上課費用之二分之一，上課逾總時數三分之一，則不退費。
4.本單位保留是否接受報名之權利。
5.如遇不可抗拒之因素，課程主辦單位保留修訂課程日期及取消課程的權利。

繳費方式

1.ATM轉帳（線上報名）：繳費方式選擇「ATM轉帳」者，系統將給您一組轉帳帳號「銀行代號、轉帳帳號」，但此帳號只提供本課程轉帳使用，各別學員轉帳請使用不同轉帳帳號！！轉帳後，寫上您的「公司全銜、課程名稱、姓名、聯絡電話」與「收據」傳真至02-2381-1000黃小姐收。
2.信用卡（線上報名）：繳費方式選「信用卡」，直到顯示「您已完成報名手續」為止，才確實完成繳費。
3.銀行匯款(公司逕行電匯付款)：土地銀行　工研院分行，帳號156-005-00002-5（土銀代碼：005）。戶名「財團法人工業技術研究院」，請填具「報名表」與「收據」回傳真至02-2381-1000黃小姐收。
4.即期支票：抬頭「財團法人工業技術研究院」，郵寄至： 100台北市中正區館前路65號7樓704室黃小姐收。
5.計畫代號扣款(工研院同仁) :請從產業學院學習網直接登入工研人報名；俾利計畫代號扣款。

相關課程

更多軟體開發相關課程，請參主題館網址：https://college.itri.org.tw/edm/D1/008/04/edm.html