福州大數(shù)據(jù)開發(fā)課程培訓

大數(shù)據(jù)開發(fā)課程培訓

課程簡介

本課程詳細講解了大數(shù)據(jù)生態(tài)體系的各個模塊的功能和開發(fā)技術(shù)。包括Hadoop體系中的HDFS,Hbase、ZooKeeper進行數(shù)據(jù)操作,MapReduce進行數(shù)據(jù)開發(fā),YARN進行資源配置,Hive完成數(shù)據(jù)倉庫,Pig進行數(shù)據(jù)分析,理解其基本原理,Storm實時流式處理,Spark大數(shù)據(jù)處理框架等。并通過實驗掌握其操作和編程開發(fā)。

教學目標

掌握大數(shù)據(jù)主流技術(shù)體系各個模塊的功能和基本原理,掌握各個技術(shù)模塊的安裝,基本操作與開發(fā),能夠根據(jù)需求,完成對應模塊上的應用開發(fā),理解大數(shù)據(jù)解決方案中的技術(shù)框架,能夠基于已有的框架完成一般項目的大數(shù)據(jù)應用開發(fā)。

適合人群

Java高 級開發(fā)人員,數(shù)據(jù)分析、數(shù)據(jù)統(tǒng)計相關(guān)在職人群,想從事大數(shù)據(jù)開發(fā)工作的在職人士有職業(yè)技能、崗位晉升需求的在職人員對大數(shù)據(jù)開發(fā)感興趣的業(yè)界人士。

課程內(nèi)容

章節(jié)1:Linux基礎(chǔ)
章節(jié)2:Java負基礎(chǔ)掃盲課程
章節(jié)3:JAVA語言基礎(chǔ)入門
章節(jié)4:JAVA核心編程
章節(jié)5:JavaWeb開發(fā)技術(shù)
章節(jié)6:傳統(tǒng)核心框架之SSH
章節(jié)7:MySQL基礎(chǔ)
章節(jié)8:Storm實時流式處理
章節(jié)9:Hadoop介紹
章節(jié)10:數(shù)據(jù)倉庫HIVE
章節(jié)11:分布式數(shù)據(jù)庫Hbase
章節(jié)12:計算模型MapReduce
章節(jié)13:分布式協(xié)作系統(tǒng)ZooKeeper
章節(jié)14:分布式文件系統(tǒng)HDFS體系結(jié)構(gòu)
章節(jié)15:Spark項目入門與提高
章節(jié)16:Spark項目編譯
章節(jié)17:Spark平臺下的機器學習
章節(jié)18:Scala編程語言
章節(jié)19:ElasticSearch搜索引擎
章節(jié)20:Flink精講
章節(jié)21:機器學習
章節(jié)22:超大集群調(diào)優(yōu)

項目實戰(zhàn)

項目一:通過PAI基于機器學習的精細化營銷方法、案例和算法。
項目二:互聯(lián)網(wǎng)電商數(shù)據(jù)爬蟲項目,分析抓取、解析、存儲和監(jiān)控。
項目三:Web應用云高頻實時處理項目,包含Web服務、Web日志及其他實時數(shù)據(jù)。
項目四:某大型網(wǎng)站日志分析項目,使用hadoop、mapreduce、hive清理進行分析。
項目五:移動業(yè)務感知項目,使用MR對多類數(shù)據(jù)分析,使用hive完成用戶維度關(guān)聯(lián)匯總。
項目六:用戶畫像分析系統(tǒng)項目,通過sqoop導入hdfs或spark的jdbc連接傳統(tǒng)數(shù)據(jù)庫。
項目七:非法網(wǎng)站監(jiān)測系統(tǒng)項目,對日志數(shù)據(jù)進行實時采集、轉(zhuǎn)換與分發(fā)。
項目八:搭建個性化推薦系統(tǒng)。了解算法原理及引擎RecEng操作,搭建電商推薦系統(tǒng)上線。