北京大數(shù)據(jù)開(kāi)發(fā)培訓(xùn)班

課程介紹

本專(zhuān)業(yè)擁實(shí)戰(zhàn)經(jīng)驗(yàn)與教學(xué)經(jīng)驗(yàn)豐富的教師團(tuán)隊(duì)，以大數(shù)據(jù)的實(shí)訓(xùn)課程為主。階段：Java基礎(chǔ)語(yǔ)法，面向?qū)ο蟪绦蛟O(shè)計(jì)，常用工具類(lèi)。第二階段：電商基礎(chǔ)框架（數(shù)據(jù)庫(kù)，靜態(tài)、動(dòng)態(tài)網(wǎng)站開(kāi)發(fā)與部署，網(wǎng)站開(kāi)發(fā)三大框架）。第三階段：爬蟲(chóng)搜索系統(tǒng)（東京爬蟲(chóng)開(kāi)發(fā)，分布式搜索系統(tǒng)）；第四階段：分布式電商系統(tǒng)（電商網(wǎng)站主體架構(gòu)搭建，電商網(wǎng)站商品管理，網(wǎng)頁(yè)靜態(tài)化搜索，單點(diǎn)登錄及購(gòu)物流程實(shí)現(xiàn)，百萬(wàn)級(jí)網(wǎng)站部署優(yōu)化）；第五階段：構(gòu)建離線數(shù)據(jù)分析平臺(tái)；第六階段：構(gòu)建實(shí)時(shí)數(shù)據(jù)分析平臺(tái)，第七階段：推薦系統(tǒng)算法與源代碼分析。采用學(xué)練測(cè)評(píng)一體化的教學(xué)方案，保障每個(gè)學(xué)員都能真真正正學(xué)到技術(shù)，掌握要點(diǎn)。

課程內(nèi)容

第 一階段：Java語(yǔ)言入門(mén)
計(jì)算機(jī)基礎(chǔ)知識(shí)：1.計(jì)算機(jī)基礎(chǔ)；2.DOS常用命令；3.Java概述；4.JDK環(huán)境安裝配置；5.環(huán)境變量配置；6.Java程序入門(mén)
編程基礎(chǔ)：常量與變量；2.數(shù)據(jù)類(lèi)型；3.運(yùn)算符；4.流程控制語(yǔ)句；5.方法；6.數(shù)組
面向?qū)ο螅?.面向?qū)ο笏枷耄?.類(lèi)與對(duì)象；3.成員變量和局部變量；4.封裝；5.this關(guān)鍵字；6.構(gòu)造方法
常用類(lèi)：1.Object類(lèi)；2.Scanner類(lèi)；3.Random類(lèi)；4.String；5.StringBuilder類(lèi)
集 合：1.集 合概述；2.集 合特點(diǎn)；3.ArrayList集 合
IO：1.字符輸入流；2.字符輸出流；3.字符緩沖輸入流；4.字符緩沖輸出流；5.復(fù)制文件；6.集 合與文件中數(shù)據(jù)相互讀寫(xiě)
第二階段：電商基礎(chǔ)架構(gòu)
數(shù)據(jù)庫(kù)：Mysql安裝配置、SQL語(yǔ)法入門(mén)、數(shù)據(jù)導(dǎo)入導(dǎo)出；數(shù)據(jù)建模、SQL查詢、JDBC入門(mén)、SQL注入、事務(wù)管理、批處理、連接池（Druid）、DBUtils框架
靜態(tài)網(wǎng)站開(kāi)發(fā)與部署：HTML、CSS、JavaScript、BootStrap、Linux常用操作、Nginx服務(wù)器 網(wǎng)頁(yè)配置
動(dòng)態(tài)網(wǎng)站開(kāi)發(fā)與部署：Tomcat服務(wù)器、HTTP協(xié)議、servlet、JSP入門(mén)、JSTL(forEach)、EL、JQuery基礎(chǔ)、Ajax、Cookie、Session、JavaMail注冊(cè)、Redis入門(mén)、log4j、Slf4j
網(wǎng)站開(kāi)發(fā)三大框架：1.計(jì)算機(jī)基礎(chǔ)；2.DOS常用命令；3.Java概述；4.JDK環(huán)境安裝配置；5.環(huán)境變量配置；6.Java程序入門(mén)
第三階段：爬蟲(chóng)搜索系統(tǒng)
爬蟲(chóng)開(kāi)發(fā)：網(wǎng)絡(luò)爬蟲(chóng)、Redis、Redis Cluster、Redis Cluster、動(dòng)態(tài)代理
分布式搜索系統(tǒng)：Lucene、Solr、Solr Cloud
第四階段：分布式電商系統(tǒng)
電商網(wǎng)站主體架構(gòu)搭建：電商基礎(chǔ)知識(shí)、背景分析、項(xiàng)目需求分析、Dubbo、AngularJS、商家管理平臺(tái)、網(wǎng)站管理平臺(tái)、商家入駐審核
電商網(wǎng)站商品管理：電商核心業(yè)務(wù)實(shí)現(xiàn)
頁(yè)面靜態(tài)化及搜索：freemarker靜態(tài)化、首頁(yè)輪播圖管理、首頁(yè)樓層管理、Solr、商品及店鋪搜索
單點(diǎn)登錄及購(gòu)物流程實(shí)現(xiàn)：?jiǎn)吸c(diǎn)登錄（SSO）、購(gòu)物車(chē)的實(shí)現(xiàn)、ActiveMQ消息隊(duì)列、支付寶系統(tǒng)對(duì)接
百萬(wàn)級(jí)網(wǎng)站部署及優(yōu)化：Nginx、Hudson、Solr Cloud、Docker容器部署、熱部署、高并發(fā)
第五階段：構(gòu)建離線數(shù)據(jù)分析平臺(tái)
大數(shù)據(jù)分析基礎(chǔ)課：數(shù)據(jù)分析、數(shù)據(jù)分析基本步驟、數(shù)據(jù)分析師的職業(yè)發(fā)展、常用的數(shù)據(jù)分析方法 論、大數(shù)據(jù)時(shí)代的思維變革、商業(yè)變革、管理變革
海量數(shù)據(jù)分布式存儲(chǔ)框架：點(diǎn)擊流日志系統(tǒng)解決方案、點(diǎn)擊流日志系統(tǒng)部署及電商項(xiàng)目集成、Hadoop集群搭建、Hadoop HDFS數(shù)據(jù)存儲(chǔ)原理、Flume點(diǎn)擊流日志數(shù)據(jù)采集
數(shù)據(jù)倉(cāng)庫(kù)管理與數(shù)據(jù)分析：數(shù)據(jù)倉(cāng)庫(kù)基本概念、數(shù)據(jù)倉(cāng)庫(kù)工具HIVE快速入門(mén)、創(chuàng)建點(diǎn)擊流數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)、點(diǎn)擊流數(shù)據(jù)分析（HiveSql）、點(diǎn)擊流數(shù)據(jù)分析結(jié)果導(dǎo)出（Sqoop）、報(bào)表平臺(tái)開(kāi)發(fā)及數(shù)據(jù)展示、點(diǎn)擊流數(shù)據(jù)分析需求開(kāi)發(fā)、調(diào)度系統(tǒng)使用及說(shuō)明、Sqoop采集Mysql數(shù)據(jù)、跨部門(mén)數(shù)據(jù)采集管理之FTP規(guī)范、數(shù)據(jù)質(zhì)量檢測(cè)與元數(shù)據(jù)管理
Hive開(kāi)發(fā)與分布式計(jì)算框架：Hadoop ；HIve ；UDF函數(shù)編寫(xiě)、Hadoop ；MapReduce計(jì)算模型、Hadoop ；MapReduce ；案例開(kāi)發(fā)；Hadoop ；MapReduce ；案例開(kāi)發(fā)、HadoopMapReduce原理剖析；Hadoop ；NameNode元數(shù)據(jù)備份、Hadoop ；NameNode ；HA、企業(yè)海量數(shù)據(jù)分析平臺(tái)規(guī)劃。
分布式內(nèi)存計(jì)算框架：升級(jí)Hive執(zhí)行引擎為Spark、使用Spark Sql完成點(diǎn)擊流日志業(yè)務(wù)需求、打通Spark數(shù)據(jù)收集、存儲(chǔ)、計(jì)算、展示流程、使用Spark處理業(yè)務(wù)數(shù)據(jù)、Spark 核心概念（RDD、DAG）、探討分布內(nèi)存文件系統(tǒng)Alluxio的使用
第六階段：構(gòu)建實(shí)時(shí)數(shù)據(jù)分析平臺(tái)
實(shí)時(shí)計(jì)算基礎(chǔ)課：實(shí)時(shí)計(jì)算平臺(tái)解決方案、Kafka基礎(chǔ)與常用API、使用Flume收集數(shù)據(jù)到Kafka、使用Storm對(duì)數(shù)據(jù)進(jìn)行分析、Flume+Kafka+Storm+Redis+Mysql整合
實(shí)時(shí)分析系統(tǒng)案例：實(shí)時(shí)日志分析需求、實(shí)時(shí)日志分析結(jié)構(gòu)說(shuō)明、實(shí)時(shí)日志分析代碼開(kāi)發(fā)
推薦系統(tǒng)：Hbase列式數(shù)據(jù)庫(kù)、實(shí)時(shí)用戶行為軌跡、電商網(wǎng)站集成推薦系統(tǒng)介紹、推薦系統(tǒng)開(kāi)發(fā)流程、使用Mahout的離線計(jì)算數(shù)據(jù)MapReduce離線數(shù)據(jù)清洗、Storm實(shí)時(shí)數(shù)據(jù)清洗、推薦引擎集成
大數(shù)據(jù)搜索系統(tǒng)：開(kāi)源分布式搜索引擎（Elasticsearch、Logstash和Kibana 
第七階段：推薦系統(tǒng)算法與源碼分析
Python與機(jī)器學(xué)習(xí)：Python入門(mén)、機(jī)器學(xué)習(xí)概論、機(jī)器學(xué)習(xí)決策樹(shù)與Python案例、機(jī)器學(xué)習(xí)KNN與Python案例、機(jī)器學(xué)習(xí)SVM與Python案例、機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與Python案例
Scala語(yǔ)言與Spark核心：Scala基礎(chǔ)、Spark Core
分布式框架原理：Spark源碼編譯、Master和Worker啟動(dòng)流程源碼分析、SparkContext創(chuàng)建過(guò)程源碼分析、Master資源調(diào)度源碼分析、DAGScheduler執(zhí)行過(guò)程、DAG劃分Stage過(guò)程、TaskScheduler提交Task過(guò)程等等，Storm源碼編譯、任務(wù)提交機(jī)制分析、任務(wù)分配機(jī)制分析、任務(wù)執(zhí)行、任務(wù)運(yùn)行機(jī)制等等