欧美乱大交av_美女视频黄免费看_国产情久久久久久一区二区三_国产av一区二区久久_欧美日韩av久久久_久久精品国产亚洲av久试看 _日韩高清影院_大陆国产av

云計算技術(shù)課程培訓(xùn)

課程大綱：
一、云計算背景 
1、什么是大數(shù)據(jù)？
運(yùn)營商的數(shù)據(jù)滿足4V特征：與互聯(lián)網(wǎng)的對比
大數(shù)據(jù)對傳統(tǒng)架構(gòu)帶來的沖擊
各行業(yè)對大數(shù)據(jù)技術(shù)的共性需求，催生新技術(shù)
運(yùn)營商對大數(shù)據(jù)技術(shù)的需求 
2、云計算主流技術(shù)總覽 

二、云計算主流技術(shù)
1、HADOOP技術(shù)
主流技術(shù)1：Hadoop發(fā)展簡史
主流技術(shù)1：Hadoop技術(shù)
主流技術(shù)1：Hadoop技術(shù)演進(jìn)
主流技術(shù)1：Hadoop技術(shù) - HDFS文件管理
主流技術(shù)1：Hadoop技術(shù) - MapReduce
主流技術(shù)1：Hadoop的生態(tài)圈
主流技術(shù)1：Hadoop產(chǎn)品
主流技術(shù)1：Hadoop的應(yīng)用場景
主流技術(shù)1：Hadoop在福建移動的落地實施

2、SPARK技術(shù)
主流技術(shù)2：Spark發(fā)展歷程
主流技術(shù)2：Spark技術(shù)
主流技術(shù)2：Spark適用場景
主流技術(shù)2：Spark四川移動應(yīng)用案例

3、MPP技術(shù)
主流技術(shù)3：MPP數(shù)據(jù)庫引出
主流技術(shù)3：MPP數(shù)據(jù)庫
主流技術(shù)3：MPP數(shù)據(jù)庫：橫向擴(kuò)展
主流技術(shù)3：MPP數(shù)據(jù)庫：并行執(zhí)行
主流技術(shù)3：MPP數(shù)據(jù)庫適用場景

4、流計算技術(shù)
主流技術(shù)4：流處理技術(shù)引出
主流技術(shù)4：流處理技術(shù)
主流技術(shù)4：流處理技術(shù)產(chǎn)品與應(yīng)用場景
主流技術(shù)4：流處理技術(shù)應(yīng)用場景
主流技術(shù)4：流處理技術(shù)山西移動案例

5、*SQL技術(shù)
主流技術(shù)5：NoSQL技術(shù)引出
主流技術(shù)5：NoSQL技術(shù)
主流技術(shù)5：NoSQL典型產(chǎn)品與應(yīng)用場景
主流技術(shù)5：NoSQL技術(shù)-浙江移動Hbase案例

6、內(nèi)存數(shù)據(jù)庫技術(shù)
主流技術(shù)6：內(nèi)存數(shù)據(jù)庫引出
主流技術(shù)6：內(nèi)存數(shù)據(jù)庫
主流技術(shù)6：內(nèi)存數(shù)據(jù)庫典型產(chǎn)品與應(yīng)用場景
主流技術(shù)6：內(nèi)存數(shù)據(jù)庫技術(shù)-福建移動案例

7、數(shù)據(jù)采集技術(shù)
主流技術(shù)7：數(shù)據(jù)采集技術(shù)
主流技術(shù)7：數(shù)據(jù)采集主流技術(shù)-Flume、Kafka
主流技術(shù)7： Flume+Kafka應(yīng)用場景與案例

8、云計算技術(shù)如何落地？
如何選擇合適的云計算技術(shù)
云計算技術(shù)在某運(yùn)營商各省的落地情況匯總

三、Hadoop的關(guān)鍵技術(shù)-M/R原理
1、M/R原理
MRAppMaster原理及架構(gòu)
Yarn的產(chǎn)生
什么是Yarn
Yarn的架構(gòu)
2、資源分配
資源表示模型
資源分配模型
本地優(yōu)化
延遲調(diào)度
調(diào)度器比較
容量調(diào)度器的特點(diǎn)
容量調(diào)度器的任務(wù)選擇
容量調(diào)度器的優(yōu)缺點(diǎn)
隊列資源限制
用戶限制
任務(wù)限制
3、MR編程接口
4、MR編程實例

四、HADOOP關(guān)鍵技術(shù)-HDFS介紹
1、HDFS介紹
HDFS設(shè)計假設(shè)、目標(biāo)
HDFS系統(tǒng)架構(gòu)
HDFS 架構(gòu)關(guān)鍵設(shè)計要點(diǎn)
NameNode/DataNode主從模式
HDFS主從模式：數(shù)據(jù)讀取流程
HDFS主從模式：數(shù)據(jù)寫入流程
數(shù)據(jù)副本機(jī)制
元數(shù)據(jù)持久化
健壯機(jī)制
HDFS 架構(gòu)其他關(guān)鍵設(shè)計要點(diǎn)說明
HDFS HA架構(gòu)
HDFS HA架構(gòu)要點(diǎn)
HDFS 架構(gòu)全景圖

2、HDFS 架構(gòu)全景圖-(ZooKeeper)
HDFS參數(shù)配置介紹
HDFS服務(wù)配置參數(shù)類型說明
HDFS服務(wù)關(guān)鍵配置說明
NameNode關(guān)鍵配置說明
DataNode關(guān)鍵配置說明

3、HDFS應(yīng)用開發(fā)的幾個概念
開發(fā)環(huán)境準(zhǔn)備--HDFS應(yīng)用開發(fā)之Java API篇
典型代碼流程--HDFS應(yīng)用開發(fā)之Java API篇
初始化Filesystem--HDFS應(yīng)用開發(fā)之Java API篇
目錄操作--HDFS應(yīng)用開發(fā)之Java API篇
文件讀取--HDFS應(yīng)用開發(fā)之Java API篇
文件寫入/追加--HDFS應(yīng)用開發(fā)之Java API篇
SHELL編程流程--HDFS應(yīng)用開發(fā)之SHELL篇
Shell接口--HDFS應(yīng)用開發(fā)之SHELL篇

五、HADOOP關(guān)鍵技術(shù)-HIVE介紹
1、HIVE概述
什么是Hive      
2、Hive的架構(gòu)
.metastore
.Driver
.Compiler
3、Map/Reduce任務(wù)
.Optimizer – 優(yōu)化器，分為邏輯優(yōu)化器和物理優(yōu)化器，分別對
HiveQL
Execution Engine
ThriftServer
Clients
4、Hive與傳統(tǒng)數(shù)據(jù)庫的比較
Hive的優(yōu)點(diǎn)
5、HIVE應(yīng)用場景
應(yīng)用案例
任務(wù)執(zhí)行流程

六、HADOOP關(guān)鍵技術(shù)-Hbase
1、Hbase原理
數(shù)據(jù)分類與存儲
KeyValue存儲
KeyValue型數(shù)據(jù)庫數(shù)據(jù)分區(qū)方式-一致性Hash分區(qū)
KeyValue型數(shù)據(jù)庫數(shù)據(jù)分區(qū)方式-按Key值連續(xù)范圍分區(qū)

2、關(guān)于Hbase
Region
Region與RegionServer
Region分類
Master
ZooKeeper
HDFS     

3、Hbase數(shù)據(jù)模型
Create Table
KeyValue
HFile

4、Hbase寫流程
涉及的關(guān)鍵角色
客戶端發(fā)起寫數(shù)據(jù)請求
定位Region
數(shù)據(jù)分組
往RegionServer發(fā)送寫數(shù)據(jù)請求
Region寫數(shù)據(jù)流程
Hbase LSM Tree
Flush
多HFile的影響
Compaction
Split 

5、Hbase讀流程
Get Or Scan
OpenScanner
Next
Filter
BloomFilter

6、Hbase高級設(shè)計
RowKey設(shè)計
列族與列設(shè)計
Secondary Index-Why Secondary Index?
Secondary Index
Replication
Backup/Restore
BulkLoad
CTbase

7、Hbase的接口
Hbase Shell
插入一行數(shù)據(jù) — Put
讀取一行數(shù)據(jù) — Get
讀取多行數(shù)據(jù) — Scan
其它常用Shell API

七、云計算技術(shù)平臺落地
1、數(shù)據(jù)分析領(lǐng)域關(guān)鍵技術(shù)與業(yè)務(wù)場景的映射
大數(shù)據(jù)技術(shù)混搭的必要性
大數(shù)據(jù)技術(shù)混搭架構(gòu)
大數(shù)據(jù)平臺混搭架構(gòu)
大數(shù)據(jù)平臺混搭架構(gòu)思考 

2、互聯(lián)網(wǎng)大數(shù)據(jù)平臺混搭案例 – 百度大數(shù)據(jù)架構(gòu)
互聯(lián)網(wǎng)大數(shù)據(jù)平臺混搭方案-阿里大數(shù)據(jù)服務(wù)平臺
互聯(lián)網(wǎng)大數(shù)據(jù)平臺混搭案例 - ebay

3、業(yè)界大數(shù)據(jù)平臺混搭解決方案-華為FusionInsight
業(yè)界大數(shù)據(jù)平臺混搭產(chǎn)品方案-亞信大數(shù)據(jù)平臺
業(yè)界大數(shù)據(jù)平臺混搭解決方案-Teradata UDA

4、某電信運(yùn)營商大數(shù)據(jù)平臺建設(shè)-HDM混搭模式
某電信運(yùn)營商大數(shù)據(jù)平臺建設(shè)-混搭關(guān)鍵點(diǎn)
移動混搭建設(shè)特點(diǎn)-元數(shù)據(jù)管理
移動混搭建設(shè)特點(diǎn)-數(shù)據(jù)一致性管控 
移動混搭建設(shè)特點(diǎn)-數(shù)據(jù)質(zhì)量管理
移動混搭建設(shè)特點(diǎn)-數(shù)據(jù)質(zhì)量管理

5、省公司混搭案例：
省公司混搭案例-SD移動經(jīng)分混搭案例
省公司混搭案例-ZJ移動大數(shù)據(jù)平臺混搭案例
省公司混搭案例-FJ移動大數(shù)據(jù)平臺混搭案例 

6、對外服務(wù)模式
對外服務(wù)-PaaS、SaaS、DaaS
對外服務(wù)-SaaS
對外服務(wù)-PaaS
對外服務(wù)-DaaS
數(shù)據(jù)對外服務(wù)的統(tǒng)一管控
1）對外服務(wù)關(guān)鍵點(diǎn)-多租戶管理
2）對外服務(wù)關(guān)鍵點(diǎn)-透明網(wǎng)關(guān) 
3）對外服務(wù)關(guān)鍵點(diǎn)-安全管理
對外服務(wù)關(guān)鍵點(diǎn)-數(shù)據(jù)安全管理
對外服務(wù)關(guān)鍵點(diǎn)-數(shù)據(jù)安全管理方法
對外服務(wù)關(guān)鍵點(diǎn)-平臺安全管理
對外服務(wù)關(guān)鍵點(diǎn)-平臺安全管理框架
4）對外服務(wù)關(guān)鍵點(diǎn)-服務(wù)計量

7、對外服務(wù)案例
某電信運(yùn)營商具備大數(shù)據(jù)典型特點(diǎn)
某電信運(yùn)營商大數(shù)據(jù)平臺應(yīng)具備的技術(shù)支撐能力
某電信運(yùn)營商大數(shù)據(jù)平臺建設(shè)策略
某電信運(yùn)營商大數(shù)據(jù)平臺混搭架構(gòu)總結(jié)
大數(shù)據(jù)平臺建設(shè)與運(yùn)營人力資源投入分析
大數(shù)據(jù)平臺運(yùn)營團(tuán)隊建設(shè)

八、總結(jié)及展望

云計算技術(shù)課程培訓(xùn)