課程描述INTRODUCTION
海量數(shù)據(jù)處理優(yōu)化
日程安排SCHEDULE
課程大綱Syllabus
海量數(shù)據(jù)處理優(yōu)化
課程介紹:
本課程注重實(shí)戰(zhàn),采用案例貫穿方式完成實(shí)踐,收集了大量的真實(shí)案例,針對海量數(shù)據(jù)進(jìn)行深入研討。本次培訓(xùn)從數(shù)據(jù)架構(gòu)開始講解,通過大量的真實(shí)案例,涵蓋了數(shù)據(jù)架構(gòu),數(shù)據(jù)同步,數(shù)據(jù)層敏捷開發(fā)等內(nèi)容,詳細(xì)地介紹了海量數(shù)據(jù)的處理和優(yōu)化的前沿技術(shù)。
課程大綱:
第一部分 數(shù)據(jù)架構(gòu)
一、數(shù)據(jù)拆分
1. 數(shù)據(jù)現(xiàn)狀
2. 連接數(shù)問題
3. 數(shù)據(jù)垂直拆分
4. 垂直拆分的問題和解決方案
5. 異構(gòu)的讀寫分離
6. 數(shù)據(jù)水平拆分
7. 水平拆分的問題和解決方案
8. 一些案例分析
9. 拆分難題
二、多種存儲方案
1. 引入*SQL數(shù)據(jù)庫
2. 圖片服務(wù)器分離
3. 開源的分布式文件系統(tǒng)介紹和使用
4. 圖片處理和緩存
5. HDFS介紹
6. CDN介紹和詳解
第二部分 數(shù)據(jù)同步方案
一、并發(fā)的日志解析方案
1. 情景分析
2. 整體結(jié)構(gòu)設(shè)計(jì)
3. 線程池處理
4. 代碼實(shí)現(xiàn)
二、實(shí)時(shí)數(shù)據(jù)傳輸平臺
1. 主要邏輯(發(fā)布數(shù)據(jù),訂閱數(shù)據(jù))
2. 實(shí)時(shí)數(shù)據(jù)傳輸平臺架構(gòu)
3. 實(shí)時(shí)數(shù)據(jù)傳輸平臺結(jié)構(gòu)分析
4. 代碼分享
三、Dbsync同步工具的使用
1、 Dbsync介紹
2、 架構(gòu)解析
3、 使用詳解
四、 異構(gòu)的數(shù)據(jù)庫/文件系統(tǒng)之間的高速交換工具
1、 開源工具介紹
2、 特點(diǎn)和結(jié)構(gòu)模式
3、 使用和插件開發(fā)
第三部分 分布式緩存系統(tǒng)
一、Memcached
1. Memcached簡介
2. Memcached簡單用途
3. Memcached特點(diǎn)
4. Memcached優(yōu)點(diǎn)和限制
5. Memcached Java客戶端
6. Memcached Java 客戶端優(yōu)化
第四部分 Mysql性能優(yōu)化、Oracle性能優(yōu)化(可以根據(jù)實(shí)際情況選擇不同數(shù)據(jù)庫講解)
一、Mysql性能優(yōu)化
1. Mysql性能優(yōu)化引言
2. 數(shù)據(jù)庫設(shè)計(jì)和查詢優(yōu)化
3. Schema Design
4. 標(biāo)準(zhǔn)化
5. 數(shù)據(jù)類型
6. 正確使用索引
7. 查詢緩存
8. 服務(wù)器端優(yōu)化
9. 存儲引擎優(yōu)化
10. 臨時(shí)表
11. 線程池
12. 引入非關(guān)系數(shù)據(jù)庫
13. 新技術(shù)
二、Oracle性能優(yōu)化
1、常用SQL技巧
2、表的連接方式
3、有效的使用索引
4、Oracle的優(yōu)化器與執(zhí)行器
5、Oracle 11g中的執(zhí)行計(jì)劃管理
6、Oracle 11g中的數(shù)據(jù)庫重演和SQL重演
7、Oracle的性能顧問
第五部分 數(shù)據(jù)層開發(fā)
一、數(shù)據(jù)服務(wù)平臺設(shè)計(jì)
1. 數(shù)據(jù)架構(gòu)分析
2. 問題
3. 解決方案
4. 數(shù)據(jù)服務(wù)平臺特性
二、數(shù)據(jù)服務(wù)平臺實(shí)現(xiàn)
1. 模型數(shù)據(jù)映射實(shí)現(xiàn)
2. 統(tǒng)一查詢更新API
3. 性能優(yōu)化策略
4. 熱點(diǎn)緩存平臺
5. 異步并行化機(jī)制
6. 并發(fā)控制,自我保護(hù)
海量數(shù)據(jù)處理優(yōu)化
轉(zhuǎn)載:http://szsxbj.com/gkk_detail/248123.html
已開課時(shí)間Have start time
IT相關(guān)內(nèi)訓(xùn)
- 軟件安全意識加強(qiáng)與技能提高 張勝生
- 信息安全風(fēng)險(xiǎn)評估與加固技能 張勝生
- CISSP認(rèn)證培訓(xùn)課程 張勝生
- 云計(jì)算的應(yīng)用領(lǐng)域和實(shí)踐 武威
- 互聯(lián)網(wǎng)新技術(shù)在銀行的應(yīng)用 武威
- 滲透測試與攻防實(shí)戰(zhàn)高級課程 張勝生
- 大模型技術(shù)與應(yīng)用培訓(xùn) 葉梓
- Python高效辦公自動化 張曉如
- 網(wǎng)安管理崗培訓(xùn) 張勝生
- Fine BI 數(shù)據(jù)分析與 張曉如
- IT崗位數(shù)智化能力提升路徑 甄文智
- 電力信息化:價(jià)值和建設(shè)分析 劉宇佳