課程簡介
目標收益
通過該課程學習，洞悉Hadoop，NoSQL與Spark等技術的原理、架構與技術手段；結合豐富實例掌握其設計與開發(fā)方法，以及掌握如軟件架構、性能調優(yōu)等使用過程中的實用技巧；深入了解Hadoop，NoSQL，Spark體系中各成員，理解Hadoop，NoSQL，Spark成員各自的優(yōu)、缺點與正確適用場景，了解技術最新發(fā)展動向，能對Hadoop，NoSQL與Spark體系在學員企業(yè)、學員項目、學員研發(fā)中是否可用、如何定位以及如何使用做出正確判斷與學習，并且對如何結合大數據技術規(guī)劃企業(yè)數據架構得到相當的啟發(fā)與收獲。
培訓對象
企業(yè)中高層技術管理人員、企業(yè)技術戰(zhàn)略決策者、軟件架構師、軟件研發(fā)人員與大數據技術愛好者，有大數據及海量數據管理與處理需求的企業(yè)優(yōu)先。
課程大綱
| 大數據時代關系數據庫的挑戰(zhàn)與應對 |
1. 現代數據管理技術綜述 2. 關系數據庫技術的核心特征 3.主流關系數據庫的挑戰(zhàn) 4. 改進型關系數據庫 |
| 大數據技術綜述 |
1. 大數據概念澄清 2. 大數據技術家族 3. NoSQL技術綜述 3.1最早的NoSQL---BDB 3.2 Hadoop之Hbase與Facebook之Cassandra 3.3 MongoDB與CouchDB 3.4Memcached與Redis 3.5圖形數據庫Neo4j 4. MapReduce 5.關系數據庫聯邦 6.海量分布式文件系統(tǒng) 7大數據技術理論基礎 CAP，BASE，ACID |
| Hadoop實用教程 |
1. Hadoop技術概論 1.1 Hadoop體系架構總論 1.2 HDFS-工作原理與架構 1.3 平民化的分布式計算MapReduce 1.4 MapReduce工作原理與架構 1.5 Hadoop數據倉庫-Hive 1.6 Hadoop NoSQL數據庫-HBase 1.7 工作流調度-Ooize 1.8 分布式協調系統(tǒng)--Zookeeper 2. Hadoop部署 2.1 Hadoop版本介紹與選擇 2.2 Hadoop部署實踐 2.3 Hadoop安裝文件構成與配置體系 2.4 機器硬件建議配置 2.5 系統(tǒng)環(huán)境配置 2.6 基本參數配置與說明 2.7 進程分布規(guī)劃與啟動 3. 分布式文件系統(tǒng)HDFS實用教程 3.1 HDFS操作 3.2 HDFS編程—文件讀寫 3.3 HDFS數據壓縮 3.4 HDFS技術要點 4. MapReduce實用教程 4.1 MapReduce原理與架構 4.2 MapReduce編程方法 4.3 MapReduce實用技術要點 4.4 MapReduce排序與關聯 4.5 MapReduce工作流 4.6 MapReduce調優(yōu) 5. MapReduce2.0-YARN 5.1 YARN的原理 5.2 YARN設計架構 5.3 YARN工作流程 5.4 YARN與MapReduce1.0比較 6. MapReduce實例講解 6.1普通實例 6.2 高級實例 6.3 MapReduce高級數據分析（時間允許時） 7. Hadoop數據倉庫Hive 7.1 Hive編程 7.2 Hive環(huán)境部署與搭建 7.3 Hive工作機制 7.4 Hive語法與實踐 8. 其它ZooKeeper，Sqoop，Chukwa，Avro…… |
| Hadoop技術分析 |
1. Hadoop MapReduce技術解析 6.1關于效率 6.2關于擴展性 6.3關于可靠性與可用性 6.4關于與關系數據庫 6.5關于適用的數據類型 6.6關于數據存儲與管理 2. Hadoop與關系數據庫 2.1 MapReduce與關系數據庫 2.2 Hive與MPP關系數據庫 |
| NoSQL實用教程 |
1.NoSQL理論基礎---CAP與BASE深入分析 2.NoSQL實用教程 2.1 HBase實用教程 2.1.1 HBase原理 2.1.2 HBase實用安裝部署要點 2.1.3 HBase數據模型 2.1.4 HBase索引與關聯的實現 2.1.5 HBase使用 2.1.6HBase性能調優(yōu) 2.1.7 HBase高級設計教程---如何真正用好HBase 2.1.8 HBase與關系數據庫結合 3. NoSQL設計實例 3.1 HBase實現全屬性查詢 3.2 HBase實現時間序列數據管理 3.3 HBase與MapReduce結合示例 4. Facebook Cassandra介紹 5.MongoDB介紹 6.圖數據庫Neo4J介紹 |
| NoSQL技術分析 |
1. NoSQL技術手段總結 1.1 水平分割 1.2 數據副本與讀寫一致性 1.3 In-Memory架構 1.4 MVCC 1.5列存儲 1.6 COW 2. NoSQL技術解析 2.1 關于水平擴展性 2.2關于模式自由 3. NoSQL與關系數據庫 3.1 理論原則分析 3.2 邏輯模型分析 3.3 物理模型分析 3.4 索引、事務與關聯 3.5 使用場景定位 3.6 企業(yè)數據體系定位 |
| Spark教程 |
1. Spark組成與體系架構 2. Spark原理 3. Spark與Hadoop 4. Scala簡介 5. Spark技術流程 |
| 超越Hadoop |
1. Hadoop技術體系的不足與尷尬 2. 新技術介紹 3. 互聯網技術體系介紹 4. 數據管理技術發(fā)展趨勢分析 |
| 大數據技術實踐分享 |
1. 海量數據處理架構設計 2. 大數據驅動與企業(yè)業(yè)務/運營 3. 實踐中的企業(yè)大數據分析技術流程 3.1采集---各種方法的比較 3.2存儲---原始數據與業(yè)務數據提取 3.3模型---Web分析指標體系 3.4分析---大數據分析方法 3.5 行動---個性化推薦 4. 大數據與企業(yè)交易 5. 大數據與企業(yè)交互 5. 自已設計大數據技術體系 |
| 大數據與企業(yè)新一代數據體系建設 |
1.傳統(tǒng)的以關系數據庫為主的企業(yè)數據架構 2.大數據時代的新一代企業(yè)數據邏輯架構 2.1 數據分類 2.2 數據分布 2.3 數據流轉 2.4 數據集成 2.5 數據交換 2.6 數據分析 2.7 應用展示 3. 新一代企業(yè)數據技術架構 3.1邏輯架構 3.2技術方法 3.3物理平臺 4. 新一代企業(yè)數據架構中Hadoop/NoSQL與關系數據庫的相互配合 5. 典型場景示例 |
|
大數據時代關系數據庫的挑戰(zhàn)與應對 1. 現代數據管理技術綜述 2. 關系數據庫技術的核心特征 3.主流關系數據庫的挑戰(zhàn) 4. 改進型關系數據庫 |
|
大數據技術綜述 1. 大數據概念澄清 2. 大數據技術家族 3. NoSQL技術綜述 3.1最早的NoSQL---BDB 3.2 Hadoop之Hbase與Facebook之Cassandra 3.3 MongoDB與CouchDB 3.4Memcached與Redis 3.5圖形數據庫Neo4j 4. MapReduce 5.關系數據庫聯邦 6.海量分布式文件系統(tǒng) 7大數據技術理論基礎 CAP，BASE，ACID |
|
Hadoop實用教程 1. Hadoop技術概論 1.1 Hadoop體系架構總論 1.2 HDFS-工作原理與架構 1.3 平民化的分布式計算MapReduce 1.4 MapReduce工作原理與架構 1.5 Hadoop數據倉庫-Hive 1.6 Hadoop NoSQL數據庫-HBase 1.7 工作流調度-Ooize 1.8 分布式協調系統(tǒng)--Zookeeper 2. Hadoop部署 2.1 Hadoop版本介紹與選擇 2.2 Hadoop部署實踐 2.3 Hadoop安裝文件構成與配置體系 2.4 機器硬件建議配置 2.5 系統(tǒng)環(huán)境配置 2.6 基本參數配置與說明 2.7 進程分布規(guī)劃與啟動 3. 分布式文件系統(tǒng)HDFS實用教程 3.1 HDFS操作 3.2 HDFS編程—文件讀寫 3.3 HDFS數據壓縮 3.4 HDFS技術要點 4. MapReduce實用教程 4.1 MapReduce原理與架構 4.2 MapReduce編程方法 4.3 MapReduce實用技術要點 4.4 MapReduce排序與關聯 4.5 MapReduce工作流 4.6 MapReduce調優(yōu) 5. MapReduce2.0-YARN 5.1 YARN的原理 5.2 YARN設計架構 5.3 YARN工作流程 5.4 YARN與MapReduce1.0比較 6. MapReduce實例講解 6.1普通實例 6.2 高級實例 6.3 MapReduce高級數據分析（時間允許時） 7. Hadoop數據倉庫Hive 7.1 Hive編程 7.2 Hive環(huán)境部署與搭建 7.3 Hive工作機制 7.4 Hive語法與實踐 8. 其它ZooKeeper，Sqoop，Chukwa，Avro…… |
|
Hadoop技術分析 1. Hadoop MapReduce技術解析 6.1關于效率 6.2關于擴展性 6.3關于可靠性與可用性 6.4關于與關系數據庫 6.5關于適用的數據類型 6.6關于數據存儲與管理 2. Hadoop與關系數據庫 2.1 MapReduce與關系數據庫 2.2 Hive與MPP關系數據庫 |
|
NoSQL實用教程 1.NoSQL理論基礎---CAP與BASE深入分析 2.NoSQL實用教程 2.1 HBase實用教程 2.1.1 HBase原理 2.1.2 HBase實用安裝部署要點 2.1.3 HBase數據模型 2.1.4 HBase索引與關聯的實現 2.1.5 HBase使用 2.1.6HBase性能調優(yōu) 2.1.7 HBase高級設計教程---如何真正用好HBase 2.1.8 HBase與關系數據庫結合 3. NoSQL設計實例 3.1 HBase實現全屬性查詢 3.2 HBase實現時間序列數據管理 3.3 HBase與MapReduce結合示例 4. Facebook Cassandra介紹 5.MongoDB介紹 6.圖數據庫Neo4J介紹 |
|
NoSQL技術分析 1. NoSQL技術手段總結 1.1 水平分割 1.2 數據副本與讀寫一致性 1.3 In-Memory架構 1.4 MVCC 1.5列存儲 1.6 COW 2. NoSQL技術解析 2.1 關于水平擴展性 2.2關于模式自由 3. NoSQL與關系數據庫 3.1 理論原則分析 3.2 邏輯模型分析 3.3 物理模型分析 3.4 索引、事務與關聯 3.5 使用場景定位 3.6 企業(yè)數據體系定位 |
|
Spark教程 1. Spark組成與體系架構 2. Spark原理 3. Spark與Hadoop 4. Scala簡介 5. Spark技術流程 |
|
超越Hadoop 1. Hadoop技術體系的不足與尷尬 2. 新技術介紹 3. 互聯網技術體系介紹 4. 數據管理技術發(fā)展趨勢分析 |
|
大數據技術實踐分享 1. 海量數據處理架構設計 2. 大數據驅動與企業(yè)業(yè)務/運營 3. 實踐中的企業(yè)大數據分析技術流程 3.1采集---各種方法的比較 3.2存儲---原始數據與業(yè)務數據提取 3.3模型---Web分析指標體系 3.4分析---大數據分析方法 3.5 行動---個性化推薦 4. 大數據與企業(yè)交易 5. 大數據與企業(yè)交互 5. 自已設計大數據技術體系 |
|
大數據與企業(yè)新一代數據體系建設 1.傳統(tǒng)的以關系數據庫為主的企業(yè)數據架構 2.大數據時代的新一代企業(yè)數據邏輯架構 2.1 數據分類 2.2 數據分布 2.3 數據流轉 2.4 數據集成 2.5 數據交換 2.6 數據分析 2.7 應用展示 3. 新一代企業(yè)數據技術架構 3.1邏輯架構 3.2技術方法 3.3物理平臺 4. 新一代企業(yè)數據架構中Hadoop/NoSQL與關系數據庫的相互配合 5. 典型場景示例 |
近期公開課推薦
