課程簡介
課程將詳細介紹數據架構的發(fā)展、典型數據倉庫架構、湖倉一體數據架構及其工具。重點講解Hudi技術在湖倉一體架構中的應用，并通過Flink+Hudi構建湖倉一體數據平臺的案例分享，加深理解。此外，還將通過實戰(zhàn)案例，探討湖倉一體數據底座的構建方法，包括數據域劃分、指標體系構建等。本課程適合大數據架構師、數據工程師等角色，旨在提升學員在湖倉一體架構設計和落地方面的能力。
目標收益
培訓對象
課程大綱
| 數據架構的發(fā)展 |
離線數倉解決方案 實時數倉數倉解決方案 新一代數倉---數據中臺概念及架構 湖倉一體數據架構解決方案 實時OLAP數據平臺架構方案 基于Flink構建實時數據平臺的解決方案 基于Flink構建湖倉一體數據平臺的解決方案 |
| 數據架構設計架構 |
數據倉庫典型架構介紹 —ODS層 —DW層 —DM層 數據安全控制 ETL任務調度 |
| 湖倉一體數據架構 |
數據接入大數據平臺 —離線數據接入 —實時的數據接入 數據處理過程 —數據的ETL —數據分層(ODS、DW和DM等) —數據建模 —數據校驗 數據應用 —數據離線應用 —數據實時應用 —數據實驗室 —數據展示工具(BI工具) |
| 湖倉一體工具介紹 |
數據湖工具介紹 常見的數據湖技術 開源架構Hudi技術介紹和應用場景 開源架構Iceberg技術介紹和應用場景 開源架構Delta Lake技術介紹和應用場景 hudi、Iceberg和Delta Lake的比較 Hudi 在業(yè)內的使用案例介紹 |
| Flink+hudi構建湖倉一體技術介紹 |
數據湖以及Hudi數據湖概述 Hudi數據湖插入數據 Hudi數據湖之更新數據 Hudi數據湖查詢數據 Hudi增量數據查詢 Hudi表格式介紹 Hudi表索引介紹 Hudi數據湖COW表引擎 Hudi數據湖MOR表引擎 Hudi Timeline詳解 Hudi數據湖之flink實時數據分析服務構建 實戰(zhàn)： Flink+Hudi構建湖倉一體數據平臺的案例分享 |
| 案例實戰(zhàn)：湖倉一體數據底座實戰(zhàn) |
數據域劃分方法論介紹 主題域劃分 指標體系構建 –業(yè)務需求梳理方法 –指標和維度梳理 –選擇業(yè)務過程 –聲明粒度 –確定維度 –確定事實 –指標和維度一致性矩陣 建模規(guī)范介紹 數據架構解決的問題 數據分層的好處 數據倉庫分層模型介紹（OneData） 明細模型 -ODS -DWD 匯總模型 -DWS -ADS 數據分層核心原則—公共數據下沉介紹 指標數據規(guī)范定義 事實表和維度表識別 數據一致性解決方案 - 指標一致性 - 維度一致性 - 事實一致性 OneID梳理流程和生成規(guī)則案例介紹 建模生命周期 數據倉庫OneModel設計規(guī)范 存儲規(guī)范 時間維度規(guī)范 ODS、DWD、DWS、ADS層規(guī)范 數據類型轉換規(guī)范 視圖、臨時表規(guī)范 |
|
數據架構的發(fā)展 離線數倉解決方案 實時數倉數倉解決方案 新一代數倉---數據中臺概念及架構 湖倉一體數據架構解決方案 實時OLAP數據平臺架構方案 基于Flink構建實時數據平臺的解決方案 基于Flink構建湖倉一體數據平臺的解決方案 |
|
數據架構設計架構 數據倉庫典型架構介紹 —ODS層 —DW層 —DM層 數據安全控制 ETL任務調度 |
|
湖倉一體數據架構 數據接入大數據平臺 —離線數據接入 —實時的數據接入 數據處理過程 —數據的ETL —數據分層(ODS、DW和DM等) —數據建模 —數據校驗 數據應用 —數據離線應用 —數據實時應用 —數據實驗室 —數據展示工具(BI工具) |
|
湖倉一體工具介紹 數據湖工具介紹 常見的數據湖技術 開源架構Hudi技術介紹和應用場景 開源架構Iceberg技術介紹和應用場景 開源架構Delta Lake技術介紹和應用場景 hudi、Iceberg和Delta Lake的比較 Hudi 在業(yè)內的使用案例介紹 |
|
Flink+hudi構建湖倉一體技術介紹 數據湖以及Hudi數據湖概述 Hudi數據湖插入數據 Hudi數據湖之更新數據 Hudi數據湖查詢數據 Hudi增量數據查詢 Hudi表格式介紹 Hudi表索引介紹 Hudi數據湖COW表引擎 Hudi數據湖MOR表引擎 Hudi Timeline詳解 Hudi數據湖之flink實時數據分析服務構建 實戰(zhàn)： Flink+Hudi構建湖倉一體數據平臺的案例分享 |
|
案例實戰(zhàn)：湖倉一體數據底座實戰(zhàn) 數據域劃分方法論介紹 主題域劃分 指標體系構建 –業(yè)務需求梳理方法 –指標和維度梳理 –選擇業(yè)務過程 –聲明粒度 –確定維度 –確定事實 –指標和維度一致性矩陣 建模規(guī)范介紹 數據架構解決的問題 數據分層的好處 數據倉庫分層模型介紹（OneData） 明細模型 -ODS -DWD 匯總模型 -DWS -ADS 數據分層核心原則—公共數據下沉介紹 指標數據規(guī)范定義 事實表和維度表識別 數據一致性解決方案 - 指標一致性 - 維度一致性 - 事實一致性 OneID梳理流程和生成規(guī)則案例介紹 建模生命周期 數據倉庫OneModel設計規(guī)范 存儲規(guī)范 時間維度規(guī)范 ODS、DWD、DWS、ADS層規(guī)范 數據類型轉換規(guī)范 視圖、臨時表規(guī)范 |
近期公開課推薦
