課程簡介

案例背景:
數據中臺的核心在于數據模型的復用，打破原有的煙囪式的開發(fā)模式，通過抽象公共數據層，將數據以服務化的方式在不同的數據產品之間進行共享。所以在數據中臺的模式下，大數據任務之間存在高度復雜的依賴關系，就像一張大網，一個任務異常，可能會導致下游很多模型和指標，這就對大數據任務的研發(fā)和運維管理帶來諸多挑戰(zhàn)：

1. 如何選擇一個成熟的開源調度系統，支撐數據中臺的海量任務調度？
2. 如何實現海量任務的精細化運維和管理
3. 如何保障質量的前提下，實現研發(fā)效率的最大化
4. 如何在資源隔離的前提下，實現高效的數據測試？

解決思路:
本次分享，將結合網易在數據中臺構建過程中遇到的真實案例，為大家介紹網易在海量任務高效研發(fā)和運維管理方面的實踐。網易任務調度系統基于開源azkaban項目進行深度改造，包括：新增“跨流依賴”、“并發(fā)鏈式補數據”、“節(jié)點前后置動作”、“公共資源”等特性；同時針對 Azkaban 服務在運維能力的不足，實現了“高可用”、“平滑升級”?；?Azkaban之上，我們搭建了智能任務運維中心系統，提供了基線預警、任務智能診斷、全鏈路影響分析、關鍵鏈路分析、凍結池、加速器等特性，保障了數據中臺每天能夠按時、正確的產出數據。同時，網易還在大數據研發(fā)領域，構建了數據測試中心，實現了大數據研發(fā)的CI/CD devops pipleline，在數據研發(fā)效率和質量方面做了最佳實踐探索。


成果：
1. 網易Azkaban 每日有20W的任務調度，有1W多任務依賴關系。
2. 任務運維中心，幫助嚴選構建了基于基線的任務管理模式，基于基線預警的能力，實現了8W任務的精細化管理，任務完成率達到了96.14%，首次實現了S級大促數據零延遲。
3. 通過構建CI/CD Devops pipleline， 同時數據質量的問題下降了60%。
4. 通過數據沙箱的構建，在物理集群完全隔離的前提下，實現了一套代碼，透明發(fā)布，任務發(fā)布效率提升300%。

目標收益

1. 對大數據海量任務調度系統的架構設計，關鍵技術實現，技術選型有深入的理解。
2. 對數據中臺模式下，大量任務高度依賴，如何管理這些任務，確保任務正確、按時產出，提供了新的思路。
3. 對如何保障質量的前提下，如何實現敏捷的大數據開發(fā)，打造CI/CD Pilpleline有深入的掌握。

培訓對象

課程內容

案例方向

---

數據湖/數據中臺/用戶畫像/NLP

案例背景

---

數據中臺的核心在于數據模型的復用，打破原有的煙囪式的開發(fā)模式，通過抽象公共數據層，將數據以服務化的方式在不同的數據產品之間進行共享。所以在數據中臺的模式下，大數據任務之間存在高度復雜的依賴關系，就像一張大網，一個任務異常，可能會導致下游很多模型和指標，這就對大數據任務的研發(fā)和運維管理帶來諸多挑戰(zhàn)：

1. 如何選擇一個成熟的開源調度系統，支撐數據中臺的海量任務調度？
2. 如何實現海量任務的精細化運維和管理
3. 如何保障質量的前提下，實現研發(fā)效率的最大化
4. 如何在資源隔離的前提下，實現高效的數據測試？

收益

---

1. 對大數據海量任務調度系統的架構設計，關鍵技術實現，技術選型有深入的理解。
2. 對數據中臺模式下，大量任務高度依賴，如何管理這些任務，確保任務正確、按時產出，提供了新的思路。
3. 對如何保障質量的前提下，如何實現敏捷的大數據開發(fā)，打造CI/CD Pilpleline有深入的掌握。

解決思路

---

本次分享，將結合網易在數據中臺構建過程中遇到的真實案例，為大家介紹網易在海量任務高效研發(fā)和運維管理方面的實踐。網易任務調度系統基于開源azkaban項目進行深度改造，包括：新增“跨流依賴”、“并發(fā)鏈式補數據”、“節(jié)點前后置動作”、“公共資源”等特性；同時針對 Azkaban 服務在運維能力的不足，實現了“高可用”、“平滑升級”?；?Azkaban之上，我們搭建了智能任務運維中心系統，提供了基線預警、任務智能診斷、全鏈路影響分析、關鍵鏈路分析、凍結池、加速器等特性，保障了數據中臺每天能夠按時、正確的產出數據。同時，網易還在大數據研發(fā)領域，構建了數據測試中心，實現了大數據研發(fā)的CI/CD devops pipleline，在數據研發(fā)效率和質量方面做了最佳實踐探索。

結果

---

1. 網易Azkaban 每日有20W的任務調度，有1W多任務依賴關系。
2. 任務運維中心，幫助嚴選構建了基于基線的任務管理模式，基于基線預警的能力，實現了8W任務的精細化管理，任務完成率達到了96.14%，首次實現了S級大促數據零延遲。
3. 通過構建CI/CD Devops pipleline， 同時數據質量的問題下降了60%。
4. 通過數據沙箱的構建，在物理集群完全隔離的前提下，實現了一套代碼，透明發(fā)布，任務發(fā)布效率提升300%。