課程簡介
大模型技術(shù)發(fā)展迅速，很多人一知半解，不知如何下手，除了打基礎(chǔ)的底層深度學(xué)習(xí)及相關(guān)技術(shù)，大模型技術(shù)可以分為四個部分，GPT預(yù)訓(xùn)練模型、微調(diào)與prompt、lanchain套件、多模態(tài)。
目標(biāo)收益
1. 系統(tǒng)化了解AIGC生態(tài)體系和發(fā)展趨勢
2. 系統(tǒng)化了解LLMs大語言模型生態(tài)體系和發(fā)展趨勢
3. 掌握大語言模型LLama2的基座模型微調(diào)方法
4. 掌握大語言模型LLama2的應(yīng)用模型微調(diào)方法
5. 掌握大語言模型開發(fā)框架Langchain的使用方法。
6. 收獲一個完整項目的開發(fā)過程和經(jīng)驗
培訓(xùn)對象
課程大綱
| 第一天 AIGC AI內(nèi)容生成全景視圖（上午） |
1.AIGC的概念定義：內(nèi)涵、外延 2.AIGC的體系結(jié)構(gòu)：七大領(lǐng)域 3.AIGC的發(fā)展演進：從AI->AIGC 4.AIGC的關(guān)鍵技術(shù)：算法模型 5.AIGC的核心框架：商業(yè)&開源項目 6.AIGC的生態(tài)圖譜：生態(tài)體系 7.AIGC的行業(yè)應(yīng)用：文本、圖像、視頻、語音等 8.AIGC的發(fā)展現(xiàn)狀： 9.AIGC的未來趨勢： |
| 第一天 LLMs大語言模型全景視圖（下午） |
1.LLMs大語言模型的概念定義 2.LLMs大語言模型的發(fā)展演進 3.LLMs大語言模型的生態(tài)體系： 4.LLMs大語言模型的關(guān)鍵技術(shù)：Transforer& 5.LLMs大語言模型的核心框架：商業(yè)&開源 6.LLMs大語言模型的行業(yè)應(yīng)用 7.LLMs大語言模型的發(fā)展現(xiàn)狀：通用&垂類 8.LLMs大語言模型的未來趨勢：多模態(tài)&細(xì)分 |
| 第二天 LLMs大語言模型-核心算法（上午） |
1.Llms大語言模型算法模型發(fā)展演進2.Transformer算法模型理論基礎(chǔ) 3.Transformer算法模型體系結(jié)構(gòu) 4.Transformer算法模型工作流程 5.Transformer算法模型開源實現(xiàn)6.RLHF 基于人類反饋的強化學(xué)習(xí)算法模型基礎(chǔ)理論 7.RLHF 基于人類反饋的強化學(xué)習(xí)算法模型體系結(jié)構(gòu) 8.RLHF 基于人類反饋的強化學(xué)習(xí)算法模型工作流程 9.RLHF 基于人類反饋的強化學(xué)習(xí)算法模型開源實現(xiàn) |
| 第二天 LLMs大語言模型微調(diào)方法（下午） |
1.LLMs大語言模型微調(diào)對象和層次 2.LLMs大語言模型微調(diào)的主流方法 3.LLMs SFT監(jiān)督微調(diào)基本概念、工作流程和主流方法 4.LLMs LoRA微調(diào)方法概念、特點、基本原理和工作步驟 5.LLMs P-tuning v2微調(diào)方法概念、特點、基本原理和工作步驟 6.LLMs Freeze微調(diào)方法概念、特點、基本原理和工作步驟 |
| 第三天 Llama3.1 Fine-Tuning環(huán)境準(zhǔn)備（上午） |
1.Llama3.1大語言模型開源框架簡介 2.Llama3.1本地開發(fā)環(huán)境安裝部署 3.Llama3.1預(yù)訓(xùn)練模型下載和配置 4.Llama2本地開發(fā)環(huán)境運行和演示 5.Llama recipes本地環(huán)境安裝部署 6.Llama recipes微調(diào)基礎(chǔ)模型轉(zhuǎn)換 7.Llama recipes Fine-Tuning方法 |
| 第三天 Llam3.1 Fine-Tuning操作實戰(zhàn)（下午） |
1.Llama recipes 準(zhǔn)備訓(xùn)練腳本 2.Llama recipes 數(shù)據(jù)格式說明 3.Llama recipes 準(zhǔn)備數(shù)據(jù)集合 4.Llama recipes 準(zhǔn)備轉(zhuǎn)換模型 5.Llama recipes 中文微調(diào) 6.Llama recipes 訓(xùn)練監(jiān)控 7.Llama recipes 模型推理 8.Llama recipes 模型評估 |
|
第四天 LangChain應(yīng)用開發(fā)框架（上午） |
1.LangChain應(yīng)用開發(fā)框架簡述2.LangChain框架主要核心概念 3.LangChain支持的語言模型 4.LangChain六大功能組件 5.LangChain環(huán)境安裝部署 6.LangChain操作案例教程 |
| 第四天 LangChain程序設(shè)計案例實戰(zhàn)（下午） |
1.LangChain程序設(shè)計案例1：非結(jié)構(gòu)化數(shù)據(jù)問答 2.LangChain程序設(shè)計案例2：SQL結(jié)構(gòu)化數(shù)據(jù)問答 3.LangChain程序設(shè)計案例3：聊天機器人 4.LangChain程序設(shè)計案例4：代碼理解 5.LangChain程序設(shè)計案例5：API交互 6.LangChain程序設(shè)計案例6：文檔摘要 |
| 第五天 Llama3.1+langchain構(gòu)建本地化客服系統(tǒng)上 |
1.LLMs_QA基于語言模型本地化QA系統(tǒng) 2.LLMs_QA本地化客服系統(tǒng)業(yè)務(wù)需求 3.LLMs_QA本地化客服系統(tǒng)數(shù)據(jù)需求 4.LLMs_QA本地化客服系統(tǒng)工作流程 5.LLMs_QA本地化客服系統(tǒng)交互邏輯 6.LLMs_QA本地化客服系統(tǒng)體系結(jié)構(gòu) |
| 第五天Llama3.1+langchain構(gòu)建本地化客服系統(tǒng)下 |
1.LLMs_QA開發(fā)環(huán)境安裝部署 2.LLMs_QA數(shù)據(jù)文件預(yù)處理 3.LLMs_QA數(shù)據(jù)文件向量化和存儲 4.LLMs_QA語言模型集成 5.LLMS_QA管道和鏈程序設(shè)計 6.LLMS_QA本地化QA系統(tǒng)運行演示 |
|
第一天 AIGC AI內(nèi)容生成全景視圖（上午） 1.AIGC的概念定義：內(nèi)涵、外延 2.AIGC的體系結(jié)構(gòu)：七大領(lǐng)域 3.AIGC的發(fā)展演進：從AI->AIGC 4.AIGC的關(guān)鍵技術(shù)：算法模型 5.AIGC的核心框架：商業(yè)&開源項目 6.AIGC的生態(tài)圖譜：生態(tài)體系 7.AIGC的行業(yè)應(yīng)用：文本、圖像、視頻、語音等 8.AIGC的發(fā)展現(xiàn)狀： 9.AIGC的未來趨勢： |
|
第一天 LLMs大語言模型全景視圖（下午） 1.LLMs大語言模型的概念定義 2.LLMs大語言模型的發(fā)展演進 3.LLMs大語言模型的生態(tài)體系： 4.LLMs大語言模型的關(guān)鍵技術(shù)：Transforer& 5.LLMs大語言模型的核心框架：商業(yè)&開源 6.LLMs大語言模型的行業(yè)應(yīng)用 7.LLMs大語言模型的發(fā)展現(xiàn)狀：通用&垂類 8.LLMs大語言模型的未來趨勢：多模態(tài)&細(xì)分 |
|
第二天 LLMs大語言模型-核心算法（上午） 1.Llms大語言模型算法模型發(fā)展演進2.Transformer算法模型理論基礎(chǔ) 3.Transformer算法模型體系結(jié)構(gòu) 4.Transformer算法模型工作流程 5.Transformer算法模型開源實現(xiàn)6.RLHF 基于人類反饋的強化學(xué)習(xí)算法模型基礎(chǔ)理論 7.RLHF 基于人類反饋的強化學(xué)習(xí)算法模型體系結(jié)構(gòu) 8.RLHF 基于人類反饋的強化學(xué)習(xí)算法模型工作流程 9.RLHF 基于人類反饋的強化學(xué)習(xí)算法模型開源實現(xiàn) |
|
第二天 LLMs大語言模型微調(diào)方法（下午） 1.LLMs大語言模型微調(diào)對象和層次 2.LLMs大語言模型微調(diào)的主流方法 3.LLMs SFT監(jiān)督微調(diào)基本概念、工作流程和主流方法 4.LLMs LoRA微調(diào)方法概念、特點、基本原理和工作步驟 5.LLMs P-tuning v2微調(diào)方法概念、特點、基本原理和工作步驟 6.LLMs Freeze微調(diào)方法概念、特點、基本原理和工作步驟 |
|
第三天 Llama3.1 Fine-Tuning環(huán)境準(zhǔn)備（上午） 1.Llama3.1大語言模型開源框架簡介 2.Llama3.1本地開發(fā)環(huán)境安裝部署 3.Llama3.1預(yù)訓(xùn)練模型下載和配置 4.Llama2本地開發(fā)環(huán)境運行和演示 5.Llama recipes本地環(huán)境安裝部署 6.Llama recipes微調(diào)基礎(chǔ)模型轉(zhuǎn)換 7.Llama recipes Fine-Tuning方法 |
|
第三天 Llam3.1 Fine-Tuning操作實戰(zhàn)（下午） 1.Llama recipes 準(zhǔn)備訓(xùn)練腳本 2.Llama recipes 數(shù)據(jù)格式說明 3.Llama recipes 準(zhǔn)備數(shù)據(jù)集合 4.Llama recipes 準(zhǔn)備轉(zhuǎn)換模型 5.Llama recipes 中文微調(diào) 6.Llama recipes 訓(xùn)練監(jiān)控 7.Llama recipes 模型推理 8.Llama recipes 模型評估 |
|
第四天 LangChain應(yīng)用開發(fā)框架（上午） 1.LangChain應(yīng)用開發(fā)框架簡述2.LangChain框架主要核心概念 3.LangChain支持的語言模型 4.LangChain六大功能組件 5.LangChain環(huán)境安裝部署 6.LangChain操作案例教程 |
|
第四天 LangChain程序設(shè)計案例實戰(zhàn)（下午） 1.LangChain程序設(shè)計案例1：非結(jié)構(gòu)化數(shù)據(jù)問答 2.LangChain程序設(shè)計案例2：SQL結(jié)構(gòu)化數(shù)據(jù)問答 3.LangChain程序設(shè)計案例3：聊天機器人 4.LangChain程序設(shè)計案例4：代碼理解 5.LangChain程序設(shè)計案例5：API交互 6.LangChain程序設(shè)計案例6：文檔摘要 |
|
第五天 Llama3.1+langchain構(gòu)建本地化客服系統(tǒng)上 1.LLMs_QA基于語言模型本地化QA系統(tǒng) 2.LLMs_QA本地化客服系統(tǒng)業(yè)務(wù)需求 3.LLMs_QA本地化客服系統(tǒng)數(shù)據(jù)需求 4.LLMs_QA本地化客服系統(tǒng)工作流程 5.LLMs_QA本地化客服系統(tǒng)交互邏輯 6.LLMs_QA本地化客服系統(tǒng)體系結(jié)構(gòu) |
|
第五天Llama3.1+langchain構(gòu)建本地化客服系統(tǒng)下 1.LLMs_QA開發(fā)環(huán)境安裝部署 2.LLMs_QA數(shù)據(jù)文件預(yù)處理 3.LLMs_QA數(shù)據(jù)文件向量化和存儲 4.LLMs_QA語言模型集成 5.LLMS_QA管道和鏈程序設(shè)計 6.LLMS_QA本地化QA系統(tǒng)運行演示 |
近期公開課推薦
