課程簡(jiǎn)介

本課程是一個(gè)面向企業(yè)的大語(yǔ)言模型技術(shù)實(shí)踐培訓(xùn)，為期一天，整合了大模型領(lǐng)域的前沿技術(shù)與落地經(jīng)驗(yàn)。上午課程重點(diǎn)介紹大模型基礎(chǔ)理論與技術(shù)框架，包括AIGC發(fā)展趨勢(shì)、主流開(kāi)源模型、知識(shí)圖譜基礎(chǔ)及數(shù)據(jù)構(gòu)造清洗等核心內(nèi)容；下午聚焦實(shí)踐應(yīng)用，深入探討高效參數(shù)調(diào)優(yōu)方法、分布式訓(xùn)練策略及企業(yè)級(jí)落地案例。課程特別關(guān)注 GLM、Llama、Baichuan 等主流開(kāi)源模型，并結(jié)合法律、醫(yī)療、金融等垂直領(lǐng)域應(yīng)用實(shí)踐。通過(guò)理論與案例相結(jié)合的方式，幫助學(xué)員全面掌握大模型技術(shù)在企業(yè)環(huán)境中的實(shí)際應(yīng)用能力，為企業(yè)智能化轉(zhuǎn)型提供專業(yè)指導(dǎo)。

目標(biāo)收益

培訓(xùn)對(duì)象

課程內(nèi)容

第一天-上午
1. 課程開(kāi)場(chǎng)與大模型綜述（0.5h）
對(duì)大模型的概述，介紹課程的目標(biāo)和預(yù)期的學(xué)習(xí)成果。
介紹人工智能生成創(chuàng)作（AIGC）領(lǐng)域的基本概念、應(yīng)用和發(fā)展趨勢(shì)，相關(guān)場(chǎng)景及算法基礎(chǔ)邏輯介紹
2. 大模型基礎(chǔ)與主流開(kāi)源語(yǔ)言大模型介紹（1.5h）
大語(yǔ)言模型中的Tokenizer介紹，介紹BPE、WordPiece、Unigram等分詞方法
主流大模型介紹，如GLM、Llama、bloom、MOSS、Baichuan、Qwen、Skywork等
領(lǐng)域大模型介紹——法律、醫(yī)療、金融、教育等領(lǐng)域大模型介紹
大型語(yǔ)言模型評(píng)估——內(nèi)容評(píng)估、評(píng)估方法及評(píng)估榜單
3. 知識(shí)圖譜基礎(chǔ)與大模型（0.5h）
介紹知識(shí)圖譜相關(guān)基礎(chǔ)，知識(shí)圖譜構(gòu)建方法、圖數(shù)據(jù)庫(kù)以及知識(shí)圖譜相關(guān)概念
主流大模型介紹，如GLM、Llama、bloom、MOSS、Baichuan、Qwen、Skywork等
知識(shí)圖譜與大模型結(jié)合方法
4 . 大語(yǔ)言模中的數(shù)據(jù)構(gòu)造與清洗（0.5h）
大模型中的數(shù)據(jù)構(gòu)造與清洗方法綜合介紹
介紹基于Self-instruct的數(shù)據(jù)構(gòu)造方法、介紹面向結(jié)構(gòu)化知識(shí)的數(shù)據(jù)構(gòu)造方法
數(shù)據(jù)清洗方法介紹——IFD指標(biāo)法、MoDS方法等
第一天-下午
1 . 大語(yǔ)言模中的高效參數(shù)調(diào)優(yōu)方法（1.5h）
常用參數(shù)微調(diào)方法——Prefix Tuning、P-Tuning、LoRA
大模型分布式訓(xùn)練基礎(chǔ)介紹，簡(jiǎn)述當(dāng)前常用的模型分布式計(jì)算方法細(xì)介紹數(shù)據(jù)并行、向量并行、流式并行的多種并行策略等
DeepSpeed框架簡(jiǎn)述述，介紹ZeRO-1、ZeRO-2、ZeRO-3多種分布式策略
2.大模型企業(yè)落地案例詳述（0.5h）
大模型企業(yè)落地場(chǎng)景介紹，包括智能問(wèn)答、知識(shí)庫(kù)、知識(shí)圖譜于大模型融合案例等
大模型行業(yè)應(yīng)用分析，場(chǎng)景化落地，包括合同審核、問(wèn)答等場(chǎng)景
3.問(wèn)答與交流（1h）
行業(yè)落地及項(xiàng)目交流