资源介绍：

从核心原理、技术+ PEFT微调大模型+ LangChain构建知识库问答，你也能打造属于自己的大模型ChatGPT

结合ChatGPT实现智能助手只是第一步？企业真正急迫需求是构建符合自己业务需求的AI智能助手，核心技能训练和微调私有的大模型？本课深入企业需求，从ChatGPT背后原理、技术、不同大模型知识开始，带你从0到1训练出一个大模型，运用PEFT技巧微调大模型解决场景需求，最后用LangChain+训练的大模型搭建知识库问答。让你掌握大模型LLM构建的原理、技术、流程与实战，超越大多数竞争者，抢占先机，脱颖而出

课程目录

• 第1章 课程介绍
• [1.1]–1-1 【导航】课程导学&让你快速了解课程
• [1.2]–1-2 【内容安排】课程安排和学习建议
• [1.3]–1-3 【行业发展】ChatGPT对行业、社会有什么影响，我们要
• [1.4]–1-4 【发展史】ChatGPT的简要历史
• [1.5]–1-5 【学习须知】本课程为什么使用gpt2而不是gpt3
• 第2章 训练模型与开发平台环境
• [2.1]–2-1 【认知】为什么要引入paddle？平时使用torch，学
• [2.2]–2-2 【框架】paddle和torch与tensorflow对
• [2.3]–2-3 【NLP工具和预训练模型】paddleNLP和huggi
• [2.4]–2-4 【平台】介绍aistudio
• [2.5]–2-5 【工具】介绍基于gpt4的IDE cursor
• 第3章 chatGPT初始技术词向量原理剖析与实战
• [3.10]–3-10 【激活函数】常见七种激活函数对比
• [3.11]–3-11 【预训练语言模型】RNN-LSTM-ELMO
• [3.12]–3-12 本章梳理小结
• [3.1]–3-1 【认知】词向量，词向量与gpt的关系
• [3.2]–3-2 【语言模型】语言模型和评估指标PPL
• [3.3]–3-3 【词向量模型】word2vec-cbow和skipgra
• [3.4]–3-4 【softmax加速】是softmax 树型优化
• [3.5]–3-5 【softmax加速】softmax负采样优化
• [3.6]–3-6 【数据准备与预处理】word2vec实战（1）
• [3.7]–3-7 【数据准备与预处理】word2vec实战（2）
• [3.8]–3-8 【模型训练】word2vec实战-模型开发和训练（1）
• [3.9]–3-9 【模型训练】word2vec实战-模型开发和训练（2）
• 第4章 chatGPT基石模型——基于Transformer架构的语言模型
• [4.10]–4-10 transformer-xl解决长序列的问题（2）
• [4.11]–4-11 本章梳理总结
• [4.1]–4-1 本章介绍
• [4.2]–4-2 seq2seq结构和注意力
• [4.3]–4-3 seq2seq-attention的一个案例
• [4.4]–4-4 transformer的multi-head atten
• [4.5]–4-5 transformer的残差链接-解决梯度消失问题
• [4.6]–4-6 transformer的layernorm-归一化提升训
• [4.7]–4-7 transformer的decoder 解码器
• [4.8]–4-8 sparse-transformer 稀疏模型
• [4.9]–4-9 transformer-xl 解决长序列的问题（1）
• 第5章 基于Transformer另一分支Bert系列分析与实战
• [5.10]–5-10 bert(transformer encoder)主要
• [5.11]–5-11 bert(transformer encoder)的完
• [5.12]–5-12 Ernie文心一言基础模型（1）
• [5.13]–5-13 Ernie文心一言基础模型（2）
• [5.14]–5-14 plato百度对话模型（1）
• [5.15]–5-15 plato 百度对话模型（2）
• [5.16]–5-16 本章总结
• [5.1]–5-1 本章介绍
• [5.2]–5-2 metric-评估指标(BLUE-rouge-L-MET
• [5.3]–5-3 常见 subword 算法（BPE-wordpiece）
• [5.4]–5-4 常见的NLP任务
• [5.5]–5-5 bert 预训练模型
• [5.6]–5-6 bert情感分析实战—-paddle（1）
• [5.7]–5-7 bert情感分析实战—-paddle（2）
• [5.8]–5-8 evaluate和predict方法—-paddle
• [5.9]–5-9 bert(transformer encoder)主要源
• 第6章 chatGPT的核心技术——强化学习
• [6.10]–6-10 actor-critic（2）
• [6.11]–6-11 TRPO+PPO（1）
• [6.12]–6-12 TRPO+PPO（2）
• [6.13]–6-13 DQN代码实践–torch-1
• [6.14]–6-14 DQN代码实践–torch-2
• [6.15]–6-15 DoubleDQN+DuelingDQ代码–torc
• [6.16]–6-16 REINFORCE代码–torch
• [6.17]–6-17 PPO代码实践–torch
• [6.18]–6-18 强化学习-本章总结
• [6.1]–6-1 RL是什么＆为什么要学习RL
• [6.2]–6-2 强化学习章介绍
• [6.3]–6-3 RL基础概念
• [6.4]–6-4 RL马尔可夫过程
• [6.5]–6-5 RL三种方法（1）
• [6.6]–6-6 RL三种方法（2）
• [6.7]–6-7 DQN和DQN的2种改进算法（1）
• [6.8]–6-8 DQN和DQN的2种改进算法（2）
• [6.9]–6-9 actor-critic（1）
• 第7章 chatGPT技术演变——从GPT 1 开始的大模型发展与演化
• [7.10]–7-10 Antropic LLM大型语言模型
• [7.11]–7-11 GPT-本章总结
• [7.1]–7-1 GPT1 模型
• [7.2]–7-2 GPT2 模型
• [7.3]–7-3 GPT3 模型-1
• [7.4]–7-4 GPT3 模型-2
• [7.5]–7-5 gpt-codex 基于GPT技术开发的模型
• [7.6]–7-6 alphaCode基于GPT技术开发的模型-1
• [7.7]–7-7 alphaCode基于GPT技术开发的模型-2
• [7.8]–7-8 instruct-gpt 基于GPT技术开发的模型-1
• [7.9]–7-9 instruct-gpt 基于GPT技术开发的模型-2
• 第8章 RLHF训练类ChatGPT模型代码实战
• [8.10]–8-10 RLHF强化学习人类反馈的训练-model-base
• [8.11]–8-11 RLHF强化学习人类反馈的训练-model-opt
• [8.13]–8-13 RLHF强化学习人类反馈的训练-generation（
• [8.14]–8-14 RLHF强化学习人类反馈的训练-exp_maker（1
• [8.15]–8-15 RLHF强化学习人类反馈的训练-exp_maker（2
• [8.16]–8-16 RLHF强化学习人类反馈的训练-buffer-util
• [8.17]–8-17 RLHF强化学习人类反馈的训练-buffer-loss
• [8.19]–8-19 RLHF强化学习人类反馈的训练-main
• [8.1]–8-1 chatGPT训练实战
• [8.2]–8-2 SFT有监督的训练-数据处理
• [8.3]–8-3 SFT有监督训练-trainer
• [8.4]–8-4 SFT有监督训练-train
• [8.5]–8-5 RM训练-model+dataset（1）
• [8.6]–8-6 RM训练-model+dataset（2）
• [8.7]–8-7 RM训练-trainer
• [8.8]–8-8 RM训练-train-rm
• [8.9]–8-9 RLHF强化学习人类反馈的训练-dataset