课程简介

• 1.学握行业文档智能问答和外挂知识库的实现方法，包括大型模型对垂直领域知识的分析、内容生成的幻觉性以及垂直领域知识的动态

更新特性

• 2.学握技术方案的常规实现路径，包括文档版面分析、文本切分与亩文本表示、主流文本向量化方法与可用开源模型、相关文本召回与多路方案、prompt指令拼接设计以及基于大模型的答案生成
• 3.了解技术方案的挑战以及缓解策略，包括训练领域向量、多路召回、加入大模型分步判定逗辑以及融合SFT行业文档微调，以提高OA鲁棒性

课程目录

• 00-开课仪式
• 01-第一周 LLM的进化路线、领域微调及NLP的应用落地方式
• 02-第二周 大模型训练与微调研发背后的数据艺术
• 02-第二周 深入大模型基础理论务实
• 03-第三周 大模型训练入门与进阶
• 03-第三周 大语言模型训练和训练优化技巧
• 04-PyTorch及模型训练基础
• 04-模型训练流程和 CUDA 原理及并行基础
• 04-深入学握大模型应用开发框架LangChain
• 05-环境安装和SFT演示带你在服务器如何一步步微调训练
• 05-第五周 在云服务器实操模型量化模型推理和服务
• 05-第五周 大模型训练全流程实战
• 06-第六周 四大行业微调模型落地案例和技术方案
• 07-第七周 实现行业问答智能问答技术方案
• 08-市场需求和招聘对接-1
• 08-市场需求和招聘对接-BLK
• 09-增补：LangChain本地知识问答
• 01 新加入的同学必看！！！.html
• 02 上课演示的代码（第四周）.html 231B
• 02 前置知识提前学.html
• 03 概览【学习辅导笔记】.html
• 03 课程大纲.html
• 04 LLM 进化路线与现状【学习辅导笔记】.html
• 05 大模型的涌现能力【学习辅导笔记】.html
• 06 大模型本质-概率统计【学习辅导笔记】.html
• 07 训练过程-无监督预训练【学习辅导笔记】.html
• 08 训练过程-有监督预训练【学习辅导笔记】.html
• 09 大模型的核心–transformer 模型【学习辅导笔记】.html
• 10 Transformer–编码和解码器【学习辅导笔记】.html
• 11 Transformer–模型嵌入【学习辅导笔记】.html
• 12 【思考题】transformer 思考题.html
• 13 Transformer-前馈层【学习辅导笔记】.html
• 14 Transformer–残差归一化【学习辅导笔记】.html
• 15 大模型训练过程【学习辅导笔记】.html
• 16 大模型训练-SFT【学习辅导笔记】.html
• 17 大模型训练-Reward【学习辅导笔记】.html
• 18 大模型训练-PPO【学习辅导笔记】.html
• 19 大模型生成原理【学习辅导笔记】.html
• 项目git
• 01 llm
• llm-master