课程目录

• 第01阶段：开营+大模型介绍、Transformer
• 01 开营
• 02 大模型爆发式发展
• 03 大模型是如何炼成的
• 04 Transformer的应用
• 05 Self-Attention
• 第02阶段：Transformer、Encoder、Advanced
• 01 Transformer Part1.vep
• 02 Transformer Part2.vep
• 03 Encoder-based and Decoder Based LLMs.vep
• 04 Advanced Topics.vep
• 第03阶段：大模型微调概览 Lora微调
• 01 大模型微调概览
• 02 Lora微调-Lora算法
• 03 Lora微调-从零实现Lora到Roberta
• 第04阶段：Alpaca、AdaLoRA、QLoRA
• 01 Alpaca
• 02 AdaLoRA
• 03 QLoRA
• 第05阶段：Prefix Tuning、Quantization
• 01 Prefix Tuning.vep
• 02 Quantization01.vep
• 03 Quantization02.vep
• 04 Quantization Methos for LLM.vep
• 第06阶段：llama介绍&运行&量化&部署&微调
• 01 llama介绍&运行&量化&部署&微调01
• 02 llama介绍&运行&量化&部署&微调02
• 第07阶段：Distributed Computing、Flash Attention
• 01 GPU时间计算
• 02 Distributed Computing
• 03 ZeRO-123 and FSDP
• 04 Flash Attention
• 第08阶段：Flash Attention cont、微调Mistral 7B
• 01 Flash Attention cont
• 02 Self-Attention的分块计算
• 03 分块模式中计算O
• 04 Mixture of Expert Model
• 05 微调Mistral 7B
• 第09阶段：强化学习
• 01 RLHF介绍.vep
• 02 强化学习.vep
• 03 Multi-armed Bandit.vep
• 04 The goal of Agent.vep
• 第10阶段：Optimal Policy、Intro to Monte Carlo
• 01 Optimal Policy
• 02 Intro to Monte Carlo
• 课件资料
• 课程资料
• 第三节-课程资料 20240225
• Lora代码.ipynb
• 课程相关资料.text
• 第四节-课程资料 20240303
• 4bit-normalquantization.ipynb
• 第六节补充课 课程资料 20240406-微调Mistral7B
• 项目手册1：QLoRA finetune Microsoft Phi
• 助教补充课 课程资料 20240324 llama介绍&运行&量化&部署&微调
• 课件
• 第二节-课件 20240128
• 第六节-补充课-课件 20240406
• 第六节-课件1 20240331
• 第六节-课件2 20240331
• 第三节-课件 20240225
• 第四节课-课件 20240303
• 第五节-课件 20240317
• 第一节-课件 20240121
• 第二节-课件 20240128
• 第三节-课件 20240225
• 第四节课-课件 20240303
• 第一节-课件 20240121
• 第一节-拓展资料 20240121(1).txt
• 第一节-拓展资料 20240121.txt