大模型高级研修班
课程介绍
大模型高级研修班 
本课程包括基座模型，指令微调技术，对齐技术，模型量化技术，多模态技术，图与大模型，具身智能7个模块，内容涵盖Transformer架构与机制，大模型训练与优化，Mamba，Mamba2，Jamba，KANs，LoRA，DoRA，LoftQ，GaLore，Mixture of LoRAs，DPO，KTO，IPO，SimPO，GPTQ量化，SmoothQuant量化，AWQ量化，GGUF量化，MoE-LLaVA，Mini-Gemini，VideoLLaMA2，图与大模型，推荐系统与大模型，GraphGPT，知识图谱与LLM，具身智能等最前沿技术等全方位知识讲解。
本课程包括基座模型，指令微调技术，对齐技术，模型量化技术，多模态技术，图与大模型，具身智能7个模块，内容涵盖Transformer架构与机制，大模型训练与优化，Mamba，Mamba2，Jamba，KANs，LoRA，DoRA，LoftQ，GaLore，Mixture of LoRAs，DPO，KTO，IPO，SimPO，GPTQ量化，SmoothQuant量化，AWQ量化，GGUF量化，MoE-LLaVA，Mini-Gemini，VideoLLaMA2，图与大模型，推荐系统与大模型，GraphGPT，知识图谱与LLM，具身智能等最前沿技术等全方位知识讲解。
课程大纲
注：由于大模型技术迭代迅速，课程大纲可能会根据技术的迭代而动态调整，加入最新的知识，请以最终上课时的课程大纲和内容为准。
模块一 · 基座模型
- 多头自注意力机制：Query, Key, Value 机制
- Multi-query attention
- 位置编码技术
- 层归一化与残差连接
- 案例：剖析 LLama3 模型结构
- 预训练、微调与对齐过程
- SFT 与 LoRA 微调
- 对齐与 DPO
- 处理长距离依赖
- 处理更长的上下文
- 梯度下降变体
- Transformer 与 Seq2Seq 各自有缺点
- Equation 基础
- 选择性状态空间模型（SSMs）
- Discretization, Recurrent 计算
- The HIPPO 矩阵
- 基于 Pytorch 实现一个基本的 Mamba 块
- 局部卷积宽度及其重要性
- Selective Scan
- 整体模型架构
- Mamba 的优化策略
- 与 Transformer 优化的比较分析
- Mamba 与 Mamba2 的区别
- Mamba2 中的高级 SSMs
- 结构状态空间对偶性
- SSMs 和 Transformers 之间的等价性
- 块分解技术
- 面向硬件的实现
- 高效投影和归一化
- 实践：在 Mamba2 中实现高维 SSMs
- 文本生成与文本摘要生成
- 机器翻译与情感分析
- 基于 Mamba 构造大模型
- 基于 Mamba 构造多模态大模型
- 医疗、金融领域的应用
- 混合架构设计基础
- SSMs 与 Transformer 注意机制的集成
- 结合 Mamba 和 Transformer 方法的优点
- Jamba 模型剖析
- 多模态注意力和状态空间集成
- 跨模态嵌入对齐
- KANs vs MLPs
- Kolmogorov-Arnold representation theorem
- 基础架构
- KANs (CKANs)
- 训练 KANs
- 实践：从零实现 KANs
模块二 · 指令微调技术
- 必要的数学知识 - 低秩分解
- LoRA 的核心原理
- LoRA 中的各类参数设置
- 优化并获得 LoRA 参数
- LoRA 源码解读
- 基于开源模型实现 LoRA 微调
- 从 LoRA 到 DoRA
- DoRA 解决的核心问题
- 权重分解的低秩适应
- DoRA 的梯度分析
- DoRA 的源码分析
- 基于开源模型实现 DoRA 微调
- 量化技术基础
- 不同的量化技术
- 传统方法与基于 LoRA 的量化
- LoftQ 算法的详细介绍
- 背后的理论分析
- Weight Gradient 的 low rank 特性
- GaLore 模型详解
- 低秩子空间的组成
- 内存高效优化
- 超参数的调整
- 背后的一些理论分析
- Routing 策略设计
- MoA 架构设计
- 模型的详解
- 模型源码分析
- 基于开源模型实现模型微调
模块三 · 对齐技术
- 偏好优化基础
- Bradley-Terry model
- 推导 DPO 的目标
- 详解 DPO 的训练
- DPO 背后的理论分析
- 基于开源模型实现 DPO 对齐
- HALOs 介绍
- KTO 的推导过程
- KL 的估计
- 理解超参数
- KTO 与 DPO
- 序列似然校准
- 算法详解
- online IPO
- 背后的里理论分析
- 基于开源模型实现 IPO 对齐
- DPO 与 SimPO 主要区别
- 推导 SimPO 的目标
- SimPO 的参数设置
- SimPO 源码分析
- 对齐技术的未来发展
模块四 · 模型量化技术
- 量化技术基础
- OBQ 介绍
- GPTQ 算法详解
- 背后理论分析
- 基于 LLama 大模型进行 GPTQ 量化
- 数据分布对量化的影响
- SmoothQuant 核心思想
- SmoothQuant 算法详解
- 算法源码分析
- 基于 LLama 大模型进行 SmoothQuant 量化
- AWQ 核心思想
- 分析量化导致的误差
- 选取最有价值的 1%权重
- AWQ 算法详解
- 基于 LLama 大模型进行 AWQ 量化
- 从 GPU 到 CPU 使用
- GGUF 核心思想
- GGUF 算法详解
- 基于 LLama 大模型+GGUF
模块五 · 多模态技术
- 视觉大模型基础
- 训练多模态大模型的 Scaling 挑战
- Hard Routers 和 Soft Routers
- MoE 总体结构
- MoE 三阶段训练
- 模型源码解读
- 微调一个 MoE-LLaVA 模型
- 模型背后核心思想
- Vision Encoders
- Patch Info Mining
- 模型详解
- 模型源码解读
- 模型背后核心思想
- 模型总体结构
- 模型算法解析
- 多任务微调
- 微调一个 VideoLLaMA2 模型
模块六 · 图与大模型
- 图、知识图谱基础
- 图和大模型结合三种常见方法
- 利用图来增强大模型推理
- 利用大模型来增强图模型
- 两者的直接结合
- 大模型对图的推理
- 推荐系统设计
- 推荐系统中使用大模型
- Prompt 的设计
- 微调推荐大模型思路
- 微调一个推荐领域大模型
- Graph 的推理能力分析
- 图结构的编码
- Self- supervised 微调
- 基于任务的微调
- CoT 蒸馏
- GraphGPT 的应用场景
- 知识图谱背景介绍
- 知识图谱与 LLM 结合的几种方式
- 训练能够理解知识图谱的 LLM 基座模型
- 知识图谱与 LLM 对推荐系统的价值
模块七 · 具身智能
- 历史背景和关键里程碑
- 应用和未来趋势
- 具身智能和大模型的结合
- 具 AI 的理论
- 具身 AI 的认知架构
- LLM 在具身 AI 中的角色
- 将 LLM 与具身系统集成的技术
- 具身 AI 中的自然语言理解和生成
- 机器人学简介和机器人类型
- 传感器技术和数据采集
- 执行器和控制系统
- 案例：使用 LLM 的机器人系统
- 具身 AI 的设计原则
- 人机交互（HRI）
- 多模态界面
- 具身 AI 中的强化学习
- 实时决策
- 评估具身 AI 系统的指标
- 性能测试和基准测试
- 用户研究和反馈收集
- 迭代设计和改进
课程服务
9次直播讲解与演示（每次3-3.5小时）
可反复观看课程视频
不超过30人的小学习群，保证每名学员的问题被快速解决
专属咨询顾问与教务老师全程伴学
认识一群拥有同样兴趣的人、相互交流、相互学习。
课程讲师及教研团队
Lan Nok Yat老师
- 大模型资深专家，某头部互联网公司AIGC相关技术负责人
- UC Cruze博士后，香港大学博士
- 主要从事大模型训练，AIGC，机器学习，图卷积，图嵌入的研究
- 先后在ACL, EMNLP, ECCV, Trans on Cybernetics, Trans on NSE等国际顶会及期刊发表高水平论文十余篇
Shine老师
- 大模型开发与微调领域专家，中科院博士
- 头部金融科技公司资深算法专家
- 曾任埃森哲人工智能实验室数据科学家
- 拥有丰富的大模型微调，情感分析，博文品牌识别，问答系统等各类项目经验
张老师
人工智能、大模型领域专家
互联网大厂资深算法工程师，清华大学博士后
拥有丰富的大模型预训练、微调和部署优化经验
曾负责大规模对话系统的开发和落地上线工作
先后在AAAI，NeurIPS，ACM，EMNLP等国际顶会及期刊发表高水平论文十余篇
适合人群
在职人士
在读学生
常见问题
1、是否有基础要求？
Python，Pytorch框架，深度学习基础，Transformer等NLP基础。
2、学习这个课程对硬件有哪些要求？
需要显存24G以上的1张NVIDIA显卡或者GPU云服务器。
3、上课形式和课时量是怎样的呢？
共9次直播授课，每次直播课程时长大概3-3.5小时。直播的录播视频会在两个工作日上传到学习平台方便大家回看，但为了更好的学习效果，建议各位学员提前预留好时间，准时参加直播。
4、课程回放视频的观看期限是多久？
本期课程视频永久有效，其中包含“学习期”和“结课期”两个阶段。 学习期：指我们为同学们提供直播授课的阶段。在此期间，学员可以观看课程回放视频，并享受相应的学习服务，比如课程群助教答疑等。 结课期：本课程最后一节直播课之日起一周后，即为结课期，课程回放视频永久有效。在此期间，学员可随时观看课程视频，但不再享受其他课程服务。
5、可以跟老师互动交流吗?
我们会建立课程学习群，群内可以互动交流。同时，大家还可以在直播授课期间向老师提问。
6、报名缴费后可以退款吗？
本课程第一节直播课起第7个自然日内，如果觉得课程不适合自己，可无条件申请退款，超出7个自然日，就不再办理退款啦。退款流程预计为10个工作日。
7、如何开发票，签合同？
我们可以为学员开具正规的发票和合同。请联系报名老师。
8、价格说明
价格为商品或服务的参考价，并非原价，该价格仅供参考，具体成交价格根据商品或服务参加优惠活动，或拼团等不同情形发生变化，最终实际成交价格以订单结算页价格为准。
火热招生中
¥5999