课程介绍

贪心科技

大模型开发应用 贪心科技

本课程包括大模型开发基础，RAG基础与架构，RAG与LangChain，模型微调与私有化大模型，智能设备与“小”模型，多模态大模型开发7个阶段，内容涵盖大模型核心原理，大模型实操与API调用，提示工程技术，RAG，向量数据库，LangChain，Function Calling，模型微调，LoRA，Agent，智能设备上的模型优化，边缘计算与大模型，多模态大模型，Sora等前沿技术等全方位知识讲解，并结合5个实战项目，帮助同学们实现学以致用。

大模型开发应用
贪心科技

本课程包括大模型开发基础，RAG基础与架构，RAG与LangChain，模型微调与私有化大模型，智能设备与“小”模型，多模态大模型开发7个阶段，内容涵盖大模型核心原理，大模型实操与API调用，提示工程技术，RAG，向量数据库，LangChain，Function Calling，模型微调，LoRA，Agent，智能设备上的模型优化，边缘计算与大模型，多模态大模型，Sora等前沿技术等全方位知识讲解，并结合5个实战项目，帮助同学们实现学以致用。

课程大纲

注：由于大模型技术迭代迅速，课程大纲可能会根据技术的迭代而动态调整，加入最新的知识，请以最终上课时的课程大纲和内容为准。

第一阶段 · 大模型开发基础

第一章：开营典礼

  1. 为什么要学习大模型开发？

  2. 对学员期望与课程目标

  3. 课程安排概览

  4. 学习评估

  5. 需要准备的工具和环境

第二章：大模型的训练与应用

  1. 大模型发展史

  2. 从大模型预训练、微调到应用

  3. GPT结构剖析

  4. 大模型家族、类别、应用场景

  5. RAG，Agent与小模型

第三章：大模型实操与API调用

  1. 通过API调用大模型

  2. 单论对话与多轮对话调用

  3. 开源模型与闭源模型调用

  4. ChatGLM，Baichuan，Yi-34B调用

  5. GPT，LLaMA模型调用

  6. 模型的部署、容器化

第四章：提示工程技术（1）

  1. 提示词的常见结构

  2. 提示词的模版化

  3. Zero-shot与Few-shot

  4. In-context learning

  5. Chain of thought prompting

第五章：提示工程技术（2）

  1. Tree of thought prompting

  2. Graph of thought promting

  3. Self-consistency

  4. Active-prompt

  5. Prompt chaining

第二阶段 · RAG基础与架构

第六章：RAG基础与架构

  1. 为什么需要RAG？

  2. RAG的经典应用场景

  3. RAG的经典结构与模块

  4. 向量数据库

  5. 检索与生成

第七章：【项目实战】基于RAG的PDF文档助手

  1. 产品介绍与核心功能

  2. 技术方案与架构设计

  3. 文档读取和解析

  4. 文档的切分和文档向量化

  5. query搜索与文档排序

  6. 提示模版与大模型API接入

  7. 模型部署与Web应用

第八章：文档切分常见算法

  1. 根据每个Sentence切分

  2. 根据固定字符数切分

  3. 根据固定sentence数切分

  4. 根据递归字符来切分

  5. 根据语义相似度来切分

第九章：向量数据库常见算法

  1. 常用向量数据库以及类别

  2. 向量数据库与索引算法

  3. 到排表与搜索优化

  4. KNN与近似KNN

  5. Product Quantization

第十章：向量数据库算法进阶- HSNW

  1. HSNW算法在索引中的重要性

  2. NSW算法解读

  3. NSW图中的搜索问题

  4. Skip List讲解

  5. 具有层次结构的NSW

第十一章：【项目实战】基于RAG的新闻推荐系统

  1. 推荐系统原理、应用场景以及架构剖析

  2. 传统推荐算法与基于LLM推荐算法

  3. 新闻数据的准备与整理

  4. 推荐中的召回与精排

  5. 精排与Prompt构建

  6. 模型部署与测试

第三阶段 · RAG与LangChain

第十二章：LangChain基础应用

  1. 为什么需要LangChain?

  2. 通过一个小项目快速理解各个模块

  3. LangChain调用模型

  4. PromptTemplate的应用

  5. 输出格式设定

  6. Pydantic Object设计

第十三章：理解Function Calling

  1. 什么是 Function Calling

  2. 自定义输出结构

  3. 基于OpenAI调用Function Calling

  4. Function Calling的稳定性

  5. LangChain与Function Calling

第十四章：LangChain与Retrieval组件

  1. Document Loaders

  2. Text Splitters

  3. Text Embedding模型

  4. 常用的向量数据库调用

  5. 常用的Retriever

第十五章：LangChain与Chain组件

  1. 为什么需要Chain？

  2. LLMChain, Sequential Chain

  3. Transform Chain

  4. Router Chain

  5. 自定义Chain

第十六章：Advanced RAG（1）

  1. 经典RAG的几个问题

  2. Self-querying retrieval

  3. MultiQuery retriever

  4. Step-back prompting

  5. 基于历史对话重新生成Query

  6. 其他Query优化相关策略

第十七章：Advanced RAG（2）

  1. Sentence window retrieval

  2. Parent-child chunks retrieval

  3. Fusion Retrieval

  4. Ensemble Retrieval

  5. RPF算法

第十八章：基于RAGAS的RAG的评估

  1. 为什么需要评估RAG

  2. RAG中的评估思路

  3. 评估指标设计

  4. 套用在项目中进行评估

  5. RAGAS评估框架的缺点

第十九章：实战基于Advanced RAG的PDF问答

  1. 需求理解和系统设计

  2. 经典RAG架构下的问题

  3. 检索器优化

  4. 生成器优化

  5. 系统部署与测试

第四阶段 · 模型微调与私有化大模型

第二十章：开源模型介绍

  1. 模型私有化部署的必要性

  2. 中英开源模型概览与分类

  3. ChatGLM, Baichuan，Yi等中文开源模型

  4. LLaMA，Mistral系列英文开源模型

  5. 微调所需要的工具和算力

第二十一章：模型微调基础

  1. 判断是否需要模型微调

  2. 模型微调对模型的影响和价值

  3. 选择合适的基座模型

  4. 数据集的准备

  5. 微调训练框架的选择

第二十二章：GPU与算力

  1. GPU与CPU

  2. GPU的计算特性

  3. 微调所需要的算力计算公式

  4. 常见GPU卡介绍与比较

  5. 搭建GPU算力环境

第二十三章：高效微调技术-LoRA

  1. 全量微调与少量参数微调

  2. 理解LoRA训练以及参数

  3. PEFT库的使用

  4. LoRA训练硬件资源评估

  5. 认识QLoRA训练

第二十四章：【项目实战】基于ChatGLM-6B+LoRA对话微调模型

  1. 理解ChatGLM模型家族以及特性

  2. 导入模型以及tokenizer

  3. 设计模型参数以及LoRA参数

  4. 训练以及部署微调模型

  5. 测试微调模型

第五阶段 · Agent开发

第二十五章：Agent开发基础

  1. 什么是Agent

  2. 什么是Plan, Action, Tools

  3. 经典的Agent开源项目介绍

  4. 编写简单的Agent程序

  5. Agent目前面临的挑战与机遇

第二十六章：自定义Agent工具

  1. LangChain所支持的Agent

  2. 什么需要自定义Agent

  3. @tool decorator的使用

  4. 编写自定义Agent工具

  5. 编写完整的Agent小项目

第二十七章：深入浅出ReAct框架

  1. 回顾什么是CoT

  2. CoT和Action的结合

  3. 剖析ReAct框架的Prompt结构

  4. 从零实现ReAct（from Scratch)

  5. ReAct框架的优缺点分析

第二十八章：【项目实战】开源Agent项目

  1. 开源Agent项目以及分类

  2. AutoGPT项目讲解

  3. MetaGPT项目讲解

  4. 其他开源项目

  5. Agent技术目前存在的问题

第二十九章：深度剖析Agent核心部件

  1. Agent的planning

  2. Agent的reasoning

  3. Agent的knowledge

  4. Agent的memory

  5. Agent的泛化能力

第三十章：【项目实战】基于Agent的AI模拟面试

  1. 需求设计和系统设计

  2. 工具的设计

  3. AI面试中的深度询问方案设计

  4. 提示工程设计

  5. Memory的设计

  6. 智能体开发与部署

第三十一章：Agent其他案例分享

  1. AI旅游规划师

  2. AI产品销售

  3. AI房租推荐

  4. AI图像处理

  5. AI网站开发

第三十二章：其他Agent前沿应用

  1. 多个Agent的协同

  2. Agent的group行为

  3. Agent Society

  4. Agent的Personality

  5. 斯坦福小镇案例

第六阶段 · 智能设备与“小”模型

第三十三章：智能设备上的模型优化基础

  1. 智能设备特性以及资源限制

  2. 模型优化的必要性

  3. 常见的模型压缩技术

  4. 轻量级模型架构介绍

  5. 开源小模型

第三十四章：模型在智能设备上的部署

  1. 多大的模型适合

  2. 部署流程概述

  3. 模型转换工具

  4. 模型部署实战

  5. 性能测试与优化

第三十五章：边缘计算中的大模型挑战与机遇

  1. 边缘计算的概念和重要性

  2. 模型所要满足的要求与性能上的平衡

  3. 模型在边缘设备上的应用案例

  4. 未来“小”模型发展趋势

  5. 24年“小”模型机会

第七阶段 · 多模态大模型开发

第三十六章：多模态大模型基础

  1. 什么是多模态模型

  2. 多模态的应用场景

  3. DALLE-3与Midjourney

  4. Stable Diffusion与ControlNet

  5. 语音合成技术概述

  6. 主流TTS技术剖析

第三十七章：多模态模型项目剖析

  1. 多模态大模型最新进展

  2. Sora对多模态大模型会产生什么影响

  3. 案例：MiniGPT-4与多模态问答

  4. 案例：BLIP与文本描述生成

  5. 案例：Video-LLaVA与多模态图像视频识别

第三十八章：大模型的挑战与未来

  1. 大模型技术局限性

  2. 大模型的隐私性和准确性

  3. 大模型和AGI未来

  4. GPT商城的机会

  5. 多模态的机会

  6. 对于开发工程师未来的启示

课程服务

贪心科技

20次直播讲解与演示（每周两次，每次1.5-2小时）

贪心科技

可反复观看课程视频

贪心科技

不超过25人的小学习群，保证每名学员的问题被快速解决

贪心科技

专属咨询顾问与教务老师全程伴学

贪心科技

认识一群拥有同样兴趣的人、相互交流、相互学习。

课程讲师及教研团队

贪心科技

李文哲

  • 人工智能、大模型领域专家；
  • 多家上市公司技术战略顾问;
  • 曾任金融科技独角兽首席科学家、量化投资初创公司首席科学家、美国亚马逊推荐系统工程师;
  • 深耕人工智能领域十余年，搭建行业第一个基于知识图谱的风控系统

贪心科技

刘老师

  • 大模型开发与微调领域专家
  • 贪心科技资深算法工程师
  • 拥有丰富的大模型应用开发与微调经验，曾参与基于大模型的智能客服、智能招聘系统、无人直播、面试机器人、智能助教、等数十余个项目的开发和落地

贪心科技

Jerry老师

  • 美国微软（总部）推荐系统部负责人
  • 原美国亚马逊（总部）资深工程师
  • 美国新泽西理工大学博士
  • 15年人工智能相关领域研发经验

适合人群

贪心科技

在职人士

前/后端开发工程师、算法工程师等IT从业者
对大模型感兴趣，想探索拓展副业的方式
贪心科技

在读学生

计算机相关专业，对编程有一定基础
对大模型感兴趣，未来想进入AI行业发展

常见问题

1、是否有基础要求？

Python，或精通至少一门编程语言

2、学习这个课程对硬件有哪些要求？

应用实战部分没有很高要求，普通的笔记本电脑即可；第四阶段微调相关的内容需要显存30G以上的一张NVIDIA显卡或者GPU云服务器。

3、上课形式和课时量是怎样的呢？

共20次直播授课，每次直播课程时长大概1.5-2小时。直播的录播视频会在第二个工作日上传到学习平台方便大家回看，但为了更好的学习效果，建议各位学员提前预留好时间，准时参加直播。

4、课程回放视频的观看期限是多久？

本期课程视频永久有效，其中包含“学习期”和“结课期”两个阶段。 学习期：指我们为同学们提供直播授课的阶段。在此期间，学员可以观看课程回放视频，并享受相应的学习服务，比如课程群助教答疑等。 结课期：本课程最后一节直播课之日起一周后，即为结课期，课程回放视频永久有效。在此期间，学员可随时观看课程视频，但不再享受其他课程服务。

5、可以跟老师互动交流吗?

我们会建立课程学习群，群内可以互动交流。同时，大家还可以在直播授课期间向老师提问。

6、报名缴费后可以退款吗？

本课程第一节直播课起第7个自然日内，如果觉得课程不适合自己，可无条件申请退款，超出7个自然日，就不再办理退款啦。退款流程预计为10个工作日。

7、如何开发票，签合同？

我们可以为学员开具正规的发票和合同。请联系报名老师。

8、价格说明

价格为商品或服务的参考价，并非原价，该价格仅供参考，具体成交价格根据商品或服务参加优惠活动，或拼团等不同情形发生变化，最终实际成交价格以订单结算页价格为准。

贪心科技

第二期 火热招生中

¥4999