课程亮点

贪心科技

最全的贝叶斯相关内容

贝叶斯深度学习、MCMC、VAE、贝叶斯优化、主题模型等

贪心科技

答疑服务

即时答疑的方式,助教老师会尽快回答大家在学习中遇到的问题

贪心科技

深入的内容

有深度的内容、涵盖目前所能找到的最前沿的内容

贪心科技

专业的授课团队

在本领域有着多年工程和科研经验的导师

贪心科技

对科研、出国也有帮助

为以后做相关课题的科研、以及出国留学有很大帮助

贪心科技

提高创新能力

深入一个领域是技术创新所必须的条件

课程概要

贪心科技

自然语言处理在过去几年取得了飞速的发展,涌现出很多新的技术和应用场景。对于学生,还是对于职场人士,想跑在技术的前沿具有很大的挑战,毕竟涉及到的技术和内容太多。我们设计这门课程实际上就是为了帮助大家用最短的时间来跟上时代的步伐,以及让自己的知识体系更加深入。我们特意摘取了预训练、文本生成、对话系统以及知识图谱模块,也是当今应用场景最广泛的技术。在课程中,我们由浅入深的讲清楚每一个核心的细节以及前沿的技术、同时你将有机会参与到课题中,并通过课题来增加对领域的认知,让自己的能力更上一层。 课程特别适合想持续深造NLP领域的人士, 想跑在技术前沿的人士。

贪心科技

你将收获

贪心科技

全面掌握自然语言处理技术,能够灵活应用在自己的工作中

贪心科技

理解预训练技术、对话技术、生成技术以及知识图谱的常用技术

贪心科技

深入理解前沿的技术,有助于为后续的科研打下基础

贪心科技

完成一系列课题,有可能成为一个创业项目或者转换成你的科研论文

贪心科技

短期内对一个领域有全面的认识,大大节省学习时间

贪心科技

认识一群拥有同样兴趣的人、相互交流、相互学习

课程大纲

第一阶段:文本生成技术

大纲

贪心科技

第一周:Seq2Seq模型与机器翻译

Seq2seq 模型与机器翻译任务
机器翻译中未登录词UNK与subword
文本生成coverage
length normalization
低资源语言生成
多任务学习
Tearch Force Model

第二周:文本摘要生成

摘要生成技术类别
生成式摘要生成技术
抽取式摘要生成技术
基于CNN的文本生成
基于RNN的文本生成
Pointer Network
Text summarization 前沿研究

第三周:Creative Writing

可控性文本生成
Story Telling 与预先训练GPT
诗词,歌词,藏头诗等文本生成
创作性文本生成技巧

第四周:多模态文本生成

ResNet
Inception 等预训练图片特征抽取模型
Image Caption
Table2text

第五周:对抗式文本生成与NL2sql

GAN 模型
强化学习基础
SeqGAN
NL2sql

论文列表

贪心科技

1、A Neural Attention Model for Abstractive Sentence Summarization

2、A Deep Reinforced Model for Abstractive Summarization

3、Incorporating Copying Mechanism in Sequence-to-Sequence Learning

4、Get To The Point: Summarization with Pointer-Generator Networks

5、Constructing literature abstracts by computer: Techniques and prospects

6、Recent automatic text summarization techniques: a survey

7、Jointly Learning to Align and Summarize for Neural Cross-Lingual Summarization

8、VMSMO: Learning to Generate Multimodal Summary for Video-based News Articles

9、Q-learning with Language Model for Edit-based Unsupervised Summarization

10、Multi-Fact Correction in Abstractive Text Summarization

11、Incorporating Commonsense Knowledge into Abstractive Dialogue Summarization via Heterogeneous Graph Networks

12、On extractive and abstractive neural document summarization with transformer language models

13、Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation

14、Re-evaluating Evaluation in Text Summarization

15、The Mathematics of Statistical Machine Translation: Parameter Estimation

16、BLEU: a Method for Automatic Evaluation of Machine Translation

17、Statistical Phrase-Based Translation

18、Hierarchical Phrase-Based Translation

19、Sequence to Sequence Learning with Neural Networks

20、Neural Machine Translation by Jointly Learning to Align and Translate

21、Adam: A Method for Stochastic Optimization

22、Neural Machine Translation of Rare Words with Subword Units

23、Attention is All You Need.

项目部分

贪心科技

固定项目

贪心科技

基于Pointer_Network 的文本摘要生成

概要:本项目的目的是如何基于Pointer Network 思想,进行发散来自动抽取文本中的内容以完成文本摘要生成,在本项目中,我们会引到学员使用常规的Seq2seq模型进行建模,并且使用Pointer Networks 完成Seq2seq 的改进 以及实现。通过此项目,学员会亲身体会整个摘要生成或标题文案生成的端到端模型的设计,问题的分析和训练过程。

涉及到的技术:

端到端模型

Attention

Language Generation

Transformer等

第二阶段:预训练技术

大纲

贪心科技

第一周:预训练模型基础

预训练模型基础
语言模型回顾
N-gram语言模型回顾
Neural语言模型回顾
预训练方法的发展历程
预训练和transfer learning
Pre-BERT时代的transfer learning
word2vec,transfer learning in NER
Post-BERT时代的transfer learning
Pre-train fine-tune范式

第二周:ELmo与BERT

Elmo
Transformer模型回顾
BERT
更强的BERT:RoBERTa
基于Elmo和BERT的NLP下游任务
Huggingface Transformers库介绍
构建基于BERT的情感分类器

第三周:GPT系列模型

GPT
GPT2
GPT3
基于GPT的fine-tuning
基于GPT的Zero-shot learning
基于GPT模型的文本生成实战
基于给定Prompt生成续写文本
Top-k + Top-p 采样

第四周:Transformer-XL与XLNet

处理长文本
Transformer-XL
相对位置编码
Permutation Language Model
Two-stream attention
XLNet
更进阶的预训练任务:MPNet

第五周:其他前沿的预训练模型

考虑知识的预训练模型:ERINE
对话预训练模型:PLATO2, DialoGPT
SpanBERT
MASS,UniLM
BART,T5
实现基于T5的文本分类模型

第六周:低计算量下模型微调和对比学习

低计算量情况下的预训练模型微调
Adapter-based fine-tuning
Prompt-search,P-tuning
基于对比学习的预训练
对比学习目标:Triplet Loss,InfoNCE Loss
SimCSE

第七周:多模态预训练和挑战

多模态预训练模型
DALLE,CogView
CLIP,文澜
预训练模型面临的挑战及其前沿进展
模型并行带来的挑战
对于Transformer的改进:Reformer

论文列表

贪心科技

1、Attention Is All You Need

2、Language Models are Few-Shot Learners

3、BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

4、Deep contextualized word representations

5、XLNet: Generalized Autoregressive Pretraining for Language Understanding

6、BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension

7、RoBERTa: A Robustly Optimized BERT Pretraining Approach

8、CogView: Mastering Text-to-Image Generation via Transformers

9、Improving Language Understanding by Generative Pre-Training

10、Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

11、ALBERT: A Lite BERT for Self-supervised Learning of Language Representations

12、SpanBERT: Improving Pre-training by Representing and Predicting Spans

13、GPT Understands, Too

项目部分

贪心科技

固定项目

贪心科技

基于预训练模型的情感分类

概要:本项目的目的是将预训练模型应用在最常见的NLP任务:文本分类中。在本项目中,我们会引导学员在公开的benchmark数据集上实现自己的情感分类模型,并引导学员尝试不同的预训练模型和表示提取方法。

涉及到的技术:

BERT

文本分类

文本表示学习

第三阶段:对话系统技术

大纲

贪心科技

第一周:对话系统综述

对话系统概览
对话系统发展历程
对话系统的主要应用场景
常见的对话系统类别以及采用的技术
对话系统前沿的技术介绍
基础:语言模型
基础:基于神经网络的语言模型

第二周:对话系统综述

任务型对话系统的总体架
案例:订票系统的搭建
自然语言理解模块简介
对话管理模块技术
对话生成模型技术
基于神经网络的文本分类和序列标注

第三周:自然语言处理理解模块

自然语言理解模块面临的挑战
NLU模型中意图和槽位的联合识别
考虑长上下文的NLU
NLU中的OOD检测
NLU模型的可扩展性
NLU模型中的少样本学习
少样本学习方法介绍
孪生网络
匹配网络
原型网络

第四周:对话管理和对话生成

对话状态追踪
对话策略详解
POMDP技术
对话管理的最新研究进展
基于RL的对话管理
对话生成技术
端到端的对话系统
基于预训练模型的DST

第五周:闲聊对话系统

闲聊对话系统基础技术
基于检索的闲聊对话系统
基于生成的闲聊对话系统
融合检索和生成的闲聊对话系统
Protoype rewriting, Retrieval augmented generation
闲聊对话系统的主要应用场景
闲聊对话系统技术所面临的主要挑战
FAQ系统实战,实现一个自己的FAQ系统
基于RNN/Transformer/BERT的文本匹配模型

第六周:对话系统进阶

情感/共情对话系统
生成带情绪的回复
个性化对话生成
生成符合特定个性人设的回复
风格化对话生成
控制回复的风格
对话回复的多样性
Label Smoothing, Adaptive label smoothing
Top-K Sampling, Nuclear Sampling
Non-autoregressive 算法在生成模型中的应用
基于Transformer的对话生成模型
TransferTransfo

第七周:开源对话系统架构RASA详解

RASA的主要架构
基于RASA搭建自己的对话系统
多模态对话、VQA
考虑图像模态的对话回复检索和生成
基于预训练模型的对话系统
基于GPT模型的对话模型
Meena,PLATO,Blender
考虑Planning的对话模型:关于对话语义的显示建模
模型蒸馏方法在对话模型中的应用

论文列表

贪心科技

1、Attention Is All You Need

2、Jointly Optimizing Diversity and Relevance in Neural Response Generation

3、A neural conversational model

4、A persona-based neural conversation model

5、Emotional chatting machine: Emotional conversation generation with internal and external memory

6、Commonsense Knowledge Aware Conversation Generation with Graph Attention

7、A network-based end-to-end trainable task-oriented dialogue system

8、Key-Value Retrieval Networks for Task-Oriented Dialogue

9、Hello, It’s GPT-2 - How Can I Help You? Towards the Use of Pretrained Language Models for Task-Oriented Dialogue Systems

10、Out-of-domain detection for natural language understanding in dialog systems

11、Efficient large-scale neural domain classification with personalized attention

12、ConveRT: Efficient and Accurate Conversational Representations from Transformers

项目部分

贪心科技

固定项目

贪心科技

意图和槽位联合优化的自然语言理解模型

概要:本项目的目的是实现自己的自然语言理解模型。设计项目涉及到对BERT的改造,有一定的挑战性。在本项目中,我们会引导学员在公开的benchmark数据集上实现自己的意图槽位联合优化模型。

涉及到的技术:

BERT

CRF

序列标注

文本分类

多任务学习

第四阶段:信息抽取与知识图谱

大纲

贪心科技

第一周:知识图谱与图数据模型

知识图谱:搜索引擎,数据整合,AI
实体抽取
关系抽取
词向量
graph embedding
图数据模型:RDF, Cyper
结构化数据的关系抽取
介绍关系抽取的基本方法
介绍结构化数据的信息过滤

第二周:知识图谱的设计

RDF和Property graph的设计
创建KG:数据处理
创建KG:文本和图像
推断用到的基本方法
Path detection
Centrality and community Detection
图结构嵌入方法
重要性的基本方法:node,edge

第三周:结构化预测模型

Sequence labeling
结构化数据类别:Dependency,constituency
Stack LSTM
Stack RNNS
Tree-structure LSTM

第四周:关系抽取和预测

Hand-built patterns
Bootstrapping methods
Supervised methods
Distant supervision
Unsupervised methods
实体识别的基本方法

第五周:低资源信息抽取和推断

Low-resource NER
Low-resource structured models
Learning multi-lingual Embeddings
Deepath
DIVA
Generic Statistical Relational Entity Resolution in Knowledge Graphs

第六周:图挖掘的热门应用

基本图概念
Link Prediction
Recommendation system
Anomaly detection
Gated Graph Sequence Neural Networks

论文列表

贪心科技

1、Generic Statistical Relational Entity Resolution in Knowledge Graphs (Pujara et al, 2016)

2、Neural Architectures for Named Entity Recognition (Lample et al, 2016)

3、End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF (Ma & Hovy, 2016)

4、Empower Sequence Labeling with Task-Aware Neural Language Model (Liu et al, 2018)

5、Fine-grained semantic typing of emerging entities (Nakashole et al, 2013)

6、Embedding methods for fine grained entity type classification (Yogatama et al, 2015)

7、AFET: Automatic fine-grained entity typing by hierarchical partial-label embedding (Ren et al, 2016)

8、Entity linking with a knowledge base: Issues, techniques, and solutions (Shen at el, 2015)

9、Neural Relation Extraction with Selective Attention over Instances (Lin et al, 2016)

10、Heterogeneous Supervision for Relation Extraction: A Representation Learning Approach (Liu et al, 2017)

项目部分

贪心科技

固定项目

贪心科技

推荐系统设计和应用

概要:推荐系统<(Recommendation system)是根据用户的信息需求、兴趣等,将用户感兴趣的信息、产品等推荐给用户的个性化信息推荐系统。和搜索引擎相比推荐系统通过研究用户的兴趣偏好,进行个性化计算,由系统发现用户的兴趣点,从而引导用户发现自己的信息需求。推荐系统现已广泛应用于很多领域,其中最典型并具有良好的发展和应用前景的领域就是电子商务领域。同时学术界对推荐系统的研究热度一直很高,逐步形成了一门独立的学科。本项目,通过相关数据,学员需要建立对应的知识图谱,然后进行信息过滤和推断,希望能准确地将信息推荐给感兴趣的用户。

涉及到的技术:

知识图谱

相似度计算

图论

信息抽取

信息过滤

适合人群

贪心科技

大学生

理工科相关专业的本科/硕士/博士生,想系统性学习自然语言处理
希望今后从事人工智能相关的工作
希望今后想从事相关研究
贪心科技

在职人士

目前从事IT相关的工作,但今后想从事NLP工作
目前公司项目涉及到以上几个模块的内容、希望深入学习一下
希望能够及时掌握前沿的NLP技术

入学标准

贪心科技

理工科相关专业学生,或者IT从业者

贪心科技

具有良好的Python编程能力、深度学习基础

贪心科技

有一定的机器学习基础

或者成功完成贪心学院以下课程中的任意一门:

中级机器学习

高阶自然语言处理、或者同级别其他课程

课程团队

贪心科技

李文哲老师

贪心学院CEO

曾任凡普金科集团首席数据科学家、 美国亚马逊和高盛的高级工程师, 是金融行业开创知识图谱做大数据反欺诈的第一人。 美国南加州大学博士, 先后在AAAI、KDD、AISTATS、CHI等国际会议上发表过15篇以上论文

贪心科技

郑老师

清华大学计算机系

(计算机科学与人工智能研究部)博士后,美国劳伦斯伯克利国家实验室访问学者;美国亚利桑那大学访问学者;主要从事自然语言处理,对话领域的先行研究与商业化;先后在AAAI,NeurIPS,ACM,EMNLP等国际会议及期刊上发表过10篇以上论文

贪心科技

蓝振忠

贪心学院资深顾问

ALBERT模型的第一作者, 现任Google AI实验室科学家。 将于2020年6月份作为特聘研究员和博士生导师加入西湖大学,并建立”蓝振忠实验室”。 美国卡耐基梅隆大学博士。 美国NIPS举办的视频智能分析大赛连续多年TOP3 先后在NIPS, CVPR, ICCV, IJCAI等会议发表30篇以上论文,1000+ 引用次数。

贪心科技

史源

人工智能基金管理人

10多年人工智能领域相关研发和研究经历,负责过多项人工智能基金项目。美国南加州大学人工智能博士,卡内基梅隆大学机器人系访问学者。

贪心科技

Jerry Yuan

美国微软(总部)推荐系统部负责人

美国亚马逊(总部)资深工程师;美国新泽西理工博士;14年人工智能, 数字图像处理和推荐系统领域研究和项目经验;先后在AI相关国际会议上发表20篇以上论文。

贪心科技

杨栋老师

推荐系统,计算机视觉领域专家

香港城市大学博士, UC Merced博士后。现在主要从事于机器学习,图卷积,图嵌入的研究,从事研究多年,对机器学习有很深的理解。并且先后在ECCV, Trans on Cybernetics, Trans on NSE, INDIN等国际顶会及期刊上发表过数篇论文。

贪心科技

王老师

BAT高级算法工程师

毕业于QS世界综合排名top20 计算机学院,研究方向为机器阅读理解,信息检索,文本生成等,拥有新加坡国立大学,南洋理工等丰富海外访学交流经历。曾参与AAAI, ICLR 等数篇论文发表工作,拥有多项国家发明专利。现任BAT高级算法工程师,拥有亚马逊,华为,平安科技等丰富行业经历,对nlp算法及其行业落地有深入研究。

毕业证书

对于成功完成每个模块内容的学员,我们会颁发对应模块的毕业证书(注:必须要达到及格标准)

贪心科技

助教老师课上辅导&课下答疑

闫老师

(周一到周日)

贪心学院高级助教老师
负责过高阶nlp3,4,5,6,7,8,9
高阶机器学习1,2,3,4
中级机器学习等课程答疑
人大硕士,曾经就职于网易,阿里等科技巨头
目前任某国家研究院NLP工程师

常见问题

1、参加本课程有什么要求?

参加本课程需要一定的自然语言处理基础。

2、学完课程能达到什么水平?

能够系统性理解自然语言处理技术、有能力自主设计新的新的模型,并应用在工程中; 或者有能力从事科研相关的工作。

3、完成课题的过程是怎样的?

在每个模块的第二周开始我们会组织大家分小组定课题,在这个过程中导师团队会给修改建议,之后在课题的实施过程中,导师和助教团队也会不断地帮助大家完成课题。在最后一周,我们会组织一次线上答辩会。最后,你需要提交一份完整的技术报告。如果你完成的课题质量很高,我们导师团队乐意无偿继续提供之后的支持和帮助(比如投稿到顶会、或者对接投资人帮你孵化项目)。

4、课程中的理论和实操比例是怎样的?

课程中会有大量较为深入的技术讲解,由浅入深,理论部分会很充实。 另外,你通过完成课题的方式来完成实战部分。实战部分可以是应用型的,也可以是科研型的,就看你的兴趣。

5、课程支持哪些付费方式?

支付宝、微信、银行卡、公对公打款、paypal付款。

6、加入课程,最后怎样才能拿到证书?

对于证书我们坚持高门槛,只有达到及格线我们才会颁发证书。