课程亮点

贪心科技

最全的文本生成技术讲解

机器翻译,抽取式生成、对抗文本生成、Creative Writing、多模态生成

贪心科技

答疑服务

即时答疑的方式,助教老师会尽快回答大家在学习中遇到的问题

贪心科技

深入的内容

有深度的内容、涵盖目前所能找到的最前沿的内容

贪心科技

专业的授课团队

在本领域有着多年工程和科研经验的导师

贪心科技

对科研、出国也有帮助

为以后做相关课题的科研、以及出国留学有很大帮助

贪心科技

提高创新能力

深入一个领域是技术创新所必须的条件

课程概要

贪心科技

神经网络语言生成是一项迅速崛起的技术,其融合了深度学习和语言学的核心技术,使得模型可以更好的学习捕获语言学中的规律,语法,语意等能力,而做到代替人工生成流利通顺的自然文本。 通过本次课程的学习,学员能够系统的掌握自然语言本文生成的核心技术,包括Seq2Seq框架,机器翻译, 抽取式摘要, 生成式摘要, 创意文本及可控性文本的生成(写作故事,诗词,对联,古诗)等生成,多模态文本生成, 对抗生成网络与强化学习结合的文本生成,通过Auto Encoder 类文本生成,NL2Sql, Table2Text, 预训练类文本生成模型等。 即有学术前沿的跟踪,也有工业界NLG场景的落地实施。

贪心科技

你将收获

贪心科技

全面掌握文本生成技术、灵活应用在自己工作中

贪心科技

能够了解各类文本生成模型的实现方式,并熟练掌握其关键技术与方法

贪心科技

深入理解前沿的文本生成技术,有助于为后续的科研打下基础

贪心科技

完成一个课题,有可能成为一个创业项目或者转换成你的科研论文

贪心科技

短期内对一个领域有全面的认识,大大节省学习时间

贪心科技

认识一群拥有同样兴趣的人、相互交流、相互学习

课程大纲

文本生成技术

大纲

贪心科技

第一周:Seq2Seq模型与机器翻译

Seq2seq 模型与机器翻译任务
机器翻译中未登录词UNK与subword
文本生成coverage
length normalization
低资源语言生成
多任务学习
Tearch Force Model

第二周:文本摘要生成

摘要生成技术类别
生成式摘要生成技术
抽取式摘要生成技术
基于CNN的文本生成
基于RNN的文本生成
Pointer Network
Text summarization 前沿研究

第三周:Creative Writing

可控性文本生成
Story Telling 与预先训练GPT
诗词,歌词,藏头诗等文本生成
创作性文本生成技巧

第四周:多模态文本生成

ResNet
Inception 等预训练图片特征抽取模型
Image Caption
Table2text

第五周:对抗式文本生成与NL2sql

GAN 模型
强化学习基础
SeqGAN
NL2sql

论文列表

贪心科技

1、A Neural Attention Model for Abstractive Sentence Summarization

2、A Deep Reinforced Model for Abstractive Summarization

3、Incorporating Copying Mechanism in Sequence-to-Sequence Learning

4、Get To The Point: Summarization with Pointer-Generator Networks

5、Constructing literature abstracts by computer: Techniques and prospects

6、Recent automatic text summarization techniques: a survey

7、Jointly Learning to Align and Summarize for Neural Cross-Lingual Summarization

8、VMSMO: Learning to Generate Multimodal Summary for Video-based News Articles

9、Q-learning with Language Model for Edit-based Unsupervised Summarization

10、Multi-Fact Correction in Abstractive Text Summarization

11、Incorporating Commonsense Knowledge into Abstractive Dialogue Summarization via Heterogeneous Graph Networks

12、On extractive and abstractive neural document summarization with transformer language models

13、Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation

14、Re-evaluating Evaluation in Text Summarization

15、The Mathematics of Statistical Machine Translation: Parameter Estimation

16、BLEU: a Method for Automatic Evaluation of Machine Translation

17、Statistical Phrase-Based Translation

18、Hierarchical Phrase-Based Translation

19、Sequence to Sequence Learning with Neural Networks

20、Neural Machine Translation by Jointly Learning to Align and Translate

21、Adam: A Method for Stochastic Optimization

22、Neural Machine Translation of Rare Words with Subword Units

23、Attention is All You Need.

项目部分

贪心科技

固定项目

贪心科技

基于Pointer_Network 的文本摘要生成

概要:本项目的目的是如何基于Pointer Network 思想,进行发散来自动抽取文本中的内容以完成文本摘要生成,在本项目中,我们会引到学员使用常规的Seq2seq模型进行建模,并且使用Pointer Networks 完成Seq2seq 的改进 以及实现。通过此项目,学员会亲身体会整个摘要生成或标题文案生成的端到端模型的设计,问题的分析和训练过程。

涉及到的技术:

端到端模型

Attention

Language Generation

Transformer等

适合人群

贪心科技

大学生

理工科相关专业的本科/硕士/博士生,想系统性学习自然语言处理
希望今后从事人工智能相关的工作
希望今后想从事相关研究
贪心科技

在职人士

目前从事IT相关的工作,但今后想从事NLP工作
目前公司项目涉及到以上几个模块的内容、希望深入学习一下
希望能够及时掌握前沿的NLP技术

入学标准

贪心科技

理工科相关专业学生,或者IT从业者

贪心科技

具有良好的Python编程能力、深度学习基础

贪心科技

有一定的机器学习基础

或者成功完成贪心学院以下课程中的任意一门:

中级机器学习

高阶自然语言处理、或者同级别其他课程

课程团队

贪心科技

王老师

BAT高级算法工程师

毕业于QS世界综合排名top20 计算机学院,研究方向为机器阅读理解,信息检索,文本生成等,拥有新加坡国立大学,南洋理工等丰富海外访学交流经历。曾参与AAAI, ICLR 等数篇论文发表工作,拥有多项国家发明专利。现任BAT高级算法工程师,拥有亚马逊,华为,平安科技等丰富行业经历,对nlp算法及其行业落地有深入研究。

毕业证书

对于成功完成每个模块内容的学员,我们会颁发对应模块的毕业证书(注:必须要达到及格标准)

贪心科技

助教老师课上辅导&课下答疑

闫老师

(周一到周日)

贪心学院高级助教老师
负责过高阶nlp3,4,5,6,7,8,9
高阶机器学习1,2,3,4
中级机器学习等课程答疑
人大硕士,曾经就职于网易,阿里等科技巨头
目前任某国家研究院NLP工程师

常见问题

1、参加本课程有什么要求?

参加本课程需要一定的自然语言处理基础。

2、学完课程能达到什么水平?

能够系统性理解自然语言处理技术、有能力自主设计新的新的模型,并应用在工程中; 或者有能力从事科研相关的工作。

3、课程中的理论和实操比例是怎样的?

课程中会有大量较为深入的技术讲解,由浅入深,理论部分会很充实。 另外,你通过完成课题的方式来完成实战部分。

4、课程支持哪些付费方式?

支付宝、微信、银行卡、公对公打款、paypal付款。

5、加入课程,最后怎样才能拿到证书?

对于证书我们坚持高门槛,只有达到及格线我们才会颁发证书。