课程亮点
最全的文本生成技术讲解
机器翻译,抽取式生成、对抗文本生成、Creative Writing、多模态生成
答疑服务
即时答疑的方式,助教老师会尽快回答大家在学习中遇到的问题
深入的内容
有深度的内容、涵盖目前所能找到的最前沿的内容
专业的授课团队
在本领域有着多年工程和科研经验的导师
对科研、出国也有帮助
为以后做相关课题的科研、以及出国留学有很大帮助
提高创新能力
深入一个领域是技术创新所必须的条件
课程概要
神经网络语言生成是一项迅速崛起的技术,其融合了深度学习和语言学的核心技术,使得模型可以更好的学习捕获语言学中的规律,语法,语意等能力,而做到代替人工生成流利通顺的自然文本。 通过本次课程的学习,学员能够系统的掌握自然语言本文生成的核心技术,包括Seq2Seq框架,机器翻译, 抽取式摘要, 生成式摘要, 创意文本及可控性文本的生成(写作故事,诗词,对联,古诗)等生成,多模态文本生成, 对抗生成网络与强化学习结合的文本生成,通过Auto Encoder 类文本生成,NL2Sql, Table2Text, 预训练类文本生成模型等。 即有学术前沿的跟踪,也有工业界NLG场景的落地实施。
你将收获
全面掌握文本生成技术、灵活应用在自己工作中
能够了解各类文本生成模型的实现方式,并熟练掌握其关键技术与方法
深入理解前沿的文本生成技术,有助于为后续的科研打下基础
完成一个课题,有可能成为一个创业项目或者转换成你的科研论文
短期内对一个领域有全面的认识,大大节省学习时间
认识一群拥有同样兴趣的人、相互交流、相互学习
课程大纲
文本生成技术
大纲
第一周:Seq2Seq模型与机器翻译
第二周:文本摘要生成
第三周:Creative Writing
第四周:多模态文本生成
第五周:对抗式文本生成与NL2sql
论文列表
1、A Neural Attention Model for Abstractive Sentence Summarization
2、A Deep Reinforced Model for Abstractive Summarization
3、Incorporating Copying Mechanism in Sequence-to-Sequence Learning
4、Get To The Point: Summarization with Pointer-Generator Networks
5、Constructing literature abstracts by computer: Techniques and prospects
6、Recent automatic text summarization techniques: a survey
7、Jointly Learning to Align and Summarize for Neural Cross-Lingual Summarization
8、VMSMO: Learning to Generate Multimodal Summary for Video-based News Articles
9、Q-learning with Language Model for Edit-based Unsupervised Summarization
10、Multi-Fact Correction in Abstractive Text Summarization
11、Incorporating Commonsense Knowledge into Abstractive Dialogue Summarization via Heterogeneous Graph Networks
12、On extractive and abstractive neural document summarization with transformer language models
13、Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation
14、Re-evaluating Evaluation in Text Summarization
15、The Mathematics of Statistical Machine Translation: Parameter Estimation
16、BLEU: a Method for Automatic Evaluation of Machine Translation
17、Statistical Phrase-Based Translation
18、Hierarchical Phrase-Based Translation
19、Sequence to Sequence Learning with Neural Networks
20、Neural Machine Translation by Jointly Learning to Align and Translate
21、Adam: A Method for Stochastic Optimization
22、Neural Machine Translation of Rare Words with Subword Units
23、Attention is All You Need.
项目部分
固定项目
基于Pointer_Network 的文本摘要生成
概要:本项目的目的是如何基于Pointer Network 思想,进行发散来自动抽取文本中的内容以完成文本摘要生成,在本项目中,我们会引到学员使用常规的Seq2seq模型进行建模,并且使用Pointer Networks 完成Seq2seq 的改进 以及实现。通过此项目,学员会亲身体会整个摘要生成或标题文案生成的端到端模型的设计,问题的分析和训练过程。
涉及到的技术:
端到端模型
Attention
Language Generation
Transformer等
适合人群
大学生
在职人士
入学标准
理工科相关专业学生,或者IT从业者
具有良好的Python编程能力、深度学习基础
有一定的机器学习基础
或者成功完成贪心学院以下课程中的任意一门:
中级机器学习
高阶自然语言处理、或者同级别其他课程
课程团队
王老师
BAT高级算法工程师
毕业于QS世界综合排名top20 计算机学院,研究方向为机器阅读理解,信息检索,文本生成等,拥有新加坡国立大学,南洋理工等丰富海外访学交流经历。曾参与AAAI, ICLR 等数篇论文发表工作,拥有多项国家发明专利。现任BAT高级算法工程师,拥有亚马逊,华为,平安科技等丰富行业经历,对nlp算法及其行业落地有深入研究。
毕业证书
对于成功完成每个模块内容的学员,我们会颁发对应模块的毕业证书(注:必须要达到及格标准)
助教老师课上辅导&课下答疑
闫老师
(周一到周日)
常见问题
1、参加本课程有什么要求?
参加本课程需要一定的自然语言处理基础。
2、学完课程能达到什么水平?
能够系统性理解自然语言处理技术、有能力自主设计新的新的模型,并应用在工程中; 或者有能力从事科研相关的工作。
3、课程中的理论和实操比例是怎样的?
课程中会有大量较为深入的技术讲解,由浅入深,理论部分会很充实。 另外,你通过完成课题的方式来完成实战部分。
4、课程支持哪些付费方式?
支付宝、微信、银行卡、公对公打款、paypal付款。
5、加入课程,最后怎样才能拿到证书?
对于证书我们坚持高门槛,只有达到及格线我们才会颁发证书。