基于Transformer的客服对话系统

项目内容描述：在本项目中，我们会带领大家实现基于Transformer模型实现自然语言理解（NLU）模块和自然语言生成（NLG）模块。客服对话系统主要实现了自动与用户进行对话的功能，并且帮助用户完成特定的任务，如订机票、酒店、餐馆等。客服对话系统是任务导向对话系统（Task-oriented Dialogue System）中最广泛的一种应用。客服对话系统中最重要的两个模块即为自然语言理解（NLU）模块和自然语言生成（NLG）模块。

项目使用的算法：TextCNN/LSTM；BERT/RoBERTa；CRF；对比学习（Contrastive Loss/Triplet Loss）

项目使用的工具：Python；Pytorch；Elasticsearch；Transformers

项目预期结果：使用基于Transformer的预训练模型实现意图识别模块：a)熟练掌握基于CNN/LSTM的文本分类/序列标注模型；b)熟练掌握基于Transformer的预训练模型的微调方法；c)掌握模型压缩的方法。使用基于Transformer的预训练模型实现检索式对话模型：a)掌握基于Elasticsearch的粗筛模块开发；b)熟练掌握基于Transformer的预训练模型的文本匹配算法

项目对应第几周的课程：1-4周

基于Transformer文本生成模型

项目内容描述：在本项目中，我们会带领大家实现基于Transformer模型的生成式NLG模型。虽然这种类型的NLG模型存在一定的不可控性，但是随着预训练模型技术的发展，我们已经可以得到非常令人振奋的生成效果。甚至在某些特定领域，基于预训练Transformer模型所构建的文本生成已经开始创造巨大的商业价值（如文本摘要，代码生成，心理咨询等）。

项目使用的算法：自回归语言模型（Auto-regressive Language Model）、Multi-input Self-Attention、Top-K/Unclear Sampling、Beam Search、Copy Mechanism

项目使用的工具：Python；Pytorch

项目预期结果：实现基于预训练Transformer的生成式NLG模型。了解文本生成模型的常用技术，包括：a)自回归语言模型中的MLE loss；b)文本生成模型中的各种解码技术；c)使用数据并行的方式利用多张GPU训练模型。有能力独立开发和优化基于预训练模型的文本生成模块。

项目对应第几周的课程：第1，2，5，6，7周