AI 人工智能课程: CV Tranformer研修

Week 1 NLP 中Transformer/Bert 知识梳理讲解

本节课将带领大家回顾NLP领域中Transformer/Bert技术。以此深入了解Transformer/Bert技术细节，算法优势。方便学生进一步学习Transformer 技术在其他领域的应用。

Week 2 Transformer 在图像分类、语义分割中的应用: ViT与SegFormer技术探究

基于第一节课的内容，进一步研究如何将Transformer思想迁移到两个计算机视觉中分类问题的应用: 图像分类，图像语义分割。以两个经典结构ViT, SegFormer为例，让学生体会如何将Transformer应用到视觉领域的思想。

Week 3 Transformer在目标检测中的应用: DETR, UP-DETR技术探究

本节课将进一步学习如何将Transformer技术应用到目标检测任务重。特别是如何设计Transformer网络结构让神经网络能够同时学习到目标的类别信息与位置信息。

Week 4 Transformer 在视频Video理解中的应用: TimeSformer 技术探究

本节课将进一步学习如何将Transformer技术应用到视频理解应用中，让Transformer能够同时学习时序上空间上的相关性。以TimeSformer为例，让学生能够深刻体会其中设计思想。

Week 5 Efficient Transformer 设计探讨：DeiT, Mobile-Transformer技术探究

高效的Transformer一直是研究者孜孜不倦的追求目标。这次课程将讨论如何设计高效的Transformer 网络结构。本节课将以DeiT, Mobile-Transformer为例，深入学习高效设计网络过程中需要注意的事项。

Week 6 经典Transformer网络结构学习: SwinTransformer 模型家族学习

本次课程将以SwinTransformer 模型为例，系统性学习SwinTransformer以及其变种模型。目的是让学生能够进一步体会将Transformer应用到视觉任务的网络设计过程中需要注意的问题，有哪些巧妙的思想以及如何通过合理的设计做到并行计算。

Week 7 Transformer in Point Cloud

本节课将跟大家分享3D Point Cloud中的Transformer应用。根据3D Point Cloud数据特点，我们将深入探讨如何设计合适的Transformer网络来处理海量、无结构的点云数据。同时如何进一步修改Transformer结构如何对点云进行分割，聚类等任务。

Week 8 多模态应用中的Transformer设计

本节课我们将学习multi-modality 中Transformer设计问题。Transformer 在不同的领域得到了很好的应用。最近的工作在探究如何设计合适的Transformer结构处理多模态的数据。我们将以MTTR, MMT, Uniformer等相关Transformer为例子做讲解。