Transformer的应用

抽象文本摘要是自然语言处理中最具挑战性的任务之一，涉及理解长段落、信息压缩和语言生成。训练机器学习模型以执行此操作的主要范例是序列到序列(seq2seq) 学习，其中神经网络学习将输入序列映射到输出序列。虽然这些 seq2seq 模型最初是使用递归神经网络开发的，但 Transformer编码器-解码器模型最近受到青睐，因为它们可以更有效地对摘要中遇到的长序列中存在的依赖项进行建模。