最近，人们对长序列建模的兴趣激增，仅今年一年，就涌现出了大量的工作，如
Beltagy 等人的工作 (2020) 、
Roy 等人的工作 (2020) 、
Tay 等人的工作 以及
Wang 等人的工作 等等。长序列建模背后的动机是，NLP 中的许多任务 (例如
摘要、问答 ) 要求模型处理更长的序列，这些序列长度超出了 BERT 等模型的处理能力。在需要模型处理长输入序列的任务中，长序列模型无需对输入序列进行裁剪以避免内存溢出，因此已被证明优于标准的
BERT 类模型 (
见
Beltagy 等人 2020 年的工作)。
声明：小猿资源站是一个资源分享和技术交流平台，本站所发布的一切破解补丁、注册机和注册信息及软件的解密分析文章仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
