相关赛道： 加速器人工智能大数据

Transformers 长程上下文综述

雷锋字幕组 2020.09.01 来源: 雷锋网 热度: 152
多头自注意力开销很大，序列长度的O(n²)复杂度意味着不太可能让经典的Transformer模型处理超长文本序列。这篇文章重点介绍在大规模下更有前景的解决办法。