三花快讯 · 2024, 4月12日
Infini-attention 无限上下文
Google 提出了一种名为 Infini-attention 的新型注意力机制
Google 提出了一种名为 Infini-attention 的新型注意力机制，它通过引入压缩记忆，使得基于Transformer的大型语言模型（LLM）能够有效处理无限长的输入序列，同时保持内存和计算资源的有界性。该机制结合了局部注意力和长期线性注意力，显著提升了长文本建模、密钥检索和书籍摘要等任务的处理能力。
商业转载请联系三花微信公众号获得授权，非商业转载请注明本文出处及文章链接，您可以自由地在任何媒体以任何形式复制和分发作品，也可以修改和创作，但是分发衍生作品时必须采用相同的许可协议。
本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。