英伟达开源了 RULER 用于评估长文本语境下的语言模型性能。
它通过多样化的任务类型和可配置的序列长度与任务复杂度，全面考察模型的长文本理解能力。
研究发现，尽管模型在简短文本上表现出色，但在长文本和复杂任务中性能显著下降。
RULER 基准测试旨在推动长文本语言模型的深入研究和改进。
商业转载请联系三花微信公众号获得授权，非商业转载请注明本文出处及文章链接，您可以自由地在任何媒体以任何形式复制和分发作品，也可以修改和创作，但是分发衍生作品时必须采用相同的许可协议。
本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。