FILM: 让你的 LLM 充分利用上下文
FILM 是微软开发的一个基于 Mistral-7B-Instruct-v0.2 的 32K 上下文大模型,它解决了“中间丢失(Lost in the Middle)”问题。
FILM 是微软开发的一个基于 Mistral-7B-Instruct-v0.2 的 32K 上下文大模型,它解决了“中间丢失(Lost in the Middle)”问题。
在 7B 的 LLM 中的长上下文任务上达到 SOTA(State of the Art)级别的性能,同时没有牺牲短上下文性能。
商业转载请联系三花微信公众号获得授权,非商业转载请注明本文出处及文章链接,您可以自由地在任何媒体以任何形式复制和分发作品,也可以修改和创作,但是分发衍生作品时必须采用相同的许可协议。
本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。