MInference 是微软推出的一个能实现在单个 A100 GPU 上处理 1M 上下文的 10 倍推理速度提升，同时保持甚至提高其准确性。
MInference 无需对预训练设置或额外微调进行修改，即可直接应用于现有 LLMs，这里有个 HF 的演示
商业转载请联系三花微信公众号获得授权，非商业转载请注明本文出处及文章链接，您可以自由地在任何媒体以任何形式复制和分发作品，也可以修改和创作，但是分发衍生作品时必须采用相同的许可协议。
本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。