三花快讯 · 2024, 5月31日
两行代码搭建本地 字节s
基于开源的 llama.cpp
基于 llama.cpp，只需两行代码即可在 Mac 上搭建完全本地、离线运行、OpenAI 兼容的接口
- 安装
brew install llama.cpp
llama-server --hf-repo microsoft/Phi-3-mini-4k-instruct-gguf --hf-file Phi-3-mini-4k-instruct-q4.gguf
- 调用
curl 127.0.0.1:8080/v1/chat/completions
商业转载请联系三花微信公众号获得授权，非商业转载请注明本文出处及文章链接，您可以自由地在任何媒体以任何形式复制和分发作品，也可以修改和创作，但是分发衍生作品时必须采用相同的许可协议。
本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。