by ggml-org
本地推理引擎事实标准:Mac/PC 上高效运行任意开源模型
在终端中执行:
$ pip install llama.cpp
按项目 README 选择对应语言生态安装;下方命令适用于标注了 npm 包的项目。