abetlen/llama-cpp-python 是一个绑定仓库,把 llama.cpp 接入 Python 以供其使用。资料中记录的最新版本是 v0.3.36-hip-radeon。由于资料里没有变更记录,无法确认本次版本具体改动了什么。仅凭版本名称无法断定其构建方式或所支持的硬件。
该项目通过 ctypes 绑定 llama.cpp 的 C API,并以 Llama 类提供文本补全与对话补全功能。它还支持独立的 OpenAI 兼容 Web 服务器和 API,并兼容 LangChain 与 LlamaIndex。研究记录中同时写明可通过 Vision API 和多模态 chat handler 进行图像与文本模型的推理。因此,该仓库的范围涵盖在 Python 代码与服务器 API 两侧调用模型。语言为 Python,许可证为 MIT。
该仓库创建于 2023-03-23,提供记录中的星标数为 10656,动量分数为 1.3/10。新鲜度、技术与质量分数均未给出。资料中也没有性能基准测试和实际落地案例。因此功能范围可以说明,但仅凭这份记录,尚不足以判断其性能或稳定性。