Devotd Github
新发现推理与服务

abetlen/llama-cpp-python v0.3.36-hip-radeon — Python 绑定

介绍 abetlen/llama-cpp-python 的最新版本、llama.cpp 的 Python 绑定,以及其 OpenAI 兼容服务器功能。

仓库信息abetlen/llama-cpp-python ↗

介绍 abetlen/llama-cpp-python 的最新版本、llama.cpp 的 Python 绑定,以及其 OpenAI 兼容服务器功能。

GitHub 项目说明: Python bindings for llama.cpp

星标
★ 10.7K
复刻
1.5K
语言
Python
许可证
MIT
最新版本
v0.3.36-hip-radeon
查看原始来源 ↗在 GitHub 查看 ↗

abetlen/llama-cpp-python 是一个绑定仓库,把 llama.cpp 接入 Python 以供其使用。资料中记录的最新版本是 v0.3.36-hip-radeon。由于资料里没有变更记录,无法确认本次版本具体改动了什么。仅凭版本名称无法断定其构建方式或所支持的硬件。

该项目通过 ctypes 绑定 llama.cpp 的 C API,并以 Llama 类提供文本补全与对话补全功能。它还支持独立的 OpenAI 兼容 Web 服务器和 API,并兼容 LangChain 与 LlamaIndex。研究记录中同时写明可通过 Vision API 和多模态 chat handler 进行图像与文本模型的推理。因此,该仓库的范围涵盖在 Python 代码与服务器 API 两侧调用模型。语言为 Python,许可证为 MIT。

该仓库创建于 2023-03-23,提供记录中的星标数为 10656,动量分数为 1.3/10。新鲜度、技术与质量分数均未给出。资料中也没有性能基准测试和实际落地案例。因此功能范围可以说明,但仅凭这份记录,尚不足以判断其性能或稳定性。