abetlen/llama-cpp-python は、llama.cpp を Python から利用できるように接続するバインディングリポジトリである。提供された資料に記載された最新リリースは v0.3.36-hip-radeon である。提供資料に変更履歴がないため、このバージョンで何が変わったかは確認できない。リリース名だけからビルド方式や対応ハードウェアを断定することはできない。
このプロジェクトは llama.cpp の C API を ctypes でバインドし、Llama クラスでテキスト補完とチャット補完を提供する。別途 OpenAI 互換の Web サーバと API もサポートし、LangChain および LlamaIndex とも互換がある。研究記録には、Vision API とマルチモーダル chat handler による画像・テキストモデルの推論も記載されている。したがってリポジトリのスコープは、Python コードとサーバ API の双方でモデル呼び出しを扱うことにある。言語は Python、ライセンスは MIT である。
リポジトリは 2023-03-23 に作成され、提供記録のスター数は 10656、モメンタムスコアは 1.3/10 である。新鮮度・技術・品質の各スコアは示されていない。資料には性能ベンチマークも実際の導入事例も含まれない。したがって機能の範囲は説明できるが、この記録だけでは性能や安定性を判断する根拠は不足している。