benmaster82/pithos は、Liquid AI の LFM2 と LFM2.5 モデルを実行する、外部ライブラリ不要の C11 推論エンジンだ。リポジトリはターミナルチャットと OpenAI 互換サーバー、ブラウザベースの Pandora エージェントとターミナルエージェントを提供し、これらの機能を単一の実行ファイルにまとめる構成を掲げている。個別の最新リリース情報は公開されていない。ライセンスは MIT だ。
推論エンジンとは、モデルに入力を与え、出力を生成するプログラムのことである。pithos は外部ライブラリなしで C11 で書かれ、OpenCL アクセラレーションを任意で利用できる。リポジトリにはモデル処理と量子化、CPU SIMD、サーバーとツールのコード、テストファイルが公開されている。単一の実行ファイルを提供するだけでなく、LFM2 推論を構成するコードとテストも確認できる。README は、GT1650 ノート PC で llama.cpp の CUDA 実装と比較し、生成速度 1.9 倍、サーバー起動 3 から 10 秒だと示している。
ただし、これらの性能の数値はリポジトリ作者が提示した実験結果であり、リポジトリ自身で確認された比較とみなすことはできない。スター数は 3 であり、公開されている比較だけから他の環境でも同じ性能が得られるとは判断しにくい。pithos の構成は見ておく価値はあるが、性能の数値だけで導入を決めるには根拠が乏しい。