benmaster82/pithos — 基于 C11 的 LFM2 推理引擎

benmaster82/pithos 是一个不依赖外部库的 C11 推理引擎，用于运行 Liquid AI 的 LFM2 与 LFM2.5 模型。该仓库提供终端聊天和 OpenAI 兼容服务器，以及基于浏览器的 Pandora 代理和终端代理，并主张把这些功能集中到一个可执行文件中。没有单独的近期发布信息。许可证为 MIT。

推理引擎是向模型输入并生成输出的程序。pithos 以 C11 编写，不依赖外部库，并可选择使用 OpenCL 加速。仓库公开了模型处理与量化、CPU SIMD、服务器与工具的代码，以及测试文件。因此它不只提供一个可执行文件，构成 LFM2 推理的代码与测试同样可以查看。README 给出的对比是：在 GT1650 笔记本上与 llama.cpp 的 CUDA 实现相比，生成速度为 1.9 倍，服务器启动耗时 3 到 10 秒。

不过，这些性能数字是仓库作者自行给出的实验结果，不能算作仓库内部验证过的比较。star 数为 3，仅凭公开的对比也难以判断在其他环境中能得到同样的性能。pithos 的构成值得一看，但只凭性能数字决定是否引入，证据是有限的。