poisonxa16/pxa

poisonxa16/pxa v4.0.0 は Pascal·Volta GPU 向けの推論エンジンで、同じファイル基準での性能向上を主張している。

GitHub の説明: The set-and-forget LLM engine for Pascal and Volta: PXQ codec + kernels, auto-tuned per card. Ready-to-run PXQ models in MODELS.md; benchmarks vs llama.cpp in the README.

スター

★ 98

フォーク

15

言語

C++

ライセンス

MIT

最新リリース

v4.0.0