fronteagle739/streaming-llama-stack

llama.cpp のフォークを基盤に、NVMe 重みストリーミングと推論ツールをまとめた実験的な C 言語スタックを紹介する。

GitHub の説明: streaming and disaggregated inference stack optimised for small memory systems with fast SSD arrays

スター

★ 6

フォーク

0

言語

C

ライセンス

MIT