wici-ai/inferssd

llama.cpp ベースの InferSSD における SSD ストリーミング方式と、README に記載されたモデルおよび接続対応範囲を紹介する。

GitHub の説明: Run models larger than your RAM or VRAM by streaming MoE experts from SSD. Built on llama.cpp.

スター

★ 160

フォーク

27

言語

C++

ライセンス

Apache-2.0

最新リリース

v0.1.1