新着
andrei-borcea/liyab — スマートフォン向け GGUF 推論エンジン
andrei-borcea/liyab は、RAM より大きい GGUF モデルをフラッシュからストリーミングしてスマートフォンで実行する C++20 推論エンジンです。
🔥 Run large open language models on your phone. A C++20 GGUF inference engine that streams models larger than RAM from flash, paces itself by the device's thermal forecast, and powers a private on-device assistant. Android · iOS · macOS · Linux.
GitHub で見る ↗andrei-borcea/liyab は、RAM より大きい GGUF モデルをフラッシュからストリーミングしてスマートフォンで実行する C++20 推論エンジンです。
該当するニュースはありません。