プロジェクト

jitllm/jitllm

Smart inference engine that adapts to your hardware to run models faster, even when they don’t fit in memory

投稿

新着OCT 18

Go ベースの推論エンジン jitllm/jitllm は、ハードウェアに合わせたカーネルを生成し、メモリを超えるモデルを扱えるよう設計されている。