프로젝트

jitllm/jitllm

Smart inference engine that adapts to your hardware to run models faster, even when they don’t fit in memory

게시물

새 소식OCT 18

Go 기반 추론 엔진 jitllm/jitllm은 하드웨어에 맞춘 커널을 생성하고 메모리를 넘어서는 모델을 처리하도록 설계됐다.