项目

jitllm/jitllm

Smart inference engine that adapts to your hardware to run models faster, even when they don’t fit in memory

文章

新发现OCT 18

基于 Go 的推理引擎 jitllm/jitllm 旨在生成适配硬件的内核，并能处理超出内存容量的模型。