fronteagle739/streaming-llama-stack

介绍一个基于 llama.cpp 分支的实验性 C 语言栈，将 NVMe 权重流式读取与推理工具打包在一起。

GitHub 项目说明: streaming and disaggregated inference stack optimised for small memory systems with fast SSD arrays

星标

★ 6

复刻

0

语言

C

许可证

MIT