新发现
cosmonomic/pulsarlm — 面向持久对话的 LLM 推理引擎
cosmonomic/pulsarlm 是一个 LLM 推理引擎，通过移除低重要性的 token 来管理持久对话的上下文。
项目
cosmonomic/pulsarlm
An LLM inference engine for persistent chat bots and agents. It allows models to forget old and unimportant tokens to keep context small and inference fast.
在 GitHub 查看 ↗- 星标
- ★ 4
- 复刻
- 0
- 语言
- C++
- 许可证
- Apache-2.0
- 最新版本
- —
文章
1没有符合条件的动态。