github.devotd.
ZH
English한국어简体中文 日本語
项目

lateos-ai/reflex

A high-performance, GGUF-native Rust & CUDA inference engine optimized for cold-start latency and real-time 'System 1' agent decision loops.

在 GitHub 查看 ↗
星标
★ 62
复刻
1
语言
Rust
许可证
MIT
最新版本
v0.2.9-runpod-hub

文章

1

同领域的其他项目

本地推理引擎 ↗
  • ollama/ollama

    可在本地或云端运行多种开放模型的通用推理引擎。

  • ggml-org/llama.cpp

    一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。

  • niko1221/strata

    一款为 Qwen3.8-Flash-Next 提供一键安装及本地兼容 API 的完整推理引擎。

  • antirez/ds4

    通过 Metal、CUDA 和 ROCm 在本地运行特定 DeepSeek、GLM 与 Qwen 模型，并支持 SSD 流式加载。

  • jundot/omlx

    OMLX 是一款 Apple Silicon 本地 LLM 推理服务器，支持连续批处理、SSD/KV 缓存和菜单栏管理。

  • flashml-org/freetoken

    在GPU、CPU和主机内存上本地服务超大MoE模型的推理引擎。