github.devotd.
JA
English한국어简体中文日本語
プロジェクト

lateos-ai/reflex

A high-performance, GGUF-native Rust & CUDA inference engine optimized for cold-start latency and real-time 'System 1' agent decision loops.

GitHub で見る ↗
スター
★ 62
フォーク
1
言語
Rust
ライセンス
MIT
最新リリース
v0.2.9-runpod-hub

投稿

1

同じ分野の他のプロジェクト

ローカル推論エンジン ↗
  • ollama/ollama

    多種多様なオープンモデルをローカルまたはクラウドで実行する汎用推論エンジンです。

  • ggml-org/llama.cpp

    大規模言語モデルをローカル実行する汎用 C/C++ 推論エンジンです。

  • niko1221/strata

    Qwen3.8-Flash-Nextをワンクリックで導入し、OpenAI・Anthropic互換APIをローカル提供する実行エンジンです。

  • antirez/ds4

    特定の DeepSeek、GLM、Qwen モデルを Metal、CUDA、ROCm 上でローカル実行し、SSD ストリーミングに対応します。

  • jundot/omlx

    OMLX は Apple Silicon 向けローカル LLM 推論サーバーで、継続バッチ、SSD/KV キャッシュ、メニューバー管理を提供します。

  • flashml-org/freetoken

    GPU・CPU・ホストメモリを連携し巨大MoEモデルをローカルでサービングするエンジン。