github.devotd.
KO
English한국어 简体中文日本語
프로젝트

lateos-ai/reflex

A high-performance, GGUF-native Rust & CUDA inference engine optimized for cold-start latency and real-time 'System 1' agent decision loops.

GitHub에서 보기 ↗
스타
★ 62
포크
1
언어
Rust
라이선스
MIT
최신 릴리스
v0.2.9-runpod-hub

게시물

1

같은 분야의 다른 프로젝트

로컬 추론 엔진 ↗
  • ollama/ollama

    다양한 오픈 모델을 로컬 또는 클라우드에서 실행하는 범용 추론 엔진입니다.

  • ggml-org/llama.cpp

    C와 C++로 작성되어 대규모 언어 모델을 로컬에서 실행하는 범용 추론 엔진입니다.

  • niko1221/strata

    Qwen3.8-Flash-Next를 여러 GPU와 Apple 기기에서 로컬 실행하는 설치형 추론 엔진입니다.

  • antirez/ds4

    Metal·CUDA·ROCm에서 DeepSeek 중심 모델을 로컬 실행하고 SSD 스트리밍과 다중 호스트 병렬화를 지원합니다.

  • jundot/omlx

    Apple Silicon에서 LLM을 지속 배치와 SSD·KV 캐시로 제공하는 로컬 추론 서버입니다.

  • flashml-org/freetoken

    GPU·CPU·호스트 메모리를 엮어 거대 MoE 모델을 로컬에서 서빙하는 엔진이다.