새 소식
ollama/ollama v0.40.5 — 로컬·클라우드 모델 런타임
ollama/ollama는 오픈 모델을 로컬이나 클라우드에서 실행하고 여러 도구와 연결하는 런타임 서버다.
CURATED OPEN SOURCE INTELLIGENCE
추론/서빙
새 소식
srkrz23/vramkit — 가중치·KV 캐시 두 갈래 VRAM 압축
srkrz23/vramkit은 가중치 무손실 코덱과 K·V에 서로 다른 양자화 축을 적용한 KV 캐시 압축을 구현한 Python 저장소다.
새 소식
l-forster/open-jet v0.5.0 — 오프라인 에이전트와 CUDA 추론 엔진
l-forster/open-jet은 로컬 모델용 오프라인 코딩 에이전트와 Qwen3.8-27B용 CUDA 추론 엔진을 제공하며, 최신 릴리스는 v0.5.0이다.
새 소식
indras-mirror/xolotl — 단일 GPU용 대형 MoE 추론 엔진
Strata를 확장한 C++ 엔진 Xolotl은 여러 대형 모델을 OpenAI·Anthropic 호환 서버로 제공하며, README는 RTX 4090에서 DeepSeek-V4.1-Flash 552B의 decode 속도를 26.8 tok/s로 제시한다.
새 소식
nandhakishorm/laya v0.4.9 — 비자기회귀 결정 엔진
nandhakishorm/laya의 v0.4.9와 선택·점수·예 아니오 판정을 수행하는 엔진의 지원 범위 및 공개된 한계를 살펴본다.
릴리스
niko1221/strata v0.1.45 — Qwen3.6 이미지 입력과 동시 요청
niko1221/strata v0.1.45는 Qwen3.6-35B-A3B의 이미지 입력과 최대 8개 동시 요청을 지원하며, VRAM 여유에 따라 성능 이득이 달라진다.
새 소식
alexsjones/llmfit v1.1.17 — 하드웨어별 모델 추천
alexsjones/llmfit v1.1.17은 하드웨어에 맞는 언어 모델을 추천하고 실측 벤치마크를 공유하는 Rust 명령줄 도구다.
새 소식
antirez/ds4 — Metal·CUDA·ROCm용 로컬 추론 엔진
antirez/ds4는 일부 모델을 Metal·CUDA·ROCm에서 실행하는 C 기반 로컬 추론 엔진이다.
새 소식
magnitudedev/magnitude — 하드웨어 맞춤형 로컬 추론 엔진
magnitudedev/magnitude는 하드웨어에 맞춰 커널을 튜닝해 모델 추론에 사용하는 Rust 기반 오픈소스 엔진이다.
새 소식
flashml-org/freetoken v0.1.3 — 데스크톱용 MoE 서빙 엔진
flashml-org/freetoken이 대형 MoE 모델을 에지 하드웨어에서 서빙하기 위해 제공하는 기능과 성능 정보의 한계를 소개한다.
릴리스
Niko1221/Strata v0.1.44.1 — 구형 CPU SIGILL 핫픽스
Strata v0.1.44.1에서 구형 CPU의 SIGILL 오류와 빌드 문제, 서버 크래시 재시도 동작을 수정했다.
릴리스
ggml-org/llama.cpp b11630 — 일일 빌드 자동 배포
ggml-org/llama.cpp의 b11630은 변경 내용이 커밋 메시지 수준으로만 기술된 일일 빌드 자동 배포 릴리즈다.
조건에 맞는 소식이 없습니다.