새 소식
ollama/ollama v0.40.5 — 로컬·클라우드 모델 런타임
ollama/ollama는 오픈 모델을 로컬이나 클라우드에서 실행하고 여러 도구와 연결하는 런타임 서버다.
CURATED OPEN SOURCE INTELLIGENCE
#inference
새 소식
surya-koritala/glyd — bf16 가중치·KV 캐시 무손실 압축
surya-koritala/glyd의 무손실 GPU 메모리 압축 방식과 README에 공개된 실측 결과를 살펴본다.
새 소식
fesens/opentpu — AI 에이전트가 설계한 오픈소스 AI 가속기
fesens/opentpu는 AI 에이전트가 설계한 오픈소스 AI 가속기로, 하드웨어부터 컴파일러까지 한 저장소에 담고 Kintex-7 카드 실행 결과를 제시한다.
새 소식
srkrz23/vramkit — 가중치·KV 캐시 두 갈래 VRAM 압축
srkrz23/vramkit은 가중치 무손실 코덱과 K·V에 서로 다른 양자화 축을 적용한 KV 캐시 압축을 구현한 Python 저장소다.
새 소식
l-forster/open-jet v0.5.0 — 오프라인 에이전트와 CUDA 추론 엔진
l-forster/open-jet은 로컬 모델용 오프라인 코딩 에이전트와 Qwen3.8-27B용 CUDA 추론 엔진을 제공하며, 최신 릴리스는 v0.5.0이다.
새 소식
indras-mirror/xolotl — 단일 GPU용 대형 MoE 추론 엔진
Strata를 확장한 C++ 엔진 Xolotl은 여러 대형 모델을 OpenAI·Anthropic 호환 서버로 제공하며, README는 RTX 4090에서 DeepSeek-V4.1-Flash 552B의 decode 속도를 26.8 tok/s로 제시한다.
새 소식
nandhakishorm/laya v0.4.9 — 비자기회귀 결정 엔진
nandhakishorm/laya의 v0.4.9와 선택·점수·예 아니오 판정을 수행하는 엔진의 지원 범위 및 공개된 한계를 살펴본다.
릴리스
niko1221/strata v0.1.45 — Qwen3.6 이미지 입력과 동시 요청
niko1221/strata v0.1.45는 Qwen3.6-35B-A3B의 이미지 입력과 최대 8개 동시 요청을 지원하며, VRAM 여유에 따라 성능 이득이 달라진다.
새 소식
alexsjones/llmfit v1.1.17 — 하드웨어별 모델 추천
alexsjones/llmfit v1.1.17은 하드웨어에 맞는 언어 모델을 추천하고 실측 벤치마크를 공유하는 Rust 명령줄 도구다.
새 소식
nvidia/nemoclaw — OpenShell 샌드박스용 코딩 에이전트 구성
nvidia/nemoclaw는 Hermes, LangChain Deep Agents, OpenClaw 같은 코딩 에이전트를 NVIDIA OpenShell 샌드박스에서 관리형 추론과 함께 실행하는 참조 스택이다.
릴리스
ggml-org/llama.cpp b11700 — Granite Switch decision 변환기 추가
llama.cpp b11700은 Granite Switch 계열 모델의 decision 변환과 지원 경로를 추가했다.
릴리스
ggml-org/llama.cpp b11683 — Vulkan 호스트 메모리 임포트 수정
llama.cpp nightly b11683은 Vulkan 백엔드의 호스트 메모리 임포트 실패 로그와 AMD의 버퍼 공유 경로를 수정한 빌드다.
새 소식
antirez/ds4 — Metal·CUDA·ROCm용 로컬 추론 엔진
antirez/ds4는 일부 모델을 Metal·CUDA·ROCm에서 실행하는 C 기반 로컬 추론 엔진이다.
새 소식
magnitudedev/magnitude — 하드웨어 맞춤형 로컬 추론 엔진
magnitudedev/magnitude는 하드웨어에 맞춰 커널을 튜닝해 모델 추론에 사용하는 Rust 기반 오픈소스 엔진이다.
새 소식
zihan-su/self_gradient_forcing_plus — SGF+ 비디오 생성
자기회귀 비디오 생성에서 컨텍스트 기록과 디노이징의 파라미터를 분리해 5초 학습 윈도우로 최대 24시간 롤아웃을 만든다는 SGF+ 저장소다.
새 소식
flashml-org/freetoken v0.1.3 — 데스크톱용 MoE 서빙 엔진
flashml-org/freetoken이 대형 MoE 모델을 에지 하드웨어에서 서빙하기 위해 제공하는 기능과 성능 정보의 한계를 소개한다.
릴리스
Niko1221/Strata v0.1.44.1 — 구형 CPU SIGILL 핫픽스
Strata v0.1.44.1에서 구형 CPU의 SIGILL 오류와 빌드 문제, 서버 크래시 재시도 동작을 수정했다.
릴리스
ggml-org/llama.cpp b11630 — 일일 빌드 자동 배포
ggml-org/llama.cpp의 b11630은 변경 내용이 커밋 메시지 수준으로만 기술된 일일 빌드 자동 배포 릴리즈다.
조건에 맞는 소식이 없습니다.