CURATED OPEN SOURCE INTELLIGENCE

#llm-infra

새 소식OCT 18

kvmem/kvmem v0.18.0 — 호스트 메모리 KV 가상화 추론

kvmem/kvmem v0.18.0은 KV 캐시를 호스트 메모리에 두고 필요할 때 GPU로 되올려 긴 컨텍스트 추론을 지원하는 C++ 프로젝트다.

kvmem/kvmem 추론/서빙C++

새 소식OCT 18

ollama/ollama v0.40.5 — 로컬·클라우드 모델 런타임

ollama/ollama는 오픈 모델을 로컬이나 클라우드에서 실행하고 여러 도구와 연결하는 런타임 서버다.

ollama/ollama 추론/서빙Go

새 소식OCT 18

surya-koritala/glyd — bf16 가중치·KV 캐시 무손실 압축

surya-koritala/glyd의 무손실 GPU 메모리 압축 방식과 README에 공개된 실측 결과를 살펴본다.

surya-koritala/glyd LLM 인프라Rust

릴리스OCT 18

ashishsinha1602/schemagate v1.6.0 — 권한 제한 알림 추가

ashishsinha1602/schemagate v1.6.0은 권한으로 가려진 스키마를 모델에 알리고, 근거가 부족한 질의에는 INSUFFICIENT라고 답하도록 한다.

ashishsinha1602/schemagate 보안Pythonv1.6.0

새 소식OCT 17

srkrz23/vramkit — 가중치·KV 캐시 두 갈래 VRAM 압축

srkrz23/vramkit은 가중치 무손실 코덱과 K·V에 서로 다른 양자화 축을 적용한 KV 캐시 압축을 구현한 Python 저장소다.

srkrz23/vramkit 추론/서빙Python

새 소식OCT 17

jevagentharness/jevagentharness — 코딩 에이전트 모델 라우팅 프록시

jevagentharness/jevagentharness는 코딩 에이전트의 각 스텝을 분류해 모델을 배정하는 프록시로, README의 Terminal-Bench 2.0 실측과 그 한계를 다룬다.

jevagentharness/jevagentharness AI 에이전트Python

새 소식OCT 17

perplexityai/space — Rust 기반 에이전트 샌드박스

perplexityai/space는 에이전트와 사용자 코드를 격리해 실행하는 Rust 기반 샌드박스 플랫폼이다.

perplexityai/space 보안Rust

새 소식OCT 17

indras-mirror/xolotl — 단일 GPU용 대형 MoE 추론 엔진

Strata를 확장한 C++ 엔진 Xolotl은 여러 대형 모델을 OpenAI·Anthropic 호환 서버로 제공하며, README는 RTX 4090에서 DeepSeek-V4.1-Flash 552B의 decode 속도를 26.8 tok/s로 제시한다.

indras-mirror/xolotl 추론/서빙C++

새 소식OCT 17

nandhakishorm/laya v0.4.9 — 비자기회귀 결정 엔진

nandhakishorm/laya의 v0.4.9와 선택·점수·예 아니오 판정을 수행하는 엔진의 지원 범위 및 공개된 한계를 살펴본다.

nandhakishorm/laya 추론/서빙Python

새 소식OCT 17

rtk-ai/rtk v1.0.1 — 토큰 절감을 위한 CLI 프록시

rtk-ai/rtk는 개발 명령 출력을 압축·라우팅·필터링해 LLM 토큰 소비를 줄인다는 Rust CLI 프록시다.

rtk-ai/rtk 코딩 에이전트Rust

릴리스OCT 17

ggml-org/llama.cpp b11700 — Granite Switch decision 변환기 추가

llama.cpp b11700은 Granite Switch 계열 모델의 decision 변환과 지원 경로를 추가했다.

ggml-org/llama.cppC++b11700

새 소식OCT 16

unclecode/crawl4ai v0.9.5 — 웹을 마크다운으로 바꾸는 크롤러

unclecode/crawl4ai v0.9.5는 웹사이트를 LLM용 마크다운으로 바꾸는 오픈소스 크롤러·스크레이퍼다.

unclecode/crawl4ai 개발 도구Python

릴리스OCT 16

ggml-org/llama.cpp b11683 — Vulkan 호스트 메모리 임포트 수정

llama.cpp nightly b11683은 Vulkan 백엔드의 호스트 메모리 임포트 실패 로그와 AMD의 버퍼 공유 경로를 수정한 빌드다.

ggml-org/llama.cppC++b11683

새 소식OCT 16

antirez/ds4 — Metal·CUDA·ROCm용 로컬 추론 엔진

antirez/ds4는 일부 모델을 Metal·CUDA·ROCm에서 실행하는 C 기반 로컬 추론 엔진이다.

antirez/ds4 추론/서빙C

릴리스OCT 16

yetone/magpie v0.1.1257 — 플러그인 개편과 JS 게이트웨이

yetone/magpie v0.1.1257은 플러그인 기능을 개편하고 Lody 에이전트 지원을 추가한 기능 릴리스다.

yetone/magpie 개발 도구Gov0.1.1257

새 소식OCT 16

magnitudedev/magnitude — 하드웨어 맞춤형 로컬 추론 엔진

magnitudedev/magnitude는 하드웨어에 맞춰 커널을 튜닝해 모델 추론에 사용하는 Rust 기반 오픈소스 엔진이다.

magnitudedev/magnitude 추론/서빙Rust

릴리스OCT 16

scaleapi/agentenv-framework v0.9.1331 — 실행별 설정 변경 지원

scaleapi/agentenv-framework v0.9.1331은 게이트웨이를 거치는 MCP 서버 예제와 실행별 설정 변경 기능을 담았다.

scaleapi/agentenv-framework 평가Pythonv0.9.1331

릴리스OCT 16

nousresearch/hermes-agent v0.22.2 — 게이트웨이 시작 문제 수정

nousresearch/hermes-agent v0.22.2는 잘못된 v0.22.1 빌드를 대체하고 게이트웨이 시작 문제와 노트북의 로컬 모델 대화 재시도 동작을 수정한 릴리스다.

nousresearch/hermes-agent 기타Pythonv0.22.2

새 소식OCT 16

infiniflow/ragflow v1.0.0-rc1 — RAG·에이전트 결합 엔진

infiniflow/ragflow는 RAG와 에이전트 기능을 결합해 LLM의 문맥 계층을 제공하는 오픈소스 엔진이다.

infiniflow/ragflow RAG/검색Go

새 소식OCT 16

flashml-org/freetoken v0.1.3 — 데스크톱용 MoE 서빙 엔진

flashml-org/freetoken이 대형 MoE 모델을 에지 하드웨어에서 서빙하기 위해 제공하는 기능과 성능 정보의 한계를 소개한다.

flashml-org/freetoken 추론/서빙Python

릴리스OCT 16

ggml-org/llama.cpp b11630 — 일일 빌드 자동 배포

ggml-org/llama.cpp의 b11630은 변경 내용이 커밋 메시지 수준으로만 기술된 일일 빌드 자동 배포 릴리즈다.

ggml-org/llama.cpp 추론/서빙C++b11630