CURATED OPEN SOURCE INTELLIGENCE

#local-ai

새 소식OCT 18

ollama/ollama v0.40.5 — 로컬·클라우드 모델 런타임

ollama/ollama는 오픈 모델을 로컬이나 클라우드에서 실행하고 여러 도구와 연결하는 런타임 서버다.

ollama/ollama 추론/서빙Go

새 소식OCT 17

fesens/opentpu — AI 에이전트가 설계한 오픈소스 AI 가속기

fesens/opentpu는 AI 에이전트가 설계한 오픈소스 AI 가속기로, 하드웨어부터 컴파일러까지 한 저장소에 담고 Kintex-7 카드 실행 결과를 제시한다.

fesens/opentpu LLM 인프라Verilog

새 소식OCT 17

l-forster/open-jet v0.5.0 — 오프라인 에이전트와 CUDA 추론 엔진

l-forster/open-jet은 로컬 모델용 오프라인 코딩 에이전트와 Qwen3.8-27B용 CUDA 추론 엔진을 제공하며, 최신 릴리스는 v0.5.0이다.

l-forster/open-jet 추론/서빙Python

새 소식OCT 17

indras-mirror/xolotl — 단일 GPU용 대형 MoE 추론 엔진

Strata를 확장한 C++ 엔진 Xolotl은 여러 대형 모델을 OpenAI·Anthropic 호환 서버로 제공하며, README는 RTX 4090에서 DeepSeek-V4.1-Flash 552B의 decode 속도를 26.8 tok/s로 제시한다.

indras-mirror/xolotl 추론/서빙C++

릴리스OCT 17

niko1221/strata v0.1.45 — Qwen3.6 이미지 입력과 동시 요청

niko1221/strata v0.1.45는 Qwen3.6-35B-A3B의 이미지 입력과 최대 8개 동시 요청을 지원하며, VRAM 여유에 따라 성능 이득이 달라진다.

niko1221/strata 추론/서빙C++v0.1.45

새 소식OCT 17

alexsjones/llmfit v1.1.17 — 하드웨어별 모델 추천

alexsjones/llmfit v1.1.17은 하드웨어에 맞는 언어 모델을 추천하고 실측 벤치마크를 공유하는 Rust 명령줄 도구다.

alexsjones/llmfit 추론/서빙Rust

릴리스OCT 17

ggml-org/llama.cpp b11700 — Granite Switch decision 변환기 추가

llama.cpp b11700은 Granite Switch 계열 모델의 decision 변환과 지원 경로를 추가했다.

ggml-org/llama.cppC++b11700

새 소식OCT 16

sno-ai/sno-station v1.3.9 — 에이전트 스쿼드 하네스

sno-ai/sno-station은 여러 코딩 에이전트가 암호화된 메모리를 공유하고 작업을 주고받게 하는 로컬 실행 하네스다.

sno-ai/sno-station 코딩 에이전트TypeScript

릴리스OCT 16

ggml-org/llama.cpp b11683 — Vulkan 호스트 메모리 임포트 수정

llama.cpp nightly b11683은 Vulkan 백엔드의 호스트 메모리 임포트 실패 로그와 AMD의 버퍼 공유 경로를 수정한 빌드다.

ggml-org/llama.cppC++b11683

새 소식OCT 16

antirez/ds4 — Metal·CUDA·ROCm용 로컬 추론 엔진

antirez/ds4는 일부 모델을 Metal·CUDA·ROCm에서 실행하는 C 기반 로컬 추론 엔진이다.

antirez/ds4 추론/서빙C

릴리스OCT 16

arahim3/digup v0.7.0-beta.1 — Windows·Linux 지원 확장

사진, PDF, 문서, 녹음, 영상, 코드의 내용을 바탕으로 컴퓨터를 검색하는 DigUp가 v0.7.0-beta.1에서 처음 Windows와 Linux로 확장됐다.

arahim3/digup 멀티모달Swiftv0.7.0-beta.1

새 소식OCT 16

magnitudedev/magnitude — 하드웨어 맞춤형 로컬 추론 엔진

magnitudedev/magnitude는 하드웨어에 맞춰 커널을 튜닝해 모델 추론에 사용하는 Rust 기반 오픈소스 엔진이다.

magnitudedev/magnitude 추론/서빙Rust

릴리스OCT 16

nousresearch/hermes-agent v0.22.2 — 게이트웨이 시작 문제 수정

nousresearch/hermes-agent v0.22.2는 잘못된 v0.22.1 빌드를 대체하고 게이트웨이 시작 문제와 노트북의 로컬 모델 대화 재시도 동작을 수정한 릴리스다.

nousresearch/hermes-agent 기타Pythonv0.22.2

새 소식OCT 16

tigerless-labs/agent-memory — Markdown 기반 에이전트 장기기억 런타임

tigerless-labs/agent-memory의 Markdown 저장 방식과 에이전트 장기기억 검색 구조를 설명한다.

tigerless-labs/agent-memory AI 에이전트Python

새 소식OCT 16

flashml-org/freetoken v0.1.3 — 데스크톱용 MoE 서빙 엔진

flashml-org/freetoken이 대형 MoE 모델을 에지 하드웨어에서 서빙하기 위해 제공하는 기능과 성능 정보의 한계를 소개한다.

flashml-org/freetoken 추론/서빙Python

릴리스OCT 16

Niko1221/Strata v0.1.44.1 — 구형 CPU SIGILL 핫픽스

Strata v0.1.44.1에서 구형 CPU의 SIGILL 오류와 빌드 문제, 서버 크래시 재시도 동작을 수정했다.

niko1221/strata 추론/서빙C++v0.1.44.1

릴리스OCT 16

ggml-org/llama.cpp b11630 — 일일 빌드 자동 배포

ggml-org/llama.cpp의 b11630은 변경 내용이 커밋 메시지 수준으로만 기술된 일일 빌드 자동 배포 릴리즈다.

ggml-org/llama.cpp 추론/서빙C++b11630