Devotd Github
새 소식추론/서빙

wici-ai/inferssd — SSD 스트리밍 기반 MoE 추론 엔진

llama.cpp 기반 InferSSD의 SSD 스트리밍 방식과 README에 적힌 모델·접속 지원 범위를 소개한다.

저장소 정보wici-ai/inferssd ↗

llama.cpp 기반 InferSSD의 SSD 스트리밍 방식과 README에 적힌 모델·접속 지원 범위를 소개한다.

GitHub 설명: Run models larger than your RAM or VRAM by streaming MoE experts from SSD. Built on llama.cpp.

스타
★ 160
포크
27
언어
C++
라이선스
Apache-2.0
최신 릴리스
v0.1.1
원문 보기 ↗GitHub에서 보기 ↗

InferSSD(wici-ai/inferssd)는 llama.cpp를 바탕으로 SSD에서 MoE expert를 스트리밍해 RAM이나 VRAM보다 큰 모델을 실행하는 C++ 엔진이다. 최신 릴리스는 v0.1.1이다. 제공된 정보에는 이 버전에서 무엇이 바뀌었는지 설명하는 변경 목록이 없어, 특정 기능을 새로 추가했다고 말할 수는 없다. 이 저장소가 다루는 핵심은 모델 전체를 RAM이나 VRAM에 담기 어려운 상황에서 SSD를 추론 경로에 활용하는 방식이다. 프로젝트 설명은 이를 큰 모델 실행을 위한 접근으로 제시한다.

README는 GGUF 형식의 대형 혼합 전문가 모델을 대상으로 하며, 현재 지원 대상으로 DeepSeek-V4.1-Flash-1017과 Muse-Spark-Open을 적고 있다. 모델과 대화하는 브라우저 인터페이스, OpenAI 호환 API도 제공한다고 설명한다. 따라서 사용 방식은 브라우저에서 직접 대화하거나 호환 API를 통해 연결하는 두 경로로 정리된다. 설치 절차는 macOS와 NVIDIA GPU를 사용하는 Linux를 대상으로 안내돼 있다. 라이선스는 Apache-2.0이며, 저장소의 주 언어는 C++이다. 이 범위에서 확인되는 것은 특정 모델 형식과 두 가지 접속 방식, 그리고 두 운영 환경의 설치 안내다.

다만 제공된 기록에는 성능 비교 수치가 없다. 따라서 SSD 스트리밍이 실제로 메모리 한계를 얼마나 넓히는지, 지원 모델에서 어느 정도 속도를 내는지는 이 정보만으로 판단할 수 없다. 기록된 모멘텀 점수는 5.0이고, 기술성·품질·신규성 점수는 제공되지 않았다. 그러므로 v0.1.1의 성능이나 개선 폭을 단정하기보다, 지원 모델과 설치 환경을 기준으로 적용 가능성을 살펴볼 단계에 가깝다.