Devotd Github
릴리스추론/서빙

kekzl/imp v0.60.0 — 자체 수학 커널과 임베딩·NVFP4 변경

kekzl/imp v0.60.0은 일부 모델의 긴 프롬프트 처리에 자체 수학 커널을 적용하고 임베딩·NVFP4 메모리 배치와 API를 변경한 릴리스다.

저장소 정보kekzl/imp ↗

kekzl/imp v0.60.0은 일부 모델의 긴 프롬프트 처리에 자체 수학 커널을 적용하고 임베딩·NVFP4 메모리 배치와 API를 변경한 릴리스다.

GitHub 설명: Run large AI chat models privately on your own NVIDIA RTX 50 or RTX PRO graphics card. On one RTX 5090, Qwen3.8-27B writes about 70 words per second, 1.4x faster than vLLM. Even a model almost four times larger than the card's memory runs. Works with apps made for ChatGPT or Claude. Starts with one docker command.

스타
★ 124
포크
5
언어
C++
라이선스
MIT
최신 릴리스
v0.60.0
원문 보기 ↗GitHub에서 보기 ↗

kekzl/imp가 2026년 10월 31일 v0.60.0을 공개했다. 이 프로젝트는 NVIDIA RTX 50 또는 RTX PRO 그래픽 카드에서 대형 AI 채팅 모델을 로컬로 실행하는 도구다. 이번 버전은 일부 모델의 긴 프롬프트 처리에 자체 수학 커널을 적용했다. 릴리스 시험에서는 Gemma-4 긴 프롬프트 처리 6.0%, Qwen3-Coder 짧은 프롬프트 처리 5.4% 향상을 보고했다. 임베딩과 NVFP4 메모리 배치, API 변경도 포함됐으며 기본 설정의 호환성 변경은 없다고 밝혔다.

프로젝트 설명에 따르면 RTX 5090 한 장에서 Qwen3.8-27B가 초당 약 70단어를 생성하며, vLLM보다 1.4배 빠르다. 그래픽 카드 메모리보다 거의 네 배 큰 모델도 실행할 수 있다고 설명한다. ChatGPT나 Claude용으로 만든 앱과 함께 쓸 수 있고, Docker 명령 하나로 시작하는 방식이다. 따라서 이 릴리스는 로컬 모델 실행 환경에서 프롬프트 처리와 메모리 배치, API를 함께 손본 업데이트다.

다만 자체 수학 커널은 일부 모델에 적용되며, 보고된 향상 수치는 특정 프롬프트 유형의 릴리스 시험 결과다. 제공된 릴리스 요약에는 측정 조건이나 비교 기준이 적혀 있지 않다. API 변경의 세부 내용도 요약에는 나오지 않는다. 기본 설정의 호환성 변경이 없다는 설명과 함께, 개선 효과는 적용 모델과 프롬프트 범위 안에서 판단하는 편이 맞다.