Devotd Github
새 소식추론/서빙

mostlygeek/llama-swap v267 — 로컬 모델 서버 전환 도구

mostlygeek/llama-swap은 OpenAI·Anthropic 호환 로컬 모델 서버를 연결해 요청에 따라 모델을 전환하는 Go 도구다.

저장소 정보mostlygeek/llama-swap ↗

mostlygeek/llama-swap은 OpenAI·Anthropic 호환 로컬 모델 서버를 연결해 요청에 따라 모델을 전환하는 Go 도구다.

GitHub 설명: Reliable model swapping for any local OpenAI/Anthropic compatible server - llama.cpp, vllm, etc

스타
★ 6.1K
포크
523
언어
Go
라이선스
MIT
최신 릴리스
v267
원문 보기 ↗GitHub에서 보기 ↗

mostlygeek/llama-swap은 로컬에서 여러 생성형 인공지능 모델을 실행하고 요청에 따라 모델을 바꾸는 서버 중계 도구다. 최신 릴리스는 v267이다. 제공된 정보에는 이 버전에서 바뀐 항목이 적혀 있지 않아, 특정 기능 변경을 릴리스 내용으로 소개할 수는 없다. Go로 작성됐으며 MIT 라이선스로 공개됐다.

이 도구는 OpenAI와 Anthropic API 호환 서버를 지원하고, llama.cpp와 vLLM을 비롯해 stable-diffusion.cpp, audio.cpp, ComfyUI 같은 서버도 연결할 수 있다고 소개한다. README에 따르면 설정 파일 하나로 모델 전환과 동시 실행 조합을 정하고, 사용하지 않는 모델을 자동으로 해제하거나 시작할 때 미리 불러올 수 있다. 웹 화면도 제공한다. 여러 모델 서버를 각각 다루는 대신 중계 도구를 통해 필요한 모델을 선택하는 구조다. 외부 의존성 없이 실행 파일 하나와 설정 파일 하나로 구성된다는 설명도 있다.

따라서 확인되는 핵심은 여러 종류의 로컬 모델 서버를 한 도구에서 전환해 쓰도록 돕는다는 점이다. 다만 제공된 정보만으로는 v267의 구체적인 변경 사항이나 각 서버 조합의 안정성을 판단할 수 없다. 릴리스 번호만으로 이번 버전의 개선 내용을 단정하기보다, 확인 가능한 기능 범위에 한정해 보는 편이 정확하다.