a775828b-dot/xtier는 SGLang에서 혼합 전문가 모델(MoE)을 CPU와 GPU에 나눠 추론하는 Python 플러그인이다. 저장소 설명에 따르면 상위 프로젝트의 main을 따라가는 구조다. FACTS에는 최신 릴리스가 기재되어 있지 않아, 이번에 출시된 특정 버전이나 변경 사항은 확인되지 않는다. 이 글에서 확인할 수 있는 대상은 GitHub 저장소에 공개된 프로젝트 구조와 설명이다.
이 플러그인은 전문가의 사용 빈도에 따라 각 전문가를 GPU 메모리나 호스트 메모리에 배치하고, 필요한 쪽에서 계산하도록 설계됐다. 대형 임베딩 테이블은 일부 행을 저장장치에 두고 읽는다. 표준 혼합 전문가 모듈을 감싸는 방식이라 모델별 코드를 따로 작성하지 않고 여러 모델을 혼합 모드로 실행할 수 있다고 README가 설명한다. 저장소에는 백엔드, 캐시, 계획기와 모델별 최적화 묶음이 있으며, 시험 디렉터리와 벤치마크 스크립트·결과, 설정별 실행 자료도 포함돼 있다.
다만 README는 프로젝트가 초기 개발 단계라고 밝히며, 일부 모델 지원에는 SGLang의 별도 분기가 필요하다고 설명한다. 공개된 벤치마크 자료만으로는 성능 수치가 별도로 재현되지 않았으므로 실제 처리량이나 메모리 절감 효과를 판단하기 어렵다. 따라서 현재는 SGLang의 혼합 추론을 위한 구현 구조를 살펴볼 수 있는 초기 플러그인에 가깝다.