flashml-org/freetoken v0.1.3은 데스크톱에서 대형 모델을 실행하기 위한 Python 로컬 서빙 엔진이다. README는 290B 이상 파라미터급 MoE 모델을 게임 PC에서도 대화 속도로 구동한다고 설명한다. GPU와 CPU, 호스트 메모리, 상호 연결을 하나의 추론 플랫폼으로 묶는 것이 목표다. 라이선스는 Apache-2.0이며 저장소는 14509개 스타를 받았다.
이 엔진은 여러 장치와 메모리 자원을 함께 활용해 에지 하드웨어에서 모델을 서빙하는 데 초점을 둔다. README는 대역폭에 적응하는 CPU-GPU 공동 실행 정책(q*), 전 계층 이중 버퍼 프리필 스트리밍, 전역 LRU expert 캐싱을 핵심 기능으로 든다. 의미 앵커 체크포인트는 도구 호출이나 사고 블록처럼 컨텍스트를 편집할 때 재귀 상태와 KV 캐시를 보존해 중복 계산을 피하도록 한다. expert 캐시와 KV 메모리 사이의 VRAM 재할당도 엔진 재시작이나 가중치 재로딩 없이 가능하다고 설명한다. DeepSeek-V4-Flash, Qwen3.6-35B-A3B, GLM-5.2를 MXFP4·NVFP4·FP8·BF16로 지원하며 Anthropic·OpenAI 호환 API를 제공한다. Windows·Linux 데스크톱 앱, uv·pip 설치와 소스 빌드 경로도 안내한다.
다만 README에는 별도 테스트나 벤치마크 수치가 제시되지 않는다. 따라서 게임 PC에서 대화 속도로 실행된다는 설명만으로 실제 성능 수준을 비교하기는 어렵다. 기능과 지원 경로는 구체적이지만, 성능 주장의 근거는 공개된 수치로 확인되지 않는다.