Devotd Github

yibie/strata-mlx

yibie/strata-mlx가 대화 파킹(conversation parking)을 기본으로 켜고 256 토큰 미만 요청은 슬롯을 차지하지 않게 해, 다른 클라이언트 요청 뒤에 긴 프롬프트를 다시 읽던 기본 동작을 바꿨다.

GitHub 설명: Qwen3.8-Flash-Next on Apple Silicon: an MLX engine that reads Strata's GGUF files and speaks its line protocol (unofficial)

GitHub에서 보기 ↗
스타
★ 97
포크
15
언어
Python
라이선스
MIT

게시물

1