athrael-soju/narwhal

role-free 플릿에서 LLM 추론을 prefill과 decode로 나눠 처리하는 파이썬 프로젝트 athrael-soju/narwhal이 0.8.0을 배포했다.

GitHub 설명: Adaptive Disaggregated Inference on a Role-free Fleet!

스타

★ 8

포크

2

언어

Python

라이선스

Apache-2.0

최신 릴리스

v0.7.0