luce-org/lucebox

두 GPU 분할 디코딩에서 대상 GPU의 층당 커널 실행을 45.4개에서 약 36개로 줄이는 late-expert 옵션과 CUDA·HIP 퓨전 추가 커밋.

GitHub 설명: LLM speculative inference server for heterogeneous hardware & consumer GPUs

게시물

새 소식11월 6일

두 GPU 분할 디코딩에서 대상 GPU의 층당 커널 실행을 45.4개에서 약 36개로 줄이는 late-expert 옵션과 CUDA·HIP 퓨전 추가 커밋.