Devotd Github
새 소식추론/서빙

poisonxa16/pxa v4.0.0 — 파스칼·볼타 GPU 추론 엔진

poisonxa16/pxa v4.0.0은 파스칼·볼타 GPU용 추론 엔진으로, 같은 파일 기준 성능 향상을 주장한다.

저장소 정보poisonxa16/pxa ↗

poisonxa16/pxa v4.0.0은 파스칼·볼타 GPU용 추론 엔진으로, 같은 파일 기준 성능 향상을 주장한다.

GitHub 설명: The set-and-forget LLM engine for Pascal and Volta: PXQ codec + kernels, auto-tuned per card. Ready-to-run PXQ models in MODELS.md; benchmarks vs llama.cpp in the README.

스타
★ 98
포크
15
언어
C++
라이선스
MIT
최신 릴리스
v4.0.0
원문 보기 ↗GitHub에서 보기 ↗

poisonxa16/pxa v4.0.0은 Pascal·Volta GPU용 언어 모델 추론 엔진의 새 릴리스다. 프로젝트는 이번 버전에서 같은 파일을 기준으로 디코드 속도 3배, 프롬프트 처리 속도 8배 향상을 주장한다. pxa는 llama.cpp를 파스칼·볼타 GPU에 맞춘 포크로, Tesla P100·V100과 GTX 10 계열에서 모델 서버를 실행하는 것을 목표로 한다.

핵심은 해당 GPU에 맞춘 PXQ 코덱과 커널이다. 프로젝트는 DP4A와 텐서 코어가 없는 칩을 기준으로 커널을 새로 작성했다고 설명한다. 자체 PXQ·PXQN 형식의 모델을 지원하고 일반 GGUF도 불러올 수 있으며, 카드별 측정값에 따라 설정을 선택하는 계획기를 제공한다고 문서화했다. 여러 GPU로 나누어 실행하는 기능, 추측 디코딩(speculative decoding), 전문가 캐시와 양자화 가중치 처리도 포함한다. OpenAI 호환 API와 브라우저 제어판을 제공하며 라이선스는 MIT다.

성능 수치는 프로젝트가 내세운 주장이다. README의 성능 비교는 같은 장비에서 이전 버전과 비교한 값이며, 상세 수치는 별도 릴리스 노트에 안내된다고 한다. 따라서 3배와 8배라는 수치만으로 다른 추론 엔진이나 장비에서도 같은 향상이 난다고 볼 수는 없다. 비교 조건을 확인하고 대상 GPU에서의 결과로 한정해 읽어야 한다.