Devotd Github
새 소식추론/서빙

benmaster82/pithos — C11 기반 LFM2 추론 엔진

외부 라이브러리 없이 C11로 작성한 Liquid AI LFM2 계열 추론 엔진과 함께 터미널 채팅, OpenAI 호환 서버, 웹·터미널 에이전트를 제공하는 저장소다.

저장소 정보benmaster82/pithos ↗

외부 라이브러리 없이 C11로 작성한 Liquid AI LFM2 계열 추론 엔진과 함께 터미널 채팅, OpenAI 호환 서버, 웹·터미널 에이전트를 제공하는 저장소다.

GitHub 설명: A dependency-free C inference engine for Liquid AI's LFM2 / LFM2.5 models. Terminal chat, an OpenAI-compatible server, a web agent and a terminal agent, all in one executable.

스타
★ 3
포크
0
언어
C
라이선스
MIT
원문 보기 ↗GitHub에서 보기 ↗

benmaster82/pithos는 Liquid AI의 LFM2와 LFM2.5 모델을 실행하는 의존성 없는 C11 추론 엔진이다. 저장소는 터미널 채팅과 OpenAI 호환 서버, 브라우저 기반 Pandora 에이전트와 터미널 에이전트를 제공하며, 이 기능들을 한 실행 파일에 담는 구성을 내세운다. 별도 최신 릴리스 정보는 없다. 라이선스는 MIT다.

추론 엔진은 모델에 입력을 넣어 출력을 생성하는 프로그램이다. pithos는 외부 라이브러리 없이 C11로 작성됐고, 선택적으로 OpenCL 가속을 사용할 수 있다. 저장소에는 모델 처리와 양자화, CPU SIMD, 서버 및 도구 코드와 테스트 파일이 공개돼 있다. 따라서 단일 실행 파일만 제공하는 데 그치지 않고 LFM2 추론을 구성하는 코드와 테스트도 살펴볼 수 있다. README는 GT1650 노트북에서 llama.cpp의 CUDA 구현과 비교해 생성 속도 1.9배, 서버 기동 3~10초라고 제시한다.

다만 성능 수치는 저장소 작성자가 제시한 실험 결과이며, 저장소 자체에서 검증된 비교로 볼 수는 없다. 별 수는 3이고, 공개된 비교만으로 다른 환경에서도 같은 성능이 나온다고 판단하기 어렵다. pithos의 구성은 살펴볼 만하지만, 성능 수치만으로 도입 여부를 정하기에는 근거가 제한적이다.