Devotd Github
새 소식모델 컨텍스트 프로토콜

itsmostafa/system-one-connector 0.4.14 — 평가 버그 2건 수정

itsmostafa/system-one-connector가 0.4.14를 내며 taxcat 평가를 중립 상태로 바꾸고 그룹별 재현율을 따로 표시하는 eval 버그 수정 두 건을 반영했다.

저장소 정보itsmostafa/system-one-connector ↗

itsmostafa/system-one-connector가 0.4.14를 내며 taxcat 평가를 중립 상태로 바꾸고 그룹별 재현율을 따로 표시하는 eval 버그 수정 두 건을 반영했다.

GitHub 설명: System One MCP connector to evaluate anything fast and cheap. Give your AI agent direct access to models like: Jev, D1, CLM and Laya

스타
★ 352
포크
41
언어
Go
라이선스
MIT
최신 릴리스
v0.4.12
원문 보기 ↗GitHub에서 보기 ↗

itsmostafa/system-one-connector에 0.4.14 릴리스가 올라왔다. 이 저장소는 System One 모델을 AI 에이전트에 직접 연결하는 MCP(Model Context Protocol) 커넥터로, 저장소 설명은 Jev, D1, CLM, Laya 같은 모델에 에이전트가 바로 접근하게 만든다고 밝힌다. 이번 커밋(33d1fc68, 2026-11-03)은 release-please 자동화 머지이며, 코드 본체 대신 버전 매니페스트를 0.4.13에서 0.4.14로 올리고 CHANGELOG에 수정 항목을 더한 것이 전부다.

이번 릴리스에 적힌 내용은 eval 영역의 버그 수정 두 건이다. 첫째는 taxcat이라 이름 붙은 평가를 중립 상태로 바꾸고 자기 데이터셋에서만 점수를 매기도록 한 것이고, 둘째는 평가 상한(limits)이 서로 다른 taxcat 그룹마다 재현율(recall, 정답 가운데 찾아낸 비율)을 따로 표시하도록 한 것이다. 둘 다 지표 계산과 보고 방식만 바꾸는 수정이고, 모델 접근 기능 자체를 건드린 것은 아니다. CHANGELOG 기준 릴리스 날짜는 2026-10-25이며, 두 수정은 12212ee와 2b0f555 커밋으로 연결돼 있다.

판단은 여기까지다. 제시된 변경 목록은 버전 매니페스트와 CHANGELOG 두 파일이고, 커밋 통계는 추가 9줄·삭제 1줄 규모다. 평가 로직이 정확히 어떻게 고쳐졌는지는 CHANGELOG가 가리키는 두 커밋을 직접 읽어야 확인할 수 있다. 저장소 설명에 적힌 모델들의 성능 수치나 벤치마크 결과, 라이선스 정보는 제공된 팩트에 없다. 채택 여부를 정하려면 eval 스크립트와 라이선스를 직접 확인한 뒤에 결정하는 편이 나아 보인다.