Devotd Github
새 소식RAG/검색

fengzhenfei/carrel v0.4.1 — 검색·코드베이스 평가 보고서 추가

fengzhenfei/carrel이 0.4.1로 올라가며 텍스트 검색 벤치마크와 코드 질의 24건에 대한 자체 평가 보고서를 공개했다.

저장소 정보fengzhenfei/carrel ↗

fengzhenfei/carrel이 0.4.1로 올라가며 텍스트 검색 벤치마크와 코드 질의 24건에 대한 자체 평가 보고서를 공개했다.

GitHub 설명: Ontology-Augmented Generation for AI agents.

스타
★ 121
포크
3
언어
Python
라이선스
MIT
최신 릴리스
v0.2.0
원문 보기 ↗GitHub에서 보기 ↗

fengzhenfei/carrel은 AI 에이전트를 위한 온톨로지 확장 생성(ontology-augmented generation) 방식의 자체 호스팅 지식베이스다. 2026년 11월 4일 커밋 23ef852는 패키지 버전을 0.4.0에서 0.4.1로 올리고, 0.4.1 변경·업그레이드 안내와 새로 작성한 검색·코드베이스 평가 보고서를 저장소에 추가했다.

이번 버전의 축은 기능 추가는 아니라 평가 결과의 공개다. README는 0.4.1이 텍스트 질의 275개에서 근거 Hit@5(상위 5개 검색 결과에 정답 근거가 포함되는 비율) 93.45%, MRR@10(정답 근거가 검색 결과의 몇 위쯤에 놓이는지를 평균한 값) 0.8141을 기록했다고 밝힌다. 같은 질의로 0.4.0이 기록한 92.36%와 0.7979와 나란히 놓으면 소폭의 개선으로 읽힌다. 평가 문서는 교차 문서 질의 38개에서 단일 응답이 평균 76.75%의 근거 그룹을 덮었다고 적고, 이는 0.4.0의 68.73%보다 높다고 밝힌다. 텍스트 검색 재생은 Qwen3-Embedding-0.6B와 Qwen3-Reranker-4B로 직접 히트 10개를 반환했고, 근거 그룹 454개와 지식베이스 5개를 썼다고 기록한다.

코드에 대한 측정은 별도로 이뤄졌다. 코드 질의 24개에서 Haiku는 첫 응답만으로 13개를 완전하게 답했고, Skill(에이전트가 검색을 좁혀 지시를 이어 가는 후속 질의 기능)을 허용하면 23개를 답했다고 README는 정리한다. 0.4.1에서 Skill은 그래프 출처 패러지를 직접 히트와 같은 참조로 따로 보여준다. 문서 조항의 두 버전을 비교할 때 첫 응답에서 양쪽을 읽거나 빠진 쪽을 다시 조회할 수 있고, 후속 질의는 시간 범위와 소스·그래프 버전을 이어받는다.

다만 이 숫자들은 저장소가 직접 수행한 자체 평가다. 코드 24문제는 표본이 작고, 텍스트 검색도 질의 275개와 근거 그룹 454개, 지식베이스 5개라는 구성 안에서 재현된 값이며, 페이지 이미지 16건과 문서 질문 55건도 함께 평가에 포함됐다. 검색 프로파일 KB_SEARCH_TEXT_DISCOVERY=true를 켠 조건으로 측정된 점도 확인해야 한다. 그래프 재구축 안정성이나 온톨로지 거버넌스 같은 항목은 여전히 0.4.0의 전체 기술 보고서를 가리킨다. 0.4.1에서 검색 품질이 눈에 띄게 좋아졌다고 결론 내리기는 아직 이르다.