Devotd Github
新发现韩国科技

ongjin/garu 11ee7d5 — 上下文词性与空格联合选择研究记录

ongjin/garu 的最新提交以文档和 JSON 的形式记录了上下文词性校正与空格·形态素联合选择两项实验的结果;两项实验虽然部分指标有所改善,但都留下了回归问题,因此均未被采用。

仓库信息ongjin/garu ↗

ongjin/garu 的最新提交以文档和 JSON 的形式记录了上下文词性校正与空格·形态素联合选择两项实验的结果;两项实验虽然部分指标有所改善,但都留下了回归问题,因此均未被采用。

GitHub 项目说明: 초경량 한국어 형태소 분석기 — 1MB 모델로 브라우저에서 실행(WASM). Ultra-lightweight Korean morphological analyzer in the browser. npm: garu-ko

星标
★ 178
复刻
8
语言
Python
许可证
MIT
最新版本
v0.9.18
查看原始来源 ↗在 GitHub 查看 ↗

ongjin/garu 是一个在浏览器 WebAssembly(WASM) 中运行约 1MB 规模的韩语形态素分析器的项目,其 npm 包名称是 garu-ko。2026 年 10 月 27 日的提交 11ee7d5 属于文档性质的变更,没有触及任何运行代码。AGENTS.md 新增 2 行,docs/wiki/research-history.md 新增 35 行,并新增了作为依据材料的 training/ambiguity/review_20261026.json(7,252 行) 和 training/boundaries/review_joint_20261026.json(3,840 行)。合计新增 11,129 行,删除 0 行。

记录的实验有两项。第一项是扩展末尾词性(part-of-speech)校正、使其覆盖与语节(空格分隔单位)缓存不完全一致的句子的研究(#75)。在固定的 9,000 句金标集上,形态素 F1(ep_norm) 从 96.053823% 上升到 96.091643%,口语的 16,407 句从 91.227384% 上升到 91.295119%,但文学领域下降了 0.017840 个百分点,因此未能满足全领域无回归的条件。第二项是同时选择空格还原候选与形态素分析结果的研究(#76)。在把空格全部删除的输入上,金标 F1 从 92.5965% 上升到 93.3075%(现行还原后分析)、93.7700%(联合选择),但在正常句子中从 96.0538% 降到 95.5500%、95.9692%,低于对原文的分析结果。与此同时,空格边界 F1 从金标的 79.22% 掉到 52.29%。#75 最初的语评分因缺少词典文件而被作废,并使用正本转换器重新评分。

判定结果是两项实验都没有反映到默认行为中。研究记录中写明没有改动既有的产品代码、模型和边界权重,并且两者都没有做成自动开启。#75 只是留下了一个 31,075 字节的结果 JSON,经 Brotli q11 压缩时为 4,558 字节,并未打包进 GMDL 和 WASM,也没有测量浏览器与 WASM 包的成本。#76 在 M4 的负载状态 Node/WASM 样本中,无空格平均耗时从 0.358ms 增加到 1.423ms,P95 从 0.761ms 增加到 3.758ms,但并不保证浏览器中以及所有输入的延迟。数值针对的也是把空格删掉的合成输入,而不是自然的笔误。换句话说,它仍是面向浏览器分发的韩语形态素分析器这一事实没有改变,与其说是新增了功能,不如说应读作两条未被采用的分支记录。