Devotd Github
新着韓国テック

ongjin/garu 11ee7d5 — 文脈品詞・空白共同選択の研究記録

ongjin/garu の最新コミットは、文脈品詞の補正と空白・形態素の共同選択という 2 つの実験の結果を文書と JSON に残した。2 つの実験とも一部の指標は改善したが回帰が残ったため、採用されなかった。

リポジトリ情報ongjin/garu ↗

ongjin/garu の最新コミットは、文脈品詞の補正と空白・形態素の共同選択という 2 つの実験の結果を文書と JSON に残した。2 つの実験とも一部の指標は改善したが回帰が残ったため、採用されなかった。

GitHub の説明: 초경량 한국어 형태소 분석기 — 1MB 모델로 브라우저에서 실행(WASM). Ultra-lightweight Korean morphological analyzer in the browser. npm: garu-ko

スター
★ 178
フォーク
8
言語
Python
ライセンス
MIT
最新リリース
v0.9.18
原文を見る ↗GitHub で見る ↗

ongjin/garu は、1MB 規模の韓国語形態素解析器をブラウザの WebAssembly(WASM) 上で実行するプロジェクトであり、npm パッケージ名は garu-ko である。2026 年 10 月 27 日のコミット 11ee7d5 は、動作コードには一切手を触れていない文書性の変更である。AGENTS.md に 2 行、docs/wiki/research-history.md に 35 行が追加され、根拠資料として training/ambiguity/review_20261026.json(7,252 行) と training/boundaries/review_joint_20261026.json(3,840 行) が新しく追加された。全体で 11,129 行の追加、削除は 0 である。

記録された実験は 2 つである。1 つ目は、어절(띄어쓰기 단위)キャッシュと厳密には一致しない文まで最終の品詞(part-of-speech)補正を拡張する研究(#75)である。固定ゴールド 9,000 文の形態素 F1(ep_norm)は 96.053823% から 96.091643% へ、口語 16,407 文は 91.227384% から 91.295119% へ上昇したものの、文学ドメインは 0.017840%ポイント低下し、全ドメイン無回帰の条件を満たせなかった。2 つ目は空白復元候補と形態素解析を同時に選ぶ研究(#76)である。空白をすべて削除した入力では、ゴールド F1 は 92.5965% から 93.3075%(現行復元後の解析)、93.7700%(共同選択)へ上昇したが、正常文では 96.0538% から 95.5500%、95.9692% へ低下し、元文の解析より低い値となった。このとき空白境界 F1 はゴールドの 79.22% から 52.29% へ下落した。#75 の初回口語採点は辞書ファイルの欠落により破棄され、正本変換器で再採点された。

判定は、2 つの実験とも既定の動作には反映されなかったということである。研究履歴には、既存の製品コード・モデル・境界重みは変更しておらず、いずれも自動的に有効化されるようにはしていないと記されている。#75 は結果 JSON 31,075 バイトを Brotli q11 圧縮時に 4,558 バイトとして残したのみで、GMDL や WASM には取り込まず、ブラウザと WASM パッケージのコストは測定していない。#76 は M4 の負荷状態における Node/WASM サンプルで、無空白の平均が 0.358ms から 1.423ms へ、P95 が 0.761ms から 3.758ms へ増加したが、ブラウザおよび全入力のレイテンシを保証するものではない。数値も自然由来の誤字ではなく、空白を削除した合成入力についてのものである。つまり、ブラウザ向けに配布されている韓国語形態素解析器である事実は変わらず、新たに増えた機能ではなく、採用されなかった 2 つの記録の分岐として読むのが恰当である。