Devotd Github
新着マルチモーダル

iivek/ledgerlens — オフライン領収書項目抽出とモデル圧縮評価

iivek/ledgerlens は、領収書の写真から項目ごとの構造化データを抽出し、モデル圧縮による変化を評価するオフラインモバイルプロジェクトです。

リポジトリ情報iivek/ledgerlens ↗

iivek/ledgerlens は、領収書の写真から項目ごとの構造化データを抽出し、モデル圧縮による変化を評価するオフラインモバイルプロジェクトです。

GitHub の説明: Offline, on-device invoice & receipt extraction: VLM distillation + quantization + pruning with a reproducible eval harness and a React Native app.

スター
★ 0
フォーク
0
言語
Python
ライセンス
NOASSERTION
原文を見る ↗GitHub で見る ↗

iivek/ledgerlens は、領収書の写真から項目ごとの構造化データを抽出するオフラインモバイルプロジェクトです。リポジトリには、Python ベースのモデル作業、React Native アプリ、llama.cpp の実行パス、評価・再スコアリングのスクリプトが示されています。README が紹介しているのは、Qwen2-VL-2B ベースのモデルを端末内処理に適した形で扱う構成です。

このプロジェクトは評価プロセスに、大きなモデルの挙動を小さなモデルへ移す蒸留(distillation)、モデルサイズを小さくする量子化(quantization)、一部の接続を取り除く枝刈り(pruning)を組み込んでいます。画像とテキストを扱���モデル(VLM)を対象に、圧縮によるサイズと精度の変化を比較し、SROIE と CORD の測定結果、およびそれを再評価するためのツールを提供しています。この構成は、領収書抽出においてモデル圧縮と端末内実行を併せて調べる試みです。

ただし、公開されている SROIE と CORD の測定結果は、特定の Mac で得られた一回の実行にすぎません。README も、量子化の比較を確定的な結論として扱うのではなく、繰り返しの測定が必要だと述べています。携帯電話での実行と追加の圧縮評価はまだ進行中です。したがって、現在の結果は、圧縮方式の優劣を断定するのではなく、繰り返しの測定と実際の携帯電話での実行によって検証していくべき評価の段階に近いと言えます。