Devotd Github
新着推論・サービング

mizorewww/laya-mlx v0.5.0 — Apple Silicon向け MLX 決定モデルランタイム

Layaの型ベース意思決定モデルをApple Silicon上でMLXにより実行するためのランタイムリポジトリ。

リポジトリ情報mizorewww/laya-mlx ↗

Layaの型ベース意思決定モデルをApple Silicon上でMLXにより実行するためのランタイムリポジトリ。

GitHub の説明: Native MLX runtime for Laya typed decision models — 7–14 ms short decisions on M3 Max. No text generation, PyTorch, or cloud API.

スター
★ 7K
フォーク
570
言語
Python
ライセンス
Apache-2.0
最新リリース
v0.5.0
原文を見る ↗GitHub で見る ↗

mizorewww/laya-mlx は、Laya の型ベース意思決定モデルを Apple Silicon 上で MLX により実行するために独立に移植したリポジトリである。確認されている最新リリースは v0.5.0 で、提供された資料にはこのバージョンの変更内容が記載されていない。

このランタイムは文章を 이어 쓰는のではなく、決まった質問に対して決定を出す。`choice` は選択肢ごとの確率を、`score` は採点基準 따른期待スコアを、`noul` は命題が真である確率を返す。双方向エンコーダで JSON を生成してからパースする処理は不要である。英語・多言語および typed-decisions のチェックポイントに加え、Python API、CLI、Snake デモを提供する。RLCD の学習とファインチューニングはアップストリームプロジェクトで行う。PyTorch やクラウド API を必要とせず MLX 上で動作し、公開ウェイトと判断確率の出力を備えている点は、ローカルエージェントのルーティングに利用できる構成である。

リポジトリの説明にある短い決定レイテンシは M3 Max を基準に 7–14 ms である。コンパイル経路とプレフィックス再利用経路について、同一の実行条件での即席実行の対照群と対比較を報告しているが、この数値を他のハードウェア的性能へ拡大解釈する根拠はない。質問1件分のAPIベンチマークと実際のゲームループのレイテンシは区別する必要があるため、示されたレイテンシは当該デバイスと測定範囲内でのみ参考とできる。