Devotd Github
新着推論・サービング

kindlingai/glm-5.3-flash-exlr8-1x-spark — DGX Spark 展開構成

kindlingai/glm-5.3-flash-exlr8-1x-spark は、単一 DGX Spark 上で GLM-5.3-Flash を gr8 で動かす Docker 設定を提供する。

リポジトリ情報kindlingai/glm-5.3-flash-exlr8-1x-spark ↗

kindlingai/glm-5.3-flash-exlr8-1x-spark は、単一 DGX Spark 上で GLM-5.3-Flash を gr8 で動かす Docker 設定を提供する。

GitHub の説明: GLM-5.3-Flash exlr8 on one GB10 Spark with gr8: K2, int4 KV, on-disk prompt cache

スター
★ 7
フォーク
0
言語
Dockerfile
ライセンス
MIT
原文を見る ↗GitHub で見る ↗

kindlingai/glm-5.3-flash-exlr8-1x-spark は、単一 DGX Spark 上で GLM-5.3-Flash を gr8 で実行するための Docker 展開設定を提供するリポジトリである。公開されている最新リリースは存在せず、README は K2 ウェイトと int4 キー・バリューキャッシュ、DFlash2 投機的デコード、ディスクベースのプロンプトキャッシュを組み合わせた構成を説明している。リポジトリのライセンスは MIT である。

この構成は、1 台の機器でモデルを実行する際に速度優先の設定と長いコンテキスト優先の設定のどちらを選ぶかを案内している。同時リクエスト数とコンテキスト長は設定で調整でき、README に示された構成は 4 件のリクエストを同時に処理する。プロンプトキャッシュはコンテキストをディスクに保存する方式であり、int4 キー・バリューキャッシュと DFlash2 投機的デコードも実行設定に含まれる。したがってこのリポジトリの要点は、新しいモデルや別 라이ブラリの紹介ではなく、GLM-5.3-Flash を単一機器にデプロイする設定と容量の調整方法にある。

README はデフォルト設定で毎秒 54.2 トークン、最大 262144 トークンのリクエストを報告している。これは README に記載された単一機器での測定値であり、長いコンテキスト設定では処理速度が低下すると明記している。したがってこの数値を他の機器や設定でも期待できる性能として一般化するのではなく、当該展開構成の作者による測定値として限定的に捉えるのが妥当である。