Devotd Github
新着推論・サービング

devjeonghwan/vllm-for-rtx-spark v0.1.1 — RTX Spark向けvLLMビルド

devjeonghwan/vllm-for-rtx-sparkは、Windows ARM64のRTX SparkでvLLMベースのQwen3.8-Flash-Next-FP4-Localを実行するためのビルドと設定手順を案内する。

リポジトリ情報devjeonghwan/vllm-for-rtx-spark ↗

devjeonghwan/vllm-for-rtx-sparkは、Windows ARM64のRTX SparkでvLLMベースのQwen3.8-Flash-Next-FP4-Localを実行するためのビルドと設定手順を案内する。

スター
★ 6
フォーク
0
言語
Python
ライセンス
Apache-2.0
最新リリース
v0.1.1
原文を見る ↗GitHub で見る ↗

devjeonghwan/vllm-for-rtx-sparkは、Windows ARM64を使うエヌビディアのRTX SparkでvLLMをビルドし、Qwen3.8-Flash-Next-FP4-Localを実行する方法をまとめたリポジトリだ。最新リリースはv0.1.1。提供された資料にはこのバージョンの変更内容が記載されておらず、このリリースで何が変わったかは確認できない。

リポジトリが扱う構成は、RTX Spark N1X、グラフィックスメモリ96ギガバイト、CPUメモリ32ギガバイト、NVMeストレージを使う環境だ。別リポジトリのQwen3.8-Flash-NextレシピとvLLM 0.32.0を出発点とする。インストール・実行手順とメモリ別の設定ファイル、vLLMコンポーネントを自分でビルドする方法も案内している。READMEにはDGX Sparkとllama.cppを対象とした性能比較表があり、同じレシピ基準のllama.cppの数値はエヌビディアが公開したものだ。表はコードのデコード処理量と全体の生成時間を比較している。

したがって性能表は、そのレシピと比較対象に関する情報として読むのが適切だ。別の構成での性能や適用範囲を示す資料はFACTSに示されていない。また、v0.1.1の具体的な変更点も示されておらず、リリース自体の新機能を判断するのは難しい。Windows ARM64でvLLMをビルドしたい場合は手順を参考にできるが、性能結果をそのまま他の環境へ適用する根拠が不足している。