Devotd Github
新着推論・サービング

musicurgy/delta-inference-engine 0.92 — Windows 推論サーバ

musicurgy/delta-inference-engine は、README によれば Windows で DeepSeek-V4.1-Flash を実行し、OpenAI 互換 API を提供するリポジトリである。

リポジトリ情報musicurgy/delta-inference-engine ↗

musicurgy/delta-inference-engine は、README によれば Windows で DeepSeek-V4.1-Flash を実行し、OpenAI 互換 API を提供するリポジトリである。

GitHub の説明: Delta Inference Engine: DeepSeek-V4.1-Flash on one NVIDIA GPU, natively on Windows (OpenAI-compatible server)

スター
★ 7
フォーク
2
言語
C++
ライセンス
MIT
最新リリース
0.92
原文を見る ↗GitHub で見る ↗

musicurgy/delta-inference-engine は、README によれば Windows 上で NVIDIA GPU 1 枚を使って DeepSeek-V4.1-Flash をローカル実行し、OpenAI 互換 API を提供する C++ リポジトリである。FACTS に記録された最新リリースは 0.92 である。ただし 0.92 で変更された具体的な項目は示されておらず、変更点として断定することはできない。リポジトリには CUDA・SYCL・HIP のコードと、モデル実行ツール、フォーマット変換器、検証コードが公開されている。

README によれば、この移植は Xolotl と Strata をベースにしている。552B パラメータモデルのエキスパート単位を 2 ビットでメモリに載せ、メモリが不足する場合は必要な単位をストレージから読み込む方式である。README は最大 1M トークンのコンテキストも示している。インストール用バッチファイルはエンジンのダウンロードまたはビルドと、モデルファイルの準備を行う。ライセンスは MIT である。

ただし、README の性能結果は特定の RTX 3090 環境で測定されたものであり、独立に検証された結果ではない。単一 GPU での実行という主張と提示されたコンテキスト長だけでは、他の PC で必要となるメモリ量や処理速度を判断しにくい。したがってこのリポジトリは Windows 向けの実行経路を示しているものの、汎用的な性能の根拠とするには公開されている検証が限定的である。