github.devotd.
新着推論・サービング

deepseek-ai/deepinfer — DeepSeek-V4.1-Flash向けの推論フレームワーク

deepseek-ai/deepinferは、DeepSeek-V4.1-Flashを対象モデルとして明示したオフライン推論フレームワークです。

リポジトリ情報deepseek-ai/deepinfer ↗

deepseek-ai/deepinferは、DeepSeek-V4.1-Flashを対象モデルとして明示したオフライン推論フレームワークです。

GitHub の説明: DeepInfer: High-performance, large-scale inference framework for DeepSeek models

スター
★ 3.3K
フォーク
240
言語
Python
ライセンス
Apache-2.0
原文を見る ↗GitHub で見る ↗

deepseek-ai/deepinferは、DeepSeekモデル向けのオフライン推論フレームワークです。リポジトリのREADMEは対応対象としてDeepSeek-V4.1-Flashを明示しています。FACTSには最新のリリース情報が含まれていないため、特定バージョンのリリースや変更として説明することはできません。

このプロジェクトは、DeepSeekモデルの推論を実行するための実行経路とスケジューリング機能を提供します。READMEは、最適化カーネル、データ並列アテンションとエキスパート並列、draft token検証、非同期バッチスケジューリング、決定論的サンプリング、構造化出力を機能として挙げています。draft token検証(speculative verification)は、下書きとして生成したtokenを検証する推論方式です。対応対象としてNVIDIA SM100とHuawei Ascend 950も明記しています。Pythonプロジェクトで、ライセンスはApache-2.0です。

ただしREADMEは、完全なサービス構成には別のキー値キャッシュやワークロード分散などが必要だと説明しています。性能チャートの測定環境はSM100でprefill 4、decode 64として示されていますが、復現手順や独立した測定はFACTSで確認できません。したがって、この資料だけで性能の優位を判断するより、特定モデル向けの実装範囲と未検証の性能根拠を分けて捉えるほうが適切です。