Devotd Github
新着推論・サービング

zephel01/abyss v1.3.54 — 単一GPU向け混合エキスパート推論エンジン

zephel01/abyss は、DeepSeek V4 Flash と V4.1 Flash 系モデルを単一のコンシューマー向けグラフィックスカード上で実行することを目的とした推論エンジンである。

リポジトリ情報zephel01/abyss ↗

zephel01/abyss は、DeepSeek V4 Flash と V4.1 Flash 系モデルを単一のコンシューマー向けグラフィックスカード上で実行することを目的とした推論エンジンである。

スター
★ 18
フォーク
2
言語
C++
ライセンス
MIT
最新リリース
v1.3.54
原文を見る ↗GitHub で見る ↗

zephel01/abyss は、DeepSeek V4 Flash と V4.1 Flash 系の混合エキスパートモデルをコンシューマー向けグラフィックスカード1枚上で実行することを目的とした推論エンジンである。記録されている最新リリースタグは v1.3.54 である。ただし、このバージョンで何が変わったかは提供された情報に記されていない。README は、このプロジェクトが Project Maya から分岐したものであると説明している。

混合エキスパートモデル(MoE)は、複数のエキスパートの中から必要な部分を選んで使う方式である。Abyss は、よく使うエキスパートをグラフィックスカードのメモリに置き、残りを固定メモリと NVMe ストレージから読み込む、階層的な実行方式を説明している。対象は Linux で、CUDA に対応し、ROCm サポートは実験段階である。ブラウザでのチャット画面と、OpenAI および Anthropic 互換 API も提供する。C++ で書かれ、ライセンスは MIT、スター数は 18 である。README には複数のグラフィックスカードとモデル構成による測定表、動作原理の説明、マニュアル文書がある。

測定表にはハードウェアとモデル構成が併せて示されているため、数値を読む際にはその条件も確認する必要がある。特に ROCm サポートは実験段階と記載されている。したがって、このリポジトリが示しているのは単一グラフィックスカード実行のための階層構造とサポート経路であり、測定値は各条件の範囲内で読むのが妥当である。