jesdga95/basalt は Strata をフォークした、Linux x86-64 と NVIDIA Blackwell（sm_120）、CUDA 13 に向けた Qwen3.8-Flash-Next MoE ローカル推論エンジンです。VRAM に収まらない保存領域が足りない expert はシステム RAM に置き、第二の GPU を peer expert ティアとして任意で活用することで、1 台のワークステーションでモデルを実行できます。保存領域が足りない expert とは、現在の VRAM に収まらないモデル構成要素を指します。
README は wikitext-2 の 20 チャンクを各 512 トークンで処理し、量子化ごとの品質を報告しています。基準となる Q8_0 に対する KLD 平均と top-1 一致率を使い、UD-Q4_K_XL は KLD 0.068・top-1 93.0%、NVIDIA 公式 NVFP4 パックは KLD 0.076・top-1 93.0% です。GSQ-RCO Q2_0 は KLD 0.486・top-1 80.6%、GSQ-RCO IQ3_XXS は KLD 0.277・top-1 86.8% です。一部のパックには自己蒸留で仕上げた MTP 層が含まれ、下書き出力を最終的に採用するかは検証段階が決定します。
リポジトリは MIT ライセンスで、C++/CUDA エンジン、OpenAI・Anthropic 互換の Python サーバー、テスト、変換および品質検査のツールを含みます。公式 .basalt パックは Hugging Face で配布されています。ただし対応しているのは Qwen3.8-Flash-Next のみで、品質の数値は wikitext-2 の限定的なチャンク評価に基づきます。そのため、この結果だけでは他のモデルや他の利用環境での品質を判断するのは難しいです。