bobclawblaw/ripple-65b-nvfp4-m5-ultraは、ricursiveAIが公開したNVFP4量子化版Ripple-65B-PreviewとDFlash2 drafterをApple M5 Ultra 1台で動かすための配布リポジトリです。新バージョンのリリースはなく、このリポジトリが提供するのはその構成のための実行環境とOpenAI互換サーバです。サーバはツール呼び出し、構造化出力、プロンプトキャッシュ、マルチストリームに対応します。
リポジトリの説明によると、アテンションと埋め込み、出力層は16ビット浮動小数点数のまま保持し、多層部分は4ビットで保存します。この構成はモデルメモリを減らす量子化と、ドラフトモデルによる投機的デコードを組み合わせたものです。実行エンジンはTensorFoldのネイティブMetalエンジンです。Pythonで記述され、MITライセンスを使用します。READMEにはMac向けサーバ設定、モデルのダウンロード、ビルドと実行の手順が記載されています。
ただしREADMEは、必要なエンジン変更がまだ上流のデフォルトブランチに含まれていないため、別の変更分を使用すると説明しています。速度と精度の結果も、特定の機器と特定のモデル改訂版を基準としたリポジトリ自身の測定として示されています。そのためこのリポジトリは、その構成を再現する手順案内に近く、結果を他環境の性能根拠として見ることは難しいです。