Devotd Github
新着推論・サービング

carloslfu/slotstream — Q2 検証記録と直接読み込み候補の差し戻し

carloslfu/slotstream の 2026 年 10 月 25 日のコミットは Q2 検証の測定を記録し、直接予測読み込み候補を差し戻した。

リポジトリ情報carloslfu/slotstream ↗

carloslfu/slotstream の 2026 年 10 月 25 日のコミットは Q2 検証の測定を記録し、直接予測読み込み候補を差し戻した。

GitHub の説明: Run a 105 GB AI model on a Mac that can't hold it. Slotstream streams Qwen3.8-Flash-Next (125B mixture of experts) from your SSD and caches the busiest experts in memory, so it runs on Macs with 16 to 64 GB. One native Swift binary on MLX and Metal, no Python, offline. Works with Claude Code, Codex and Ollama or OpenAI clients.

スター
★ 474
フォーク
37
言語
Swift
ライセンス
MIT
最新リリース
v0.2.29
原文を見る ↗GitHub で見る ↗

carloslfu/slotstream は、Qwen3.8-Flash-Next(125B 混合エキスパートモデル)を SSD からストリーミングし、メモリ 16~64GB の Mac 上で実行するプロジェクトである。2026 年 10 月 25 日のコミット 7578fb21e57ec362d19f5050922e0f583914935d は Q2 検証の測定記録を追加し、直接予測読み込み候補を差し戻した。変更は CLAUDE.md と MEASUREMENTS.md、および db/ 以下の測定・実行記録に含まれる。出典は当該 GitHub コミットである。

測定記録は、一般的なコードや散文の要求における先読み(read-ahead)と GPU 実行の相互作用を調べた。ネイティブエンジンと Splash エンジンの両方で同じ論理エキスパートを無効化し、部分ミスの状況を比較したところ、8 条件すべてがクリーン実行の基準を通過した。読み取りごとのトレースを有効にした比較では約 14ms の間隔が観測されたが、トレース記録の負荷はエンジンごとに異なった。両側でトレースを無効にした対照群では、間隔は約 8.4ms に短縮した。read-ahead はネイティブ実行にも有用だったが、GPU 処理と重複した際の原因は確認されていない。

直接読み込み候補は、Q2 の予測データを中間コピーなしで要求された位置から読み込むように変更した小さな修正であった。正確性は保たれた完全な要求を遅くしたうえ、記録された診断にも利点がなかったため差し戻された。測定は遅延の原因を read-ahead の転送、コマンドのdelivery、同時 I/O のいずれかに特定できなかった。したがって、共有読み込みスケジューラの書き直しは確定した解決策ではなく、この記録のみから性能の同等性や広い業務品質を主張することはできない。