staylamebro/backburner は、Apple Silicon Mac と iPhone を USB-C で接続して Qwen3.8-27B をローカルで実行する分散推論ツールだ。リポジトリの説明によれば、2 つのデバイスは 10 Gb/s の接続を使い、iPhone を加えることで入力処理速度とコンテキスト長を伸ばすことが目的である。登録済みの最新リリースはない。
動作のしくみはコンテキスト長によって異なる。64k 以下ではモデル層を分割し、Mac が 1〜40 層、iPhone が 41〜64 層を担当し、入力トークンをまとめて処理する prefill も 2 つのデバイスで分担する。64k を超えると、iPhone が古い key の attention を計算して、より長いコンテキストに対応する。Mac 単独の経路には、独自 fork の llama.cpp における SME2 カーネル、Metal fusion、DFlash2 基準の推論デコーディングなど、速度向上の施策が含まれる。プロジェクトは Python で書かれ、ライセンスは MIT である。
整合性の根拠は、README が報告する限定的なく貪欲な出力比較のみに限られる。出力の一致は 256/256 と 32/32 トークンの条件で確認され、自動テストの範囲もセキュリティフォルダ 5 個に限定される。したがって、複数デバイスを併用する推論経路とコンテキスト拡張の方式は具体的だが、この資料だけではさまざまな条件での精度や回帰安全性まで判断するのは難しい。