appatalks/synapse の SYNAPSE は、ローカルチャット、モデル制御、ハードウェア監視、OpenAI 互換 API を一つにまとめる Python アプリです。リポジトリの説明は、オープンウェイトの混合専門家モデル(MoE)をローカルハードウェア上でより高速に実行することを目標に掲げています。最新リリースのバージョンは FACTS には記載されていません。リポジトリには MIT ライセンスが記載されています。
実験エンジンはオプションで、GPU の容量を超える MoE を分割して実行する構成です。よく使う専門家は GPU に置き、使われる頻度が少ない専門家は CPU で実行します。モデルのルーターが選んだ専門家の寄与を捨てず、目標重みをクリップしたり再量子化したりしないことが設計上の目標です。モデル系統ごとに専門家の数や選択方法、投影構造が異なるため、統一したバッチ規則を適用しにくいされています。リポジトリでは、テンソルから抽出した技術記述ベクトルをバッチ判断に活用すると説明しています。この作業はアップストリーム llama の専門家キャッシュを統合したものであり、新しい発想と主張はしていません。
実験的な高速化は Linux/NVIDIA の研究用バックエンドで提供されていますが、品質検証は完了していません。スループットの根拠は作者側の三サンプルに限られ、厳格な基準による対数確率の比較と正答チェックはまだ通っていません。ひとつのモデル系統ではネイティブの等価性も崩れています。したがって、現状の根拠だけでは速度目標と出力品質の両方を達成したとは言いにくく、標準の実行経路とは区別して調べる必要があります。