a775828b-dot/xtier は、SGLang で混合専家モデル(MoE)を CPU と GPU に分けて推論する Python プラグインである。リポジトリの説明によれば、上流プロジェクトの main に追随する構成である。FACTS には最新のリリースが記載されていないため、今回リリースされた特定のバージョンや変更点は確認できない。ここで確認できる対象は、GitHub リポジトリに公開されているプロジェクト構成と説明である。
このプラグインは、専家の利用頻度に応じて各専門家を GPU メモリまたはホストメモリに配置し、必要な側で計算するよう設計されている。大規模な埋め込みテーブルは一部の行をストレージに置き、そこから読み込む。README では、標準的な混合専家モジュールを包む方式であるため、モデル別のコードを個別に書かずに複数のモデルをハイブリッドモードで実行できると説明している。リポジトリにはバックエンド、キャッシュ、スケジューラ、モデル別の最適化一式があり、テストディレクトリ、ベンチマークスクリプトと結果、設定ごとの実行資料も含まれている。
ただし README はプロジェクトが初期開発段階であることを明かしており、一部のモデルへの対応には SGLang の別途のブランチが必要であると説明している。公開されているベンチマーク資料だけでは性能数値が再現されないため、実際のスループットやメモリ削減効果を判断しにくい。したがって現時点では、SGLang のハイブリッド推論のための実装構成を 살펴べる初期段階のプラグインに近い。