flashml-org/freetoken v0.1.3 は、デスクトップ上で大規模モデルを実行するための Python ローカルサービングエンジンである。README では、290B 以上のパラメータを持つ MoE モデルをゲーム PC 上でも会話速度で動作させると説明している。目標は、GPU、CPU、ホストメモリ、相互接続を単一の推論プラットフォームとしてまとめ上げることだ。ライセンスは Apache-2.0 で、リポジトリは 14509 個のスターelda获得している。
このエンジンは、複数のデバイスとメモリ資源を組み合わせてエッジハードウェア上でモデルをサービングすることに重点を置いている。README では、帯域に追従する CPU-GPU 共同実行ポリシー（q*）、全レイヤのダブルバッファによる prefill ストリーミング、グローバル LRU expert キャッシュを主要機能として挙げている。セマンティックアンカーチェックポイントは、ツール呼び出しや思考ブロックのようにコンテキストを編集する際に再帰状態と KV キャッシュを保持し、再計算を回避する。expert キャッシュと KV メモリの間で VRAM を再割り当て比赛中YDできるとし、エンジンの再起動や重みの再読み込みは不要だと説明している。DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2 を MXFP4・NVFP4・FP8・BF16 でサポートし、Anthropic・OpenAI 互換 API を提供する。Windows・Linux のデスクトップアプリ、uv・pip によるインストール、ソースビルドの手順も紹介している。
ただし、README には独立したテストやベンチマークの数値は示されていない。そのため、ゲーム PC で会話速度，动作するという説明だけでは、実際の性能水準を比較することは難しい。機能とサポートされる経路は具体的だが、パフォーマンス的主張の根拠は公開された数値では確認できない。