项目

flashml-org/freetoken

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

文章

新发现OCT 16

介绍 flashml-org/freetoken 为在边缘硬件上服务大型 MoE 模型所提供的功能，以及其性能信息的局限。