mmm1712/local_ai_esp32 是一个用于在 ESP32-S3 上离线运行从头训练的语言模型的仓库。最新版本是 v0.1.0-model-assets。提供的 FACTS 中没有关于本次版本具体变更的说明,因此无法确认变更内容。README 将该模型称为 PocketGPT。在 XIAO 上可以通过触摸屏幕键盘进行对话,在 DevKit 上则可以通过 USB 进行对话。
该项目的重点是在不连接互联网服务的情况下,于微控制器上运行小型语言模型。由于使用提供的权重和分词器,你无需自行训练,也无需准备 API 密钥。仓库使用 C 语言实现,许可证为 MIT。它提供屏幕和 USB 两种输入方式,但这一差异并不会改变模型的能力。该项目不仅展示了如何运行模型,也展示了在设备上进行对话的路径。
据 README 所述,该模型能够回应简短的问候和基本对话。但它的回答可能出错、重复,或与问题无关。因此,离线运行是一个可验证的特性,但并不意味着响应足够准确或一致。此外还有使用 Gemini 或 Ollama 的独立固件,但该路径并不使用 PocketGPT 的权重。重要的是,不要把它与 PocketGPT 模型的响应示例混为一谈。