nomic-ai/gpt4all 是一款可以直接在普通台式机和笔记本电脑上本地运行大语言模型(LLM)的应用。该仓库始于 2023 年 3 月 27 日,GitHub 上的最新版本是 v3.10.0。
它可以在没有 API 调用和 GPU 的情况下使用,提供适用于 Windows、macOS、Ubuntu 的安装包,以及由社区维护的 Flathub 分发版本。在 Python 中,gpt4all 包借助 llama.cpp 实现来加载模型并进行对话,因此有桌面应用和库两种形态。仓库说明栏写道,可以在任何设备上运行本地 LLM,并且是开源的、允许商业使用。代码使用 C++ 编写,许可证为 MIT。GitHub 上显示的 star数为 77354。
不过也有一些无法确认的部分。在各项评分中,只有动量一项被测得较低,为 2.6,而新颖性、技术、质量分数均未给出。本次记录中没有性能数据,也没有与其他本地 LLM 工具的对比基准。也没有说明 v3.10.0 有哪些变化。因此,对想在不用 GPU 的情况下于本地运行 LLM 的人来说,这个仓库可以读作值得首先尝试的选项。但要以此作为性能比较的依据下判断,还为时尚早。