github.devotd.
新发现推理与服务

nomic-ai/gpt4all v3.10.0 — 在没有 GPU 的个人电脑上运行 LLM

nomic-ai/gpt4all 是一款无需 API 调用、无需 GPU 即可在个人电脑上本地运行 LLM 的应用,最新版本为 v3.10.0。

仓库信息nomic-ai/gpt4all ↗

nomic-ai/gpt4all 是一款无需 API 调用、无需 GPU 即可在个人电脑上本地运行 LLM 的应用,最新版本为 v3.10.0。

GitHub 项目说明: GPT4All: Run Local LLMs on Any Device. Open-source and available for commercial use.

星标
★ 77.4K
复刻
8.3K
语言
C++
许可证
MIT
最新版本
v3.10.0
查看原始来源 ↗在 GitHub 查看 ↗

nomic-ai/gpt4all 是一款可以直接在普通台式机和笔记本电脑上本地运行大语言模型(LLM)的应用。该仓库始于 2023 年 3 月 27 日,GitHub 上的最新版本是 v3.10.0。

它可以在没有 API 调用和 GPU 的情况下使用,提供适用于 Windows、macOS、Ubuntu 的安装包,以及由社区维护的 Flathub 分发版本。在 Python 中,gpt4all 包借助 llama.cpp 实现来加载模型并进行对话,因此有桌面应用和库两种形态。仓库说明栏写道,可以在任何设备上运行本地 LLM,并且是开源的、允许商业使用。代码使用 C++ 编写,许可证为 MIT。GitHub 上显示的 star数为 77354。

不过也有一些无法确认的部分。在各项评分中,只有动量一项被测得较低,为 2.6,而新颖性、技术、质量分数均未给出。本次记录中没有性能数据,也没有与其他本地 LLM 工具的对比基准。也没有说明 v3.10.0 有哪些变化。因此,对想在不用 GPU 的情况下于本地运行 LLM 的人来说,这个仓库可以读作值得首先尝试的选项。但要以此作为性能比较的依据下判断,还为时尚早。