Devotd Github
新发现推理与服务

mudler/localai v4.11.0 — 本地模型 API 引擎

了解 mudler/localai 的本地模型 API 功能以及其最新公开版本 v4.11.0。

仓库信息mudler/localai ↗

了解 mudler/localai 的本地模型 API 功能以及其最新公开版本 v4.11.0。

GitHub 项目说明: LocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.

星标
★ 49.8K
复刻
4.5K
语言
Go
许可证
MIT
最新版本
v4.12.0
查看原始来源 ↗在 GitHub 查看 ↗

mudler/localai 是一个开源 AI 引擎,可在多种硬件上运行 LLM、视觉、语音、图像和视频模型,并通过 API 提供服务。最新公开版本为 v4.11.0。所提供的记录没有列出该版本中新增或变更的条目,因此除版本号之外,无法确认其他改动。

该项目是面向希望在自己的基础设施上运行模型的用户的自托管引擎。据 README 所述,它可以在没有 GPU 的情况下运行模型,并且只加载请求所需的后端。它在多个后端上提供与 OpenAI、Anthropic、ElevenLabs API 兼容的接口。设备端与边缘部署,以及后端的分布式和 P2P 运行,也作为服务端功能被介绍。其内置 AI 代理支持工具使用、RAG(检索增强生成)、MCP 和技能,并具备 API 密钥认证、按用户配额和基于角色的访问控制。项目说明其设计旨在让数据不离开用户的基础设施。

该仓库使用 Go 语言编写,采用 MIT 许可证。但所提供的资料中没有 v4.11.0 的变更清单,也没有性能测量数据。因此,这个版本有哪些改进,或者它在各类硬件上的表现如何,仅凭该记录无法判断。可以确认的仅在于:这是一个被设计为在自行运营的环境中通过 API 提供多种模型类型和后端的引擎。