kserve/kserve v0.21.0 是标准化分布式推理平台的最新版本,它把 Kubernetes 上的生成式 AI 与预测型 AI 推理整合到同一个平台中统一部署。该项目使用 Go 编写,以 Apache-2.0 许可证开源,仓库创建于 2019 年 3 月 27 日。README 将平台的核心用途描述为:在一个集群内以可扩展的方式运行来自多种 AI 框架的模型。
所支持的功能展现了这个平台的覆盖范围。其中包括兼容 OpenAI 的推理协议、GPU 加速、模型缓存、自动扩缩容和流量控制,还支持在没有使用量时缩减资源的 scale-to-zero,以及模型解释和监控。它集成了 vLLM 和 llm-d 以支持大规模服务。仓库被记录为在多个组织中使用的 CNCF 孵化中项目,星标数为 6136。其结构聚焦于需要在单个集群中同时运行生成式和预测式、多种框架的环境。
不过,所提供的记录中没有 v0.21.0 的发布说明和变更清单。本次版本新增了什么、改动了什么,仅凭该记录无法确认。也没有给出性能基准测试或采用案例数据;记录的评分中只有势头(momentum)项偏低,为 2.1(10 分制),而新鲜度、技术和质量各项均为空。功能范围和许可条件相对清晰,但 KServe 的实质性变化和实际使用中的表现,仅凭本次发布记录尚难以下结论。