Groq 3 LPX 加入 Vera Rubin,瞄准长上下文超低延迟推理

NVIDIA Generativ8 小时前

NVIDIA 推出 Groq 3 LPX 推理加速器

NVIDIA Groq 3 LPX 是面向 NVIDIA Vera Rubin 平台的交互式 AI 推理加速器,重点针对需要高交互性和长上下文处理能力的 AI 推理场景。

Vera Rubin 平台的核心系统之一是 Vera Rubin NVL72。NVIDIA 表示,该系统面向广泛的 AI 工作负载,在吞吐量与交互性能之间兼顾,可运行从小型到大型模型,以及开放和闭源模型。

Groq 3 LPX 的定位

Groq 3 LPX 并非作为独立平台出现,而是与 Vera Rubin NVL72 配合使用。按照 NVIDIA 的产品定位,它将进一步扩展 Vera Rubin 平台的推理能力,重点提升长上下文条件下的高速交互体验。

从目前披露的信息看,NVIDIA 正在把 Vera Rubin 打造成覆盖不同模型规模和推理需求的平台,而 Groq 3 LPX 则承担其中偏向交互式 AI 推理加速的角色。

目前抓取内容仅披露了产品定位和平台关系,尚不足以进一步确认具体性能指标、基准测试结果以及不同工作负载下的实际提升幅度。

评论

请登录后发表观点

暂无数据