NVIDIA於2026年8月24日宣布，互動式AI推論加速器NVIDIA Groq 3 LPX已全面進入量產。作為NVIDIA Vera Rubin平台的延伸，Groq 3 LPX透過超高速詞元生成，大幅提升人工智慧推論效能，為需要高度即時回應的代理系統提供強大支援，並由Nebius率先採用。
專為代理型AI打造的超高速詞元生成
代理系統可能會在數百或數千個推論步驟中產生大量詞元，因此更快的詞元生成速度對於代理而言至關重要，使其得以即時進行推理、採取行動並完成複雜任務。Vera Rubin NVL72系統為各類AI工廠提供最靈活的訓練與推論平台。NVIDIA Groq 3 LPX藉由大幅提高詞元生成速率，進一步提升Vera Rubin NVL72的推論效能，並針對需要處理大量情境的工作負載提供頂級使用者體驗，讓代理能以極致速度執行任務。
打破紀錄的基準測試表現
NVIDIA Groq 3 LPX正不斷拓展AI推論的前沿。在執行開源代理型模型Gemma 4 31B的Artificial Analysis基準測試中，Groq 3 LPX在對AI代理系統至關重要的10萬詞元情境下，達到每秒輸出3,400個詞元，創下該模型歷來最快的效能紀錄。Groq 3 LPX能將原本需要數小時的程式設計等代理任務縮短至數分鐘完成，針對AI代理與對延遲高度敏感的工作負載，其回應速度較最接近的替代平台快達4倍。
Groq 3 LPX：互動式AI推論加速器規格與亮點
- 運算亮點：專為提升Vera Rubin的互動性與極低延遲詞元生成而打造。
- 效能表現：在Gemma 4 31B模型測試中，10萬詞元情境下達到每秒輸出3,400個詞元。
- 速度優勢：針對延遲敏感工作負載，回應速度較最接近替代平台快達4倍。
- 首發夥伴：由AI雲端服務供應商Nebius率先採用，並整合至Nebius Token Factory。
- 硬體協同：搭載NVIDIA BlueField-4 DPU、Vera CPU機架與Spectrum-6 SPX乙太網路。
AI雲端與產業生態系高度支援
AI雲端正逐漸成為推動AI經濟發展的引擎，讓企業與開發人員能夠運用先進的基礎設施進行大規模推論。領先的AI雲端服務供應商Nebius計畫將NVIDIA Groq 3 LPX導入其生產級推論平台Nebius Token Factory，讓開發人員得以運用極致的詞元生成速度，打造反應極為靈敏的AI代理應用。繼Nebius之後，專為AI推論打造的雲端Groq也計畫成為NVIDIA Groq 3 LPX的首批採用者之一。
玩家總結
NVIDIA Groq 3 LPX的全面量產與Vera Rubin平台的結合，透過世界級的超高速詞元生成，徹底解決了代理型AI在多步驟推理中對延遲與速度的極致需求。這項突破不僅大幅縮短了複雜代理任務的執行時間，更為全球AI雲端服務與企業應用帶來前所未有的即時回應能力與高效能運算體驗。
延伸閱讀：
TikTok創作者翻轉傳統民俗！以當代美學與正向觀點傳承在地文化
英特爾於Hot Chips 2026發表代理式AI三大核心架構：從機櫃級系統到邊緣裝置全面佈局
白客、辛柏青領銜主演《大風殺》打造西部風格警匪大逃殺
《超人力霸王．起源》試片口碑爆棚！是枝裕和跨海對話吉勒摩戴托羅揭密60年傳奇
