下一個人工智慧（AI）推論時代，不會由單一突破性的晶片、網路或系統所定義，而是取決於AI工廠的每一層架構如何協同運作。正因如此，NVIDIA正擴展Vera Rubin NVL72，為代理型系統提供高速詞元生成能力。
NVIDIA Groq 3 LPX實現破紀錄的詞元生成速度
NVIDIA宣布，NVIDIA Vera Rubin機架級系統配備的NVIDIA Groq 3 LPX，現已全面進入量產。在執行開源代理型模型Gemma 4 31B的Artificial Analysis基準測試中，NVIDIA Groq 3 LPX針對代理型系統至關重要的10萬詞元長情境使用案例，每秒可輸出3,400個詞元，速度較最接近的替代平台快4倍。
全球產業合作夥伴積極導入Vera Rubin平台
全球產業合作夥伴正陸續採用Vera Rubin平台解決方案。SpaceXAI宣布將採用NVIDIA Vera CPU，驅動其下一代代理型AI。CoreWeave已在生產環境部署Spectrum-X Multiplane，透過多組平行交換器連接NVIDIA Vera Rubin機架，打造高頻寬、扁平化且無損的AI網路。Nebius則成為首家採用NVIDIA Groq 3 LPX的AI雲端服務供應商。
極致協同設計優化效能與降低詞元成本
極致協同設計是NVIDIA平台背後的核心設計原則。Vera Rubin專為加速推論而打造，讓代理能針對日益增長的長序列進行推理。NVIDIA Spectrum-X Ethernet可在AI工廠間高效傳輸龐大的資料流，而NVIDIA Groq 3 LPX則專為超高速詞元生成而打造，兩者共同展現NVIDIA如何在單一、整合的AI工廠架構中，最佳化AI流程的每個階段。
- 支援每秒輸出3,400個詞元，速度較替代平台快4倍
- 提供極致的長情境處理能力與低延遲推論架構
- 透過Spectrum-X Multiplane實現高頻寬且無損的AI網路擴展
- 整合Vera CPU支援大規模代理型AI工作負載
打造具備彈性與高效能的全新AI基礎設施
隨著AI從訓練階段轉向推理與代理型應用，推論已成為新的技術前沿。NVIDIA Groq 3 LPX與Vera Rubin NVL72平台協同設計，協助企業與雲端服務供應商提供代理型應用所需的低延遲、極高輸送量與可擴展的經濟效益，引領全球步入智慧化與自動化的全新時代。
玩家總結
本次NVIDIA推出全面量產的Groq 3 LPX與Vera Rubin NVL72平台，透過極致協同設計與突破性的詞元生成速度（每秒3,400個詞元），徹底解決了代理型AI在長情境與解遲延遲上的痛點。結合SpaceAI、CoreWeave與Nebius等大廠的實際導入，這套全新的硬體與網路基礎設施將大幅提升即時互動體驗，引領AI工廠迎向下一個高速發展的黃金時代。
延伸閱讀：
台北凱撒迎中秋推限定住房專案！入住送「龍鳳堂」聯名月餅、再享「老井極上燒肉」專屬禮遇
把日常祝福穿上腳！adidas推出全新ADIZERO EVO SL TAIPEI台北城市限定款
Q Burger世界風味賞十週年「港澳站」人氣回歸！帶骨豬扒、咖哩魚蛋、冰火菠蘿油一次吃遍
Hyundai深化智慧售後服務、全國服務技能競賽導入AI！9月起五大據點推數位點餐
