系統效能、高效的基礎設施擴展能力，以及持續的軟體最佳化，是決定人工智慧（AI）推論經濟效益的關鍵因素。更高的系統效能代表能夠生成更多詞元，從而帶來更高營收。高效的擴展能力代表隨著硬體增加，輸送量也能成比例成長，以更少資源大規模服務使用者。持續最佳化則代表能從基礎設施投資中創造更多價值。
平台通用性與全面最佳化
這三者的基礎在於平台通用性。同一套基礎設施可執行任何模型與工作負載，從訓練到推論、從推薦到推理，以及從語言到影片處理，皆能維持高利用率。NVIDIA平台專為全面最佳化上述能力而打造，在2026年9月16日公布的MLPerf Inference v6.1結果便充分展現這點：
- NVIDIA Vera Rubin NVL72系統首度亮相即展現領先效能：在首次MLPerf Inference預覽測試結果中，NVIDIA Vera Rubin NVL72的輸送量較GB300 NVL72提升高達3.7倍。
- NVIDIA GB300 NVL72展現領先的擴展效率：一項橫跨四座GB300 NVL72機架、共使用288顆GPU的測試配置，達成99%的擴展效率，其輸送量相較單一機架基準近乎呈現線性成長。
- 持續的軟體最佳化推動效能提升：NVIDIA在MLPerf Inference v6.1提交結果中的軟體最佳化，相較於v6.0版本，效能最高提升1.6倍。v6.1提交截止後，最佳化工作仍持續進行，進一步帶來效能提升。
Vera Rubin NVL72效能突破
NVIDIA針對MLPerf Inference v6.1測試套件中，兩項最具挑戰性的基準測試DeepSeek-R1與Qwen3-VL，提交Vera Rubin NVL72的預覽測試結果。在離線、伺服器及互動情境下，Vera Rubin NVL72採用vLLM與NVIDIA Dynamo開源推論框架，在Qwen3-VL上的輸送量最高達GB300 NVL72的3.7倍。在DeepSeek-R1上，採用NVIDIA TensorRT-LLM函式庫的輸送量則最高達GB300 NVL72的2.5倍。
這項效能代表每座Vera Rubin NVL72機架所產生的詞元數量、服務的使用者數量，以及創造的營收，均遠高於GB300 NVL72機架，同時還能降低每詞元成本。這些成果反映硬體與軟體的全端協同設計，Vera Rubin增強的Tensor Core與Transformer Engine可加速推論的預填充與解碼階段，而NVFP4精度則能降低模型權重、注意力與KV快取的記憶體占用量。
擴展效率與機架規模運作
擴展效率是衡量新增GPU能如何有效轉化為輸送量成長的指標。NVIDIA的DeepSeek-R1提交結果從單座GB300 NVL72機架的72顆GPU，擴展至四座機架的288顆GPU，並在離線情境中達到99%的擴展效率。GB300 NVL72亦在WAN 2.2文字轉影片基準測試中展現機架規模效率，達到每秒生成0.65部720p影片，輸送量達單一節點的9倍。
多元生態系與邊緣應用
除了NVIDIA Grace Blackwell與Vera Rubin NVL72平台的結果外，NVIDIA亦在全新推出的Edge-Agentic基準測試中，提交Jetson AGX Thor採用NVIDIA TensorRT Edge-LLM執行Qwen3.6-27B的結果。此次測試獲得19家合作夥伴廣泛參與，包含華碩、Azure、思科、CoreWeave、Crusoe、戴爾科技集團、富士通、技鋼科技、慧與科技、英業達、Lambda、神雲科技、Nebius、Oracle Cloud Infrastructure、雲達科技、Red Hat、ScitiX、美超微與緯穎。
玩家總結
NVIDIA在MLPerf Inference v6.1測試中首度展現Vera Rubin NVL72系統的強悍實力，其輸送量較GB300 NVL72提升高達3.7倍，並在多座機架配置下達成99%的卓越擴展效率。結合軟體最佳化與全端協同設計，該平台不僅大幅降低每詞元成本，更為從邊緣裝置到大規模AI工廠的各種工作負載奠定高效能基礎。
延伸閱讀：
Meta宣布Threads家長監護工具正式在台灣上線 打造安全健康的青少年數位體驗
鄭智善把「偷飯賊」送來台灣！foodpanda獨家開吃名廚限定料理
LG深化「懂你的AI」智慧生活 串聯產品、服務與在地體驗 持續拓展科技價值
Red Bull King of the Air唯一資格賽在新竹！全球風箏衝浪好手空中激戰、競逐南非總決賽門票
