NVIDIA於7/23宣布推出新的NVIDIA AI Foundry服務和NVIDIA NIM 推論微服務，透過今天同樣推出的Llama 3.1開放模型系列，為全球企業增強生成式AI人工智慧能力。借助NVIDIA AI Foundry，企業和國家現在可以使用Llama 3.1和NVIDIA軟體、運算和專業知識為其特定領域的產業用例創建客製化「超級模型」。企業可以使用專有資料以及Llama 3.1 405B和NVIDIA Nemotron Reward模型產生的合成資料來訓練這些超級模型。
NVIDIA AI Foundry由NVIDIA DGX Cloud AI平台驅動，該平台是與世界領先的公有雲共同設計的，可為企業提供重要的運算資源，並可根據AI需求的變化輕鬆擴展。這些新產品推出正值企業以及制定主權AI策略的國家都希望利用特定領域的知識來建立客製化的大型語言模型，以用於反映其獨特的業務或文化的生成式AI應用。
NVIDIA創辦人暨執行長黃仁勳表示：「Meta公開推出的Llama 3.1模型代表了全球企業採用生成式AI的關鍵時刻。Llama 3.1為每個企業和產業打開了建構最先進的生成式人工智慧應用的閘門。NVIDIA AI Foundry已全面整合Llama 3.1，並準備好協助企業建置和部署客製化Llama超級模型。」
Meta創辦人暨執行長馬克祖克伯（Mark Zuckerberg）表示：「全新的Llama 3.1系列模型為開源AI的超級重要一步。企業透過NVIDIA AI Foundry可以輕鬆創造和客製大家最想要的先進的AI服務，並透過NVIDIA NIM部署。我很高興能把它交付到大家的手中。」
為了增強用於生產AI的Llama 3.1模型的企業部署，現在可從ai.nvidia.com下載適用於Llama 3.1模型的NVIDIA NIM推論微服務。NIM微服務是在生產環境中部署Llama 3.1模型的最快方式，與不使用NIM運行推理相比，吞吐量可提高2.5倍。企業可以將Llama 3.1 NIM微服務與全新NVIDIA NeMo Retriever NIM微服務配對，為AI copilots、助理和數位人分身創建最先進的檢索管道。
埃森哲率先透過AI Foundry為企業客製化Llama超級模型
全球專業服務公司Accenture率先採用NVIDIA AI Foundry，利用Accenture AI Refinery 框架建立客製化Llama 3.1模型，既供其自身使用，也提供尋求能夠部署反映其文化、語言和產業的生成式AI應用程式的客戶使用。
埃森哲董事暨執行長朱莉史威特（Julie Sweet）表示：「世界領先的企業看到了生成式AI如何改變每個產業，並渴望部署由客製化模型驅動的應用程式。埃森哲一直於內部AI應用中使用NVIDIA NIM推論微服務，現在透過NVIDIA AI Foundry，我們可以幫助客戶快速創建和部署客製化Llama 3.1模型，驅動為他們的業務目標設計的變革性AI應用。」
NVIDIA AI Foundry提供端對端服務，可快速建立客製化超級模型。它將NVIDIA軟體、基礎設施和專業知識與NVIDIA AI生態系的開放社群模式、技術和支援相結合。透過NVIDIA AI Foundry，企業可以使用Llama 3.1模型和NVIDIA NeMo平台建立客製化模型。NVIDIA NeMo平台包括有在Hugging Face Reward Bench上排名第一的NVIDIA Nemotron-4 340B Reward模型。
一旦客製化模型建立完成，企業可以在其偏好的雲端平台和來自全球伺服器製造商的NVIDIA認證系統上，使用其偏好的MLOps和AIOps平台，創建NVIDIA NIM推論微服務於生產環境中來運行這些模型。NVIDIA AI Enterprise專家和全球系統整合商夥伴與AI Foundry客戶合作，加速從開發到部署的整個流程。
NVIDIA Nemotron推動先進模型客製化
需要額外訓練資料來創建特定領域模型的企業，可以同時使用Llama 3.1 405B和Nemotron-4 340B生成合成資料，從而在創建客製化Llama超級模型時提高模型準確性。擁有自有訓練資料的客戶，可以使用NVIDIA NeMo客製化Llama 3.1模型，以進行領域自適應預訓練（DAPT），以進一步提高模型準確性。
NVIDIA和Meta也合作提供了Llama 3.1的蒸餾方案（Distillation Recipe），開發人員可以藉此構建更小的客製化Llama 3.1模型以用於生成式AI應用。這使企業能夠在更廣泛的加速基礎設施上運行Llama驅動的AI應用，例如AI工作站和筆記型電腦。
業界領導企業藉助NVIDIA和Llama增強AI能力
醫療保健、金融服務、零售、運輸和電信領域的公司已經開始使用NVIDIA NIM微服務來支援Llama。首批使用Llama 3.1新版NIM微服務的企業包括沙烏地阿拉伯國家石油公司、AT&T、Uber和其他產業領導者。
Llama 3.1多語言大型語言模型集群由超過16,000個NVIDIA H100 Tensor Core GPU訓練而成，並針對NVIDIA加速運算和軟體進行了最佳化—無論是在資料中心、雲端還是配備NVIDIA RTX GPU的本地工作站或配備GeForce RTX GPU的電腦上。這些生成式AI模型包括8B、70B和405B參數規模的模型。
全新NeMo Retriever RAG微服務提升準確性和效能
使用新的NVIDIA NeMo Retriever NIM推論微服務進行檢索增強生成（RAG），組織可以在生產環境中部署客製化的Llama超級模型和Llama NIM微服務時，提升回應準確性。結合Llama 3.1 405B的NVIDIA NIM推論微服務，NeMo Retriever NIM微服務為RAG管線提供最高的開源和商業文本問答檢索準確性。
企業生態系統準備支援Llama 3.1和NeMo Retriever NIM部署
數百家提供企業、資料和基礎設施平台的NVIDIA NIM夥伴，現在可以將這些新微服務整合到他們的AI解決方案中，為超過500萬名開發人員和19,000家新創公司組成的NVIDIA社群增強生成式AI。NVIDIA AI Enterprise現已提供對Llama 3.1 NIM和NeMo Retriever NIM微服務的生產支援。NVIDIA開發者計劃的成員很快將能免費獲得NIM微服務，以便在其偏好的基礎設施上進行研究、開發和測試。
延伸閱讀：
AI時代必備AI筆電 ASUS Vivobook S 14 OLED 開箱評測
LINE Pay灑紅包送點數！指定飯店與美食抽999點、618電商滿額贈300點
《決勝時刻：黑色行動6》多人遊戲公開Beta測試 8/31連續兩個周末搶先體驗
巨型迷你潮流鄉村人MINI Countryman C玩樂科技試駕
