要是少了準確性，生成式AI人工智慧應用程式便失去了它的價值，有時甚至價值是負的，而精確度的根源在於資料。為了協助開發人員有效率地取得最佳的專屬資料，為其AI應用產生有著豐富知識的回應內容，NVIDIA於今日發表NVIDIA NeMo Retriever NIM推論微服務。NeMo Retriever NIM微服務加上今日宣布適用於Llama 3.1模型集合的NVIDIA NIM推論微服務，可讓企業擴展至代理式AI工作流程。而在此流程中，AI應用程式只需最少的人為干預或監督即可精確運作，同時提供最高精確度的檢索增強生成（RAG）。
NeMo Retriever可讓組織將自訂模型無縫連接至各種業務資料，並且使用RAG為AI應用程式提供高準確度的回應。從本質上講，生產就緒型的微服務能夠檢索出高度精確的資訊，以建立極為精準的AI應用程式。舉例來說，NeMo Retriever可為開發人員提高模型精確度與吞吐量，以建立AI代理程式與客服聊天機器人、分析安全漏洞，或是從複雜的供應鏈資訊中提取重要見解。NIM推論微服務能夠做到高效能又易於使用的企業級推論作業開發人員有了NeMo Retriever NIM微服務，便能從所有這些功能中獲益，而這一切都在他們的資料大力支援下方能達成。
這些全新的NeMo Retriever嵌入與重新排序NIM微服務現已全面推出：
- NV-EmbedQA-E5-v5，一種針對文字問答檢索進行最佳化的熱門社群基礎嵌入模型。
- NV-EmbedQA-Mistral7B-v2，一種熱門的多語言社群基礎模型，針對高精準回答問題的文字嵌入進行微調。
- Snowflake-Arctic-Embed-L，經過最佳化調整的社群模型。
- NV-RerankQA-Mistral4B-v3，一種針對高精準回答問題的文字重新排序進行微調的熱門社群基礎模型。
它們加入了可透過NVIDIA API目錄輕鬆存取的NIM微服務集合。
嵌入與重新排序模型
NeMo Retriever NIM微服務包含嵌入與重新排序這兩種模型，並且提供開放與商業服務，以確保透明度與可靠性。
▲適用於Llama 3.1使用NVIDIA NIM微服務的RAG管線範例，以及針對客服AI聊天機器人應用程式使用NeMo Retriever嵌入與重新排序NIM微服務的範例。
嵌入模型可將文字、圖片、圖表和影片等多元資料轉換為數值向量，並且存在向量資料庫中，同時擷取其意義和細節。嵌入模型比傳統的大型語言模型（LLM）的速度更快、運算成本也更低。重新排序模型會擷取資料和查詢，然後按照資料與查詢的相關性對資料進行評分。這類模型在顯著提高精確度之際，計算上卻又比嵌入模型複雜和更慢。
NeMo Retriever兼採兩方之長。開發人員使用嵌入NIM來檢索的廣泛資料網，然後使用重新排序NIM來修剪結果的相關性，可以透過NeMo Retriever建立一個管道，確保為企業提供最有用也最精準的結果。開發人員透過NeMo Retriever，便能使用最先進的開放式商業模型來建立有著最高準確度的文字問答檢索管道。與其他模型相比，NeMo Retriever NIM微服務為企業在回答問題時提供不準確答案的比例減少了30%。
▲NeMo Retriever嵌入NIM，以及嵌入加上重新排列NIM微服務的效能與詞彙搜尋及替代嵌入器的比較。
熱門使用案例
從RAG和AI代理解決方案到資料驅動的分析等，NeMo Retriever能夠支援多種AI應用。微服務可用於建立智慧聊天機器人，提供準確及符合語境脈絡的回應內容。它們可協助分析海量資料以發現安全漏洞。它們可以協助從複雜的供應鏈資訊中擷取重要見解。它們還可以提升AI零售購物顧問的功能，提供自然和量身打造的購物體驗，以及其他任務。
針對這些使用案例的NVIDIA AI工作流程為開發有著生成式AI支援的技術，提供了一個簡單且給予支援的起點。
數十個NVIDIA資料平台合作夥伴採用NeMo Retriever NIM微服務，以提升其AI模型的精確度與吞吐量。
DataStax已將NeMo Retriever嵌入NIM微服務與該公司的Astra DB與Hyper-Converged平台進行整合，此舉使得DataStax能夠為客戶帶來精確、生成式AI增強的RAG功能，並且加快產品上市時間。
Cohesity將NVIDIA NeMo Retriever微服務與該公司的AI產品Cohesity Gaia進行整合，協助客戶透過RAG將資料用在支援具備洞察力及變革性的生成式AI應用程式上。
Kinetica將使用NVIDIA NeMo Retriever開發LLM代理程式，這款代理程式能以自然語言與複雜的網路互動，以便更快速地回應中斷或漏洞情況，即時將洞察力變成行動。
NetApp正與NVIDIA合作，將NeMo Retriever微服務連結至該公司智慧型資料基礎架構上的EB級龐大資料。每個NetApp ONTAP客戶都能流暢「與資料對話」，存取專屬的商業見解，而無需犧牲資料的安全性或隱私性。
包括Accenture、Deloitte、Infosys、LTTS、Tata Consultancy Services、Tech Mahindra和Wipro在內的NVIDIA全球系統整合商合作夥伴，以及服務交付合作夥伴Data Monsters、EXLService（Ireland）Limited、Latentview、Quantiphi、Slalom、SoftServe和Tredence正在開發各項服務，以協助企業將NeMo Retriever NIM微服務加入其AI管道。
搭配其他NIM微服務使用
NeMo Retriever NIM微服務可以搭配NVIDIA Riva NIM微服務使用，就像是為各產業的語音AI應用程式助一臂之力，以提供更好的客戶服務，還有讓數位人類更加活靈活現。即將推出的Riva NIM微服務新模型有適用於文字轉語音應用程式的FastPitch與HiFi-GAN；適用於多語言神經機器翻譯的Megatron，以及創紀錄的NVIDIA Parakeet自動語音辨識模型系列。
NVIDIA NIM微服務可以一起或單獨使用，為開發人員提供模組化的方式來建立AI應用程式。這些微服務還能跟社群模型、NVIDIA模型或使用者自訂的模型進行整合，無論是在雲端、內部部署或混合環境中，都能為開發人員提供更多彈性。NVIDIA NIM微服務可於ai.nvidia.com網站取得。企業可透過NVIDIA AI Enterprise軟體平台，利用NIM在生產環境中部署AI應用程式。
NIM微服務可在客戶常用的加速基礎架構上執行，包括來自Amazon Web Services、Google Cloud、Microsoft Azure和Oracle Cloud Infrastructure的雲端執行個體，以及包括思科、戴爾科技集團、慧與科技、聯想和美超微等全球伺服器製造合作夥伴所推出的NVIDIA認證系統NVIDIA認證系統。
NVIDIA開發人員計畫會員很快就可以免費使用NIM，在他們常用的基礎架構上進行研究、開發與測試。NVIDIA將於7/28至8/1參加在美國丹佛舉行的SIGGRAPH電腦繪圖研討會，與NVIDIA一同了解生成式AI與加速運算領域的最新發展。
延伸閱讀：
雲端、手遊、模擬器遊戲通吃《Logitech G Cloud雲端遊戲掌機》全攻略評測
萬代南夢宮娛樂《太鼓之達人 咚咚雷音祭》與電視動畫《航海王》展開合作
潮味決攜《楓之谷M》跨界合作！期間限定推出聯名套餐、周邊
Ubisoft開放世界遊戲《星際大戰：亡命之徒》開放預購8/30推出
