NVIDIA (輝達) 8/2宣布於SIGGRAPH大會首度亮相在虛擬實境環境Holodeck計畫 (Project Holodeck) 中,利用Isaac Lab模擬器訓練出的機器人,並同時推出VRWorks 360 Video SDK,協助全球各地內容創作者以即時串流方式向觀眾播放高畫質360度全景影片。現場與會來賓不僅能在真實生活與Isaac機器人輪流推倒骨牌,還能戴上VR頭盔,透過Holodeck進入模擬世界進行遊戲,藉此展現Isaac機器人能透過現實或虛擬世界的互動進行學習,利用AI不斷自我修正與更新。
此外,NVIDIA於Holodeck平台上展出瑞典超跑品牌Koenigsegg旗下車款Regera,其虛擬車模型由超過5000萬個多邊形組建而成。現場來賓能變換車色、移動透視環觀看零件並探索跑車模型的細節,同時,各展間的參觀者能在共用的虛擬空間中看見彼此並相互交談。NVIDIA也於現場展出最新推出的VRWorks 360 Video SDK,利用Z-CAM V1 PRO與Quadro P6000繪圖卡製作現場360度即時全景影片串流,讓參觀者能見識實機運行的360度影片拼接功能。
親身體驗Isaac與Project Holodeck
NVIDIA Isaac是一款以 Isaac Lab 強大模擬環境進行訓練的AI機器人,其能幫助機器人學習精細的人機互動工作,如倒咖啡、照顧老年人、動手術以及玩骨牌等。而Project Holodeck則為能進行精準物理模擬並同時容納多個使用者的虛擬實境協作平台,讓人類進入模擬世界並以真實生活中的方式在VR環境中與機器人進行互動、調校以及測試,藉此研究人員便能以更安全、快速、低成本的方式將它們部署在真實世界中。
現場展示兩種技術如何共同運作,如在骨牌遊戲中,NVIDIA利用深度學習結合電腦視覺,讓機器人感知人類的存在並做出回應,第一層類神經網路會根據所擷取的骨牌影像辨識遊戲進行狀態,並判斷各種符合規則的走法,接著資料傳給另一個類神經網路,利用增強學習技術判斷該選擇哪片骨牌以及置於何處。
NVIDIA開啟未來即時360度影片
最 VRWorks 360 Video SDK中的360度全景拼接技術是即時製片與現場轉播產業的大躍進,不僅能加速全景影片拼接流程還能維持高品質影像畫素,讓製作公司、相機廠商與app程式開發者能將360度影片拼接SDK整合到即時轉播與後製作業。
NVIDIA與率先將專業即時VR攝影機帶到大眾市場的Z CAM合作,將NVIDIA VRWorks 360度影片SDK整合到新款V1 Pro機種以及WonderStitch和WonderLive拼接程式。預計於8月7日開放下載的VRWorks 360 Video SDK讓開發者能擷取、拼接和串流360 度影片。在即時與後製模式下都支援360度單聲道 與立體聲作業流程,VRWorks將帶來:
- 透過4K攝影機進行即時與離線影片拼接
- GPU加速的影片解碼、校正、拼接及編碼
- 360度投影至立體地圖與全景模式
- 支援GPUDirect for Video技術 ,以低延遲模式輸入影片
- 支援32個影片串流
延伸閱讀:
G-SHOCK & BABY-G 全新丹寧對錶 Denim Series 單寧牛仔風格迎接浪漫七夕情人節
錶現速度的巔峰之作!Hublot Techframe Ferrari 70週年陀飛輪計時碼錶限量抵台