在PC上构建XR应用程序以获取高质量的图形

CloudXR基于NVIDIA RTX GPU和CloudXR SDK,支持从任意地方流传输沉浸式AR、MR或VR体验,无论是数据中心、云端还是边缘。通过NVIDIA GPU虚拟化软件,CloudXR能够实现有效扩展,允许多个用户或租户安全共享GPU资源。领先的NVIDIA CloudXR技术为XR用户提供了一个集NVIDIA GPU性能和无线一体式头戴显示器移动性于一身的两全其美选择。借助NVIDIA CloudXR平台,任意终端设备都能充当展现专业级质量图形的高保真度XR显示器,包括头戴式显示器(HMD)和连接的Windows和安卓设备。

Image of a large hall with tables and lamps.

在创建沉浸式虚拟环境时,用户希望体验尽可能逼真。尽管AIO耳机为VR用户提供了移动性和自由度,但这些耳机并不总是具有足够的功率,能够以精确的物理和照明来渲染逼真的场景。使用云和专业GPU,可以为沉浸式环境生成逼真的图形。NVIDIA CloudXR提供了包括三大功能:

  • 通过连接NVIDIA GPU,增强耳机的VR体验
  • 通过NVIDIA RTX技术,将AI、真实感渲染和精确物理带入VR环境
  • 通过适度的计算在设备上实现高质量的显示,以创造更大的沉浸感

整体而言,在使用NVIDIA RTX GPU的PC上构建XR应用程序可以体验到三大好处。

使用高保真度模型、几何图形和材质

VR环境的跨平台运行并不难做到,但在大多数情况下却无法同时保证高水平的图形保真度。而VR场景中的图形质量对体验性起着至关重要的作用。稍微复杂的场景需要PC级别的性能支持。通过使用GPU创建这些复杂场景,可以将图形体验提升到一个新的层次。NVIDIA RTX提供速度、性能和大容量内存的结合,使VR应用程序能够轻松处理真实感环境的大型复杂模型。

图1 使用NVIDIA CloudXR进行流式沉浸式3D设计和角色创建

Brightline公司的团队已经体验了XR应用带来的好处,NVIDIA RTX使得他们可以花费更多的时间集中在功能和准确性上,可以在一定程度上忽略优化和图形渲染技巧。Brightline公司的首席创意技术师Jason Powers说:“有了NVIDIA CloudXR,我们就能够利用边缘的NVIDIA RTX图形处理器,因此,拥有AIO耳机或其他资源有限设备的用户可以体验一个精确照明的动态世界”。

使用从反射到折射的高质量照明创建图形

在该开发环境下,用户可以使用先进的技术,如NVDIA DLSS和NVIDIA RTXGI创建真实的照明和反射,并通过实时光线跟踪准确的阴影XR环境。使用基于物理的渲染(PBR)着色器和材质,使用注入凹凸映射、环境遮挡和粗糙映射等技术来使细节精细化。在NVIDIA RTX和NVIDIA CloudXR的帮助下,这些XR体验可以从云端流式传输,所以即便在老旧设备上依然可以运行这些体验。

许多开发人员已经使用过这些技术,例如Agile Lens团队依赖于Unreal Engine等一些强大的引擎。在ViveCon公司的一个项目中,Agile Lens为ViveFocus 3 AIO设备构建了一个MetaHuman演示,借助NVIDIA CloudXR,团队轻松实现了高质量的数字人和环境生成。甚至没有人能区分在桌面级计算机本地运行的版本和从云端进行无线传输的版本。

图2 使用Unreal Engine5.1引擎和VR设备运行的Nanite地图比较

开发具有增强AI的基于交互的环境

结合AI和XR使用户像在现实世界中一样在沉浸式环境中进行交互。当今的开发人员正在尝试准确地表现沉浸式环境,并尽可能自然地进行互动,以提高用户的舒适水平和生产率。

Project Aurora是专门搭建的一个AI驱动虚拟援助集成到XR环境的NVIDIA平台,在该平台上,用户可以与真实的AI虚拟人物进行互动,借助人工智能技术,3D角色可以看到、听到、理解和与人交流。通过NVIDIA Omniverse Avatar Cloud Engin(ACE),用户可以轻松定制和部署交互头像。Omniverse ACE是一套基于云计算的人工智能微服务,使得构建和部署智能虚拟助手和大规模数字人变得更加容易,这些互动角色的设计可以提供给游戏、娱乐、交通和酒店等行业,使团队能够增强现有的工作流程并释放新的商业机会。

图3 NVIDIA Omniverse Avatar云引擎使得虚拟角色栩栩如生

未来,基于人工智能的内容将在XR体验中变得更加突出。从合成数据生成到图像识别,人工智能将帮助用户建立身临其境的内容,充满准确的物理细节和逼真的图形。新技术将使人工智能能够更好地理解现实世界的内容,从而能够为虚拟世界创建合成版本。

原文链接:Building XR Applications on PC for High-Quality Graphics | NVIDIA Technical Blog

撰稿人:李维杰

审稿人:罗胜舟


登录用户可以查看和发表评论, 请前往  登录 或  注册
SCHOLAT.com 学者网
免责声明 | 关于我们 | 用户反馈
联系我们: