NVIDIA与SMI共同创造创新渲染技术,改进VR画质

 行业动态     |      2022-07-19 11:26:13    |      沥拓


在你的边缘视觉中,少即是多。

NVIDIA利用研究人员SMI最新的眼动跟踪技术开发了符合人眼生理的新技术,以提高人眼生理水平VR视觉保真度。

7月24-28日在加州阿纳海姆举行SIGGRAPH在计算机图形年会上,我们将播放简单的演示内容。戴上一个集眼动跟踪技术于一体的头戴式显示器,用黑板和桌椅看一看虚拟教室,看起来不错,对吧

现在盯着老师的椅子,关掉眼动跟踪功能,然后转头再看一遍。此时,椅子周围区域的图片只会被仔细渲染。在你的边缘视觉中呈现的是一个不那么详细的图像质量,但你无法区分它。

这种基于感知的全新注视渲染技术不仅仅是一个吸引人的把戏。它将在最重要的地方使用计算资源,然后让开发人员创造一个更加身临其境的虚拟环境。

哪些特点让NVIDIA注视点渲染技术与众不同

人类视觉可以认为有两个部分:中央凹面和边缘视觉。视网膜上的一小块叫做中央凹面的区域被感光锥细胞密集覆盖,以提供清晰细致的视觉;边缘视觉的视觉范围很大,但不是很敏锐。

NoFoveation

中央凹注效果模糊的图像

这种敏感性差异为视点渲染系统的发展带来了灵感。该系统将跟踪客户的视点,并使用较低的图像质量来渲染边缘场景,以提高图形性能。然而,如果视点渲染过多,将看到明显的人类痕迹,如闪烁、模糊或“视线狭小”感。

使用他们的研究人员SMI眼动跟踪原型头戴式显示器(HMD),仔细做一个感知研究,如果你想了解每个人VR在环境的边缘视觉中会看到什么。随后,研究人员利用这些观点设计了一种新的渲染算法,可以达到更好的中央凹注效果或减少渲染工作,而不会显著降低视觉质量。

Foveatedimage

中央凹注效果模糊的图像

由AnjulPatney,JoohwanKim和MarcoSalvi带领的NVIDIA研究团队发现了当前的注视点渲染技术

因此,团队试图理解人类在边缘视觉中选择了哪些细节(如颜色、对比度、边缘和动作)。

例如,他们发现,如果中央凹面注视效果过于明显,传统方法用于在边缘视觉中渲染低分辨率图像,会产生分心的闪光图像。他们还发现,仅仅在人眼周围区域选择的图像的模糊效果会降低对比度,导致视野狭窄。

Imagewithcontrastpreservingfoveation.

保留中央凹注效果图像的对比度。

然而,在结合模糊和保留对比度的前提下,他们发现,在看到注视点和非注视点图像之间的差异之前,客户对模糊的容忍度将增加两倍。

Patney说:“这是很重要的,因为VR在环境中,所需的帧率和分辨率比过去更快、更高。”

眼动跟踪技术的潜力

如果没有德国计算机视觉应用程序开发商SMI在我们的全力支持下,我们无法完成这个演示。企业的技术原理是用红外光包覆盖每个头戴式显示镜头的边缘。再次匹配SMI软件,使计算机能够以超快的速度准确检测人眼的方向。

只有注视点渲染技术SMI眼动跟踪VR技术应用项目之一。该技术还可用于个人显示屏矫正、无障碍自然互动、社会存在感和新的分析见解。