2021.06.01

【微分享】索尼黑科技——眼感应光场显示技术

还原创作者真实意图,为用户呈现3D影像

     “建立在坚实技术基础上的创意娱乐公司”索尼,始终以“人”为本,在前沿技术领域不断探索进取。后疫情时代,索尼黑科技正式确立了3R战略(真实(Reality)、实时(Real-time)和远程(Remote),致力于为内容创作赋能,共同开创前所未有的娱乐表达方式。 “索尼黑科技”专栏将定期为您介绍最具代表性的索尼技术创新成果,探索如何“用创意和科技的力量感动世界”。本期将为您带来的是——眼感应光场显示技术。

       3D显示器在各种应用中都有很大的潜力,比如展厅展示和娱乐场所。然而,传统的3D显示器存在内容分辨率低、佩戴3D眼镜的烦扰、3D晕动症等问题。索尼开发的眼感应光场显示器(ELFD)*是一种有可能解决这些问题的新型3D显示设备。通过与创作者共同合作,不仅开发内容,同时开发制作环境,索尼希望能在广泛的领域普及该显示系统。

受访人资料
受访人资料

用索尼独有的技术提供 "空间现实体验"

 

Q:ELFD是什么样的显示器?

河村万:ELFD是一种可以让您看到物体3D体积空间的显示器,就像它们就在您面前一样。即使从不同的角度看,真实感也是一样的。它可以让您用肉眼体验高清晰度的3DCG(3D计算机绘图)图像,我们期待这项技术能广泛应用于3DCG创造者的显示器、展厅展示、娱乐等领域。例如,在制作遥控器等小型产品的模拟图之前,可以先用ELFD检查体积、质感和外观。

ELFD显示器原型机
ELFD显示器原型机

Q:使用了哪种技术?

横山一树:ELFD采用了索尼的三项专利技术。高速、高精度、实时传感技术;实时光场渲染技术;高精度3D显示技术。

第一,高速、高精度、实时传感技术。为了让观看者感觉到物体是真实存在的,需要根据用户眼睛的位置,持续显示正确的图像和视角。ELFD采用索尼独有的高速视觉传感器和人脸识别算法,以最小的延迟实现精确的眼部检测。不仅可以实时计算出双眼的位置,计算出水平面和垂直面,还可以计算出深度。

高速、高精度、实时传感技术
高速、高精度、实时传感技术

       其次,实时光场渲染技术。根据用户的位置,ELFD会计算出物体如果放在显示屏内,通过用户眼睛看到的样子,并将这些信息转化为显示屏表面的、可以乱真的画面。结合微光透镜技术,不断为双眼提供图像,从显示面板上发出光源图像。由于这种图像是高速、高精度地实时生成的,所以正确的视点总是能到达观看者的双眼,使他们感觉到物体仿佛真的存在。

实时光场渲染技术
实时光场渲染技术

栗原贵之:最后是高精度的3D显示技术。虽然目前市面上已经有一些不需要眼镜的3D显示器,但由于分辨率低,双眼之间存在串扰,无法准确呈现3D图像。ELFD显示器充分利用了索尼的高速视觉传感器,并采用独特的微光学镜片,利用眼球追踪,与传统3D显示器相比,大大降低了串扰。

高精度的3D显示技术
高精度的3D显示技术

Q:请介绍一下索尼在ELFD之前的3D显示器开发情况。

横山一树:大约十年前,有一段时间3D风靡一时。当时,索尼正在开发一种配有3D眼镜的3D电视。然而,虽然3D电视最初吸引了很多人的兴趣,但由于有些人觉得立体看不清,甚至有人在看电视时觉得不舒服,所以并没能在市场上站稳脚跟。几年后,我们开始考虑采用双目视差调整的新型3D显示器。当时,栗原先生的团队正在开发一种极高精度的医疗用裸眼3D显示器,当我看到它时,我就觉得它很有潜力。通过应用这种显示技术,研究显示面板的最佳位置和当前的视点图像,我们开发出了ELFD的原型。我们在公司内部的技术展和CES上都广泛介绍了这项技术,与之前的3D电视不同,大多数人都体验到了这项技术的好处。让观众能够感知物体深度的因素有:呈现一个恒定的、无畸变的双目视差,安装侧墙让空间成了一个盒子,它所提供实际的对比提示能促进视觉融合,以及呈现一个低延迟的运动视差。

 

忠实还原 "创作者意图"

 

Q:在开发过程中,什么对你来说是重要的?

木村隆臣:开发ELFD的主要理念是促进和帮助 "创作者意图 "的实现。这项技术不仅在技术层面给人留下深刻印象,同时也是创作者表达自己想法的载体。因此,在开发过程中,我们非常重视与创作者的对话。我们希望让创作者能够使用他们熟悉的工具来制作ELFD内容,因此我们创建了一个软件开发工具包(SDK),支持Unity和虚幻引擎这两个在3D内容制作领域应用最广泛的平台。在开发过程的早期,我们就开始向公司内外的创作者分发α和β版本的SDK,以便我们能够获得反馈并进行改进。这让我们了解了他们在精度和性能方面的要求,也让我们有机会共同创造更好的产品。

软件开发工具包(SDK)
软件开发工具包(SDK)

Q:体验过ELFD的人有什么反馈?

山村タイザ:在2020年的CES上,我们受到了很大的关注,人们排队等候体验ELFD。我们收到了很多积极的反馈,以及我们没有想到的优秀建议。而在北美最大的专业视听贸易展InfoComm 2020上,我们获得了AV技术最佳展品特别奖。与内部和外部合作伙伴的合作有助于扩大我们产品的应用。这就是把新技术带给世界,并看到人们以各种功能方式使用它来改善生活的好处。

ELFD显示器
ELFD显示器

与创作者一起探索3D内容的新可能

 

Q:ELFD在产品设计和研发方面的应用前景如何?

木村隆臣:为了最大限度地发挥ELFD作为硬件的潜力,我们需要表现这种潜力的内容。为此,我们需要改善创作者的内容制作流程。首先,我们需要为内容制作开发最佳的软件和工具,如SDK,然后提供ELFD显示器用于检查内容。通过这样做,我们可以确保创建、观看和分发内容的最基础的生态系统。

横山一树:目前,ELFD的工作原理是只能将显示内容限制在一个小的矩形平行区域内,并将观看人数限制为一个人。因此,如果内容从屏幕上突出,或者多人同时观看内容,就无法看到准确的三维图像。我们正在努力解决这些问题。做大系统的困难之一是,随着图像景深的增加,可视性会降低。在这里,我们的目标是在做大系统的同时,保持新鲜感和清晰度。在观看人数方面,我们的第一个目标是在两个人观看的情况下实现同样的观看体验。有很多实用例子都是两个人一起观看同一个内容,所以实现这个目标就可以实现更广泛的应用。此外,我们还在努力改进实时传感,支持更高帧率的显示器,以及更快的渲染速度,以确保即使观看者快速移动,成像也能保持在原位。

 

Q:未来想实现什么目标?

木村隆臣:XR(AR/VR)在娱乐应用和许多B2B领域,甚至在 "疫情及后疫情"时代,都有着巨大的增长潜力。我们相信创作者将在提出新的应用场景方面发挥关键作用,因此我们将继续开发能够让创作者忠实地再现和展示其创意的技术。

横山一树:我一直梦想着创造一种逼真到足以让人误以为是真实的视觉体验。我们希望各个领域的创作者都能制作出高质量的内容,这样我们就能把这项技术传播出去,让它成为人们日常生活中永恒的一部分。

木村隆臣:未来,我们希望将其应用于教育领域和VR显示设备,并将其扩展到B2B解决方案和内容分发等领域。由于这是一个具有广泛潜在商业可能性的新领域,我们希望让整个索尼集团参与到ELFD的世界中来。


图片