万书网 > 心理哲学 > 麻省理工科技评论 > Light-Field Photography 光场摄影术

Light-Field Photography 光场摄影术

    光场技术兴起于20世纪90年代,自2011年以来凭借Lytro公司横空出世的光场相机进入大众的视野。Lytro公司也凭借自己的产品和技术,先后获得总计1.4亿美元的4轮融资,而最近一次的融资为5 000万美元。Lytro光场相机的原型机由其创始人吴义仁(Ren Ng)设计并提出。2006年创立公司之前,吴义仁在斯坦福攻读博士学位,研究家用型光场相机。他的博士毕业论文获得了2007年全美计算机学会最优博士论文奖。而凭借可以改变整个摄影市场以及人们拍照习惯的能力,光场摄影术得以跻身《麻省理工科技评论》2012年度10大突破技术。今年是2016年,Lytro公司正好走过了它的第10个年头。让我们以Lytro公司为线索,认识一下这种神奇的技术——光场摄影术。

    撰文:汤姆·西蒙奈特(Tom Simonite),杨一鸣

    摄影的革命

    2012年3月,照相机行业诞生了自廉价数码摄影出现以来的重大革新:一种可以在拍摄之后再对照片进行调焦的照相机。这种照相机当时的售价为399美元,由Lytro公司开发。当时Lytro公司还是一家位于硅谷的创业公司,就已经获得了高达5 000万美元的首轮融资。除了再聚焦的技巧外,Lytro还计划利用自己的技术为人们提供更多的选择,例如在家里制作3D照片、软件硬件结合。

    Lytro公司的核心技术是“光场技术”(Light Field),运用这种技术,能够使用户在拍照结束后改变焦距进行再对焦,获得完美的照片效果。这无疑是对传统摄影技术的冲击,因为传统摄影技术只能在提前设置好参数后对焦点进行对焦,而且拍照结束后不能重新对焦。相信很多摄影爱好者在稍纵即逝的美景前,都遭遇过来不及对焦的情况,事后懊悔不已;而镜头跑焦之类的麻烦更是困扰摄影爱好者许久的梦魇。“光场技术”应运而生,正是解决这类问题的利器。通过光场技术,我们拍照的时候只需要构图即可,对焦可以在拍照之后再完成。

    代表创新者

    Lytro,美国加州山景城

    技术要点

    一种可以在拍摄后对照片进行调节的照相机。

    其他知名创新者

    -阿米特·阿格拉瓦(Amit Agrawal),三菱电气研究实验室-拉梅什·拉斯卡尔(Ramesh Raskar),麻省理工学院

    光场的前世今生

    将场景中的光场信息全数记录下来,就意味着我们能随心所欲地在拍照之后重新聚焦,可近可远,也可不近不远

    关于“光场”技术是谁最早提出的,众说纷纭。有人说是意大利伟大的艺术家列昂纳多·达芬奇(Leonardo da Vinci),他除了在艺术上造诣极高,也是一位博学多才的发明家。他绘制的飞行器的手稿堪称“穿越”神作。他在其绘画手稿[1] 上提到过“光场”模糊的概念,认为“空气中充斥着物体辐射出来的光的金字塔(Radiant Pyramids),它们相互交织在一起”,并且觉得它们承载了成像的所有信息。而在大约两个世纪以后的1846年,法拉第(Michael Faraday)在他给理查·菲力普斯(Richard Phillips)的信中也提起“光场”的概念[2] 。他觉得光应该被理解为波和场,具有方向性和波动性,就像他研究多年的电磁场一样。但是,他终究没有将“光场”这个概念完整地提出。1936年的莫斯科,苏联科学家亚历山大·喆舜(Alexander Gershun)在他的论文中讨论了光在三维空间中的辐射轨迹,并正式提出“光场”(原文为俄文:световоеполе )这一名词并做出了完整的解释[3] 。以后的几十年,无数科学研究者对“光场”的理论做了更多的补充,例如美国的帕里·穆恩(ParryMoon)。

    认识光场前,先认识一下辐射率。我们平常谈论光的强度或颜色都是以沿着光线方向的光量来表示的,而这样的物理量叫作辐射率,用L来表示,单位是W/sr/m2 。“sr”表示球面度测量固体角,m2 被用在这里是来测量光线通过的横截面积,如上图(a)所示。

    而“光场”简单而言就是表示光线辐射率的载体,是一个四维函数。从物体初始的辐射率开始,到光线上的每一点,辐射率都在发生变化。而辐射率事实上是一个五维函数,称为“全光函数”(PlenopticFunction),其中包括三维的位置变量以及二维的光线角度变量。但光线一般是直线,那么五维的全光函数很容易随之降维,这就是光场。[4]

    在相机内部,无论是化学胶卷还是数字感应器,所有消费型照相机生成照片的原理都是利用一块平板,“例如胶片”,记录穿过镜头的光线的位置、色彩和亮度,形成照片。处于焦点的物体之所以清晰,是因为焦点处的物体辐射出光线,这些光线通过镜头折射又再一次在胶片上汇聚到一起。传统相机往往只能对单一距离进行对焦,有时候我们想要对焦的物体却没有对上,这实在是让人头疼。

    而光场相机的诞生正是为了解决拍摄时对焦不准的问题。不难想象,光线除了在镜头上留下了位置信息,也在胶片上留下了位置信息,利用这两个平面的信息,我们就能得出光线的角度。这样,角度与位置相结合,光线的光场也被记录下来了。一言以蔽之,传统相机的拍摄行为除了形成相片以外还记录了取景框内物体的光场。这些信息是可以被利用起来解决对焦的问题的。下面让我们接着说光场相机。

    光场相机的诞生

    说起光场相机,时间来到20世纪90年代,此时的计算机技术已经开始腾飞。美国斯坦福大学的帕特·汉纳汉(Pat Hanrahan)教授以及马克·勒夫依(Marc Levoy)教授是光场研究的先驱,他们希望借助计算机的能力加速光场的研究,所以将光场和计算机图形学联系在一起。他们认为相机记录的光场信息可以利用起来,设置多相机阵列以及计算机的计算,能够帮助我们获得物体全方位的光场信息。他们随即推出了128台相机阵列方案,而之后MIT推出的64台相机阵列方案、卡内基梅隆大学的“3D Room”方案也与之类似。简单而言,就是从前景到后景都被对了一次焦,并拍摄了下来,最终的相片就是这些相片的集合。不过,这样的方案显然不可能应用到家用型的相机上去,甚至工业的应用也十分有限。那么Lytro公司推出的家用型光场相机是怎么创造出来的呢?

    Lytro光场相机的原型机由其创始人Ren Ng设计并提出。Ng在斯坦福攻读博士学位时,就和Marc Levoy教授一起研究光场,他的博士毕业论文获得了2007年全美计算机学会最优博士论文奖。他在实现家用型光场技术的道路上提出了两点革新:一是硬件上,采用微镜头阵列的方式复刻多相机阵列采光;二是应用软件,统筹并计算处理通过微镜头的光场信息,计算出整个景象中物体的光场。这样既简化了多相机阵列方案,也提高了相机图片处理的同步性。值得一提的是,相机内部算法采用傅里叶变换处理图像数据,也使得图片的处理速度有所改观。

    Lytro最终也将自己的产品进行了外观设计,使得它们更讨消费者的喜爱

    就这样,一台iPod nano一般大小的Lytro初代光场相机诞生了。它的形状就像一个单筒望远镜,方便携带,一头是可触摸的屏幕,另一头是摄像镜头。它使用的图像传感器有1 100万像素,与同时期的单反相机相比,这一点显然不够,更别说它最终输出的有效像素只有500万像素,甚至比一般的智能手机的相机还差。而这样一台相机的售价居然高达399美元,性价比实在是很低。毕竟,量产具有拍摄后再对照片进行调焦的初代机,只是Lytro朝未来光场照相机迈出的第一步。而光场技术的前途还是十分光明的,这从Lytro获得的融资就能看出。Lytro获得的首轮融资就有5 000万美元,而次轮融资也达到了4 000万美元。由此可见,投资人对这项技术是十分看好的。

    好技术=好产品=好发展?

    Lytro公司改造了照相机,期望以最新的光场技术改变摄影市场的格局。想法是好的,然而事实是残酷的。Lytro虽然已经成为光场摄影技术的巨头,但是光场技术的发展道路却荆棘密布。

    纵观这几年Lytro公司的发展,他们其实并不好过。近4年内两次裁员,前总裁Ren Ng也走马卸任了。在烧掉9 000万美元的同时,也只推出了两款上市的产品——Lytro初代光场相机以及次代光场相机“LytroIllum”。总的来说,这两款相机都是光场相机的不成熟产品。从硬件角度来说,这两款产品的画质都比不过同时期的单反相机,甚至也比不过市面上的智能手机。虽然说LytroIllum采用4 000万像素镜头和f/2.0大光圈来提升照片的质量。但是LytroIllum的画质并没有明显改观,因为超过一半的有效像素都浪费在多次相片的拼接上了。另外,4 000万像素镜头以及大光圈给相机本身带来的提升不大,反而拖慢了相机成像的速度。为应对这样的问题,Lytro给相机配备了高通骁龙800四核芯片,用以提升技术,然而提升也并不尽如人意,LytroIllum抓拍时还是非常容易错失最佳时刻。就这样,LytroIllum的价格一抬再抬,抬上了1 599美元。如果说Lytro初代产品的售价399美元还算是毁誉参半,那么次代产品LytroIllum售价1 599美元简直就是丧心病狂,一直也是有价无市。更严重的是,用户拍照后在计算机上做后期制作时也十分麻烦,因为Lytro配套软件需求的计算机配置并不低,而普通的家用计算机运行这样的软件已经接近龟速了。总的来说,价格过高、图像数据处理速度过慢以及后期制作的用户体验过差,是LytroIllum的三大败笔。

    硬件不够硬,而软件也不够软,Lytro的光场相机之路可谓荆棘密布。除了自身产品的问题,外界的竞争也在威胁着公司的发展。在初代相机面世以后,很多拥有类似功能的手机App以及计算机软件如雨后春笋般涌现,这对Lytro的冲击其实相当大。Lytro作为“光场技术”的巨头,怎么会轻易地被手机App打败呢?原因有三。首先,软件的开发过程相对来说要简单得多,而且更新周期也很短,所以在时间成本上Lytro就已经输了。Lytro花了两年时间,烧了9 000万美元才开发出两代产品。而同样的时间,同样的金钱,手机App的开发者都已经将自己的软件更新换代好几次了。根本原因在于手机App所需要的技术等级比光场相机要低得多。光场相机需要开发高科技硬件,诸如类似复眼的微镜头阵列,而手机App,如Twist mimics,只需多次利用手机镜头拍摄照片,再重叠起来即可。其次,手机App着重在硬件能实现的技术等级下考虑更好的用户体验。因为大部分的用户对于这样的技术的要求并不高,往往用户只需对图中一个或者几个点进行对焦就行了,并不需要对图片中全部的点进行对焦处理。所以即使技术等级下降了可能不止一个台阶,但Twist mimics软件的用户体验也不比Lytro相机差。而且Twist mimics的图像处理速度快很多,这样也使得Twist mimics的用户体验上了另一个台阶。最后,光场摄影技术毕竟还不够成熟,大家对光场摄影都抱着尝鲜的态度,而售价仅为1.99美元的Twist mimics无疑是最佳选择。可以想象,大部分民众会对1 599美元的相机望而却步,但是花1.99美元购买类似软件体验一把高科技还是十分乐意的。

    “在未来,所有的照相机都将是光场照相机”

    即使现在的光场相机并不成熟,光场技术仍被认为是摄影技术的未来,因为这样技术的背后是对摄影的简化。光场摄影只要构图就行了,对焦可以放到后期制作里。这从根本上就比传统摄影少了一个步骤。而在这个全民摄影的时代,这样的技术无疑是摄影初学者的福音。而除了摄影,光场技术更可能大量应用的领域其实是监控、刑事技术、军事侦察以及恶劣环境的探索。如果大家看过丹泽尔·华盛顿(Denzel Washington)的“时空线索”,一定对其中的3D成像再聚焦寻找线索的桥段印象深刻。所以,就像电影里一样,如果“光场技术”能应用到高安全级别的监控系统中,或者是刑事侦查中,大量的线索一定会被尽收眼底。另外,军事侦察和恶劣环境的探索,例如太空探索或是深海探索,它们对摄影的要求几乎一致——一次性尽可能全面地侦察摄影。军事侦察希望一次性获取尽可能多的敌方信息,而且机会可以说是稍纵即逝的,有一次拍摄的机会,可能就没有第二次了。太空探索和深海探索可能是光场摄影技术最合适的应用领域。它们对拍摄时间的要求并不像军事侦察那样紧迫,但是这样的探索更可能只是一次性的,而传回来的太空或深海的信息却是十分珍贵的。而以上这些领域的光场技术的应用都要求高质量的画质,在军事侦察和监控系统中的应用可能还需要更快的抓拍速度。

    现在Lytro公司的总裁已经由Ren Ng换成了Jason Rosenthal,而公司也正处于转型的阶段。2015年11月,公司推出了自己的第三代产品:“Lytro Immerge”。这是一种360°全景的光场相机,它将光场技术和虚拟现实技术(Virtual Reality)结合在一起,旨在给用户更真实的虚拟现实体验。这样的组合将与摄影技术或虚拟现实技术会碰撞出什么样的火花呢,我们将拭目以待。也许正如Lytro创始人Ng 所说的一样,光场相片的灵活性极富吸引力,“在未来,所有的照相机都将是光场照相机”。

    专家点评

    田丰

    阿里云研究中心主任

    场景激活产品,产品应用技术,Lytro只是把顺序做反了。光场用于全景视频、VR/AR是很好的创新性技术,而在新闻、影视、体育、旅游、安防等行业都有强需求场景。动辄万元以上的VR摄像机,很受媒体、影视公司欢迎,而同等价格在2C民用市场则肯定会遭遇惨败。

    360°全景光场相机,能够适用于所有计算机、手机、VR眼镜,所以是一个良好的切入角度。如何利用新技术手段“讲故事”,是VR内容拍摄者的新挑战,美女、美景、美食则是优质内容的永恒主题。Lytro类的公司必须从“卖硬件”转变为“内容平台”,就像GoPro、大疆正在运营的内容平台一样,才能产生广告服务等在线增值利润空间。硬件作为视频入口,云端保存大数据,分析后做贴片广告、网红直播、AR游戏,才是更大的蓝海市场。

    技术创新固然难得,但为新技术找到刚需、海量、高频的应用场景,才是商业化的关键所在,就像iPhone那样组合式创新,以很强的技术能力、商业能力整合产业链分散的技术点,通过创新型产品构建起移动互联网平台的生态圈,这是对所有技术型创业者的长跑考验。