精选栏目

廖洪恩:用光重建3D物体,给医生装上“透视眼”

《科技生活》周刊||热度 ( )

文/记者 白竟楠
 

  如果有这样一台设备,能够解决医生进行微创手术时一边抬头看屏幕显示的医学影像数据、一边低头操作手术器械这种不方便的现状,直接将屏幕上显示的医学影像制作成裸眼3D,和实际病灶区域实现空间透视融合,那么,医生就会像有一双“透视眼”一样,在观察术中实际操作区域的同时观察到用光重新构建的器官、血管和神经。这并不是电影中的情节,这一切,都可以用廖洪恩开发的空间透视融合装置实现,而在该装置中应用到的关键技术被称为微创裸眼3D立体全像技术。

  今年4月,廖洪恩在立体图像显示领域再次取得重要突破,其研究成果“超长距离空间光束均匀发散三维显示”发表在Nature出版集团《科学报道》期刊。这是目前世界上最长显示距离的动态立体显像装置,立体图像可以“跳出”屏幕6米。


人物介绍:廖洪恩,清华大学医学院生物医学工程系教授,博士生导师,国家“千人计划”特聘专家。

  用光重建物体

  带上3D眼镜看电影,就会有身临其境的感觉。但观看3D电影的前提是必须佩戴3D眼镜,从水平的角度进行观察。这种技术基于双目视差的原理,通过在左右眼中显示不同的图像,最终呈现出具有纵深感的立体图像。

  近些年来,裸眼3D技术走进了大众的视野,不用戴眼镜就可以看到一幅带有立体感的画面。其实,最简单的裸眼3D显示方式早在大家的学生时代就已经看过,干脆面里的小画片、文具塑料尺上的图案等等。廖洪恩办公桌上的笔筒里就插着各种图案的3D图案塑料尺,他随手拿出一个蓝精灵的尺子为记者演示讲解:不论是画片还是尺子,只能横向观察才能显示出较小视角的三维立体效果,信息量比较匮乏。

  “被显示的三维物体就像真正存在于空间一样,好像伸手就能触碰到;不用戴眼镜,站在不同位置的人能够从任意角度观看三维影像,这种观察效果才是我们真正想实现的。”廖洪恩说。比如,站在正面的人可以看到三维物体的正面,站在侧面的人可以看到三维物体侧面的信息。这就是廖洪恩开发的立体全像显示装置,用光在空中重构实际物体。

  从理论上来说,3D显示的发展已经有100多年的历史,立体全像技术的基本原理在1908年就由Lippmann(物理学家李普曼)提出,但当时受于计算机技术和制造工程的技术所限并没有得到应用。今天,这个有着生物力学和精密机械学术背景的留学博士在过去二十多年的科研历程中,将这个快要上百年的理论付诸实践,并在此基础上创造了能跳出屏幕6米的超级距离立体影像显示等技术,并创新地将此技术应用在微创手术中的立体空间透视导航系统中。这些系统都是中国人创造,拥有完整的知识产权。

  廖洪恩在国外求学时就一直关注国内三维立体显示领域的发展,并与国内相关科研单位及企业保持沟通。在国内开展“千人计划”项目的支持下回到祖国后,基于自己在裸眼三维显示领域多年的研究积累,在国内进行更富有挑战性的研发。

  让医生拥有“透视眼”

  这项“立体全像技术”可以应用在广告和影视领域作为娱乐所用,而它更大的应用意义在于颠覆了传统的微创手术方式,让医生更直观地观察病人术中状态与医学影像。

  微创手术能够减少病人的皮表创伤,加快病人复原速度,是近年来医学界发展较快的手术方式。但是在传统微创手术中,医生观察到的医学影像信息为二维图像,无法完整显示病人的三维病理和生理信息;同时,医生必须通过不断观察屏幕显示的医学影像和实际操作位置进行手术,在手术区域和显示器间来回切换造成了手眼协调问题,这一问题会增加手术时间和安全风险。

  利用立体全像技术而开发的空间透视导航装置,以及相应的光学器件和空间系统,从二维显示转换成三维显示,并辅助医生“透视”病人内部器官结构,就像是为医生手术安装了一个增强视觉的超级GPS导航仪。

  空间透视融合技术需要CT、磁共振、超声、内窥镜等影像采集设备来提供影像素材的支持,再通过空间透视导航装置在空间中显示三维影像,并通过自动定位功能将三维影像与原器官位置重合,帮助医生自然地看着病灶位置进行手术,解决眼手协调问题,大大地方便了手术操作。

  廖洪恩说,做手术就像开车一样,地图能帮助司机寻找路线,但是只看地图的话是无法确定自己的位置和所处的环境。空间透视导航仪器能够把传统医学影像(相当于二维地图)进行裸眼立体显示并可以实时更新的影像(相当于GPS导航系统)。同时,利用空间透视融合技术能够实现医学影像和实际病人组织结构的完全融合显示,实现增强现实。如果是心脏区域的手术,就达到了不用带3D眼镜就能在病人的身上看到一颗心脏在跳动。


空间透视导航装置

  精确1毫米 纵深6米

  为实现有效的增强显示,首先要保证跟病人的该部位完全重合在一起,这就要求信息重组、融合准确。对应的方式有两种,一种是标记点对应,比如面部的鼻头、鼻翼、眼角、嘴角等可以用标记点进行标记,越多的标记点越可以增加重合的准确度,最后利用点与点之间连接形成的网状图进行配准融合。第二种方式就是用相机获得的图像进行配准,通过照片和与原器官对比自动调整到最佳位置。目前空间透视融合匹配的精准度能够保证在1毫米以内。

  目前1毫米的精度基本满足现有的医学影像技术本来的分辨率,例如CT、磁共振的分辨率都在毫米量级。不过,廖洪恩希望未来能能够提高精度,将空间透视融合做得更细致一些。

  “目前研发的三维立体全像显示器能够满足基本的临床需求”,廖洪恩说:“但是这对于我们来说是远远不够的,我们想,能否可以显示纵深更深的三维物体?能否显示更大的三维物体?这样的话,我们站在显示器前便能看到更为逼真的三维立体影像,获得身临其境的沉浸感。我们根据这一想法,在十年前就开发了超长距离裸眼三维显示装置,其显示纵深能达到5米以上。直到现在,世界上依然没有其他的研究能够突破这样一个距离。”

  传统三维显示一般利用透镜阵列或者光栅阵列进行光线调制,但是透镜或者光栅会限制人的观察视角,如果不在观察视角内,就会观察到错误的图像。为解决透镜或者光栅带来的限制,廖洪恩最近利用激光空间扫描技术开发了一个新型的裸眼三维显示装置,这种装置无需借助透镜或者光栅,能显示出更大视角、更长纵深的三维立体图像,从来带来更好的视觉效果。这一新型技术是基于激光本身均匀性和连续性的特点来实现的,实验验证能够实现6米以上纵深的三维动态图像显示,又一次打破自己创造的记录。

  长距离裸眼三维显示在3D微创手术导航中的应用将为医生提供更清晰和全面的3D组织结构,同时实现更深层信息的呈现能力。

  对图像渲染技术的极限挑战

  廖洪恩说,如何实现实时三维影像显示也是一大难点,这将依赖于三维影像的渲染系统,而它的信息量是二维影像的数十倍,这对实时渲染三维影像是极大的挑战。

  在90年代后期,一幅1024×768像素的图渲染时间需要几十秒钟,随着计算机技术的发展,一幅图的渲染可提升至一秒钟,但是这距离实时显示还有一段距离。人眼对基本连贯视频图像感知的前提是一秒钟至少更新12幅图以上,而电影是一秒钟24帧,也就是说一秒钟有24幅图像闪过。因此,必须尽可能提高帧频,达到实时显示的效果。

  除了依靠计算机硬件的发展,更关键的是在优化三维图像渲染软件方面做出的努力。目前,廖洪恩开发的微创3D显示装置实时三维影像显示能够以一秒钟30幅图(每秒30帧)以上的速度渲染3840×2400像素的图像。这一渲染速度完全满足临床应用对实时成像的要求。

  不过,医学用三维立体全像显示器的实时显示对影像采集装置也提出了较高的要求。现有的技术中,内窥镜已能实现实时,但超声采集的速度比较慢,目前是一秒采集5幅图。“因此,我们希望影像采集的速度能更快一些,尽可能同三维显示渲染速度匹配”,廖洪恩说道,“为此,我们也希望和相关公司进行合作。”

  从精准到完全精准

  医学、工程学、生物学、计算机,这些都在廖洪恩的研究之中得以融汇贯通。得益于自己双重专业和交叉领域研究的背景,廖洪恩比别人走得更远。

  廖洪恩说,要做多学科交叉的科研人员,就要边往前走边学习,遇到不懂的就学,不懂没关系,就像自己当初从生物力学转向精密机械一样,几乎是从零开始学习全新的学科。在他研究团队里的研究生就包括机械、电子、医学、计算机等专业的学生,而这种交叉学科的氛围也给这个团队带来了生机与活力。也正是这种交叉创新的思维模式,催生出一种令人耳目一新的新型裸眼三维显示方式。

  裸眼三维显示未来的发展既可以是对已有技术的优化和突破,比如观察视角、显示深度、图像分辨率等;也可以是打破现有思路中的固有屏障,使用新技术构造新型解决方案。

  “超长距离空间光束均匀发射三维显示”这项研究成果可以说用“革新”和“世界首例”来形容,但是在廖洪恩看来,这只是一个开始。在他眼中,三维显示的最高境界就是人们在看电视的时候,电视里的东西都可以按照我们的想法完全精准地“跳出来”,营造真正身临其境的感觉。

  目前来说,这一处世界领先水平的三维全像显示技术,其最大功能是否能得到发挥依然要依赖硬件的发展和配备技术的进步,比如影像采集设备和显示器件的发展等等。“我们也非常关注裸眼三维显示技术的产业化进程,因为制造业是科研的载体。这是一个很大的产业链,要做好不容易,但这是中国打造民族产业的好机会,如果中国能完全操盘这一切环节和技术,我们的研究就值了!”廖洪恩说。

分享到:         

历期科技生活周刊

更多 +

您可能感兴趣的文章 :