眼科

注册

 

发新话题 回复该主题

混合实境脱机运算与双向沟通功能,Hol [复制链接]

1#
北京哪里的白癜风医院好 http://www.txbyjgh.com/

近年来,混合实境开始被应用于医学教育,以及外科手术训练,台湾微软今年4月间特别举办一场研讨会,邀请各地医师、混合实境内容创作者、资讯工程师齐聚一堂,就技术发展与临床医学需求深入讨论交流。

医院智能医疗中心副主任李建璋教授获邀担任开幕演讲嘉宾,他认为混合实境技术在医学教育最有效的应用就是大体解剖的教学。李建璋教授表示,由于当今大体取得的不易,还有很多先天性复杂的人体器官结构,使得医学生们无法在小样本的大体中获得充分的训练。况且,狭小的大体解剖空间,也没有办法满足很多学生们同时对于很多重要器官的观察。

倘若在教学时能应用混合实境的科技,戴上混合实境(mixedreality,MR)眼镜后,学生们可以在实体的空间看到虚拟的解剖器官,而且可以通过手势搬移,或是转动解剖器官,来做不同角度的立体观察,对身体的器官的立体三维空间(3D)结构,将有更深的认识。

尤其是对复杂的先天性异常,例如先天性心脏病,传统教科书的平面图像或是文本的描述,都没有办法把特殊的3D立体结构,以及对应的血液动力学概念传达给学生。斯坦福大学就曾用虚拟现实的科技创建一个儿童先天性心脏病的异常结构的数据库,让学生可以通过随选的方式,来做沉浸式的体验,充分理解各种不同形态的结构异常导致的血液动力学异常。

除此之外,李教授也提到,通过3D模型的组建,病人戴上MR眼镜,外科医师就可以在增强现实的世界里解释手术的规划,让病患更容易理解外科手术治疗的程序与方针,提升病患的信心,也增加病患的安全感。

台湾微软首席运营官陈慧蓉表示,HoloLens2可脱机运算,同时能结合微软的Azure云计算更强的运算力,在保护病患隐私与医疗合规前提下,HoloLens2是绝佳的载体,在临床上提供病患更为优化的就医诊治流程体验,未来若能进一步结合电子病历与医保数据库,相信混合实境的技术在医学图片识别和人工智能医疗创新上,可成为辅助医护人员重要的推手。

李建璋教授还提到,除了大体解剖教育与和病患的病情解说外,混合实境的科技对于以技巧为主的外科手术训练,从简单如中心静脉导管的放置,到复杂的脑部癌症手术切除,虚拟现实都可以帮助外科医师们缩短训练的时间。而且还有最新的魔术手套技术,可以转知手部小关节的活动,对于精细技术的训练例如眼科手术,有更贴近真实场景的体验。

然而李建璋教授也提醒,不是所有的情况都适合混合实境的教育,例如单纯不复杂的构造,混合实境教育就没有优势,此外对于领域已经很熟练的专家,混合实境和传统教育的差别也不大。另外,混合实境的教育必须结合交互的内容才能提升教育训练的效果。

为了让增强现实的技术更快的导入临床,李建璋教授携手外科部郭庭均医师,与微软、医学3D软件先进Materialize与增强现实应用方案apoQlar进行了一个跨领域产学合作项目,成功利用胰脏肿瘤2D计算机断层图片,重组成3D立体图片,并且利用人工智能进行血管和胰脏组织的自动分割、套色,最后再投射到增强现实的环境中。带上微软的混合实境眼镜HoloLens2,医师可以对病患进行手术前解说,对手术团队进行手术前计划,还可以对外科学生进行手术教育。

HoloLens2除了可以作为增强现实的载体,本身也是一个可以双向沟通,同时又具有摄影机的通信工具。疫情期间,李建璋教授也与微软团队和台大智能医疗中心工程师们,打造一个低接触的临床医疗系统,护理师戴着头盔进去隔离病室,在护理站的医护人员们可以通过头盔看到隔离室内的病患,同事们也可以同时双向沟通来做问诊和评估,护理师和护理站的医疗团队也可以在HoloLens2上直接查询图片实验室报告,并且开立医嘱,以完成几乎零接触却能充分沟通,又高效率的医疗诊治与相关作业。

分享 转发
TOP
发新话题 回复该主题