走进交互感知技术：在幻境和现实中穿梭

专访广东省科技进步奖一等奖获奖单位广州幻境科技：VR造梦交互未来

中新网广东新闻4月17日电题：走进交互感知技术：在幻境和现实中穿梭

作者蔡敏婕

戴上VR头显和手势交互识别手套，神经外科医生在虚拟环境中重复练习手术技能，却不消耗医学耗材；远在海外的民众能触摸到位于广东阳江的“南海一号”古文物；学生自主选择不同的危险环境，学习公共安全逃生知识，但不需要布置逃生场地……这些技术看似遥远，但其实已可以通过虚拟现实交互感知技术实现。

3月25日，广东科技创新大会在广州举行，由广州幻境科技有限公司(以下简称“幻境科技”)自主研发的“高沉浸式虚拟现实交互感知关键技术与应用”项目，荣获2019年广东省科技进步奖一等奖。幻境科技副总经理黄昌正是项目参与人之一，他介绍，该项目综合了传感器、控制、信息、计算机、机械、手势识别等多学科的理论与技术，研发了高沉浸式虚拟现实交互感知核心产品，形成了面向医疗、文旅、消费电子等多个行业的典型应用。

“在公司成立之前，我们只是一个对手势识别有着共同爱好的开源社区爱好者。2010年，基于三轴加速度惯性传感器，我们研发了手语翻译手套，目的是方便聋哑人交流。2015年，我们发现VR交互产品只有手柄，使用起来无法完全识别人的手部动作。我们便打算研发一款可以在虚拟现实中手势交互的产品，于是萌生了创业的想法并很快获得了第一笔天使投资”黄昌正说道。

发展至今，幻境科技已成为一家能提供手势自然交互整体解决方案的高新技术企业，团队专注于研发手势识别、动作捕捉、人工智能等产品，涉及虚拟现实、智能穿戴、辅助驾驶、文化娱乐、智能医疗等多个行业和领域。

幻境科技重视科技创新，其拥有基于惯性传感芯片的动作捕捉、手势识别、多模态自然交互等核心技术，例如，实现高精度动作捕捉和零延迟感的Handy手势识别套件，实现多人远程协同虚拟手术的哈雷医疗手术机器人等。此外，幻境科技还重视产学研合作，2019年牵头获批组建“广东省人工智能与虚拟现实交互工程技术研究中心”，联合中广核研究院有限公司、香港城市大学联合共建“广东省先进核能人工智能与虚拟现实工程技术研究中心”还牵头承担省重点领域研发计划项目。

谈虚拟现实：核心技术获得突破

多人在同一教学场景内协同互动，触摸真实世界的虚拟场景；重塑隋唐大运河柳孜遗址原型，立体诠释隋宋文化历史发展；快速识别面前经过的人，同时眼前会出现相应的身份信息，减轻执法工作负担……幻境科技的展厅内，上述技术得到诠释。

黄昌正说：“目前虚拟现实领域存在两个主要问题，首先是标准制定。行业级的虚拟现实软硬件标准以及工业互联网设备、产品标识解析、数据交换、安全通信等标准尚在制定中，软件开发工具、数据接口、人体适用性等标准也还未明确，这造成了行业应用方对大规模推广虚拟现实产品缺乏信任；其次，虚拟现实领域缺乏成熟普适的操控交互手段，各大厂商采用各自的方案，包括眼球追踪、动作捕捉、肌电模拟、方向追踪、手势识别等不同技术和方案，客观上难以形成行业的大规模应用。”

为了解决上述问题，黄昌正带领团队以高精度的传感器与光惯融合算法作为切入点，聚焦自然手势识别技术，经过近10年的探索，利用人的多重感官和动作通道(包括语音、手写、姿势、视线、表情等)，经过3DOF手柄-6DOF手柄-数据手套-红外追踪-裸手交互的迭代更新，先后推出Nulltouch、Handy、Sprint以及人工智能视觉手势识别产品。这些系列产品以并行、非精确的方式与计算机环境进行交互，使人们从传统的交互方式的束缚中解脱出来，进入自然人机交互新时代。

谈发展前景：应用市场广

虚拟现实技术在改变生活的同时也拥有广阔的市场，目前，虚拟现实技术在工业、医疗、教育、娱乐等领域都有较为成熟的应用场景。

据前瞻产业研究院发布的《中国虚拟现实(VR)行业市场需求与投资规划分析报告》显示，2016至2019年，中国虚拟现实行业市场规模发展迅速。2019年，中国虚拟现实行业市场规模达398.4亿元，预计2020年市场规模达556.3亿元，同比上升40%。

幻境科技从2019年起，与韩国、土耳其及港澳台地区的虚拟现实行业或产业协会对接，向境外部分地区销售模拟仿真的手势交互手套和应用，用作游戏应用开发等。黄昌正表示，与海外相比，中国虚拟现实的优势主要来自应用市场，特别在硬件设备，而海外的内容制作比较完善。 “在国外，有日韩、欧盟、美国的客户了解到幻境科技的研究成果后，纷纷到公司作实地考察，均购买了相关产品进行应用开发。幻境科技目前也正与相关国外机构客户洽谈海外代理权事宜；在国内，我们已服务中广核集团、广日电梯、华南理工大学、南方医院、小米科技、羊城通等超过200家的客户。”

基于虚拟现实技术应用，幻境科技还在人工智能、增强现实和大数据领域等进行拓展。例如利用利用AI芯片加速技术，降低计算和通信延时，力求提高辅助驾驶的安全性；通过NDoF(多个转角自由度)姿态追踪套装，根据不同应用场景实现由3DoF到6DoF，单点(关节)到多点(全身)的人体姿态追踪。同时，智能骑行头盔在结合增强现实技术下，能为骑手提供可视化的信息和驾驶安全保障，减少交通事故的发生。

黄昌正称，“在智能医疗领域，幻境科技基于人工智能、大数据、全息以及虚拟现实云等技术，开发出了哈雷医疗手术机器人。过去医生在阅片诊断时，要凭借自身的诊断经验判别病变体和周围组织；如今借助哈雷医疗手术机器人，医生可以直观地获取三维医学影像，快速、精准地对病变体和周围组织进行分析与判断”。除了三维阅片以外，颅脑外科医生还可以利用VR环境中的三维重建、模块分割、术中配准和云协作等服务，完成术前诊断、术前规划、医患沟通、术中导航、远程医疗及医学培训等，极大地解决了现代医疗的时间成本大与安全风险高的问题。