【技术实现步骤摘要】
本专利技术涉及多模态交互，尤其是涉及一种用户自定义的多模态交互设计方法、系统及设备。
技术介绍
1、在未来智能化战场上，战场救治工作的危险性将进一步提升，尤其是需要进入居民楼中进行搜索时，确保搜救人员的安全是非常重要的。目前的做法是专业操作员通过佩戴ar头显，并遥控(键鼠)控制无人机，以无人机的第一视角去居民楼逐个房间进行搜寻，确保安全后才派出搜救人员前去营救。在进行侦察的过程中，除了专业操作员，其它人员都处于待命状态，如果其他人员也能够同时进行搜查，将极大提高搜索效率(搜索效率是至关重要的)。对于非专业操作员来说，手上拿着医疗物资，亦或是担架，就无法使用遥控进行输入了，其佩戴的ar头显里面的菜单切换、应用的切换就只能靠手势、脑机等其它的交互手段进行交互。如何将这些模态都充分的利用起来，而且各种功能互不干扰，是未来人机交互系统需要研究的问题。
2、由于现有的硬件交互输入具有全局共享效应，会导致交互的准确率降低，从而引发不可预知的问题。譬如，对于上述专业操作员，如果也将脑电信号作为一种输入(识别准确率并不是100％)，将会在一...
【技术保护点】
1.一种用户自定义的多模态交互设计方法，其特征在于，所述用户自定义的多模态交互设计方法包括：
2.根据权利要求1所述的用户自定义的多模态交互设计方法，其特征在于，所述获取交互窗口的服务注册信息，包括：
3.根据权利要求2所述的用户自定义的多模态交互设计方法，其特征在于，所述服务注册信息包括任务的唯一标识、交互窗口的唯一标识、交互窗口的位置坐标和交互方式。
4.根据权利要求1所述的用户自定义的多模态交互设计方法，其特征在于，所述捕获所述交互窗口的事件源设置点击事件，并向多模态交互服务程序发送打开事件源配置页面的消息请求，包括：
...【技术特征摘要】
1.一种用户自定义的多模态交互设计方法，其特征在于，所述用户自定义的多模态交互设计方法包括：
2.根据权利要求1所述的用户自定义的多模态交互设计方法，其特征在于，所述获取交互窗口的服务注册信息，包括：
3.根据权利要求2所述的用户自定义的多模态交互设计方法，其特征在于，所述服务注册信息包括任务的唯一标识、交互窗口的唯一标识、交互窗口的位置坐标和交互方式。
4.根据权利要求1所述的用户自定义的多模态交互设计方法，其特征在于，所述捕获所述交互窗口的事件源设置点击事件，并向多模态交互服务程序发送打开事件源配置页面的消息请求，包括：
5.根据权利要求1所述的用户自定义的多模态交互设计方法，其特征在于，在通过所述事件源配置页面的消息请求使所述多模态交互服务程序返回配置界面的描述信息之后，所述用户自定义的多模态交互设计方法还包括：
6.根据权利要求1所述的用户自定义的多模态交互设计方法，其特征在于，所述解析所述页面配...
【专利技术属性】
技术研发人员：沈辉，易扬，胡德文，于扬，刘亚东，曾璞，王坤擎，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。