【技术实现步骤摘要】
一种人机交互的多模态数据融合方法、装置及设备
[0001]本专利技术涉及智能制造
，尤其涉及一种人机交互的多模态数据融合方法、装置及设备。
技术介绍
[0002]随着人工智能技术迅猛发展，传统制造正逐渐向智能制造转型。传统的“刺激—反应”的人机关系模式正在被改变，人机交互的时代正在向“人
‑
机
‑
物”融合的时代发展，因此必须整体考虑人机物融合泛在计算环境。多模态融合是人机物智能协同的重要手段，多模态数据融合，主要是指利用计算机进行多模态数据的综合处理，负责融合各个模态的信息来执行目标预测。如：Xiao等人在“Multimodal end
‑
to
‑
end autonomous driving”中把驾驶任务划分为感知、机动规划和控制等子任务结合RGB图像和深度模式，防止司机分心；Dennis等人在“Comparison of Multimodal Heading and Pointing Gestures for Co
‑
Locat...
【技术保护点】
【技术特征摘要】
1.一种人机交互的多模态数据融合方法，其特征在于，包括：获取智能生产线的人机物要素信息和多种输入模态数据；基于所述人机物要素信息，从交互层次、空间跨度和业务类型三个维度，构建人、机、物各类要素的建模表征空间；基于所述人、机、物各类要素的时空逻辑关系和各类要素的组合关系，构建人、机、物各类要素的建模基准；基于所述建模表征空间和所述建模基准，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型；根据所述人、机、物各类要素的时间特性构造不同粒度的交互行为结构化描述方法，得到决策信息系统；通过所述人机交互行为抽象模型，提取所述多种输入模态数据的数据特征；通过所述决策信息系统，生成所述多种输入模态数据对应的决策；通过混合融合的方法对所述智能生产线的传感数据、所述人机交互行为抽象模型提取的数据特征和所述决策信息系统生成的决策进行数据融合。2.如权利要求1所述的人机交互的多模态数据融合方法，其特征在于，所述基于所述人机物要素信息，从交互层次、空间跨度和业务类型三个维度，构建人、机、物各类要素的建模表征空间，具体为：基于所述人机物要素信息，从智能生产线的信息空间维度刻画建模表征空间的交互层次，从所述智能生产线的物理制造资源维度刻画所述建模表征空间的空间跨度，从所述智能生产线的全生命周期业务刻画所述建模表征空间的业务类型，以构建人、机、物各类要素的建模表征空间。3.如权利要求2所述的人机交互的多模态数据融合方法，其特征在于，所述交互层次包括：物理感知控制、信息通信计算、服务与决策；所述空间跨度包括：产品、传感与执行单元、制造单元、工位、产线；所述业务类型包括：订单分析、工艺规划、资源配置、装备控制和状态感知。4.如权利要求1所述的人机交互的多模态数据融合方法，其特征在于，所述基于所述建模表征空间和所述建模基准，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型，包括：基于所述建模基准对所述建模表征空间的多个层次的数据信息进行表征学习特征提取，得到所述数据信息的分布式特征表示；根据所述数据信息的分布式特征表示，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型。5.如权利要求1所述的人机交互的多模态数据融合方法，其特征在于，所述人机交互行为抽象模型包括：面向不同时间尺度和不同行为模式的计算模型、涵盖智能生产线动态并发计算过程的时间多任务模型、面向不确定性干扰与驱动的离散事件模型、面向加工过程中物理演化过程的连续时间模型。6.如权利要求1所述的人机交互的多模态数据融合方法，其特征在于，所述决策信息系统S表示为：S＝(U,C∪D,V,f)；
其中，U为非空有限论域，C为各类要素的条件属性集，D为各类要素的决策属性集，C∩D＝φ，V为各类要素属性值的...
【专利技术属性】
技术研发人员：杜翠凤，杜广龙，滕少华，
申请(专利权)人：华南理工大学广东工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。