一种多模态信息融合方法、MEC、模态信息采集单元及系统技术方案

本发明专利技术提供一种多模态信息融合方法、MEC、模态信息采集单元及系统，所述方法包括：接收各模态信息采集单元通过广播机器对机器B

【技术实现步骤摘要】
一种多模态信息融合方法、MEC、模态信息采集单元及系统


[0001]本专利技术涉及通信
，尤其涉及一种多模态信息融合方法、MEC、模态信息采集单元及系统。

技术介绍

[0002]为使机器人能更全面高效地感知周围的世界，更好地理解周围的环境，进而使得机器人具备接收、理解、推理、处理各种外界信息的能力，多模态融合是一种重要的方式。
[0003]然而，现有的多模态信息融合方法一方面由于采用点到点模式，通信效率低，另一方面，由于实时多模态信息融合需要高性能的数据处理，如果部署在设备侧，会造成设备侧的复杂度和成本提升，进而造成整个系统的成本急剧增加，同时也不利于功能和技术升级。

技术实现思路

[0004]本专利技术所要解决的技术问题是针对现有技术的上述不足，提供一种多模态信息融合方法、MEC、模态信息采集单元及系统，用以解决现有的多模态信息融合方法一方面由于采用点到点模式，通信效率低，另一方面，由于实时多模态信息融合需要高性能的数据处理，如果部署在设备侧，会造成设备侧的复杂度和成本提升，进而造成整个系统的成本急剧增加，同时也不利于功能和技术升级的问题。
[0005]第一方面，本专利技术提供一种多模态信息融合方法，应用于移动边缘计算MEC中，所述方法包括：
[0006]接收各模态信息采集单元通过广播机器对机器B
‑
M2M广播信道发送的针对同一目标对象的多个模态信息；
[0007]根据预先部署的多模态融合算法对所述多个模态信息进行融合，并将融合结果通过所述B<br/>‑
M2M广播信道广播给所述各模态信息采集单元以及执行单元，以使所述各模态信息采集单元根据接收到的融合结果对自身当前模态的结果进行修正，并使所述执行单元根据接收到的融合结果进行相应判决和/或操作。
[0008]优选地，所述多个模态信息分别携带时间戳；
[0009]所述根据预先部署的多模态融合算法对所述多个模态信息进行融合之前，所述方法还包括：
[0010]根据所述时间戳将所述多个模态信息进行对齐；
[0011]将对齐后的各模态信息转换为统一的语义表示；
[0012]所述根据预先部署的多模态融合算法对所述多个模态信息进行融合，具体包括：
[0013]根据预先部署的所述多模态融合算法对统一语义表示后的所述各模态信息进行融合。
[0014]优选地，所述根据所述时间戳将所述多个模态信息进行对齐，具体包括：
[0015]根据所述时间戳将所述多个模态信息中属于同一时刻的模态信息进标注；
[0016]将标注后的模态信息按所述时间戳顺序依次排序；
[0017]其中，所述多个模态信息包括视频信息、位置信息、压力信息、温度信息中的至少两种。
[0018]优选地，所述多模态融合算法的公式为：
[0019]x＝h(x1,...,x
n
)
[0020]其中，x为多模态信息语义表示，x1,...,x
n
分别为n个模态信息各自的语义表示，h为融合函数。
[0021]优选地，所述方法还包括：
[0022]采用卷积神经网络构造所述融合函数，其中，所述卷积神经网络包括一个或多个依次连接的数据处理层，每个所述数据处理层包括依次连接的第一卷积层、第二卷积层、池化层和全连接层。
[0023]优选地，所述卷积神经网络的第m层第一卷积层到所述卷积神经网络的第m+1层第二卷积层的前向传导公式如下：
[0024][0025][0026]其中，表示卷积神经网络的第m+1层的第i个特征层的输入，表示卷积神经网络的第m+1层的第i个特征层的加权输入，表示卷积神经网络的第m+1层的第i个特征层的激活值，f表示激活函数；表示卷积神经网络第m层第j个特征层连接到卷积神经网络第m+1层第i个特征层的卷积核，表示偏置，conv2表示对应元素之间的卷积运算，运算不改变特征层长宽，表示卷积神经网络第m层的第j个特征层，t
m
和t
m+1
分别表示第m层和第m+1层的特征层层数；
[0027]所述卷积神经网络的第m+1层第二卷积层到所述卷积神经网络的第m+2层池化层的前向传导公式如下：
[0028][0029][0030]其中，d表示下采样函数，表示卷积神经网络的第m+2层的第i个特征层的输入，表示卷积神经网络的第m+2层的第i个特征层的加权输入，表示卷积神经网络的第m+2层的第i个特征层的激活值；
[0031]所述卷积神经网络的第m+2层池化层到所述卷积神经网络的第m+3层全连接层的前向传导公式如下：
[0032][0033][0034]其中，t
m+2
表示卷积神经网络第m+2层所含的神经元个数，表示卷积神经网络的第m+2层的第j个神经元的激活值，表示第m+3层第j个神经元连接到第m+2层第i个神
经元的连接权值，表示偏置，t
m+3
表示卷积神经网络第m+3层所含神经元的个数，表示卷积神经网络的第m+3层的第i个特征层的输入，表示卷积神经网络的第m+3层的第i个特征层的加权输入，表示卷积神经网络的第m+3层的第i个特征层的激活值。
[0035]第二方面，本专利技术提供一种多模态信息融合方法，应用于模态信息采集单元，所述方法包括：
[0036]通过B
‑
M2M广播信道向MEC发送针对目标对象的模态信息，以使所述MEC接收到各模态信息采集单元发送的针对同一所述目标对象的多个模态信息后，根据预先部署的多模态融合算法对所述多个模态信息进行融合；
[0037]接收所述MEC通过所述B
‑
M2M广播信道广播的融合结果，并根据接收到的所述融合结果对自身当前模态的结果进行修正。
[0038]优选地，所述根据接收到的所述融合结果对自身当前模态的结果进行修正，具体包括：
[0039]根据以下公式进行修正：
[0040][0041]其中，p(θ/x)为当前模态融合信息修正下的当前时刻的输出信息，θ为当前模态的当前时刻的输出信息，x为接收到的当前时刻的融合结果，p(x/θ)为当前模态输出为x时融合信息输出为θ的概率，π(θ)为上一个时刻之前的所有时刻输出信息为θ的概率。
[0042]第三方面，本专利技术提供一种MEC，包括第一B
‑
M2M模块和多模态数据融合模块；
[0043]所述第一B
‑
M2M模块用于接收各模态信息采集单元通过广播机器对机器B
‑
M2M广播信道发送的针对同一目标对象的多个模态信息，并将所述多个模态信息发送给所述多模态数据融合模块；
[0044]所述多模态数据融合模块用于根据预先部署的多模态融合算法对所述多个模态信息进行融合，并将融合结果发送给所述第一B
‑
M2M模块；
[0045]所述第一B
‑
M2M模块还用于将所述融合结果通过所述B本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态信息融合方法，其特征在于，应用于移动边缘计算MEC中，所述方法包括：接收各模态信息采集单元通过广播机器对机器B
‑
M2M广播信道发送的针对同一目标对象的多个模态信息；根据预先部署的多模态融合算法对所述多个模态信息进行融合，并将融合结果通过所述B
‑
M2M广播信道广播给所述各模态信息采集单元以及执行单元，以使所述各模态信息采集单元根据接收到的融合结果对自身当前模态的结果进行修正，并使所述执行单元根据接收到的融合结果进行相应判决和/或操作。2.根据权利要求1所述的多模态信息融合方法，其特征在于，所述多个模态信息分别携带时间戳；所述根据预先部署的多模态融合算法对所述多个模态信息进行融合之前，所述方法还包括：根据所述时间戳将所述多个模态信息进行对齐；将对齐后的各模态信息转换为统一的语义表示；所述根据预先部署的多模态融合算法对所述多个模态信息进行融合，具体包括：根据预先部署的所述多模态融合算法对统一语义表示后的所述各模态信息进行融合。3.根据权利要求2所述的多模态信息融合方法，其特征在于，所述根据所述时间戳将所述多个模态信息进行对齐，具体包括：根据所述时间戳将所述多个模态信息中属于同一时刻的模态信息进标注；将标注后的模态信息按所述时间戳顺序依次排序；其中，所述多个模态信息包括视频信息、位置信息、压力信息、温度信息中的至少两种。4.根据权利要求2所述的多模态信息融合方法，其特征在于，所述多模态融合算法的公式为：x＝h(x1,...,x
n
)其中，x为多模态信息语义表示，x1,...,x
n
分别为n个模态信息各自的语义表示，h为融合函数。5.根据权利要求4所述的多模态信息融合方法，其特征在于，所述方法还包括：采用卷积神经网络构造所述融合函数，其中，所述卷积神经网络包括一个或多个依次连接的数据处理层，每个所述数据处理层包括依次连接的第一卷积层、第二卷积层、池化层和全连接层。6.根据权利要求5所述的多模态信息融合方法，其特征在于，所述卷积神经网络的第m层第一卷积层到所述卷积神经网络的第m+1层第二卷积层的前向传导公式如下：层第一卷积层到所述卷积神经网络的第m+1层第二卷积层的前向传导公式如下：其中，表示卷积神经网络的第m+1层的第i个特征层的输入，表示卷积神经网络的第m+1层的第i个特征层的加权输入，表示卷积神经网络的第m+1层的第i个特征层的激活值，f表示激活函数；表示卷积神经网络第m层第j个特征层连接到卷积神经网络
第m+1层第i个特征层的卷积核，表示偏置，conv2表示对应元素之间的卷积运算，运算不改变特征层长宽，表示卷积神经网络第m层的第j个特征层，t
m
和t
m+1
分别表示第m层和第m+1层的特征层层数；所述卷积神经网络的第m+1层第二卷积层到所述卷积神经网络的第m+2层池化层的前向传导公式如下：向传导公式如下：其中，d表示下采样函数，表示卷积神经网络的第m+2层的第i个特征层的输入，表示卷积神经网络的第m+2层的第i个特征层的加权输入，表示卷积神经网络的第m+2层的第i个特征层的激活值；所述卷积神经网络的第m+2层池化层到所述卷积神经网络的第m+3层全连接层的前向传导公式如下：传导公式如下：其中，t
m+2
表示卷积神经网络第m+2层所含的神经...

【专利技术属性】
技术研发人员：李希金，李红五，安岗，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：