基于跨媒介理解技术的分层融合方法、装置及相关介质制造方法及图纸

本发明专利技术公开了基于跨媒介理解技术的分层融合方法、装置及相关介质，该方法包括：获取数据信息，将所述数据信息作为数据层；根据所述数据信息检测得到数据特征，将所述数据特征作为特征层；根据所述数据特征识别得到特征识别结果，将所述特征识别结果作为决策层；获取反馈信息，将所述反馈信息作为反馈层；将所述数据层、所述特征层、所述决策层和所述反馈层进行融合，得到多源信息融合结果；根据所述多源信息融合结果判断是否发生异常事件；若是，则触发警报并获取现场人员反馈信息，将所述现场人员反馈信息传入到所述反馈层。本发明专利技术通过融合多源信息识别异常事件，建立一种跨媒介检测识别系统，如此，提高了信息获取效率以及异常事件检测识别精度。事件检测识别精度。事件检测识别精度。

【技术实现步骤摘要】
基于跨媒介理解技术的分层融合方法、装置及相关介质


[0001]本专利技术涉及智能信息融合领域，特别涉及基于跨媒介理解技术的分层融合方法、装置及相关介质。

技术介绍

[0002]目前单一的图像、视频、声音、文本等信息理解技术已经较为成熟，并且应用在多个地方；但是在公共安全监测过程中使用单一的感知手段无法做到全方位的感知和全方位的信息采集；比如图像、视频中行人目标出现遮挡情况或者对于厕所等特殊场合，则无法获取图像信息；夜间场景图像质量差，则行人目标检测效果不理想；又如声音处于噪音较大的环境中或者声源离拾音器较远时，则对声音的识别效果大大降低；另外的，文本检测识别获取信息的难度较大，需要使用特种设备进行辅助获取。因此，采用单一的感知设备无法做到全方位的感知和全方位的信息采集，对于异常事件的检测识别存在局限性且信息获取效率低下。

技术实现思路

[0003]本专利技术实施例提供了基于跨媒介理解技术的分层融合方法、装置及相关介质，旨在解决公共安全监测过程中使用单一的感知设备从而导致异常事件检测识别存在局限性且信息获取效率低下的问题。
[0004]第一方面，本专利技术实施例提供了一种基于跨媒介理解技术的分层融合方法，包括：
[0005]获取数据信息，将所述数据信息作为数据层；其中，所述数据信息包括：图像信息、视频信息、音频信息、文本信息和传感器信息；
[0006]根据所述数据信息检测得到数据特征，将所述数据特征作为特征层；其中，所述数据特征包括：图像特征、视频特征、音频特征、文本特征和传感器特征；
[0007]根据所述数据特征识别得到特征识别结果，将所述特征识别结果作为决策层；其中，所述特征识别结果包括：图像特征识别结果、视频特征识别结果、音频特征识别结果、文本特征识别结果和传感器特征识别结果；
[0008]获取反馈信息，将所述反馈信息作为反馈层；其中，所述反馈信息包括：图像反馈信息、视频反馈信息、音频反馈信息、文本反馈信息和传感器反馈信息；
[0009]将所述数据层、所述特征层、所述决策层和所述反馈层进行融合，得到多源信息融合结果；
[0010]根据所述多源信息融合结果判断是否发生异常事件；若否，则重新获取信息并再次判断；若是，则触发警报并获取现场人员反馈信息，将所述现场人员反馈信息传入到所述反馈层。
[0011]第二方面，本专利技术实施例提供了一种基于跨媒介理解技术的分层融合装置，包括：
[0012]信息获取单元，用于获取数据信息，将所述数据信息作为数据层；其中，所述数据信息包括：图像信息、视频信息、音频信息、文本信息和传感器信息；
[0013]特征计算单元，用于根据所述数据信息检测得到数据特征，将所述数据特征作为特征层；其中，所述数据特征包括：图像特征、视频特征、音频特征、文本特征和传感器特征；
[0014]特征识别单元，用于根据所述数据特征识别得到特征识别结果，将所述特征识别结果作为决策层；其中，所述特征识别结果包括：图像特征识别结果、视频特征识别结果、音频特征识别结果、文本特征识别结果和传感器特征识别结果；
[0015]反馈获取单元，用于获取反馈信息，将所述反馈信息作为反馈层；其中，所述反馈信息包括：图像反馈信息、视频反馈信息、音频反馈信息、文本反馈信息和传感器反馈信息；
[0016]信息融合单元，用于将所述数据层、所述特征层、所述决策层和所述反馈层进行融合，得到多源信息融合结果；
[0017]结果判断单元，用于根据所述多源信息融合结果判断是否发生异常事件；若否，则重新获取信息并再次判断；若是，则触发警报并获取现场人员反馈信息，将所述现场人员反馈信息传入到所述反馈层。
[0018]第三方面，本专利技术实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述第一方面的基于跨媒介理解技术的分层融合方法。
[0019]第四方面，本专利技术实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述第一方面的基于跨媒介理解技术的分层融合方法。
[0020]本专利技术实施例提供一种基于跨媒介理解技术的分层融合方法，获取数据信息，将所述数据信息作为数据层；根据所述数据信息检测得到数据特征，将所述数据特征作为特征层；根据所述数据特征识别得到特征识别结果，将所述特征识别结果作为决策层；获取反馈信息，将所述反馈信息作为反馈层；将所述数据层、所述特征层、所述决策层和所述反馈层进行融合，得到多源信息融合结果；根据所述多源信息融合结果判断是否发生异常事件；若否，则重新获取信息并再次判断；若是，则触发警报并获取现场人员反馈信息，将所述现场人员反馈信息传入到所述反馈层。本专利技术通过融合多源信息识别异常事件，建立一种跨媒介检测识别系统，如此，提高了信息获取效率以及异常事件检测识别精度。
[0021]本专利技术实施例还提供一种基于跨媒介理解技术的分层融合装置、计算机设备和存储介质，同样具有上述有益效果。
附图说明
[0022]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1为本专利技术实施例提供的一种基于跨媒介理解技术的分层融合方法的流程示意图；
[0024]图2为本专利技术实施例提供的一种基于跨媒介理解技术的分层融合方法的网络架构图；
[0025]图3为本专利技术实施例提供的一种基于跨媒介理解技术的分层融合装置的示意性框图。
具体实施方式
[0026]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0027]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0028]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0029]还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0030]下面请参见图1，图1为本专利技术实施例提供的一种基于跨媒介理解技术的分层融合方法的流程示意图，具体包括：步骤S101～S1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于跨媒介理解技术的分层融合方法，其特征在于，包括：获取数据信息，将所述数据信息作为数据层；其中，所述数据信息包括：图像信息、视频信息、音频信息、文本信息和传感器信息；根据所述数据信息检测得到数据特征，将所述数据特征作为特征层；其中，所述数据特征包括：图像特征、视频特征、音频特征、文本特征和传感器特征；根据所述数据特征识别得到特征识别结果，将所述特征识别结果作为决策层；其中，所述特征识别结果包括：图像特征识别结果、视频特征识别结果、音频特征识别结果、文本特征识别结果和传感器特征识别结果；获取反馈信息，将所述反馈信息作为反馈层；其中，所述反馈信息包括：图像反馈信息、视频反馈信息、音频反馈信息、文本反馈信息和传感器反馈信息；将所述数据层、所述特征层、所述决策层和所述反馈层进行融合，得到多源信息融合结果；根据所述多源信息融合结果判断是否发生异常事件；若否，则重新获取信息并再次判断；若是，则触发警报并获取现场人员反馈信息，将所述现场人员反馈信息传入到所述反馈层。2.根据权利要求1所述的基于跨媒介理解技术的分层融合方法，其特征在于，所述获取数据信息，将所述数据信息作为数据层，包括：按如下公式判断所述获取数据信息是否为有用信息：SNR＝10lg(Ps/Pn)其中，Ps表示信号有效功率；Pn表示噪音有效功率；SNR表示信噪比；其中，p
signal
表示有用信号功率；p
noise
+p
distortion
表示无用信号功率；SINAD表示信纳比；筛选所述有用信息并剔除无用信息。3.根据权利要求1所述的基于跨媒介理解技术的分层融合方法，其特征在于，所述获取数据信息，将所述数据信息作为数据层，还包括：按如下公式分别计算所述图像信息、所述视频信息、所述音频信息、所述文本信息和所述传感器信息的权重系数：其中，表示第i种信息的权重系数；SNR
i
表示第i种信息的信噪比；SNR
img
表示所述图像信息的信噪比；SNR
audio
表示所述音频信息的信噪比；SNR
text
表示所述文本信息的信噪比；SNR
other
表示所述传感器信息的信噪比；SNR
video
表示所述视频信息的信噪比。4.根据权利要求1所述的基于跨媒介理解技术的分层融合方法，其特征在于，所述获取数据信息，将所述数据信息作为数据层，还包括：按如下公式计算得到所述数据信息：
其中，Da
img
表示所述图像信息；Da
video
表示所述视频信息；Da
audio
表示所述音频信息；Da
text
表示所述文本信息；Da
other
表示所述传感器信息；S
数据
表示所述数据信息；表示图像权重；表示视频权重；表示音频权重；表示文本权重；表示传感器权重。5.根据权利要求1所述的基于跨媒介理解技术的分层融合方法，其特征在于，所述根据所述数据信息检测得到数据特征，将所述数据特征作为特征层，包括：按如下公式计算得到所述数据特征：其中，Fe
im...

【专利技术属性】
技术研发人员：魏园波，刘军，
申请(专利权)人：深圳英飞拓科技股份有限公司，
类型：发明
国别省市：