一种基于多模态数据融合的大数据处理方法技术

本发明专利技术公开了一种基于多模态数据融合的大数据处理方法，涉及了多模态融合技术领域，构建数据抓取平台，并通过数据抓取平台获取不同数据类型的数据信息，对数据信息进行预处理，进而生成不同数据类型对应的建模数据；获取不同数据类型的建模数据，进而构建不同模态类型的模态数据，并对模态数据进行特征提取生成相应的模态特征向量；根据模态特征向量构建相应的模态特征图层，汇总模态特征图层进行特征融合，进而构建多模态数据融合图，设置切片窗口，并根据切片窗口将多模态数据融合图映射为相应的多模态融合模型。为相应的多模态融合模型。为相应的多模态融合模型。

【技术实现步骤摘要】
一种基于多模态数据融合的大数据处理方法


[0001]本专利技术涉及多模态融合
，具体是一种基于多模态数据融合的大数据处理方法
。

技术介绍

[0002]随着信息时代的到来，数据的规模和复杂性也越来越大，对于同一个事物对象，表征该事物对象的数据的类型也存在多样性，数据的类型包括文本数据
、
音视频数据以及图片数据等等
。
[0003]当我们想从庞大的事物对象中提取其特征信息进行数据分析时，往往只是从某一个单一的维度出发，例如，汽车实现自动驾驶或辅助泊车时，只通过汽车上所布置的摄录设备进行图像的获取，并分析图像这一单一维度的数据，此时数据的维度信息过少，相对应自动驾驶和辅助泊车的精确度也较低，同样的例子，在抓取网页上的数据进行风险内容分析时，采用单一类型的数据，会造成分析的精准度出现较大的偏差，如何将同一个事物对象对应的不同类型数据的特征进行提取，综合利用数据的多重特征，从而获得更加全面和准确的信息，这是目前急需解决的问题，因此，需要一种基于多模态数据融合的大数据处理方法
。

技术实现思路

[0004]为了解决上述问题，本专利技术的目的在于提供一种基于多模态数据融合的大数据处理方法
。
[0005]本专利技术的目的可以通过以下技术方案实现：一种基于多模态数据融合的大数据处理方法，包括以下步骤：步骤
S1
：构建数据抓取平台，并通过数据抓取平台获取不同数据类型的数据信息，对数据信息进行预处理，进而生成不同数据类型对应的建模数据；步骤
S2
：获取不同数据类型的建模数据，进而构建不同模态类型的模态数据，并对模态数据进行特征提取生成相应的模态特征向量；步骤
S3
：根据模态特征向量构建相应的模态特征图层，汇总模态特征图层进行特征融合，进而构建多模态数据融合图，设置切片窗口，并根据切片窗口将多模态数据融合图映射为相应的多模态融合模型
。
[0006]进一步的，构建所述数据抓取平台的过程包括：构建数据抓取平台，所述数据抓取平台设置有若干个数据仓库，所述数据仓库设置有若干个数据存储节点，所述数据仓库和数据存储节点设置有不同的存储状态，根据存储状态执行相应的操作，对数据仓库和数据存储节点分别进行编号，生成一级定位索引和二级定位索引，进而根据一级定位索引和二级定位索引获取数据存储位置序列
。
[0007]进一步的，通过所述数据抓取平台抓取不同数据类型的数据信息，并进行预处理生成相应的建模数据的过程包括：
由数据抓取平台内生成一个数据抓取队列，所述数据抓取队列包括若干种类型的队列节点单元，队列节点单元的类型包括字符节点单元
、
音视频节点单元以及图像节点单元，所述数据信息的类型包括文本数据
、
音视频数据以及图像数据；若数据类型为文本数据，则对应的文本数据入队至字符节点单元；若数据类型为音视频数据，则对应的音视频数据入队至音视频节点单元；若数据类型为图像数据，则对应的图像数据入队至图像节点单元；获取文本数据
、
音视频数据以及图像数据对应的数据格式，进而将各自的数据格式相应的转换为预设的文本建模数据格式
、
音视频建模数据格式和图像建模数据格式，并统计获取各自的建模属性，获取不同数据类型的数据信息与相对应的建模属性，进而封装生成不同的建模数据
。
[0008]进一步的，构建所述不同模态类型的模态数据的过程包括：所述模态数据的模态类型包括图像模态
、
文本模态
、
视频模态以及音频模态；若获取到数据类型为文本数据的建模数据，则将建模数据对应的文本的词频
、
逆文档频率
、TF
‑
IDF
属性
、N
‑
gram
属性以及文本句长分别作为文本模态特征因子；所述文本模态特征因子有对应的文本系数因子，累加文本系数因子进而生成文本总特征系数，并将文本总特征系数与预设的文本模态生成界定值进行比对，进而构建文本模态；若获取到数据类型为音视频数据的建模数据，则获取建模数据对应的音频特征和视频特征，并分别作为模态因素集合，预设有空模态模型，将模态因素集合作为模型参数输入至空模态模型中，进而分别构建音频模态和视频模态，合并音频模态和视频模态为音视频模态；若获取到数据类型为图像数据的建模数据，则获取建模数据对应的颜色特征
、
纹理特征
、
形状特征以及尺度方向特征分别作为图像模态特征因子，根据图像模态特征因子获取图像总特征系数，并将图像总特征系数与预设的图像模态构建区间进行从属关系判断，进而构建图像模态
。
[0009]进一步的，所述特征提取进而生成相应的模态特征向量的过程包括：所述模态特征向量包括文本模态特征向量
、
音视频模态特征向量以及图像模态特征向量；当模态数据为文本模态时，将文本数据对应的文本进行词组划分，进而划分为若干个等字段词组，并去除等字段词组中字符的噪声信息，设置频数阈值，获取每个等字段词组的出现次数，比对频数阈值与等字段词组的出现次数，进而划分出高频词组和低频词组，设置加权系数一和加权系数二，进而生成每个等字段词组的特征向量值，汇总若干个等字段词组以及对应的特征向量值生成文本模态特征向量；当模态数据为音视频模态时，将音频数据和视频数据划分为若干个固定长度的帧片段，获取每个帧片段对应的时间戳，获取时间戳的帧数据，进而构建出帧数据关于时间戳的帧数据变化趋势图；帧数据变化趋势图映射有若干个特征向量坐标点位，将若干个特征向量坐标点位作为音视频模态特征向量；当模态数据为图像模态时，将图像模态对应的图像划分为若干个子图，获取每个子图的
RGB
值
、
进而获取每个子图的纹理像素编码，汇总每个子图的纹理像素编码，进而生成纹理信息特征图；设置梯度阈值区间，获取每个子图的边缘信息梯度值，进而根据梯度阈
值区间和每个子图的边缘信息梯度值生成边缘信息特征图，将纹理信息特征图作为待映射图层，将边缘信息特征图作为映射图层，将映射图层映射至待映射图层内，进而生成图像模态特征向量
。
[0010]进一步的，根据所述模态特征向量构建模态特征图层的过程包括：获取文本模态特征向量
、
图像模态特征向量以及音视频模态特征向量的向量维度，所述模态特征图层包括文本特征图层
、
音视频特征图层以及图像特征图层；对文本模态特征向量
、
图像模态特征向量以及音视频模态特征向量分别设置低纬度向量区间
、
中等维度向量区间以及高纬度向量区间；将向量维度与低纬度向量区间
、
中等维度向量区间以及高纬度向量区间进行从属关系判断，根据从属关系判断结果决定是否构建相应的模态特征图层
。
[0011]进一步的，通过所述特征融合进而构建多模态数据融合图的过程包括：获取文本特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多模态数据融合的大数据处理方法，其特征在于，包括以下步骤：步骤
S1
：构建数据抓取平台，并通过数据抓取平台获取不同数据类型的数据信息，对数据信息进行预处理，进而生成不同数据类型对应的建模数据；步骤
S2
：获取不同数据类型的建模数据，进而构建不同模态类型的模态数据，并对模态数据进行特征提取生成相应的模态特征向量；步骤
S3
：根据模态特征向量构建相应的模态特征图层，汇总模态特征图层进行特征融合，进而构建多模态数据融合图，设置切片窗口，并根据切片窗口将多模态数据融合图映射为相应的多模态融合模型
。2.
根据权利要求1所述的一种基于多模态数据融合的大数据处理方法，其特征在于，构建所述数据抓取平台的过程包括：构建数据抓取平台，所述数据抓取平台设置有若干个数据仓库，所述数据仓库设置有若干个数据存储节点，所述数据仓库和数据存储节点设置有不同的存储状态，根据存储状态执行相应的操作，对数据仓库和数据存储节点分别进行编号，生成一级定位索引和二级定位索引，进而根据一级定位索引和二级定位索引获取数据存储位置序列
。3.
根据权利要求2所述的一种基于多模态数据融合的大数据处理方法，其特征在于，通过所述数据抓取平台抓取不同数据类型的数据信息，并进行预处理生成相应的建模数据的过程包括：由数据抓取平台内生成一个数据抓取队列，所述数据抓取队列包括若干种类型的队列节点单元，队列节点单元的类型包括字符节点单元
、
音视频节点单元以及图像节点单元，所述数据信息的类型包括文本数据
、
音视频数据以及图像数据；若数据类型为文本数据，则对应的文本数据入队至字符节点单元；若数据类型为音视频数据，则对应的音视频数据入队至音视频节点单元；若数据类型为图像数据，则对应的图像数据入队至图像节点单元；获取文本数据
、
音视频数据以及图像数据对应的数据格式，进而将各自的数据格式相应的转换为预设的文本建模数据格式
、
音视频建模数据格式和图像建模数据格式，并统计获取各自的建模属性，获取不同数据类型的数据信息与相对应的建模属性，进而封装生成不同的建模数据
。4.
根据权利要求3所述的一种基于多模态数据融合的大数据处理方法，其特征在于，构建所述不同模态类型的模态数据的过程包括：所述模态数据的模态类型包括图像模态
、
文本模态
、
视频模态以及音频模态；若获取到数据类型为文本数据的建模数据，则将建模数据对应的文本的词频
、
逆文档频率
、TF
‑
IDF
属性
、N
‑
gram
属性以及文本句长分别作为文本模态特征因子；所述文本模态特征因子有对应的文本系数因子，累加文本系数因子进而生成文本总特征系数，并将文本总特征系数与预设的文本模态生成界定值进行比对，进而构建文本模态；若获取到数据类型为音视频数据的建模数据，则获取建模数据对应的音频特征和视频特征，并分别作为模态因素集合，预设有空模态模型，将模态因素集合作为模型参数输入至空模态模型中，进而分别构建音频模态和视频模态，合并音频模态和视频模态为音视频模态；若获取到数据类型为图像数据的建模数据，则获取建模数据对应的颜色特征
、
纹理特
征
、
形状特征以及尺度方向特征分别作为图像模态特征因子，根据图像模态特征因子获取图像总特征系数，并将图像总特征系数与预设的图像模态构建区间进行从属关系判断，进而构建图像模态
。5.
根据权利要求4所述的一种基于多模态数据融合的大数据处理方法，其特征在于，所述...

【专利技术属性】
技术研发人员：胡鹏飞，李刚，段海兰，周涛，
申请(专利权)人：湖南承希科技有限公司，
类型：发明
国别省市：