【技术实现步骤摘要】
本申请涉及数据处理领域，且更为具体地，涉及一种区块链技术的多模态数据处理方法及系统。
技术介绍
1、随着互联网和移动通信技术的飞速发展，目前正经历着一个信息量爆炸式增长的时代。多媒体内容，如图像、视频和文本，不仅数量激增，而且形式和来源也日益多样化。用户对于信息检索的需求也变得更加复杂和个性化，他们期望能够快速、准确地找到与自己需求高度相关的信息。
2、然而，在处理用户查询时，传统检索通常面临单一模态依赖的问题，比如只能依靠文本检索的方式来输出相关文本信息，这限制了它们在理解复杂查询和提供丰富内容方面的潜力。具体来说，如果仅依赖文本数据进行检索的输入和输出，而无法匹配到某些图像或视频内容中的视觉信息，这种局限性导致在面对需要检索和输出图像数据信息时表现不佳。此外，传统通常基于关键词进行检索，但用户查询可能包含隐含的意图或情感色彩，若仅通过简单的关键词匹配来准确捕捉，可能无法有效利用上下文，降低了检索的相关性和可靠性。
3、因此，期望一种优化的数据处理方法。
技术实现思路
1、为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种区块链技术的多模态数据处理方法及系统，其通过采用基于人工智能的文本处理和图像分析技术来进行所述检索查询文本输入的语义编码和所述第一备选图像的局部区域语义分析，以此根据所述检索查询语义编码特征和各个第一备选图像局部区域语义之间的查询匹配结果来智能地判断是否返回所述第一备选图像。这样，能够通过利用用户的检索文本输入语义来自动输出与之
2、根据本申请的一个方面，提供了一种区块链技术的多模态数据处理方法，其包括：获取用户的检索查询文本输入；对所述检索查询文本输入进行语义编码以得到检索查询文本输入语义编码特征向量；从区块链网络的第一区块提取第一备选图像；对所述第一备选图像进行图像分块处理后进行备选图像局部区域语义特征提取以得到第一备选图像局部区域语义特征向量的序列；将所述第一备选图像局部区域语义特征向量的序列输入基于内生相关性语义度量的特征关联优化网络以得到第一备选图像局部区域优化语义特征向量的序列；以所述检索查询文本输入语义编码特征向量作为查询特征向量，将所述查询特征向量和所述第一备选图像局部区域优化语义特征向量的序列输入细粒度特征自适应解耦查询响应引擎以得到输入-备选图像查询响应自适应匹配结果表示矩阵作为输入-备选图像查询响应自适应匹配结果表示特征；基于所述输入-备选图像查询响应自适应匹配结果表示特征，得到检索结果，所述检索结果用于表示是否返回所述第一备选图像作为查询结果。
3、根据本申请的另一个方面，提供了一种区块链技术的多模态数据处理系统，其包括：检索查询文本获取模块，用于获取用户的检索查询文本输入；语义编码模块，用于对所述检索查询文本输入进行语义编码以得到检索查询文本输入语义编码特征向量；第一备选图像提取模块，用于从区块链网络的第一区块提取第一备选图像；进行备选图像局部区域语义特征提取模块，用于对所述第一备选图像进行图像分块处理后进行备选图像局部区域语义特征提取以得到第一备选图像局部区域语义特征向量的序列；特征关联优化模块，用于将所述第一备选图像局部区域语义特征向量的序列输入基于内生相关性语义度量的特征关联优化网络以得到第一备选图像局部区域优化语义特征向量的序列；细粒度特征自适应解耦查询响应模块，用于以所述检索查询文本输入语义编码特征向量作为查询特征向量，将所述查询特征向量和所述第一备选图像局部区域优化语义特征向量的序列输入细粒度特征自适应解耦查询响应引擎以得到输入-备选图像查询响应自适应匹配结果表示矩阵作为输入-备选图像查询响应自适应匹配结果表示特征；检索结果生成模块，用于基于所述输入-备选图像查询响应自适应匹配结果表示特征，得到检索结果，所述检索结果用于表示是否返回所述第一备选图像作为查询结果。
4、与现有技术相比，本申请提供的一种区块链技术的多模态数据处理方法及系统，其通过采用基于人工智能的文本处理和图像分析技术来进行所述检索查询文本输入的语义编码和所述第一备选图像的局部区域语义分析，以此根据所述检索查询语义编码特征和各个第一备选图像局部区域语义之间的查询匹配结果来智能地判断是否返回所述第一备选图像。这样，能够通过利用用户的检索文本输入语义来自动输出与之相匹配的图像，这样多模态的数据处理和查询方式能够深入理解用户查询和多媒体内容的之间语义匹配，以此提供更全面的查询理解，从而提高多模态数据处理和检索的多样性和智能化水平。
本文档来自技高网...【技术保护点】
1.一种区块链技术的多模态数据处理方法，其特征在于，包括：获取用户的检索查询文本输入；对所述检索查询文本输入进行语义编码以得到检索查询文本输入语义编码特征向量；从区块链网络的第一区块提取第一备选图像；对所述第一备选图像进行图像分块处理后进行备选图像局部区域语义特征提取以得到第一备选图像局部区域语义特征向量的序列；将所述第一备选图像局部区域语义特征向量的序列输入基于内生相关性语义度量的特征关联优化网络以得到第一备选图像局部区域优化语义特征向量的序列；以所述检索查询文本输入语义编码特征向量作为查询特征向量，将所述查询特征向量和所述第一备选图像局部区域优化语义特征向量的序列输入细粒度特征自适应解耦查询响应引擎以得到输入-备选图像查询响应自适应匹配结果表示矩阵作为输入-备选图像查询响应自适应匹配结果表示特征；基于所述输入-备选图像查询响应自适应匹配结果表示特征，得到检索结果，所述检索结果用于表示是否返回所述第一备选图像作为查询结果。
2.根据权利要求1所述的区块链技术的多模态数据处理方法，其特征在于，对所述第一备选图像进行图像分块处理后进行备选图像局部区域语义特征提取以得到第
3.根据权利要求2所述的区块链技术的多模态数据处理方法，其特征在于，将所述第一备选图像局部区域语义特征向量的序列输入基于内生相关性语义度量的特征关联优化网络以得到第一备选图像局部区域优化语义特征向量的序列，包括：计算所述第一备选图像局部区域语义特征向量的序列中任意两个第一备选图像局部区域语义特征向量之间的语义关联得分向量以得到第一备选图像局部区域语义关联得分向量的集合；基于所述第一备选图像局部区域语义关联得分向量的集合，确定第一备选图像局部区域序列内生相关性全局表示向量；基于所述第一备选图像局部区域序列内生相关性全局表示向量，计算所述第一备选图像局部区域语义特征向量的序列中的各个第一备选图像局部区域语义特征向量的关联优化因子以得到第一备选图像局部区域语义关联优化因子的序列；将所述第一备选图像局部区域语义关联优化因子的序列输入激活函数以得到第一备选图像局部区域语义关联优化权重因子的序列；以所述第一备选图像局部区域语义关联优化权重因子的序列中的各个第一备选图像局部区域语义关联优化权重因子作为权重，分别对所述第一备选图像局部区域语义特征向量的序列中的各个第一备选图像局部区域语义特征向量进行加权以得到所述第一备选图像局部区域优化语义特征向量的序列。
4.根据权利要求3所述的区块链技术的多模态数据处理方法，其特征在于，计算所述第一备选图像局部区域语义特征向量的序列中任意两个第一备选图像局部区域语义特征向量之间的语义关联得分向量以得到第一备选图像局部区域语义关联得分向量的集合，包括：将所述第一备选图像局部区域语义特征向量的序列中任意两个第一备选图像局部区域语义特征向量进行级联处理以得到第一备选图像局部区域语义级联特征向量的集合；将所述第一备选图像局部区域语义级联特征向量的集合中每个第一备选图像局部区域语义级联特征向量与第一备选图像语义权重矩阵进行相乘后与第一备选图像语义偏置向量进行按位置相加以得到所述第一备选图像局部区域语义关联得分向量的集合。
5.根据权利要求4所述的区块链技术的多模态数据处理方法，其特征在于，基于所述第一备选图像局部区域语义关联得分向量的集合，确定第一备选图像局部区域序列内生相关性全局表示向量，包括：计算所述第一备选图像局部区域语义关联得分向量的集合的均值向量作为所述第一备选图像局部区域序列内生相关性全局表示向量。
6.根据权利要求5所述的区块链技术的多模态数据处理方法，其特征在于，基于所述第一备选图像局部区域序列内生相关性全局表示向量，计算所述第一备选图像局部区域语义特征向量的序列中的各个第一备选图像局部区域语义特征向量的关联优化因子以得到第一备选图像局部区域语义关联优化因子的序列，包括：将所述第一备选图像局部区域序列内生相关性全局表示向量与第一备选图像全局权重矩阵进行相乘以得到第一备选图像全局表示权重向量；将所述第一备选图像局部区域语义特征向量的序列中的每个第一备选图像局部区域语义特征向量与第一备选图像局部权重矩阵进行相乘以得到第一备选图像局部表示权重向量的集合；将所述第一备选图像局部表示权重向量的集合中的每个第一备选图像局部表示权重向量与所述第一备选图像全局表示权重向量和第一备选图像偏置向量进行按位置相加以得到第一备选图像局部区域语义关联向量的集合；将所述第一备选图像局部区域语义关联向量的集合输入Sigmoid函数以得到所述第一备...
【技术特征摘要】
1.一种区块链技术的多模态数据处理方法，其特征在于，包括：获取用户的检索查询文本输入；对所述检索查询文本输入进行语义编码以得到检索查询文本输入语义编码特征向量；从区块链网络的第一区块提取第一备选图像；对所述第一备选图像进行图像分块处理后进行备选图像局部区域语义特征提取以得到第一备选图像局部区域语义特征向量的序列；将所述第一备选图像局部区域语义特征向量的序列输入基于内生相关性语义度量的特征关联优化网络以得到第一备选图像局部区域优化语义特征向量的序列；以所述检索查询文本输入语义编码特征向量作为查询特征向量，将所述查询特征向量和所述第一备选图像局部区域优化语义特征向量的序列输入细粒度特征自适应解耦查询响应引擎以得到输入-备选图像查询响应自适应匹配结果表示矩阵作为输入-备选图像查询响应自适应匹配结果表示特征；基于所述输入-备选图像查询响应自适应匹配结果表示特征，得到检索结果，所述检索结果用于表示是否返回所述第一备选图像作为查询结果。
2.根据权利要求1所述的区块链技术的多模态数据处理方法，其特征在于，对所述第一备选图像进行图像分块处理后进行备选图像局部区域语义特征提取以得到第一备选图像局部区域语义特征向量的序列，包括：对所述第一备选图像进行图像分块处理后通过包含嵌入层的vit模型以得到所述第一备选图像局部区域语义特征向量的序列。
3.根据权利要求2所述的区块链技术的多模态数据处理方法，其特征在于，将所述第一备选图像局部区域语义特征向量的序列输入基于内生相关性语义度量的特征关联优化网络以得到第一备选图像局部区域优化语义特征向量的序列，包括：计算所述第一备选图像局部区域语义特征向量的序列中任意两个第一备选图像局部区域语义特征向量之间的语义关联得分向量以得到第一备选图像局部区域语义关联得分向量的集合；基于所述第一备选图像局部区域语义关联得分向量的集合，确定第一备选图像局部区域序列内生相关性全局表示向量；基于所述第一备选图像局部区域序列内生相关性全局表示向量，计算所述第一备选图像局部区域语义特征向量的序列中的各个第一备选图像局部区域语义特征向量的关联优化因子以得到第一备选图像局部区域语义关联优化因子的序列；将所述第一备选图像局部区域语义关联优化因子的序列输入激活函数以得到第一备选图像局部区域语义关联优化权重因子的序列；以所述第一备选图像局部区域语义关联优化权重因子的序列中的各个第一备选图像局部区域语义关联优化权重因子作为权重，分别对所述第一备选图像局部区域语义特征向量的序列中的各个第一备选图像局部区域语义特征向量进行加权以得到所述第一备选图像局部区域优化语义特征向量的序列。
4.根据权利要求3所述的区块链技术的多模态数据处理方法，其特征在于，计算所述第一备选图像局部区域语义特征向量的序列中任意两个第一备选图像局部区域语义特征向量之间的语义关联得分向量以得到第一备选图像局部区域语义关联得分向量的集合，包括：将所述第一备选图像局部区域语义特征向量的序列中任意两个第一备选图像局部区域语义特征向量进行级联处理以得到第一备选图像局部区域语义级联特征向量的集合；将所述第一备选图像局部区域语义级联特征向量的集合中每个第一备选图像局部区域语义级联特征向量与第一备选图像语义权重矩阵进行相乘后与第一备选图像语义偏置向量进行按位置相加以得到所述第一备选图像局部区域语义关联得分向量的集合。
5.根据权利要求4所述的区块链技术的多模态数据处理方法，其特征在于，基于所述第一备选图像局部区域语义关联得分向量的集合，确定第一备选图像局部区域序列内生相关性全局表示向量，包括：计算所述第一备选图像局部区域语义关联得分向量的集合的均值向量作为所述第一备选图像局部区域序列内生相关性全局表示向量。
6.根据权利要求5所述的区块链技术的多模态数据处理方法，其特征在于，基于所述第一备选图像局部区域序列内生相关性全局表示向量，计算所述第一备选图像局部区域语义特征向量的序列中的各个第一备选图像局部区域语义特征向量的关联优化因子以得到第一备选图像局部区域语义关联优化因子的序列，包括：将所述第一备选图像局部区域序列内生相关性全局表示向量与第一备选图像全局权重矩阵进行相乘以得到第一备选图像全局表示权重向量；将所述第一...
【专利技术属性】
技术研发人员：张辉军，周鲁，王鹏，杨帆，
申请(专利权)人：数字丝路新疆产业投资集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。