一种跨模态人工智能信息处理系统及检索方法技术方案

一种跨模态人工智能信息处理系统及跨模态信息检索方法。系统包括：分隔模块，其被配置为对第一模态信息进分隔得到连续的多段第一模态信息片段；特征提取模块，其被配置为对每段第一模态信息片段表达的内容进行特征提取形成事件图谱；标识模块，其被配置为将事件图谱中的元素利用第二模态信息进行标识形成第二模态标识信息；第二编码模块，其被配置对第二模态标识信息进行编码形成第二模态信息数据；关联模块，其被配置为将第二模态信息数据与相应段的第一模态信息片段中的每帧数据进行关联生成关联标识；第一插入模块，其被配置为将关联标识的插入到第一模态数据帧中；第二插入模块，其被配置为关联标识的插入到第二模态数据帧中。态数据帧中。态数据帧中。

【技术实现步骤摘要】
一种跨模态人工智能信息处理系统及检索方法


[0001]本专利技术涉及一种跨模态人工智能信息处理系统及检索方法，属于人工智能


技术介绍

[0002]现有技术中，对文本信息可通过关键词进行全文检索，而对音频/视频信息而言，想在一定时间长度音频时间段和视频时间段中查寻关注的信息却无能为力。

技术实现思路

[0003]本专利技术的专利技术目的是提供一种跨模态人工智能信息处理系统及检索方法，能够快速进行跨模态信息检索并再现。
[0004]为实现所述专利技术目的，本专利技术提供一种跨模态人工智能信息处理系统，其特征在于，包括：分隔模块，其被配置为对第一模态信息进分隔得到连续的多段第一模态信息片段；特征提取模块，其被配置为对每段第一模态信息片段表达的内容进行特征提取形成表征每段第一模态数据片段表达的内容中的事件及其关系的事件图谱；标识模块，其被配置为将事件图谱中的元素利用第二模态信息进行标识形成第二模态标识信息；第二编码模块，其被配置对第二模态标识信息进行编码形成第二模态信息数据；关联模块，其被配置为将第二模态信息数据与相应段的第一模态信息片段中的每帧数据进行关联生成关联标识；第一插入模块，其被配置为将关联标识的插入到第一模态数据帧中，而后存储于第一模态信息数据库中；第二插入模块，其被配置为关联标识的插入到第二模态数据帧中而后存储于第二模态信息数据库中。
[0005]优选地，第一模态信息包括语音和/或者视频；第二模态信息包括文本。
[0006]优选地，特征提取模块包括事件图谱建立模块和累加模块，所述事件图像建立模块被配置为根据第一模态信息源表达的内容建立事件图谱，累加模块被配置为累加连续相同事件图谱的时长；分隔模块还被配置为根据时长对第一模态信息进分隔得到连续的多段第一模态信息片段。
[0007]优选地，跨模态人工智能信息处理系统还包括第一编码模块，所述第一编码模块用于对分隔后的第一模态信息片段进行编码生成第一模态信息数据。
[0008]优选地，第一模态信息包括视频数据；第二模态信息包括文本。
[0009]优选地，特征提取模块包括转换模块、人工智能模块、事件图谱建立模块和累加模块，其中，转换模块将第一模态信息数据转换成二维图像；人工智能模块被配置为识别每帧二维图像的特征值，所特征值包括前景图像特征值、背景图像特征值；事件图谱建立模块，其被配置为根据每帧图像的前景图像特征值表征图元的关系及前景图像特征值表征的图元与背景图像特征值表征的图元的关系建立事件图谱；累加模块被配置为累加连续相同事件图谱的时长；分配模块还根据被配置为根据时长对第一模态信息进分隔得到连续的多段第一模态信息片段。
[0010]为实现所述专利技术目的，本专利技术还提供一种利用权利上述系统进行跨模态信息检索方法，其特征在于，包括如下步骤：根据输入的第二模态信息在第二模态信息数据库中查找对应的第二模态数据；提取第二模态数据的关联头；根据关联头从第一模态信息数据库中检索第一模态信息数据帧，利用第一模态信息数据帧再现第一模态信息。
[0011]与现有技术相比，本专利技术的专利技术目的是提供一种跨模态人工智能信息处理系统及检索方法，能够快速进行跨模态信息检索。
附图说明
[0012]图1是本专利技术第一实施例提供的跨模态人工智能信息处理系统的组成框图；图2是表示将第一模态信息分隔成多个信息片段的示意图；图3是本专利技术一实施例提供的跨模态人工智能信息处理系统中的第一编码模块的组成框图；图4是本专利技术一实施例提供的帧间预测处理模块的组成框图；图5是本专利技术第二实施例提供的跨模态人工智能信息处理系统的组成框图；图6是本专利技术提供的跨模态信息检索方法的流程图。
具体实施方式
[0013]下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0014]在本专利技术的描述中，需要说明的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0015]第一实施例图1是本专利技术第一实施例提供的跨模态人工智能信息处理系统的组成框图，如图1所示，第一实施例提供跨模态人工智能信息处理系统包括：第一模态信息源510，其例如为由声电转换器获取的音频信息源或者由光电转换器获取的图像信息源；分隔模块520，其被配置为对第一模态信息进分隔得到连续的多段第一模态信息片段；特征提取模块，其被配置为对每段第一模态信息片段表达的内容进行特征提取形成表征每段第一模态数据片段表达的内容中的事件及其关系的事件图谱，本专利技术中事件图谱以树状结构的形式组织，树状结构中，每个节点称为元素；标识模块580，其被配置为将事件图谱中的元素利用第二模态信息进行标识形成第二模态标识信息；第二编码模块590，其被配置对第二模态标识信息进行编码形成第二模态信息数据，即利用字符串对第二模态信息进行编码，所述字符串包括二进制字符串；关联模块570，其被配置为将第二模态信息数据与相应段的第一模态信息片段进行关联生成关联标识（或者关联指针）；第一插入模块540，其被配置为将关联标识的插入到第一模态数据信息数据片段的每帧数据中，而后存储于第一模态信息数据库中或者送入到信道编码器，经信道编码而后发送给通信单元；第二插入模块600，其被配置为关联标识的插入到第二模态数据帧中而后存储于第二模态信息数据库中或者送入到信道编码器，经信道编码而后发送给通信单元。
[0016]第一实施例中，第一模态信息包括语音和/或者视频，所述语音包括多种语种语
音、方言等；第二模态信息包括文本，所述文本包括多种语言文字。
[0017]第一实施例中，第一模态信息数据中的每帧数据具有如下格式：第一模态信息数据头第一模态信息数据第二模态信息数据中的每帧数据具有如下格式：第二模态信息数据头第二模态信息数据插入关联头的第一模态信息数据具有如下格式：关联头第一模态信息数据头第一模态信息数据插入关联头的第二模态信息数据具有如下格式：关联头第二模态信息数据头第二模态信息数据第一实施例中，特征提取模块包括事件图谱建立模块550和累加模块560，所述事件图像建立模块550被配置为根据第一模态信息源表达的内容建立事件图谱，累加模块560被配置为累加连续相同事件图谱的时长，即第一模态信息源表示相同的事件时间段；分配模块520还被配置为根据时长对连续的具有一定时长第一模态信息进分隔得到连续的多段第一模态信息片段。如图2所示，具有设定时长T的视频信息，表达了四个事件:事件1、事件2、事件3和事件4，分隔模块将该视频分成四个片段，时长分别为T1、T2、T3和T4。优选地每个事件1可根据表达的不同内容进一步细分。
[0018]第一实施例中，跨模态人工智能信息处理系统还包括第一编码模块530，所述编码模块用于对分隔后的第一模态信息片段进行编码生成第一模态信息数据。本专利技术中，第一模态信息为视频信息时，第一编码模块采用的图3
...

【技术保护点】

【技术特征摘要】
1.一种跨模态人工智能信息处理系统，其特征在于，包括：分隔模块，其被配置为对第一模态信息进分隔得到连续的多段第一模态信息片段；特征提取模块，其被配置为对每段第一模态信息片段表达的内容进行特征提取形成表征每段第一模态数据片段表达的内容中的事件及其关系的事件图谱；标识模块，其被配置为将事件图谱中的元素利用第二模态信息进行标识形成第二模态标识信息；第二编码模块，其被配置对第二模态标识信息进行编码形成第二模态信息数据；关联模块，其被配置为将第二模态信息数据与相应段的第一模态信息片段中的每帧数据进行关联生成关联标识；第一插入模块，其被配置为将关联标识的插入到第一模态数据帧中，而后存储于第一模态信息数据库中；第二插入模块，其被配置为关联标识的插入到第二模态数据帧中而后存储于第二模态信息数据库中。2.根据权利要求1所述的跨模态人工智能信息处理系统，其特征在于，第一模态信息包括语音和/或者视频；第二模态信息包括文本。3.根据权利要求2所述的跨模态人工智能信息处理系统，其特征在于，特征提取模块包括事件图谱建立模块和累加模块，所述事件图像建立模块被配置为根据第一模态信息源表达的内容建立事件图谱，累加模块被配置为累加连续相同事件图谱的时长；分隔模块还被配置为根据时长对第一模态信息进分隔得到连续的多段第一模态信息片段。4.根据...

【专利技术属性】
技术研发人员：王芳，连芷萱，
申请(专利权)人：连芷萱，
类型：发明
国别省市：