对数据源生成语义描述的方法、设备和电子设备技术

公开了一种对数据源生成语义描述的方法、设备、电子设备和计算机可读存储介质。该方法包括：获取数据源的数据编码特征；从范例句集合中获取至少一个范例句，并且获取所述至少一个范例句的句法编码特征；以及基于所述数据编码特征和所述句法编码特征，生成所述语义描述。本公开的对数据源生成语义描述的方法可以生成由句法指导的语义描述，提高了用户的阅读体验。

【技术实现步骤摘要】
对数据源生成语义描述的方法、设备和电子设备
本公开涉及人工智能领域，更具体地涉及一种对数据源生成语义描述的方法、设备、电子设备和计算机可读存储介质。
技术介绍
目前，网络上存在多种数据源，例如视频、音频、图片、长文本信息等等。用户可能期待能够浏览这些数据源的语义描述(例如电影简介、音乐评论、文本摘要等语义描述信息)来做出决定，例如决定自己是否要进一步观看该电影、购买唱片和阅读长文本等。已经存在对这些数据源自动生成的语义描述的方法。例如，就对视频来生成视频简介的方法而言，传统的语义描述生成方法包括提取视频的编码特征并将这些编码特征输入至长短时记忆网络中以自动生成视频简介。目前，已经能够在自动生成视频简介的过程中加入一些辅助信息(例如风格、情感)来生成用户更期待的看到的视频简介。但是，已有的对数据源生成语义描述的方法所生成的语义描述都忽略了语义描述内容的句法表达，从而使得语义描述信息的句法单一，不便于用户阅读。
技术实现思路
本公开的实施例提供了对数据源生成语义描述的方法、设备、电子设备和计算机可读存储介质。本公开的实施例提供了一种对数据源生成语义描述的方法，包括：获取数据源的数据编码特征；从范例句集合中获取至少一个范例句，并且获取所述至少一个范例句的句法编码特征；以及基于所述数据编码特征和所述句法编码特征，生成所述语义描述。本公开的实施例提供了一种输出视频的语义描述的方法，包括：输出描述所述视频的语义描述；其中，所述视频的语义描述与范例句集合中的至少一个范例句的句法形式一致。本公开的实施例提供了一种输出视频的语义描述的方法，包括：获取视频的视频编码特征；从范例句集合中获取至少一个范例句，并且获取至少一个范例句的句法编码特征；基于视频编码特征和句法编码特征，输出描述视频的语义描述。本公开的实施例提供了一种对数据源生成语义描述的设备，包括：数据编码模块，用于获取数据源的数据编码特征；句法编码模块，用于从范例句集合中获取至少一个范例句，并且获取所述至少一个范例句的句法编码特征；以及描述句子生成模块，用于基于所述数据编码特征和所述句法编码特征，生成所述语义描述。本公开的实施例提供了一种对数据源生成语义描述的电子设备，包括：处理器；存储器，存储器存储有计算机指令，该计算机指令被处理器执行时实现上述方法。本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现上述方法。附图说明为了更清楚地说明本公开实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。下面描述中的附图仅仅是本公开的示例性实施例。图1A是示出根据本公开实施例的对数据源生成语义描述的场景的示例示意图。图1B是示出根据本公开实施例的对数据源生成语义描述的另一场景的示例示意图。图2A是示出根据本公开实施例的对数据源生成语义描述的方法的流程图。图2B是示出根据本公开实施例的对数据源生成语义描述的方法的示意图。图2C是示出根据本公开实施例的对数据源生成语义描述的电子设备的结构图。图3A是示出根据本公开实施例的对数据源生成语义描述的方法中的生成语义描述的操作的流程图。图3B是示出根据本公开实施例的对数据源生成语义描述的方法中的描述生成网络的示意图。图3C是示出根据本公开实施例的对数据源生成语义描述的方法中的调制网络的示意图。图4A是示出根据本公开实施例的对数据源生成语义描述的方法的另一流程图。图4B是示出根据本公开实施例的对数据源生成语义描述的方法的架构图。图5是示出根据本公开实施例的输出视频的语义描述的方法的流程图。图6是示出根据本公开实施例的对数据源生成语义描述的设备的结构图。具体实施方式为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。在本说明书和附图中，具有基本上相同或相似步骤和元素用相同或相似的附图标记来表示，且对这些步骤和元素的重复描述将被省略。同时，在本公开的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性或排序。为便于描述本公开，以下介绍与本公开有关的概念。人工智能(Artificialintelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。自然语言处理(NatureLanguageprocessing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。机器学习(MachineLearning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。可选地，下文中的各个网络都可以是人工智能网络，其可以包括基于人工智能的神经网络模型。通常，基于人工智能的神经网络模型被实现为无环图，其中神经元布置在不同的层中。通常，神经网络模型包括输入层和输出层，输入层和输出层通过至少一个隐藏层分开。隐藏层将由输入层接收到的输入变换为对在输出层中生成输出有用的表示。网络节点经由边全连接至相邻层中的节点，并且每个层内的节点之间不存在边。在神经网络的输入层的节点处接收的数据经由隐藏层、激活层、池化层、卷积层等中的任意一项被传播至输出层的节点。神经网络模型的输入输出可以采用各种形式，本公开对此不作限制。随着人工智能技术研究和进步，人工智能技术在多个领域展开本文档来自技高网...

【技术保护点】
1.一种对数据源生成语义描述的方法，包括：/n获取数据源的数据编码特征；/n从范例句集合中获取至少一个范例句，并且获取所述至少一个范例句的句法编码特征；以及/n基于所述数据编码特征和所述句法编码特征，生成所述语义描述。/n

【技术特征摘要】
1.一种对数据源生成语义描述的方法，包括：
获取数据源的数据编码特征；
从范例句集合中获取至少一个范例句，并且获取所述至少一个范例句的句法编码特征；以及
基于所述数据编码特征和所述句法编码特征，生成所述语义描述。


2.如权利要求1所述的对数据源生成语义描述的方法，其中，所述生成语义描述还包括：
基于所述句法编码特征对所述数据编码特征进行调制并获取调制特征；
利用长短时记忆网络，基于所述调制特征，生成所述语义描述。


3.如权利要求2所述的对数据源生成语义描述的方法，其中，
所述调制特征包括调制输入特征、调制隐藏特征以及调制单元特征中的一项或多项，其中，利用所述句法编码特征对所述数据编码特征进行调制并获取调制特征还包括以下各项中的一项或多项：
基于所述数据编码特征和所述长短时记忆网络在前一时刻生成的语义描述词的词向量来获取输入特征，并且基于所述句法编码特征对所述输入特征进行调制，得到调制输入特征；
基于所述句法编码特征对所述长短时记忆网络在前一时刻的隐藏特征进行调制，得到调制隐藏特征；或者
基于所述句法编码特征对所述长短时记忆网络在当前时刻的单元特征进行调制，得到调制单元特征。


4.如权利要求3所述的生成数据源描述句子的方法，其中，基于所述数据编码特征和所述长短时记忆网络在前一时刻生成的语义描述词的词向量，生成输入特征还包括：
基于所述数据编码特征和长短时记忆网络在前一时刻生成的隐藏特征，获取用于当前时刻的语义特征；
基于所述用于当前时刻的语义特征和所述长短时记忆网络在前一时刻生成的语义描述词的词向量，生成所述输入特征。


5.如权利要求4所述的生成数据源描述句子的方法，还包括：
基于所述句法编码特征和所述长短时记忆网络在前一时刻的隐藏特征获取用于当前时刻的句法特征，
其中，基于所述句法编码特征对所述数据编码特征进行调制包括：基于所述当前时刻的句法特征对所述输入特征、所述前一时刻生成的隐藏特征或所述单元特征中的一项或多项进行调制。


6.如权利要求2所述的对数据源生成语义描述的方法，其中，所述生成语义描述还包括：
基于所述长短时记忆网络的当前时刻的隐藏状态和所述长短时记忆网络的生成权重，获取当前时刻的词概率分布；
基于所述当前时刻的词概率分布获取当前时刻的语义描述词；
将多个时刻的语义描述词组合成所述语义描述。


7.如权利要求1所述的对数据源生成语义描述的方法，其中，所述数据源是视频数据，所述获取数据源的数据编码特征还包括：
将所述视频数据的一个或多个视频帧转换为一个或多个视频帧特征；
将所述一个或多个视频帧特征转换为视频编码特征；以及
将所述视频编码特征作为所述数据...

【专利技术属性】
技术研发人员：袁艺天，马林，王景文，刘威，朱文武，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44