语义识别方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种语义识别方法、装置、电子设备及存储介质，涉及计算机技术领域，具体涉及深度学习、自然语言处理等人工智能技术领域，包括：获取第一模态数据和第二模态数据，确定第一模态数据的第一语义表示，并确定第二模态数据的第二语义表示，再确定第一语义表示和第二语义表示之间的关联语义表示，以及根据第一语义表示、第二语义表示，以及关联语义表示识别第一模态数据和第二模态数据之间的目标共享语义，实现基于关联语义表示，对第一语义表示和第二语义表示进行细粒度的关联融合，从而能够识别得到更加准确，丰富的跨模态语义表示，有效地提升语义表示的通用性和泛化性，有效地提升语义识别效果。效地提升语义识别效果。效地提升语义识别效果。

【技术实现步骤摘要】
语义识别方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，具体涉及深度学习、自然语言处理等人工智能
，尤其涉及一种语义识别方法、装置、电子设备及存储介质。

技术介绍

[0002]人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0003]相关技术中，语义识别得到的语义表示缺乏通用性和泛化性，从而导致语义识别的效果不佳。

技术实现思路

[0004]本公开提供了一种语义识别方法、语义识别方法、装置、电子设备、存储介质及计算机程序产品。
[0005]根据本公开的第一方面，提供了一种语义识别方法，包括：获取第一模态数据和第二模态数据；确定所述第一模态数据的第一语义表示，并确定所述第二模态数据的第二语义表示；确定所述第一语义表示和所述第二语义表示之间的关联语义表示；以及根据所述第一语义表示、所述第二语义表示，以及所述关联语义表示识别所述第一模态数据和所述第二模态数据之间的目标共享语义
[0006]根据本公开的第二方面，提供了一种语义识别方法，包括：获取模块，用于获取第一模态数据和第二模态数据；第一确定模块，用于确定所述第一模态数据的第一语义表示，并确定所述第二模态数据的第二语义表示；第二确定模块，用于确定所述第一语义表示和所述第二语义表示之间的关联语义表示；以及识别模块，用于根据所述第一语义表示、所述第二语义表示，以及所述关联语义表示识别所述第一模态数据和所述第二模态数据之间的目标共享语义。
[0007]根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本公开第一方面所述的语义识别方法。
[0008]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如本公开第一方面所述的语义识别方法。
[0009]根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本公开第一方面所述的语义识别方法的步骤。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特
征，也不用于限制本公开的范围。本公开的其他特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0012]图1是根据本公开第一实施例的示意图；
[0013]图2是根据本公开第二实施例的示意图；
[0014]图3是根据本公开第三实施例的示意图
[0015]图4是根据本公开实施例的图文对数据的语义识别方法的流程示意图；
[0016]图5根据本公开实施例的文本数据或者图像数据的语义识别方法的流程示意图；
[0017]图6是根据本公开实施例的落地语义融合编码器的结构示意图；
[0018]图7是根据本公开第四实施例的示意图；
[0019]图8是根据本公开第五实施例的示意图；
[0020]图9示出了用来实施本公开的实施例的语义识别方法的示例电子设备的示意性框图。
具体实施方式
[0021]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0022]图1是根据本公开第一实施例的示意图。
[0023]其中，需要说明的是，本实施例的语义识别方法的执行主体为语义识别装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。
[0024]本公开实施例涉及深度学习、自然语言处理等人工智能

[0025]其中，人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
[0026]深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
[0027]自然语言处理是用计算机来处理、理解以及运用人类语言(如中文、英文等)，它是计算机科学与语言学的交叉学科，又常被称为计算语言学。由于自然语言是人类区别于其他动物的根本标志。没有语言，人类的思维也就无从谈起，所以自然语言处理体现了人工智能的最高任务与境界，也就是说，只有当计算机具备了处理自然语言的能力时，机器才算实现了真正的智能。
[0028]本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0029]如图1所示，该语义识别方法，包括：
[0030]S101：获取第一模态数据和第二模态数据。
[0031]本公开实施例描述的语义识别方法，可以支持对多种数据进行语义识别，该数据可以具体例如为文本数据，图像数据，图文对数据等，相应的，多种数据可以分别具有不同的模态，例如，图像模态，文本模态，语音模态等，对此不做限制。
[0032]其中，第一模态数据相应的模态和第二数据对应的模态可以相同或者不相同，对此不做限制。
[0033]也即是说，获取第一模态数据和第二模态数据，可以是获取具有相同模态的数据，还可以是获取具有不同模态的第一模态数据和第二模态数据，对此不做限制。
[0034]举例而言，获取第一模态数据可以是采用相采集图像数据并将其作为第一模态数据，第一模态数据可以对应图像模态，再采用文本采集装置采集文本数据并将其作为第二模态数据，第二模态数据可以对应文本模态，对此不做限制。
[0035]一些实施例中，还可以是在采用相机采集具有图像模态的图像数据，并采用文本采集装置采集具有文本模态的文本数据后，对前述采集得到的文本数据和图像数据进行对齐处理，以得到对齐处理后的第一模态数据和第二模态数据，该对齐处理后的第一模态数据和第二模态数据即可以被称为图文对数据，对此不做限制。
[0036]S102：确定第一模态数据的第一语义表示，并确定第二模态数据的第二语义表示。
[0037]其中，语义表示可以用于描述模态数据相应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义识别方法，包括：获取第一模态数据和第二模态数据；确定所述第一模态数据的第一语义表示，并确定所述第二模态数据的第二语义表示；确定所述第一语义表示和所述第二语义表示之间的关联语义表示；以及根据所述第一语义表示、所述第二语义表示，以及所述关联语义表示识别所述第一模态数据和所述第二模态数据之间的目标共享语义。2.根据权利要求1所述的方法，其中，所述根据所述第一语义表示、所述第二语义表示，以及所述关联语义表示识别所述第一模态数据和所述第二模态数据之间的目标共享语义，包括：根据所述关联语义表示处理所述第一语义表示，以得到第一目标语义表示；根据所述关联语义表示处理所述第二语义表示，以得到第二目标语义表示；以及根据所述第一目标语义表示、所述第二目标语义表示，以及所述关联语义表示识别所述第一模态数据和所述第二模态数据之间的目标共享语义。3.根据权利要求2所述的方法，其中，所述根据所述关联语义表示处理所述第一语义表示，以得到第一目标语义表示，包括：对所述关联语义表示和所述第一语义表示进行对齐处理，并将对齐处理得到的所述第一语义表示作为所述第一目标语义表示；其中，所述根据所述关联语义表示处理所述第二语义表示，以得到第二目标语义表示，包括：对所述关联语义表示和所述第二语义表示进行对齐处理，并将对齐处理得到的所述第二语义表示作为所述第二目标语义表示。4.根据权利要求1所述的方法，所述第一模态是图像模态；其中，所述确定所述第一模态数据的第一语义表示，包括：对所述第一模态数据进行划分，以得到多个图像块，其中，所述多个图像块分别包括多个图像像素信息；对所述多个图像像素信息分别进行语义编码处理，以得到对应多个图像块语义表示；以及将所述多个图像块语义表示作为所述第一语义表示。5.根据权利要求4所述的方法，所述第二模态是文本模态；其中，所述确定所述第二模态数据的第二语义表示，包括：对所述第二模态数据进行划分，以得到多个文本符号；对所述多个文本符号分别进行语义编码处理，以得到对应多个文本语义表示；以及将所述多个文本语义表示作为所述第二语义表示。6.根据权利要求5所述的方法，其中，所述确定所述第一语义表示和所述第二语义表示之间的关联语义表示，包括：根据所述第一语义表示和所述第二语义表示，确定初始落地语义表示；对所述第一语义表示、所述第二语义表示，以及所述初始落地语义表示进行融合编码，以得到所述关联语义表示。7.根据权利要求6所述的方法，其中，所述根据所述第一语义表示和所述第二语义表
示，确定初始落地语义表示，包括：确定所述第一语义表示和所述第二语义表示之间的聚类描述信息；从落地语义词典中确定与所述聚类描述信息匹配的落地语义表示作为所述初始落地语义表示；其中，所述落地语义词典包括：所述聚类描述信息，以及与所述聚类描述信息匹配的落地语义表示。8.根据权利要求7所述的方法，其中，所述确定所述第一语义表示和所述第二语义表示之间的聚类描述信息，包括：确定目标图像块语义表示和目标文本语义表示之间的相似度信息，并将所述相似度信息作为所述聚类描述信息；其中，所述目标图像块语义表示属于所述多个图像块语义表示，所述目标文本语义表示属于所述多个文本语义表示，所述目标图像块语义表示和所述目标文本语义表示属于聚类得到的相同数据类别。9.根据权利要求8所述的方法，其中，所述对所述第一语义表示、所述第二语义表示，以及所述初始落地语义表示进行融合编码，以得到所述关联语义表示，包括：根据所述相似度信息，确定融合权重信息；根据所述融合权重信息对所述第一语义表示、所述第二语义表示，以及所述初始落地语义表示进行融合编码，以得到所述关联语义表示。10.一种语义识别装置，包括：获取模块，用于获取第一模态数据和第二模态数据；第一确定模块，用于确定所述第一模态数据的第一语义表示，并确定所述第二模态数据的第二语义表...

【专利技术属性】
技术研发人员：李伟，肖欣延，刘家辰，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：