基于视频的对象识别方法、装置及电子设备制造方法及图纸

本发明专利技术公开了一种基于视频的对象识别方法、装置及电子设备。涉及人工智能领域，该方法包括：获取目标视频，其中，目标视频用于记录第一目标对象为第二目标对象办理待办业务的办理过程；从目标视频中提取出多个单帧图像，对每个单帧图像进行特征提取，得到与每个单帧图像对应的目标特征序列；基于目标特征序列，确定用于描述目标视频的视频内容的多个目标字幕；基于多个目标字幕识别第一目标对象的对象类型，其中，对象类型用于表征第一目标对象办理待办业务的办理操作是否符合目标规则。本发明专利技术解决了现有技术中依赖于人工核查业务办理视频以识别对象类型造成的人力成本高的技术问题。问题。问题。

【技术实现步骤摘要】
基于视频的对象识别方法、装置及电子设备


[0001]本专利技术涉及人工智能领域，具体而言，涉及一种基于视频的对象识别方法、装置及电子设备。

技术介绍

[0002]数字经济作为数字生产力驱动和推动下的一种经济形态，在国民经济中的关键作用日益凸显，也正对大众的生活方式、思维方式和行为方式带来颠覆性的变革。在这期间，在线生活、服务模式蓬勃发展，进一步提升了数字技术的影响力，推动音频视频技术服务快速进步。在更改重要个人/企业信息、开通某项交易功能或是开立账户等高风险交易业务场景下，用于记录客服与客户的业务办理过程的金融双录视频应用的非常普遍。
[0003]目前，为保证双录业务场景下交易业务的安全性，需要人工对金融双录视频进行分析以识别相关客服人员的行为是否规范，具有人力成本高的问题。
[0004]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种基于视频的对象识别方法、装置及电子设备，以至少解决现有技术中依赖于人工核查业务办理视频以识别对象类型造成的人力成本高的技术问题。
[0006]根据本专利技术实施例的一个方面，提供了一种基于视频的对象识别方法，包括：获取目标视频，其中，目标视频用于记录第一目标对象为第二目标对象办理待办业务的办理过程；从目标视频中提取出多个单帧图像，对每个单帧图像进行特征提取，得到与每个单帧图像对应的目标特征序列；基于目标特征序列，确定用于描述目标视频的视频内容的多个目标字幕；基于多个目标字幕识别第一目标对象的对象类型，其中，对象类型用于表征第一目标对象办理待办业务的办理操作是否符合目标规则。
[0007]进一步地，基于视频的对象识别方法还包括：对多个单帧图像进行特征提取，得到与每个单帧图像对应的特征序列；基于目标步长，对每个单帧图像对应的特征序列进行特征提取，得到与每个单帧图像对应的目标特征序列，其中，目标步长与单帧图像相对应。
[0008]进一步地，基于视频的对象识别方法还包括：对目标视频的视频内容进行识别，得到与视频内容所对应的待办业务类型；基于待办业务类型将目标视频的视频时长拆分为至少一个时间区间，并确定每个时间区间的重要级别，其中，重要级别至少表征当前时间区间内第一目标对象办理待办业务的办理操作与待办业务之间的关联程度；基于每个时间区间的重要级别，确定对每个时间区间所对应的视频内容的提取帧数；基于提取帧数，从目标视频中提取出多个单帧图像。
[0009]进一步地，基于视频的对象识别方法还包括：在基于目标步长，对每个单帧图像对应的特征序列进行特征提取，得到与每个单帧图像对应的目标特征序列之前，基于每个时间区间的重要级别，确定与每个时间区间所对应的单帧图像对应的目标步长。
[0010]进一步地，基于视频的对象识别方法还包括：通过目标模型中的编码器，将目标特征序列转换为预设维度的目标向量；通过目标模型中的解码器，对目标向量进行解码，得到用于描述目标视频的视频内容的多个目标字幕。
[0011]进一步地，基于视频的对象识别方法还包括：确定每个目标字幕所对应的显示时间信息；基于显示时间信息，从目标视频中确定多个目标单帧图像；基于时间信息，组合多个目标字幕至与该目标字幕对应的至少一个目标单帧图像中，得到待检查视频；基于待检查视频识别第一目标对象的对象类型。
[0012]进一步地，基于视频的对象识别方法还包括：确定目标存储区域中至少一个视频存入目标存储区域的存储时间；基于存储时间，从至少一个视频中确定目标视频。
[0013]根据本专利技术实施例的另一方面，还提供了一种基于视频的对象识别装置，包括：获取模块，用于获取目标视频，其中，目标视频用于记录第一目标对象为第二目标对象办理待办业务的办理过程；提取模块，用于从目标视频中提取出多个单帧图像，对每个单帧图像进行特征提取，得到与每个单帧图像对应的目标特征序列；确定模块，用于基于目标特征序列，确定用于描述目标视频的视频内容的多个目标字幕；识别模块，用于基于多个目标字幕识别第一目标对象的对象类型，其中，对象类型用于表征第一目标对象办理待办业务的办理操作是否符合目标规则。
[0014]根据本专利技术实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述的基于视频的对象识别方法。
[0015]根据本专利技术实施例的另一方面，还提供了一种电子设备，电子设备包括一个或多个处理器；存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现用于运行程序，其中，程序被设置为运行时执行上述的基于视频的对象识别方法。
[0016]在本专利技术实施例中，采用生成用于描述目标视频的视频内容的多个目标字幕，以识别第一目标对象的对象类型的方式，通过获取目标视频，然后从目标视频中提取出多个单帧图像，对每个单帧图像进行特征提取，得到与每个单帧图像对应的目标特征序列，接着基于目标特征序列，确定用于描述目标视频的视频内容的多个目标字幕，从而基于多个目标字幕识别第一目标对象的对象类型。其中，目标视频用于记录第一目标对象为第二目标对象办理待办业务的办理过程，对象类型用于表征第一目标对象办理待办业务的办理操作是否符合目标规则。
[0017]在上述过程中，从目标视频中提取出多个单帧图像，并确定与每个单帧图像对应的目标特征序列，避免了对目标视频中的每一帧图像均进行特征提取造成的工作效率低的问题，进一步地，基于目标特征序列，确定目标字幕，实现了对视频内容的文字转化，从而避免了人工分析视频内容造成的人力成本高、容易漏检等问题，同时避免了对目标视频中的单张截图进行分析造成的缺乏上下文信息所导致的识别准确度低，通过基于目标视频所对应的多个目标字幕，识别第一目标对象的对象类型，更进一步地避免了人工识别目标字幕时由于工作量大造成的效率低下以及人力成本高。
[0018]由此可见，本申请所提供的方案达到了生成用于描述目标视频的视频内容的多个目标字幕，以识别第一目标对象的对象类型的目的，从而实现了降低人力成本的技术效果，
进而解决了现有技术中依赖于人工核查业务办理视频以识别对象类型造成的人力成本高的技术问题。
附图说明
[0019]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0020]图1是根据本专利技术实施例的一种可选的对象识别系统的示意图；
[0021]图2是根据本专利技术实施例的一种可选的基于视频的对象识别方法的示意图；
[0022]图3是根据本专利技术实施例的一种可选的数据预处理模块的执行示意图；
[0023]图4是根据本专利技术实施例的一种可选的视频密集字幕生成模块的执行示意图；
[0024]图5是根据本专利技术实施例的一种可选的目标模型的执行示意图；
[0025]图6是根据本专利技术实施例的一种可选的结果处理模块的执行示意图；
...

【技术保护点】

【技术特征摘要】
1.一种基于视频的对象识别方法，其特征在于，包括：获取目标视频，其中，所述目标视频用于记录第一目标对象为第二目标对象办理待办业务的办理过程；从所述目标视频中提取出多个单帧图像，对每个单帧图像进行特征提取，得到与每个单帧图像对应的目标特征序列；基于所述目标特征序列，确定用于描述所述目标视频的视频内容的多个目标字幕；基于所述多个目标字幕识别所述第一目标对象的对象类型，其中，所述对象类型用于表征所述第一目标对象办理待办业务的办理操作是否符合目标规则。2.根据权利要求1所述的方法，其特征在于，对每个单帧图像进行特征提取，得到与每个单帧图像对应的目标特征序列，包括：对所述多个单帧图像进行特征提取，得到与每个单帧图像对应的特征序列；基于目标步长，对每个单帧图像对应的特征序列进行特征提取，得到与每个单帧图像对应的目标特征序列，其中，所述目标步长与所述单帧图像相对应。3.根据权利要求2所述的方法，其特征在于，从所述目标视频中提取出多个单帧图像，包括：对目标视频的视频内容进行识别，得到与所述视频内容所对应的待办业务类型；基于所述待办业务类型将所述目标视频的视频时长拆分为至少一个时间区间，并确定每个时间区间的重要级别，其中，所述重要级别至少表征当前时间区间内所述第一目标对象办理所述待办业务的办理操作与所述待办业务之间的关联程度；基于所述每个时间区间的重要级别，确定对每个时间区间所对应的视频内容的提取帧数；基于所述提取帧数，从所述目标视频中提取出多个单帧图像。4.根据权利要求3所述的方法，其特征在于，在基于目标步长，对每个单帧图像对应的特征序列进行特征提取，得到与每个单帧图像对应的目标特征序列之前，所述方法还包括：基于所述每个时间区间的重要级别，确定与每个时间区间所对应的单帧图像对应的目标步长。5.根据权利要求1所述的方法，其特征在于，基于所述目标特征序列，确定用于描述所述目标视频的视频内容的多个目标字幕，包括：通过目标模型中的编码器，将所述...

【专利技术属性】
技术研发人员：杨洁琼，徐雪，罗亚明，江文乐，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：