【技术实现步骤摘要】
本申请涉及计算机视觉，具体而言，本申请涉及一种图像处理方法、装置、电子设备及存储介质。
技术介绍
1、高光识别(highlight recognition)也可称为精彩视频识别，是指在一段长视频中识别精彩视频发生的位置，故也可称为高光定位或精彩视频定位。由于精彩视频部分更容易受到观众的关注，对精彩视频部分的快速观看能够提高视频的传播效率。而如果人为地查找视频的精彩时刻，会浪费太多的时间。因此，高光识别技术的应用逐渐流行起来。然而，目前的高光识别方法，在微小动作的识别等方面的识别效果仍表现不佳。
技术实现思路
1、本申请实施例的目的旨在能解决如何在高光识别时提升对微小动作的识别效果的问题。
2、根据本申请实施例的一个方面，提供了一种图像处理方法，该方法包括：
3、获取待处理图像对应的各个第一图像块；
4、通过窗口自注意力网络，将各个第一图像块分为至少两组，并针对每组第一图像块，分别确定每组第一图像块中的第一图像块之间的注意力信息，得到包含局部注意力信息的各个第二图像块；
5、基于各个第二图像块，确定待处理图像的识别结果。
6、根据本申请实施例的另一个方面，提供了一种图像处理方法，该方法包括：
7、获取待处理图像对应的各个第一图像块；
8、通过全局标志生成器，基于各个第一图像块，确定待处理图像对应的至少一个全局标志；
9、基于至少一个全局标志，确定待处理图像的识别结果。
10、根
11、获取待处理图像对应的各个第一待处理图像块；
12、从预设的短记忆池获取待处理图像之前的至少一帧已处理图像对应的各个第一已处理图像块，基于各个第一待处理图像块和各个第一已处理图像块，确定包含时序信息的各个第一待处理图像块；
13、将各个第一待处理图像块进行下采样，得到第二待处理图像块，从预设的长记忆池获取待处理图像之前的至少一帧已处理图像分别对应的第二已处理图像块，基于第二待处理图像块和各个第二已处理图像块，确定包含时序信息的第二待处理图像块；
14、基于包含时序信息的各个第一待处理图像块和包含时序信息的第二待处理图像块，确定待处理图像的高光识别结果。
15、根据本申请实施例的又一个方面，提供了一种图像处理装置，该装置包括：
16、第一获取模块，用于获取待处理图像对应的各个第一图像块；
17、第一处理模块，用于通过窗口自注意力网络，将各个第一图像块分为至少两组，并针对每组第一图像块，分别确定每组第一图像块中的第一图像块之间的注意力信息，得到包含局部注意力信息的各个第二图像块；
18、第一识别模块，用于基于各个第二图像块，确定待处理图像的识别结果。
19、根据本申请实施例的又一个方面，提供了一种图像处理装置，该装置包括：
20、第二获取模块，用于获取待处理图像对应的各个第一图像块；
21、第二处理模块，用于通过全局标志生成器，基于各个第一图像块，确定待处理图像对应的至少一个全局标志；
22、第二识别模块，用于基于至少一个全局标志，确定待处理图像的识别结果。根据本申请实施例的再一个方面，提供了一种图像处理装置，该装置包括：
23、第三获取模块，用于获取待处理图像对应的各个第一待处理图像块；
24、第三处理模块，用于从预设的短记忆池获取待处理图像之前的至少一帧已处理图像对应的各个第一已处理图像块，基于各个第一待处理图像块和各个第一已处理图像块，确定包含时序信息的各个第一待处理图像块；
25、第四处理模块，用于将各个第一待处理图像块进行下采样，得到第二待处理图像块，从预设的长记忆池获取待处理图像之前的至少一帧已处理图像分别对应的第二已处理图像块，基于第二待处理图像块和各个第二已处理图像块，确定包含时序信息的第二待处理图像块；
26、第三识别模块，用于基于包含时序信息的各个第一待处理图像块和包含时序信息的第二待处理图像块，确定待处理图像的高光识别结果。
27、根据本申请实施例的还一个方面，提供了一种电子设备，该电子设备包括：存储器、处理器及存储在存储器上的计算机程序，该处理器执行计算机程序以实现本申请实施例提供的图像处理方法的步骤。
28、根据本申请实施例的还一个方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例提供的图像处理方法的步骤。
29、根据本申请实施例的还一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现本申请实施例提供的图像处理方法的步骤。
30、本申请实施例提供的图像处理方法、装置、电子设备及存储介质，获取待处理图像对应的各个第一图像块；通过窗口自注意力网络，将各个第一图像块分为至少两组，并针对每组第一图像块，分别确定每组第一图像块中的第一图像块之间的注意力信息，得到包含局部注意力信息的各个第二图像块；基于各个第二图像块，确定待处理图像的识别结果，即通过获得具有局部注意力信息的空间特征，能够实现大幅提升微小动作的识别效果，进而提升识别结果的准确率。
本文档来自技高网...【技术保护点】
1.一种图像处理方法，其特征在于，包括：
2.根据权利要求1所述的图像处理方法，其特征在于，基于所述各个第二图像块，确定所述待处理图像的识别结果，包括：
3.根据权利要求2所述的图像处理方法，其特征在于，所述全局标志生成器包括核生成器，所述通过全局标志生成器，基于所述各个第一图像块，确定所述待处理图像对应的至少一个全局标志，包括：
4.根据权利要求2所述的图像处理方法，其特征在于，所述基于所述至少一个全局标志和所述各个第二图像块，确定所述待处理图像的识别结果，包括：
5.根据权利要求4所述的图像处理方法，其特征在于，所述窗口自注意力网络、所述全局标志生成器和所述交叉注意力网络中的至少一种网络包括于第一神经网络，基于所述各个第一图像块，确定所述待处理图像的识别结果，包括：
6.根据权利要求5所述的图像处理方法，其特征在于，针对上一个第一神经网络的每个输出图像块，对所述每个输出图像块进行下采样，包括：
7.根据权利要求4-6任一项所述的图像处理方法，其特征在于，所述基于所述各个第三图像块，确定所述待处理图像的识别
8.根据权利要求7所述的图像处理方法，其特征在于，所述通过第二神经网络，基于所述各个第三图像块，确定包含全局注意力信息、局部注意力信息和时序信息的第五图像块，包括：
9.根据权利要求8所述的图像处理方法，其特征在于，还包括以下至少一项：
10.一种图像处理方法，其特征在于，包括：
11.根据权利要求10所述的图像处理方法，其特征在于，所述全局标志生成器包括核生成器，所述通过全局标志生成器，基于所述各个第九图像块，确定所述待处理图像对应的至少一个全局标志，包括：
12.根据权利要求10所述的图像处理方法，其特征在于，所述基于所述至少一个全局标志，确定所述待处理图像的识别结果，包括：
13.根据权利要求12所述的图像处理方法，其特征在于，所述基于所述至少一个全局标志和所述各个第十图像块，确定所述待处理图像的识别结果，包括：
14.一种图像处理方法，其特征在于，包括：
15.根据权利要求14所述的图像处理方法，其特征在于，还包括以下至少一项：
16.一种图像处理装置，其特征在于，包括：
17.一种图像处理装置，其特征在于，包括：
18.一种图像处理装置，其特征在于，包括：
19.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-15任一项所述方法的步骤。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-15任一项所述方法的步骤。
...【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
2.根据权利要求1所述的图像处理方法，其特征在于，基于所述各个第二图像块，确定所述待处理图像的识别结果，包括：
3.根据权利要求2所述的图像处理方法，其特征在于，所述全局标志生成器包括核生成器，所述通过全局标志生成器，基于所述各个第一图像块，确定所述待处理图像对应的至少一个全局标志，包括：
4.根据权利要求2所述的图像处理方法，其特征在于，所述基于所述至少一个全局标志和所述各个第二图像块，确定所述待处理图像的识别结果，包括：
5.根据权利要求4所述的图像处理方法，其特征在于，所述窗口自注意力网络、所述全局标志生成器和所述交叉注意力网络中的至少一种网络包括于第一神经网络，基于所述各个第一图像块，确定所述待处理图像的识别结果，包括：
6.根据权利要求5所述的图像处理方法，其特征在于，针对上一个第一神经网络的每个输出图像块，对所述每个输出图像块进行下采样，包括：
7.根据权利要求4-6任一项所述的图像处理方法，其特征在于，所述基于所述各个第三图像块，确定所述待处理图像的识别结果，包括：
8.根据权利要求7所述的图像处理方法，其特征在于，所述通过第二神经网络，基于所述各个第三图像块，确定包含全局注意力信息、局部注意力信息和时序信息的第五图像块，包括：
9.根据权利要求8所...
【专利技术属性】
技术研发人员：刘师卓，王晓冰，金哲洙，
申请(专利权)人：北京三星通信技术研究有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。