视频处理方法技术

本公开提供了一种视频处理方法

【技术实现步骤摘要】
视频处理方法、装置、陈列柜以及存储介质


[0001]本公开涉及视频处理的
，具体而言，涉及一种视频处理方法
、
装置
、
陈列柜以及存储介质
。

技术介绍

[0002]近年来陈列柜已广泛出现在各便利店及大型超市中，例如，无人自助式陈列柜
、
用于展示冷藏物品的冷藏式陈列柜等
。
在现有的陈列柜中，通常在陈列柜中安装一个或多个摄像头，并通过该一个或多个摄像头对陈列柜中的物品进行识别
。
因此，每个摄像头所拍摄视频的清晰度将影响对陈列柜中物品识别的识别结果
。
当每个摄像头所拍摄视频的清晰度较差时，可能降低陈列柜中物品识别的识别结果的准确度，从而影响了用户对陈列柜的使用体验
。

技术实现思路

[0003]本公开实施例至少提供一种视频处理方法
、
装置
、
陈列柜以及存储介质
。
本公开实施例通过确定每个图像特征的目标语义特征，可以提高视频流的去模糊效果，得到更加清晰的视频流
。
[0004]第一方面，本公开实施例提供了一种视频处理方法，包括：获取陈列柜中摄像头采集到的视频流；所述视频流为摄像头从陈列柜的柜门开启到关闭的时段采集到的视频；提取所述视频流中多个目标视频帧的多尺度特征；其中，所述多尺度特征中包含特征尺寸依次减小的多个图像特征；确定每个所述图像特征的目标语义特征；其中，所述目标语义特征为空间维度下该图像特征中语义强度满足要求的特征；基于所述目标语义特征对每个所述目标视频帧进行去模糊处理，得到去模糊后的所述视频流
。
[0005]第二方面，本公开实施例提供了一种视频处理装置，包括：获取单元，用于获取陈列柜中摄像头采集到的视频流；所述视频流为摄像头从陈列柜的柜门开启到关闭的时段采集到的视频；提取单元，用于提取所述视频流中多个目标视频帧的多尺度特征；其中，所述多尺度特征中包含特征尺寸依次减小的多个图像特征；确定单元，用于确定每个所述图像特征的目标语义特征；其中，所述目标语义特征为空间维度下该图像特征中语义强度满足要求的特征；去模糊单元，用于基于所述目标语义特征对每个所述目标视频帧进行去模糊处理，得到去模糊后的所述视频流
。
[0006]第三方面，本公开实施例提供了一种陈列柜，包括：陈列柜柜体
、
摄像头和处理器；其中，所述摄像头安装在所述陈列柜柜体上，且所述摄像头与所述处理器通信连接；所述摄像头，被配置成从陈列柜的柜门开启到柜门关闭期间，对所述陈列柜内部进行拍摄得到视频流；所述处理器，被配置成获取陈列柜中摄像头采集到的视频流；所述视频流为摄像头从陈列柜的柜门开启到关闭的时段采集到的视频；提取所述视频流中多个目标视频帧的多尺度特征；其中，所述多尺度特征中包含特征尺寸依次减小的多个图像特征；确定每个所述图像特征的目标语义特征；其中，所述目标语义特征为空间维度下该图像特征中语义强度满
足要求的特征；基于所述目标语义特征对每个所述目标视频帧进行去模糊处理，得到去模糊后的所述视频流
。
[0007]第四方面，本公开实施例还提供一种陈列柜，包括：处理器
、
存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当陈列柜运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤
。
[0008]第五方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤
。
[0009]本公开实施例提供了一种视频处理方法
、
装置
、
陈列柜以及存储介质
。
在本公开实施例中，首先获取陈列柜中摄像头采集到的视频流，并提取视频流中多个目标视频帧的多尺度特征，并确定每个图像特征的目标语义特征，从而基于该目标语义特征对每个目标视频帧进行去模糊处理，得到去模糊后的视频流
。
在本公开实施例中，基于目标视频帧提取到的多尺度特征为图像特征的尺度依次减小的特征，提取目标视频帧的多尺度特征的过程为特征的下采样过程
。
由于在特征的下采样过程中会丢失目标视频帧中大量的特征数据，因此可能会导致目标视频帧的去模糊效果较差
。
基于此，本公开实施例可以确定多尺度特征中每个图像特征的目标语义特征，以通过该目标语义特征弥补下采样过程中采样丢失的特征数据，以提高视频流的去模糊效果，得到更加清晰的视频流
。
[0010]为使本公开的上述目的
、
特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下
。
附图说明
[0011]为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案
。
应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图
。
[0012]图1示出了本公开实施例所提供的一种视频处理方法的流程图；
[0013]图2示出了本公开实施例所提供的一种视频处理方法中，确定每个所述图像特征的目标语义特征的具体方法的流程图；
[0014]图3示出了本公开实施例所提供的一种图像去模糊网络的网络结构图；
[0015]图
4(a)
示出了本公开实施例所提供的一种图像去模糊网络中卷积层和注意力层之间连接关系的示意图；
[0016]图
4(b)
示出了本公开实施例所提供的一种注意力层中信道注意力模块和残差空间注意力模块之间连接关系的示意图；
[0017]图5示出了本公开实施例所提供的一种视频处理装置的示意图；
[0018]图6示出了本公开实施例所提供一种陈列柜的结构示意图；
[0019]图7示出了本公开实施例所提供的另一种陈列柜的结构示意图
。
具体实施方式
[0020]为使本公开实施例的目的
、
技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例
。
通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计
。
因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种视频处理方法，其特征在于，包括：获取陈列柜中摄像头采集到的视频流；所述视频流为摄像头从陈列柜的柜门开启到关闭的时段采集到的视频；提取所述视频流中多个目标视频帧的多尺度特征；其中，所述多尺度特征中包含特征尺寸依次减小的多个图像特征；确定每个所述图像特征的目标语义特征；其中，所述目标语义特征为空间维度下该图像特征中语义强度满足要求的特征；基于所述目标语义特征对每个所述目标视频帧进行去模糊处理，得到去模糊后的所述视频流
。2.
根据权利要求1所述的方法，其特征在于，所述确定每个所述图像特征的目标语义特征，包括：确定每个所述图像特征的信道注意力特征；其中，所述信道注意力特征用于指示该图像特征中各信道特征之间的相关性；基于每个所述图像特征和该图像特征的信道注意力特征确定该图像特征的目标语义特征
。3.
根据权利要求2所述的方法，其特征在于，所述基于每个所述图像特征和该图像特征的信道注意力特征确定该图像特征的目标语义特征，包括：对每个所述图像特征和该图像特征的信道注意力特征进行特征融合，得到目标融合特征；确定所述目标融合特征的融合语义特征，其中，所述融合语义特征为所述目标融合特征中语义强度满足要求的特征；对所述目标融合特征和所述融合语义特征进行融合，得到所述目标语义特征
。4.
根据权利要求1所述的方法，其特征在于，所述方法还包括：图像去模糊网络；所述提取所述视频流中多个目标视频帧的多尺度特征，包括：通过所述图像去模糊网络中的第一特征提取网络提取所述视频流中每个目标视频帧的多尺度特征，其中，所述第一特征提取网络包括依次连接的多个第一网络，所述多个第一网络包括多个第一卷积网络，每个所述第一卷积网络包含卷积层和下采样层；所述确定每个所述图像特征的目标语义特征，包括：通过所述图像去模糊网络中的目标注意力网络提取每个所述图像特征的目标语义特征，其中，所述目标注意力网络中包含多个注意力层，且所述第一特征提取网络中的每个所述卷积层对应设置一个所述注意力层
。5.
根据权利要求4所述的方法，其特征在于，每个所述注意力层包含信道注意力模块和残差空间注意力模块，所述通过所述图像去模糊网络中的目标注意力网络提取每个所述图像特征的目标语义特征，包括：通过所述信道注意力模块提取所述图像特征的信道注意力特征；其中，所述信道注意力特征用于指示该图像特征中各信道特征之间的相关性；通过所述残差空间注意力模块基于所述信道注意力特征和所述图像特征确定所述目标语义特征
。6.
根据权利要求4所述的方法，其特征在于，所述图像去模糊网络包括第二特征提取网
络，所述第二特征提取网络包含多个依次连接的第二网络，所述第一网络还包括多个最大池化网络，每个所述第二网络对应连接一个所述第一网络；所述基于所述目标语义特征对每个所述目标视频帧进行去模糊处理，得到去模糊后的所述视频流，包括：将所述多个第一网络中最后一个第一卷积网络输出的目标语义特征经过处理之后输入至所述第二特征提取网络，并将每个所述第一网络中各最大池化网络和各第一卷积网络输出的目标语义特征输入至对应的第二网络；通过每个所述第二网络对输入数据进行处理，处理后得到去模糊后的视频帧，以得到去模糊后的所述视频流，其中，所述第二网络的输入数据包括：与该第二网络对应的第一网...

【专利技术属性】
技术研发人员：郭峰，
申请(专利权)人：元气森林北京食品科技集团有限公司，
类型：发明
国别省市：