一种应用于嵌入式系统的图像择优方法和装置制造方法及图纸

本发明专利技术提供了一种应用于嵌入式系统的图像择优方法和装置，通过自适应步长的机制来间接实现了图像缩放到固定尺度的效果，省去了图像缩放这一过程，从而保障了在计算边缘强度时，无论输入图像分辨率怎么变化，需要计算的边缘的个数都是固定的，来达成分辨率无关的清晰度评估，其能够快速完成图片择优，其占用计算资源是固定的，能在计算资源有限的嵌入式设备上高效运行，不会出现随着图片分辨率增加，计算资源占用呈指数级增长，而抢占其它应用资源的情况，保障了嵌入式系统中其它应用和AI算法运行的稳定性。法运行的稳定性。法运行的稳定性。

【技术实现步骤摘要】
一种应用于嵌入式系统的图像择优方法和装置


[0001]本专利技术属于图像处理领域，特别涉及一种应用于嵌入式系统的图像择优方法和装置。

技术介绍

[0002]近年来，基于深度学习的神经网络模型被广泛应用在了图像分类，图像识别，物体检测等计算机视觉任务中，取得了巨大的成功。而随着人工智能技术在工业界的落地，大家开始更加关注神经网络的实际应用性能，在边缘端平台上部署高性能的神经网络模型成为未来的大趋势，只有这样，才能够在更多的场景中得到落地和应用，走进千家万户。嵌入式设备功耗低、体积小、集成度高、成本低，是网络模型在产业界落地的最佳选择，但成本低会带来两方面问题，一方面是传感器的性能有限，采集到的图片质量不高；另一方面是计算资源有限，不能应用最高精度的模型，只能折中采用“性价比”最高的轻量化模型，且不能做到对每一帧都进行识别。同时，轻量化模型要想达到较高的识别精度，无形中又提高了对图片质量的要求，如何在有限的条件下，从一系列连续的图片帧中筛选出最清晰的图片，送入神经网络模型中进行识别，成为一个必须解决的问题，由此产生了图像择优的需求。
[0003]目前通用的图片择优方法均基于这么一个假设，即在一定时间内，最清晰的图像通常是边缘最强的图像的假设，来筛选出最清晰的图像，实现方法通常是采用拉普拉斯(Laplacian)、索贝尔(Sobel)等算子计算图像的梯度(边缘)，然后通过统计平方和或绝对值的和，根据值的大小来选出高质量的图像。这些方法本质上都是逐像素计算的方法，存在一个问题，即待评估的图像分辨率越高，所需要的计算资源呈指数级增长。基于上述情况，本专利技术提出了一种分辨率无关的计算方法，可以嵌入到任意方案中，提高计算效率，降低计算负载。

技术实现思路

[0004]基于上述问题，本专利技术提出了一种应用于嵌入式系统的图像择优方法，通过自适应步长的机制，能够快速完成图片择优，在计算资源有限的嵌入式设备上高效运行。
[0005]根据本专利技术一方面，提出了一种应用于嵌入式系统的图像择优方法，该方法包括以下步骤：
[0006]步骤S1：截取YUV图像的Y通道矩阵，假定所述通道矩阵为M*N，其中，M是矩阵行数，N是矩阵列数；
[0007]步骤S2：计算分辨率无关步长stride
x
和stride
y
；
[0008]步骤S3：基于步长stride
x
和stride
y
进行清晰度指标V
metric
的计算；
[0009]步骤S4：比较每一张图像的清晰度指标V
metric
，选取所述清晰度指标V
metric
最大的图像作为最优图像，送入神经网络模型进行识别。
[0010]可选地，步骤S2中计算分辨率无关步长stride
x
和stride
y
，，计算公式如下：
[0011]stride
x
＝M/virtual
w
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2
‑
1)
[0012]stride
y
＝N/virtual
h
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2
‑
2)
[0013]其中，virtual
w
、virtual
h
为基于当前嵌入式设备上的视觉传感器采集的图像宽度和高度方向上的分辨率，其是在综合评估了图像清晰度和性能后，通过实验确定的最佳分辨率。
[0014]可选地，步骤S3中以步长stride
y
选取Y通道矩阵的行进行清晰度指标V
metric
计算，在被选取的行中，以每stride
x
的步长选取对应的元素，计算当前元素和下一元素的差值abs_diff
(i，j)
，当差值的绝对值大于指定阈值thresh时，将其累加至V
metric
中。
[0015]可选地，清晰度指标V
metric
的计算公式为：
[0016][0017]本专利技术还提出了一种应用于嵌入式系统的图像择优装置，该装置包括以下模块：
[0018]通道矩阵截取模块，截取YUV图像的Y通道矩阵，假定所述通道矩阵为M*N，其中，M是矩阵行数，N是矩阵列数；
[0019]步长计算模块：计算分辨率无关步长stride
x
和stride
y
；
[0020]清晰度指标计算模块：基于步长stride
x
和stride
y
进行清晰度指标V
metric
的计算；
[0021]识别模块：比较每一张图像的清晰度指标V
metric
，选取所述清晰度指标V
metric
最大的图像作为最优图像，送入神经网络模型进行识别。
[0022]可选地，清晰度指标计算模块中以步长stride
y
选取Y通道矩阵的行进行清晰度指标V
metric
计算，在被选取的行中，以每stride
x
的步长选取对应的元素，计算当前元素和下一元素的差值abs_diff
(i，j)
，当差值的绝对值大于指定阈值thresh时，将其累加至V
metric
中。
[0023]相对于现有技术，本申请具有如下有益效果：
[0024]1.本专利技术相比于其它的图像择优方法，优势在于提供了一种高效实用的分辨率无关的图像清晰度评估方法，非常适用于计算资源受限的嵌入式设备，无论输入的图像分辨率如何调整，都仅占用固定的计算资源，不会出现随着图片分辨率增加，计算资源占用呈指数级增长，而抢占其它应用资源的情况，保障了设备上其它应用和AI算法运行的稳定性；
[0025]2、本专利技术通过自适应步长的机制来间接实现了图像缩放到固定尺度的效果，省去了图像缩放这一过程，从而保障了在计算边缘强度时，无论输入图像分辨率怎么变化，需要计算的边缘的个数都是固定的，来达成分辨率无关的清晰度评估，虽然通过图像缩放也能得到固定尺度的图像，但图像缩放也是需要耗费计算资源的，特别是在使用插值算法将大尺度图像缩放成小尺度图像时，仅缩放操作的计算量都远远大于计算清晰度的计算量。
[0026]3、本专利技术提出的方法是一种为低成本、低性能的嵌入式处理器专门设计的高效图像择优方法，经过择优后的图片能够提高芯片上搭载的算法的准确率，具备非常高的实用价值。
附图说明
[0027]通过结合附图对本专利技术实施例进行更详细的描述，本专利技术的上述以及其它目的、
特征和优势将变得更加明显。附图用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与本专利技术实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中，相同的参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于嵌入式系统的图像择优方法，其特征在于，该方法包括以下步骤：步骤S1：截取YUV图像的Y通道矩阵，假定所述通道矩阵为M*N，其中，M是矩阵行数，N是矩阵列数；步骤S2：计算分辨率无关步长stridex和stridey；步骤S3：基于步长stridex和stridey进行清晰度指标Vmetric的计算；步骤S4：比较每一张图像的清晰度指标Vmetric，选取所述清晰度指标Vmetric最大的图像作为最优图像，送入神经网络模型进行识别。2.如权利要求1所述的一种应用于嵌入式系统的图像择优方法，其特征在于：所述步骤S2中计算分辨率无关步长stridex和stridey，计算公式如下：srride
x
＝M/virtual
w
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2
‑
1)stride
y
＝N/virtual
h
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2
‑
2)其中，virtualw、virtualh为基于当前嵌入式设备上的视觉传感器采集的图像宽度和高度方向上的分辨率，其是在综合评估了图像清晰度和性能后，通过实验确定的最佳分辨率。3.如权利要求1所述的一种应用于嵌入式系统的图像择优方法，其特征在于：所述步骤S3中具体为：以步长stridey选取Y通道矩阵的行进行清晰度指标Vmetric计算，在被选取的行中，以每stridex的步长选取对应的元素，计算当前元素和下一元素的差值abs_diff(i,j)，当差值的绝对值大于指定阈值thresh时，将其累加至Vmetric中。4.如权利要求3所述的一种应用于嵌入式系统的图像择优方法，其特征在于：所述清晰度指标Vmetric的计算公式为：5.一种应用于嵌入式系统的图像择优装置，其特征在于，该装置包括以下模块：通道矩阵截取模块，截取YUV图像的Y通道矩阵，假定所述通道矩阵为M*N，其中，M是矩阵行数，N是矩阵列数；步长计算模块：计算分辨率无关步长str...

【专利技术属性】
技术研发人员：盛金平，贺鹏飞，胡志恒，
申请(专利权)人：深圳市探鸽智能科技有限公司，
类型：发明
国别省市：