一种基于树莓派的轻量级视觉输入实时筛选方法技术

本发明专利技术公开了一种基于树莓派的轻量级视觉输入实时筛选方法，在视觉的实时处理过程中，采用树莓派端摄像头获取实时视频流后，选取其中有效信息较多且帧间差异较大的帧进行处理，对图像数据有效性的进行判别。本发明专利技术利用以下原理：(1)基于传统特征(如HOG特征、SIFT特征等)对帧图像进行描述；(2)采用传统特征的差异向量对帧间特征进行描述，以表现其时序特性；(3)采用轻量级分类器对前述特征进行处理，用于评价图像有效性。本发明专利技术在树莓派的硬件基础上，构建树莓派端离线可用的实时视频帧筛选分类器，以等效提高后续模型的处理性能，使模型表现出更强的实时性，给用户带来更优的交互体验。体验。体验。

【技术实现步骤摘要】
一种基于树莓派的轻量级视觉输入实时筛选方法


[0001]本专利技术属于计算机视觉
，具体涉及一种轻量级视觉输入实时筛选方法。

技术介绍

[0002]近些年来计算机技术飞速发展，人类与计算机之间的关系变得越来越紧密，计算机技术给我们人类的生活也带来的极大的便利。其中计算机视觉技术就是一项给人类带来极大便利的技术，如车牌识别，身份证识别等，它让计算机能够像人一样有分析、理解以及解决事物的能力，通过摄像头自动的从自然世界中获取十分高级的抽象信息，进而来达到与人眼一样的功能来完成一些繁琐的任务，这样就能使得人们生活变得更加舒适以及工作变得更加高效。但目前计算机视觉算法中使用的深度学习网络大多都是非常复杂的，参数量及计算量很大，训练生成的模型需要占据大内存，这就给移动终端等存储能力和计算能力有限的边缘设备带来了困难。
[0003]由于树莓派是典型的资源受限边缘设备，不具备足够的性能来运行业界较好的既有模型，通常需要依赖云服务器端的数据处理，因此对网络可靠性和云端并发性有着较高的要求，当网络环境变差时，可用性会大幅降低甚至完全损失。

技术实现思路

[0004]为了克服现有技术的不足，本专利技术提供了一种基于树莓派的轻量级视觉输入实时筛选方法，在视觉的实时处理过程中，采用树莓派端摄像头获取实时视频流后，选取其中有效信息较多且帧间差异较大的帧进行处理，对图像数据有效性的进行判别。本专利技术利用以下原理：(1)基于传统特征(如HOG特征、SIFT特征等)对帧图像进行描述；(2)采用传统特征的差异向量对帧间特征进行描述，以表现其时序特性；(3)采用轻量级分类器对前述特征进行处理，用于评价图像有效性。本专利技术在树莓派的硬件基础上，构建树莓派端离线可用的实时视频帧筛选分类器，以等效提高后续模型的处理性能，使模型表现出更强的实时性，给用户带来更优的交互体验。
[0005]本专利技术解决其技术问题所采用的技术方案包括如下步骤：
[0006]步骤1：利用树莓派摄像头捕获环境视频，并实时获取单帧图像；
[0007]步骤2：进行图像预处理，将步骤1获取的单帧图像等比例缩小至较长边长度为A；
[0008]步骤3：传统特征提取；
[0009]对预处理后的图像提取HOG特征Cr1，采用特征向量代表原图像；对预处理后的图像提取色彩直方图特征Cr2，以表现图像的全局特点；对预处理后的图像提取SIFT特征Cr3，以找出其中关键点分布情况；
[0010]步骤4：时序相关特征提取；
[0011]对当前帧图像的特征描述子与上一帧图像的特征描述子进行差分并标准化，以获取其时序相关特征，用于表述帧间差异；
[0012]步骤5：特征融合；
[0013]为保证向量维度一致，对时序相关特征Ct和传统特征Cr拼接，以得到要输入到分类器中的特征向量C：
[0014]C＝Ct+Cr
[0015][0016]其中，符号表示进行维度对齐后拼接；
[0017]步骤6：在分类器中，使用全连接网络作为分类器结构，最终输出单个值，表示该帧图像的评分，当评分超过设定阈值时，选取当前帧图像，否则跳过当前帧。
[0018]优选地，所述A＝640。
[0019]本专利技术的有益效果如下：
[0020]本专利技术在树莓派的硬件基础上，构建树莓派端离线可用的实时视频帧筛选分类器，以等效提高后续模型的处理性能，使模型表现出更强的实时性，给用户带来更优的交互体验。
附图说明
[0021]图1为本专利技术方法模型图。
具体实施方式
[0022]下面结合附图和实施例对本专利技术进一步说明。
[0023]本专利技术旨在提出一种适用于树莓派的轻量级视觉输入实时筛选方法，能在树莓派的硬件基础上，构建树莓派端离线可用的实时视频帧筛选分类器，以等效提高后续模型的处理性能，使模型表现出更强的实时性，给用户带来更优的交互体验。
[0024]本专利技术基于以下原理：(1)基于传统特征(如HOG特征、SIFT特征等)对帧图像进行描述；(2)采用传统特征的差异向量对帧间特征进行描述，以表现其时序特性；(3)采用轻量级分类器对前述特征进行处理，用于评价图像有效性。
[0025]一种适用于树莓派的轻量级视觉输入实时筛选方法，包括以下步骤：
[0026]步骤1：利用树莓派摄像头捕获环境视频，并实时获取单帧图像。
[0027]步骤2：输入图像预处理，将图像等比例缩小至较长边长度为640。
[0028]步骤3：传统特征提取：对预处理后的图像提取HOG特征C
r1
，采用特征向量代表原图像；对预处理后的图像提取色彩直方图特征C
r2
，以表现图像的全局特点；对预处理后的图像提取SIFT特征C
r3
，以找出其中关键点分布情况。
[0029]步骤4：时序相关特征提取：在传统特征的基础上，对特征描述子与上一选取图像的特征描述子进行差分并标准化，以获取其时序相关特征，用于表述帧间差异。由于特征描述子均为向量，因此帧间差异的描述方式也是向量。
[0030]步骤5：特征融合：首先，为保证向量维度一致，对时序相关特征C
t
和传统特征C
r
拼接，以得到要输入到分类器中的特征向量C：
[0031]C＝C
t
+C
r
[0032][0033]其中，符号表示进行维度对齐后拼接；
[0034]步骤6：在分类器中，使用全连接网络作为分类器结构，最终输出单个值，表示该帧图像的评分，当评分超过阈值时，视为选取当前帧图像，否则跳过当前帧。
[0035]具体实施例：
[0036]步骤1：利用树莓派摄像头捕获环境视频，并实时获取单帧图像。
[0037]步骤2：输入图像预处理，将图像等比例缩小至较长边长度为640。
[0038]步骤3：传统特征提取：对预处理后的图像提取HOG特征，采用特征向量代表原图像；对预处理后的图像提取色彩直方图特征，以表现图像的全局特点；对图像提取SIFT特征，以找出其中关键点分布情况。
[0039]步骤4：时序相关特征提取：在传统特征的基础上，对特征描述子与上一选取图像的特征描述子进行差分并标准化，以获取其时序相关特征，用于表述帧间差异。由于特征描述子均为向量，因此帧间差异的描述方式也是向量。
[0040]步骤5：特征融合：首先，为保证向量维度一致，对时序相关特征C
t
和传统特征C
r
拼接，以得到要输入到分类器中的特征向量C：
[0041]C＝C
t
+C
r
[0042]步骤6：在分类器中，使用全连接网络作为分类器结构，最终输出单个值，表示该帧图像的评分，当评分超过阈值时，视为选取当前帧图像，否则跳过当前帧。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于树莓派的轻量级视觉输入实时筛选方法，其特征在于，包括以下步骤：步骤1：利用树莓派摄像头捕获环境视频，并实时获取单帧图像；步骤2：进行图像预处理，将步骤1获取的单帧图像等比例缩小至较长边长度为A；步骤3：传统特征提取；对预处理后的图像提取HOG特征C
r1
，采用特征向量代表原图像；对预处理后的图像提取色彩直方图特征C
r2
，以表现图像的全局特点；对预处理后的图像提取SIFT特征C
r3
，以找出其中关键点分布情况；步骤4：时序相关特征提取；对当前帧图像的特征描述子与上一帧图像的特征描述子...

【专利技术属性】
技术研发人员：郭斌，刘宇博，刘思聪，丁亚三，於志文，卞浩羽，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：