一种基于视觉计算视频传输的图像检测与分析方法技术

本发明专利技术属于视频图像检测技术领域，具体涉及一种基于视觉计算视频传输的图像检测与分析方法。本发明专利技术包括：(1)动态图像目标检测；(2)设置背景目标的训练数据库地址；(3)设置分类标签，设置背景名以及背景两个标签；(4)分别设置训练神经网络时输入视频的大小、每次训练样本的数目、目标类别数、测试的准确率阈值；(5)构建卷积神经网络模型；(6)设置目标损失函数，并进行训练等。本发明专利技术是计算机领域下的视觉计算系统设计，具有高带宽、低延迟、非压缩、适合远距离无损传输等特点。持不少于3种计算资源的异构组合和高效协同，具备高效能计算、多模态图形图像处理、架构动态可重配置等能力。

An image detection and analysis method based on visual computing video transmission

【技术实现步骤摘要】
一种基于视觉计算视频传输的图像检测与分析方法
本专利技术属于视频图像检测
，具体涉及一种基于视觉计算视频传输的图像检测与分析方法。
技术介绍
视觉计算主要涉及图像增强、图像拼接、三维表面重构、纹理映射以及目标识别与跟踪等关键技术。动态可重配置计算是指利用现场可编程门阵列、软件可定义等技术，动态改变计算机系统的硬件和软件功能，在有限的计算资源和功耗的情况下灵活地实现多样化嵌入式计算处理功能，显著提升计算机系统的灵活性、可扩展性和可重用性。根据可重配置部分的大小可分为全局动态可重配置和局部动态可重配置。中国作为世界上的人口大国，人口的密度非常高，无论是在日常生活中，还是在工作学习中，只要有人在的地方，都会有大量不可控因素导致这样或者那样的意外发生，进而产生不必要的危险。而随着摄像头的普及，监控网络无处不在，因此，基于视觉计算的情景理解分析就成为了非常必要的选择。通过对各种动态图像的学习，完成基于视觉计算的情景理解分析，包括场景检测和目标检测以及目标行为分析。由于视频监控的需求，检测必须要具有实时性与精确性，这是一项很严峻的挑战。因此实时精确的情景理解分析的研究具有很大的意义。(1)场景理解是情景理解分析试验中很重要的一部分，通过对场景进行高精度检测确定目标所处环境状态，用目标检测算法实现动态图像下的场景的高精度检测。(1)目标的行为检测是情景理解分析试验中另一个非常重要的一部分，人体的姿势估计是行为检测的基础，通过姿势估计算法预测出人的各个关键点，即人的姿势的估计图，(3)在姿势估计图的基础上，就特定行为对其进行了分析，完成行为检测试验，并在系统上进行了实现。因此我们有必要对目标检测方法以及目标姿势估计方法以及相应的行为检测方法进行深入的研究。
技术实现思路
本专利技术的目的在于出一种实现在复杂环境下的实时高精度目标检测与跟踪的基于视觉计算视频传输的图像检测与分析方法。本专利技术的目的是这样实现的：一种基于视觉计算视频传输的图像检测与分析方法，包括如下步骤：(1)动态图像目标检测，建立与测试项目对应的标准值；构建背景目标的训练数据库，由各摄像头采集训练数据库的视频，对背景目标进行边界框标注；(2)设置分类标签，设置背景名以及背景两个标签，设置背景目标的训练数据库地址，获取目标在测试区的视频图像；(3)对所述视频图像进行图像预处理，得到预处理视频图像；(4)分别设置训练神经网络时输入视频的大小、每次训练样本的数目、目标类别数、测试的准确率阈值；放大所述预处理视频图像得到视频图像矩阵，进行背景目标异常处理；(5)构建卷积神经网络模型，根据所述训练样本的灰度值，确定检测样本的测试值；(6)设置目标损失函数，并进行训练，比对所述测试值与所述标准值，确定检测结果。(7)存储单元通过视频传输总线将输入的视频传递给异构计算单元；(8)异构计算单元经过视觉计算后得到目标识别后的视频，并通过视频传输总线传递给显示设备；(9)显示设备输出目标识别后的视频。优选的，所述建立与测试项目对应的标准值，同时进行边缘定位，所述边缘定位步骤包括：(1.1)建立边界框置信值；(1.2)使用所述边界框置信值扫描所述视频图像矩阵，得到所述视频图像矩阵中所述的边缘位置坐标；所述的边界框置信值为：CON＝Pro(ob)×IOUCON为边界框置信值，Pro为出现背景目标ob的概率，IOU为交并比。优选的，所述目标的训练数据库地址为：边界框的中心点坐标为(xc,yc)，对中心点坐标进行归一化，得：wi、hj表示视频图像的宽度和高度，s为网格行列数，i、j为视频图像横坐标和纵坐标的标号，x表示归一化后的横坐标；y表示归一化后的纵坐标；wp、hp分别为边界框对网格归一化的宽、高；(w，h)表示所述目标的训练数据库地址。优选的，所述视频图像进行预处理的步骤包括：(3.1)对所述视频图像进行裁剪处理，得到包含检测窗口的裁剪视频图像；(3.2)对所述裁剪视频图像进行图像边缘检测以及图像边缘增强处理。优选的，背景目标异常处理步骤包括：建立异物形状或颜色变化差异数据；根据边缘位置坐标以及所述异物形状或颜色变化差异数据扫描所述视频图像矩阵，逐行判断所述视频图像矩阵中的异常值；对所述异常值进行标记或者还原。优选的，所述的输入视频的大小为zij*为输入视频的大小，zij为视频图像中颜色点值；α为所有样本数据的均值；β为所有样本数据的标准差；所述的训练样本的数目为：(w，h)表示所述目标的训练数据库地址，CON为边界框置信值；所述测试的准确率阈值为：Cn＝ckSnRn；Rn为视频图像的光谱透射率；Sn为视频图像的光谱反射率。优选的，异构计算单元经过视觉计算后得到目标识别后的视频，包括：(8.1)异构计算单元接收云端需求；(8.2)异构计算单元依据需求配置网卡阵列；(8.3)网卡阵列接收网络数据并进行协议卸载；(8.4)网卡阵列依据驱动将数据发送至GPU共享的多个内存块；(8.5)GPU接管共享内存块并进行数据并行运算；(8.6)GPU将计算结果放入系统主控单元共享内存；(8.7)异构计算单元依据需求将计算结果进行存储、发送、转发的操作。优选的，卷积神经网络模型：y＝F(x′,ck)Cn；F为非线性激活函数，x′为网络层的输入；卷积神经网络设输入层与隐含层的连接权值系数为vi，隐含层与输出层的连接权值系数为wi，隐含层和输出层的激励函数为f1，隐含层神经元节点输出为：其中，n表示网络层数；根据以上两个公式确定神经网络的模型。优选的，训练卷积神经网络包括：对卷积神经网络输入p个测试样本，得到输出值得到第p个样本的误差函数Ep为：其中为期望输出，对全部的p个样本，全局误差函数E为：其中，η∈(0,1)表示卷积神经网络的学习速率；所述的目标损失函数loss：γ为坐标误差，ε为置信值误差，s表示所述卷积神经网络的学习时间；所述的异构计算单元进行视觉计算包括：di表示为标号为i的点预测的位置与其真实位置的距离；优选的，基于所述设置背景目标的训练数据库地址，完成对所述背景目标数据的训练的具体过程包括：对所述设置背景目标的训练数据库地址进行平滑修正；基于平滑修正结果，确定背景目标数据的样本集合，并作为训练的基准数据集合；设置所述基准数据集合的最终学习率；当基于所述基准数据集合进行初始训练时，记录所述初始训练的训练进度，并根据所述训练进度，确定训练学习率；将所述训练学习率与所述最终学习率进行比较；当所述学习率与最终学习率一致时，确定所述卷积神经网络是否收敛；若收敛，本文档来自技高网...

【技术保护点】
1.一种基于视觉计算视频传输的图像检测与分析方法，其特征在于，包括如下步骤：/n(1)动态图像目标检测，建立与测试项目对应的标准值；构建背景目标的训练数据库，由各摄像头采集训练数据库的视频，对背景目标进行边界框标注；/n(2)设置分类标签，设置背景名以及背景两个标签，设置背景目标的训练数据库地址，获取目标在测试区的视频图像；/n(3)对所述视频图像进行图像预处理，得到预处理视频图像；/n(4)分别设置训练神经网络时输入视频的大小、每次训练样本的数目、目标类别数、测试的准确率阈值；放大所述预处理视频图像得到视频图像矩阵，进行背景目标异常处理；/n(5)构建卷积神经网络模型，根据所述训练样本的灰度值，确定检测样本的测试值；/n(6)设置目标损失函数，并进行训练，比对所述测试值与所述标准值，确定检测结果；/n(7)存储单元通过视频传输总线将输入的视频传递给异构计算单元；/n(8)异构计算单元经过视觉计算后得到目标识别后的视频，并通过视频传输总线传递给显示设备；/n(9)显示设备输出目标识别后的视频。/n

【技术特征摘要】
1.一种基于视觉计算视频传输的图像检测与分析方法，其特征在于，包括如下步骤：
(1)动态图像目标检测，建立与测试项目对应的标准值；构建背景目标的训练数据库，由各摄像头采集训练数据库的视频，对背景目标进行边界框标注；
(2)设置分类标签，设置背景名以及背景两个标签，设置背景目标的训练数据库地址，获取目标在测试区的视频图像；
(3)对所述视频图像进行图像预处理，得到预处理视频图像；
(4)分别设置训练神经网络时输入视频的大小、每次训练样本的数目、目标类别数、测试的准确率阈值；放大所述预处理视频图像得到视频图像矩阵，进行背景目标异常处理；
(5)构建卷积神经网络模型，根据所述训练样本的灰度值，确定检测样本的测试值；
(6)设置目标损失函数，并进行训练，比对所述测试值与所述标准值，确定检测结果；
(7)存储单元通过视频传输总线将输入的视频传递给异构计算单元；
(8)异构计算单元经过视觉计算后得到目标识别后的视频，并通过视频传输总线传递给显示设备；
(9)显示设备输出目标识别后的视频。


2.根据权利要求1所述的一种基于视觉计算视频传输的图像检测与分析方法，其特征在于，所述建立与测试项目对应的标准值，同时进行边缘定位，所述边缘定位步骤包括：
(1.1)建立边界框置信值；
(1.2)使用所述边界框置信值扫描所述视频图像矩阵，得到所述视频图像矩阵中所述的边缘位置坐标；
所述的边界框置信值为：
CON＝Pro(ob)×IOU
CON为边界框置信值，Pro为出现背景目标ob的概率，IOU为交并比。


3.根据权利要求1所述的一种基于视觉计算视频传输的图像检测与分析方法，其特征在于，所述目标的训练数据库地址为：
边界框的中心点坐标为(xc,yc)，对中心点坐标进行归一化，得：



wi、hj表示视频图像的宽度和高度，s为网格行列数，i、j为视频图像横坐标和纵坐标的标号，x表示归一化后的横坐标；y表示归一化后的纵坐标；



wp、hp分别为边界框对网格归一化的宽、高；(w，h)表示所述目标的训练数据库地址。


4.根据权利要求1所述的一种基于视觉计算视频传输的图像检测与分析方法，其特征在于，所述视频图像进行预处理的步骤包括：
(3.1)对所述视频图像进行裁剪处理，得到包含检测窗口的裁剪视频图像；
(3.2)对所述裁剪视频图像进行图像边缘检测以及图像边缘增强处理。


5.根据权利要求1所述的一种基于视觉计算视频传输的图像检测与分析方法，其特征在于，背景目标异常处理步骤包括：建立异物形状或颜色变化差异数据；根据边缘位置坐标以及所述异物形状或颜色变化差异数据扫描所述视频图像矩阵，逐行判断所述视频图像矩阵中的异常值；对所述异常值进行标记或者还原。


6.根据权利要求1所述的一种基于视觉计算视频传输的图像检测与分析方法，其特征在于，所述的输入视频的大小为



zij*为输入视频的大小，zij为视频图像中颜色点值；α为所有样本数据的均值；β为所有样本数据的标准差；
所述的训练样本的数目为：


...

【专利技术属性】
技术研发人员：王程，
申请(专利权)人：广州道源信息科技有限公司，
类型：发明
国别省市：广东;44