一种基于机器视觉的图像追踪定位方法及系统技术方案

本发明专利技术涉及图像跟踪领域，具体涉及一种基于机器视觉的图像追踪定位方法及系统。将全景摄像头拍摄得到的前一帧的灰度图像与当前帧的灰度图像进行帧间差分，获得帧差图像；对帧差图像用第一内核进行形态学腐蚀，得到腐蚀后的图像,用第二内核对腐蚀后的图像进行形态学膨胀，获得帧差图像；检测帧差图像中所有的外轮廓取最大的轮廓，作为检测出来的运动目标；用坐标转移矩阵对外接矩形中心进行坐标转换，得到云台摄像头的移动位置；用变焦转移矩阵对外接矩形中心进行转换，得到变焦系数；将前一帧的灰度图像替换为当前帧的灰度图像，重复第一步。通过本发明专利技术方法和系统，可以实现图像跟踪算法计算复杂度低，处理效率高，而且还提高了产品的可拓展性。

An Image Tracking and Location Method and System Based on Machine Vision

The invention relates to the field of image tracking, in particular to an image tracking and positioning method and system based on machine vision. The gray image of the previous frame captured by the panoramic camera is differentiated from the gray image of the current frame to obtain the frame difference image; the frame difference image is corroded morphologically by the first core, and the corroded image is obtained. The corroded image is expanded morphologically by the second core to obtain the frame difference image; all the outlines of the frame difference image are detected to get the largest outline. In order to detect the moving target, coordinate transformation matrix is used to transform the outer rectangular center to get the moving position of the camera; zoom coefficient is obtained by transforming the outer rectangular center with zoom transfer matrix; gray image of the previous frame is replaced by gray image of the current frame, and the first step is repeated. The method and system of the invention can realize the image tracking algorithm with low computational complexity, high processing efficiency, and improve the expandability of the product.

【技术实现步骤摘要】
一种基于机器视觉的图像追踪定位方法及系统
本专利技术涉及图像跟踪领域，具体涉及一种基于机器视觉的图像追踪定位方法及系统。
技术介绍
图像跟踪技术，是指通过某种方式(如机器视觉、红外、超声波等)将摄像头中拍摄到的物体进行定位，并指挥摄像头对该物体进行跟踪，让该物体一直被保持在摄像头视野范围内的技术。图像跟踪系统被广泛应用在教育、会议、医疗、庭审以及安防监控等各个行业。其中，应用于教育以及会议方面的全自动跟踪拍摄方案，更是引领了国内外全自动跟踪拍摄的技术潮流，为精品课程、视频会议的全自动摄制打下了坚实的技术基础。现有的图像跟踪技术，大多采用机器视觉方法，即运动目标检测。常用的运动目标检测算法有帧间差分法、背景差分法、光流法等等。这些方法都是根据视频帧的上下文信息进行识别与检测。其中，帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法。该方法原理简单，而且由于相邻帧的时间间隔比较小，对缓慢变化的环境光不敏感。目前市面上的相关产品，大多采用将运动目标检测算法运行在嵌入式设备上的方案。但由于检测算法较高的计算复杂度和嵌入式CPU的计算负载瓶颈，运动目标检测算法会有较高的CPU占用率，大大影响了产品的开发成本和产品效果。不仅如此，如今大多数产品的图像跟踪功能会跟固定的摄像头进行捆绑，用户无法自行选择摄像头型号，产品缺乏一定的可拓展性。
技术实现思路
鉴于以上现有技术中图像跟踪方法CPU耗费高、产品拓展性差的问题缺陷，本专利技术提供一种基于机器视觉的图像追踪定位方法及系统，可以实现对目标图像进行追踪定位以及跟踪拍摄。本专利技术具体通过以下技术方案实现：一种基于机器视觉的图像追踪定位方法，所述方法具体包括如下步骤：步骤S01：将拍摄得到的前一帧的灰度图像与当前帧的灰度图像进行帧间差分，获得帧差图像；步骤S02：对帧差图像用第一内核进行形态学腐蚀，得到腐蚀后的图像,用第二内核对腐蚀后的图像进行形态学膨胀，获得了膨胀后的帧差图像；所述的内核为图像形态学处理中的概念，一般为一个领域范围，比如3*3的矩形领域范围，8*8的矩形领域范围。步骤S03：检测膨胀后的帧差图像中所有的外轮廓，得到一系列连续轮廓，取其中最大的轮廓，作为检测出来的运动目标；步骤S04：取最大的轮廓的外接矩形中心，用坐标转移矩阵对外接矩形中心进行坐标转换，得到所需移动位置；用变焦转移矩阵对外接矩形中心进行转换，得到变焦系数；步骤S05：将前一帧的灰度图像替换为当前帧的灰度图像，重复步骤S01。进一步的，于步骤S01中，所述的进行帧间差分，具体如下：其中，Id(x，y)为帧差图像；thr为差分阈值，abs为取绝对值；Ip(x，y)为前一帧灰度图像；Ic(x，y)为当前帧的灰度图像；所述的差分阈值用于控制算法的敏感度。进一步的，于步骤S02中，所述的第二内核的大小比第一内核大，也就是说，要结合实际场景进行调试，内核大或小范围需要通过根据实际调试效果进行选取。所述的形态学腐蚀，具体如下：所述的形态学膨胀，具体如下：其中：Idc(x，y)为腐蚀后的图像；Idd(x，y)为膨胀后的帧差图像；进一步的，于步骤S03中，还包括如下轮廓检测的步骤:步骤S31，逐行扫描膨胀后的帧差图像，直至找到非0点，设置该点为边界起点；步骤S32，以逆时针方向扫描相邻非0点，将新的非零点作为扫描起点；步骤S33，重复步骤S32，直至回到边界起点，获得一个完整轮廓。步骤S34，将膨胀后的帧差图像中所有处于轮廓内的像素置为0，重复步骤S31，直到膨胀后的帧差图像中不存在非0点。进一步的，于步骤S04中，所述的坐标转移矩阵为3*3的矩阵，设坐标转移矩阵则pm(v，w)的计算公式具体为：其中：v代表pm的横坐标，w代表pm的纵坐标；所述的变焦转移矩阵为1*3的矩阵，设变焦转移矩阵S＝[s1s2s3]，则变焦系数β的计算公式具体为：β＝s1*x+s2*v+s3(6)。进一步的，于步骤S04中，所述的坐标转移矩阵M和变焦转移矩阵S是通过对全景摄像头和云台摄像头进行标定产生，具体步骤如下：步骤S41，选取全景摄像头的图像跟踪区域的四个顶点，分别为pc1(x1，y1),pc2(x2，y2),pc3(x3，y3),pc4(x4，y4)；步骤S42，调整云台摄像头的拍摄位置，分别将拍摄焦点对准pc1,pc2,pc3，pc4，获得对应这四个点的云台拍摄位置pm1(v1，w1),pm2(v2，w2),pm3(v3，w3)，pm4(v4，w4)和变焦系数β1，β2，β3，β4；步骤S43，将图像跟踪区域的四个顶点pc1(x1，y1),pc2(x2，y2),pc3(x3，y3)，pc4(x4，y4)和这四个点的云台拍摄位置pm1(v1，w1),pm2(v2，w2),pm3(v3，w3)，pm4(v4，w4)代入如下透视变换公式：可得到线性方程组，求解可得坐标转移矩阵的值；将变焦系数β1，β2，β3，β4和图像跟踪区域的四个顶点pc1(x1，y1),pc2(x2，y2),pc3(x3，y3)，pc4(x4，y4)代入如下变换公式：可得到线性方程组，求解可得变焦转移矩阵S＝[s1s2s3]的值。为实现上述目的，本专利技术还提供了一种基于机器视觉的图像追踪定位系统，所述的系统包括：全景摄像头单元，用于获取拍摄视频图像数据，并传送至控制单元；所述的全景摄像头单元中设置有全景摄像头，所述的全景摄像头为不可变焦和移动，可进行全景拍摄，并将拍摄得到的视频图像实时传输给控制单元；云台摄像头单元，用于获取跟踪拍摄目标数据，并进行目标跟踪拍摄；所述的云台摄像头单元中设置有云台摄像头，所述的云台摄像头为可变焦和移动，由控制系统通过控制协议进行控制，进行目标跟踪拍摄；控制单元，用于获取视频图像数据，并将拍摄得到的前一帧的灰度图像与当前帧的灰度图像进行帧间差分；对帧差图像通过第一内核进行形态学腐蚀，用第二内核对腐蚀后的图像进行形态学膨胀；检测膨胀后的帧差图像中所有的外轮廓，取其中最大的轮廓的外接矩形中心，用坐标转移矩阵对外接矩形中心进行坐标转换，得到所需移动位置；再通过变焦转移矩阵对外接矩形中心进行转换，得到变焦系数，进而将前一帧的灰度图像替换为当前帧的灰度图像，同时将检测出来的跟踪目标移动位置和变焦系数传输至云台摄像头单元，具体地，控制单元将检测出来的跟踪目标位置和变焦系数通过通信协议，传输至云台摄像头单元，从而让云台摄像头单元对目标进行跟踪拍摄。也就是说，用于接收全景摄像头单元的视频图像数据，进行图像跟踪，并将检测出来的跟踪目标位置和变焦系数传输给云台摄像头单元，使其进行目标跟踪拍摄。具体地，通过本专利技术可具备以下有益效果：通过本专利技术方法和系统，对跟踪图像目标无特殊要求，图像目标也无需佩戴定位设备即可实现追踪定位；而且本专利技术的图像跟踪算法计算复杂度低，处理效率高，可在嵌入式CPU计算负载有限的情况下满足实时跟踪定位的需求；通过本专利技术方法及系统，对摄像头的型号与规格也没有特殊要求，大大提高了产品的可拓展性。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以本文档来自技高网...

【技术保护点】
1.一种基于机器视觉的图像追踪定位方法，其特征在于，所述方法具体包括如下步骤：步骤S01：将拍摄得到的前一帧的灰度图像与当前帧的灰度图像进行帧间差分，获得帧差图像；步骤S02：对帧差图像用第一内核进行形态学腐蚀，得到腐蚀后的图像,用第二内核对腐蚀后的图像进行形态学膨胀，获得了膨胀后的帧差图像；步骤S03：检测膨胀后的帧差图像中所有的外轮廓，得到一系列连续轮廓，取其中最大的轮廓，作为检测出来的运动目标；步骤S04：取最大的轮廓的外接矩形中心，用坐标转移矩阵对外接矩形中心进行坐标转换，得到所需移动位置；用变焦转移矩阵对外接矩形中心进行转换，得到变焦系数；步骤S05：将前一帧的灰度图像替换为当前帧的灰度图像，重复步骤S01。

【技术特征摘要】
1.一种基于机器视觉的图像追踪定位方法，其特征在于，所述方法具体包括如下步骤：步骤S01：将拍摄得到的前一帧的灰度图像与当前帧的灰度图像进行帧间差分，获得帧差图像；步骤S02：对帧差图像用第一内核进行形态学腐蚀，得到腐蚀后的图像,用第二内核对腐蚀后的图像进行形态学膨胀，获得了膨胀后的帧差图像；步骤S03：检测膨胀后的帧差图像中所有的外轮廓，得到一系列连续轮廓，取其中最大的轮廓，作为检测出来的运动目标；步骤S04：取最大的轮廓的外接矩形中心，用坐标转移矩阵对外接矩形中心进行坐标转换，得到所需移动位置；用变焦转移矩阵对外接矩形中心进行转换，得到变焦系数；步骤S05：将前一帧的灰度图像替换为当前帧的灰度图像，重复步骤S01。2.根据权利要求1所述的一种基于机器视觉的图像追踪定位方法，其特征在于，于步骤S01中，所述的进行帧间差分，具体如下：其中，Id(x，y)为帧差图像；thr为差分阈值；abs为取绝对值。3.根据权利要求1所述的一种基于机器视觉的图像追踪定位方法，其特征在于，于步骤S02中，所述的第二内核的大小比第一内核大，所述的形态学腐蚀，具体如下：所述的形态学膨胀，具体如下：4.根据权利要求1所述的一种基于机器视觉的图像追踪定位方法，其特征在于，于步骤S03中，还包括如下轮廓检测的步骤:步骤S31，逐行扫描膨胀后的帧差图像，直至找到非0点，设置该点为边界起点；步骤S32，以逆时针方向扫描相邻非0点，将新的非零点作为扫描起点；步骤S33，重复步骤S32，直至回到边界起点，获得一个完整轮廓；步骤S34，将膨胀后的帧差图像中所有处于轮廓内的像素置为0，重复步骤S31，直到膨胀后的帧差图像中不存在非0点。5.根据权利要求1所述的一种基于机器视觉的图像追踪定位方法，其特征在于，于步骤S04中，所述的坐标转移矩阵为3*3的矩阵，设坐标转移矩阵则移动位置pm(v，w)的计算公式具体为：所述的变焦转移矩阵为1*3的矩阵，设变焦转移矩阵S＝[s1s2s3]，则变焦系数β的计算公式具体为：β＝s1*x+s2*y+s3(6)。6.根据权利要求1所述的一种基于机器视觉的图像追踪定位方法，其特征在于，于步骤S04中，所述的坐标转移矩阵M和变焦转移矩阵S...

【专利技术属性】
技术研发人员：赵定金，朱正辉，张常华，明德，
申请(专利权)人：广州市保伦电子有限公司，
类型：发明
国别省市：广东,44