一种图像处理方法、装置及AR设备制造方法及图纸

本发明专利技术实施例提供一种图像处理方法、装置及AR设备，在连续的视频帧图像序列中确定连续的第一帧图像和第二帧图像，其中，所述第二帧图像为当前帧图像，第一帧图像为所述第二帧图像的上一帧图像；以所述第一帧图像的目标区域为模板确定所述目标区域在所述第二帧图像的位置信息；以所述位置信息为迭代初值对所述第一帧图像和所述第二帧图像进行整图对齐的迭代处理；其中，所述第一帧图像和所述第二帧图像的整图对齐的迭代处理使用鲁棒误差函数进行迭代。本发明专利技术实施例所公开的图像处理方法、装置及AR设备，提高了整个系统追踪的成功率。

Image processing method, device and AR device

An embodiment of the present invention provides an image processing method, apparatus and an AR device for determining a successive first frame image and a second frame image in a successive video frame image sequence, wherein the second frame image is a current frame image, the first frame image is a previous frame image of the second frame image, and the object of the first frame image is the object of the first frame image. The target region is used as a template to determine the position information of the target region in the second frame image; the position information is used as an iterative initial value to perform an iterative process of integer alignment of the first frame image and the second frame image; wherein the iterative process of integer alignment of the first frame image and the second frame image uses Lu. The rod error function is iterated. The image processing method, device and AR device disclosed in the embodiment of the invention improve the success rate of the whole system tracking.

【技术实现步骤摘要】
一种图像处理方法、装置及AR设备
本专利技术实施例涉及计算机视觉效果领域，尤其涉及一种图像处理方法、装置及AR设备。
技术介绍
目标跟踪是计算机视觉研究领域的热点之一，并得到广泛应用。比如视频监控、车流量监控、无人驾驶、人脸识别、增强现实技术(AugmentedReality，AR)等。例如，相机的跟踪对焦、无人机的自动目标跟踪等都需要用到了目标跟踪技术。另外特定物体的跟踪，比如人体跟踪，交通监控系统中的车辆跟踪，人脸跟踪和智能交互系统中的手势跟踪等，都需要利用目标跟踪技术。目标跟踪就是在连续的视频序列中，建立所要跟踪物体的位置关系，得到物体完整的运动轨迹，给定图像第一帧的目标坐标位置，计算在下一帧图像中目标的确切位置。在运动的过程中，目标可能会呈现一些图像上的变化，比如位置或形状的变化、尺度的变化、背景遮挡或光线亮度的变化等。目标跟踪算法的研究也围绕着解决这些变化和具体的应用展开。一个完整的目标跟踪过程是首先检测出目标所在的位置，然后再进行追踪。忽略掉计算量的考量，通过检测代替跟踪的方式具有更高的准确性，即在每一帧中都采用检测的方式确定目标的位置。但是检测的计算量一般远超跟踪需求量。在现有的硬件条件下，投入市场的应用中，多采取追踪的方式进行目标追踪。整图对齐更够在大幅度位移与抖动的情况下为后续的特征跟踪(featuretracking)提供更精确的初始值，确保特征跟踪的成功，输出最后精确的位置。目前，整图对齐是通过连续两帧之间的图像进行迭代对齐，不需要提取图像中的特征信息，也不需要显著平面等信息，因为整图中同时包含了目标信息和背景信息，所以整图对齐才会受到非目标区域(即背景)的干扰。但是，现有技术的整图对齐中，由于相机移动或物体移动，两帧之前图像并不完全一致，在两帧图像背景差异过大的情况下，追踪的成功率比较低。
技术实现思路
本专利技术多个方面提供一种图像处理方法、装置及AR设备，可以提高整个系统追踪的成功率。本专利技术的一方面提供了一种图像处理方法，包括：在连续的视频帧图像序列中确定连续的第一帧图像和第二帧图像，其中，第一帧图像为所述第二帧图像的上一帧图像；以所述第一帧图像的目标区域为模板确定所述目标区域在所述第二帧图像的位置信息；以所述位置信息为迭代初值对所述第一帧图像和所述第二帧图像进行整图对齐的迭代处理；其中，所述第一帧图像和所述第二帧图像的整图对齐的迭代处理使用鲁棒误差函数进行迭代。优选地，所述第一帧图像和所述第二帧图像的整图对齐的迭代处理使用鲁棒误差函数作为惩罚函数进行迭代的目标函数为：其中，ρ为鲁棒误差函数；W为位姿变换函数，包含两个参数；x为图像的像素点在图像中的坐标；p为位姿的变换系数；Δp为位姿变换系数p的更新量；W(x；Δp)表示位姿变换函数，该位姿变换函数的两个参数分别是x和Δp；W(x；p)表示位姿变换函数，该位姿变换函数的两个参数分别是x和p；T(W(x；Δp))表示坐标x在所述第一帧图像上经过Δp变换后的像素值；I(W(x；p))表示坐标x在所述第二帧图像上经过p变换后的像素值；σ为尺度参数向量，用于控制鲁棒误差函数对误差的惩罚力度。优选地，所述第一帧图像和所述第二帧图像的整图对齐的迭代处理使用鲁棒误差函数作为惩罚函数进行迭代的目标函数为：其中，ρ为鲁棒误差函数；W为位姿变换函数，包含两个参数；x为图像的像素点在图像中的坐标；p为位姿的变换系数；Δp为位姿变换系数p的更新量；W(x；p+Δp)表示位姿变换函数，该位姿变换函数的两个参数分别是坐标x和变换参数p+Δp；I(W(x；p+Δp))表示坐标x在第二帧图像上经过p+Δp变换后的像素值；T(x)表示坐标x在第一帧图像中的像素值；σ为尺度参数向量，用于控制鲁棒误差函数对误差的惩罚力度。优选地，所述第一帧图像和所述第二帧图像的整图对齐的迭代处理使用鲁棒误差函数作为惩罚函数进行迭代的目标函数为：其中，ρ为鲁棒误差函数；W为位姿变换函数，包含两个参数；x为图像的像素点在图像中的坐标；p为位姿的变换系数；Δp为位姿变换系数p的更新量；W(x；Δp)表示位姿变换函数，该位姿变换函数的两个参数分别是坐标x和变换参数Δp；W((W(x；Δp))；p)表示位姿变换函数，该位姿变换函数的两个参数是W(x；Δp)和p；I(W((W(x；Δp))；p))表示坐标x先经过Δp位姿变换，再经过p位姿变换后在第二帧图像上的像素值；T(x)表示坐标x在第一帧图像中的像素值；σ为尺度参数向量，用于控制鲁棒误差函数对误差的惩罚力度。优选地，所述第一帧图像和所述第二帧图像的整图对齐的迭代处理使用鲁棒误差函数作为惩罚函数进行迭代的目标函数为：其中，ρ为鲁棒误差函数；W为位姿变换函数，包含两个参数；x为图像的像素点在图像中的坐标；p为位姿的变换系数；W(x；p)表示位姿变换函数，该位姿变换函数的两个参数分别是x和p；I(W(x；p))表示坐标x经过p位姿变换后在所述第二帧图像上的像素值；T(x)表示坐标x在第一帧图像中的像素值；σ为尺度参数向量，用于控制鲁棒误差函数对误差的惩罚力度。优选地，满足以下几个函数条件的函数为所述鲁棒误差函数：a)ρ(t，σ)对于任意t，始终大于零；b)对于t小于等于零时，ρ(t，σ)始终满足单调递减；c)对于t大于等于零时，ρ(t，σ)始终满足单调递增；d)ρ(t，σ)是分段可微分的；e)ρ(t，σ)单调递增(递减)的时候其值增长幅度小于t2，大于|t|；其中，t表示鲁棒误差函数的参数，σ为尺度参数向量，用于控制鲁棒误差函数对误差的惩罚力度。优选地，所述鲁棒误差函数为：或，其中，t表示鲁棒误差函数的参数，σ为尺度参数向量，用于控制鲁棒误差函数对误差的惩罚力度，σ1为鲁棒误差函数中设置的阈值。优选地，在完成所述迭代处理之后，所述方法还包括：在所述第二帧图像中通过特征追踪匹配的方式追踪到所述目标区域中的至少一个目标的位置。优选地，所述方法还包括：在所述第一帧图像上确定目标特征的位姿信息，根据所述目标特征的所述位姿信息确定所述第一帧图像的所述目标区域。优选地，所述第一帧图像为模板图像，所述第二帧图像为当前帧图像。本专利技术的另一方面提供了一种图像处理装置，包括：收发器，用于获取连续的视频帧图像序列；处理器，用于在所述连续的视频帧图像序列中确定连续的第一帧图像和第二帧图像，第一帧图像为所述第二帧图像的上一帧图像；以所述第一帧图像的目标区域为模板确定所述目标区域在所述第二帧图像的位置信息；以所述位置信息为迭代初值对所述第一帧图像和所述第二帧图像进行整图对齐的迭代处理；其中，所述第一帧图像和所述第二帧图像的整图对齐的迭代处理使用鲁棒误差函数进行迭代。优选地，所述第一帧图像和所述第二帧图像的整图对齐的迭代处理使用鲁棒误差函数作为惩罚函数进行迭代的目标函数为：其中，ρ为鲁棒误差函数；W为位姿变换函数，包含两个参数；x为图像的像素点在图像中的坐标；p为位姿的变换系数；Δp为位姿变换系数p的更新量；W(x；Δp)表示位姿变换函数，该位姿变换函数的两个参数分别是x和Δp；W(x；p)表示位姿变换函数，该位姿变换函数的两个参数分别是x和p；T(W(x；Δp))表示坐标x在所述第一帧图像上经过Δp变换后的像素值；I(W(x；p))表示坐标x在所述第二帧图像上经过本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：在连续的视频帧图像序列中确定连续的第一帧图像和第二帧图像，其中，第一帧图像为所述第二帧图像的上一帧图像；以所述第一帧图像的目标区域为模板确定所述目标区域在所述第二帧图像的位置信息；以所述位置信息为迭代初值对所述第一帧图像和所述第二帧图像进行整图对齐的迭代处理；其中，所述第一帧图像和所述第二帧图像的整图对齐的迭代处理使用鲁棒误差函数进行迭代。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：在连续的视频帧图像序列中确定连续的第一帧图像和第二帧图像，其中，第一帧图像为所述第二帧图像的上一帧图像；以所述第一帧图像的目标区域为模板确定所述目标区域在所述第二帧图像的位置信息；以所述位置信息为迭代初值对所述第一帧图像和所述第二帧图像进行整图对齐的迭代处理；其中，所述第一帧图像和所述第二帧图像的整图对齐的迭代处理使用鲁棒误差函数进行迭代。2.如权利要求1所述的方法，其特征在于，所述第一帧图像和所述第二帧图像的整图对齐的迭代处理使用鲁棒误差函数作为惩罚函数进行迭代的目标函数为：其中，ρ为鲁棒误差函数；W为位姿变换函数，包含两个参数；x为图像的像素点在图像中的坐标；p为位姿的变换系数；Δp为位姿变换系数p的更新量；W(x；Δp)表示位姿变换函数，该位姿变换函数的两个参数分别是x和Δp；W(x；p)表示位姿变换函数，该位姿变换函数的两个参数分别是x和p；T(W(x；Δp))表示坐标x在所述第一帧图像上经过Δp变换后的像素值；I(W(x；p))表示坐标x在所述第二帧图像上经过p变换后的像素值；σ为尺度参数向量，用于控制鲁棒误差函数对误差的惩罚力度。3.如权利要求1所述的方法，其特征在于，所述第一帧图像和所述第二帧图像的整图对齐的迭代处理使用鲁棒误差函数作为惩罚函数进行迭代的目标函数为：其中，ρ为鲁棒误差函数；W为位姿变换函数，包含两个参数；x为图像的像素点在图像中的坐标；p为位姿的变换系数；Δp为位姿变换系数p的更新量；W(x；p+Δp)表示位姿变换函数，该位姿变换函数的两个参数分别是坐标x和变换参数p+Δp；I(W(x；p+Δp))表示坐标x在第二帧图像上经过p+Δp变换后的像素值；T(x)表示坐标x在第一帧图像中的像素值；σ为尺度参数向量，用于控制鲁棒误差函数对误差的惩罚力度。4.如权利要求1所述的方法，其特征在于，所述第一帧图像和所述第二帧图像的整图对齐的迭代处理使用鲁棒误差函数作为惩罚函数进行迭代的目标函数为：其中，ρ为鲁棒误差函数；W为位姿变换函数，包含两个参数；x为图像的像素点在图像中的坐标；p为位姿的变换系数；Δp为位姿变换系数p的更新量；W(x；Δp)表示位姿变换函数，该位姿变换函数的两个参数分别是坐标x和变换参数Δp；W((W(x；Δp))；p)表示位姿变换函数，该位姿变换函数的两个参数是W(x；Δp)和p；I(W((W(x；Δp))；p))表示坐标x先经过Δp位姿变换，再经过p位姿变换后在第二帧图像上的像素值；T(x)表示坐标x在第一帧图像中的像素值；σ为尺度参数向量，用于控制鲁棒误差函数对误差的惩罚力度。5.如权利要求1所述的方法，其特征在于，所述第一帧图像和所述第二帧图像的整图对齐的迭代处理使用鲁棒误差函数作为惩罚函数进行迭代的目标函数为：其中，ρ为鲁棒误差函数；W为位姿变换函数，包含两个参数；x为图像的像素点在图像中的坐标；p为位姿的变换系数；W(x；p)表示位姿变换函数，该位姿变换函数的两个参数分别是x和p；I(W(x；p))表示坐标x经过p位姿变换后在所述第二帧图像上的像素值；T(x)表示坐标x在第一帧图像中的像素值；σ为尺度参数向量，用于控制鲁棒误差函数对误差的惩罚力度。6.如权利要求2-5任意一项所述的方法，其特征在于，满足以下几个函数条件的函数为所述鲁棒误差函数：a)ρ(t，σ)对于任意t，始终大于零；b)对于t小于等于零时，ρ(t，σ)始终满足单调递减；c)对于t大于等于零时，ρ(t，σ)始终满足单调递增；d)ρ(t，σ)是分段可微分的；e)ρ(t，σ)单调递增(递减)的时候其值增长幅度小于t2，大于|t|；其中，t表示鲁棒误差函数的参数，σ为尺度参数向量，用于控制鲁棒误差函数对误差的惩罚力度。7.如权利要求6所述的方法，其特征在于，所述鲁棒误差函数为：或，其中，t表示鲁棒误差函数的参数，σ为尺度参数向量，用于控制鲁棒误差函数对误差的惩罚力度，σ1为鲁棒误差函数中设置的阈值。8.如权利要求1所述的方法，其特征在于，在完成所述迭代处理之后，所述方法还包括：在所述第二帧图像中通过特征追踪匹配的方式追踪到所述目标区域中的至少一个目标的位置。9.如权利要求1所述的方法，其特征在于，所述方法还包括：在所述第一帧图像上确定目标特征的位姿信息，根据所述目标特征的所述位姿信息确定所述第一帧图像的所述目标区域。10.如权利要求1所述的方法，其特征在于，所述第一帧图像为模板图像，所述第二帧图像为当前帧图像。11.一种图像处理装置，其特征在于，包括：收发器，用于获取连续的视频帧图像序列；处理器，用于在所述连续的视频帧图像序列中确...

【专利技术属性】
技术研发人员：李中源，刘力，张小军，
申请(专利权)人：视辰信息科技上海有限公司，
类型：发明
国别省市：上海,31