一种基于机器人的目标图像显示处理方法及系统技术方案

本发明专利技术公开了一种基于机器人的目标图像显示处理方法和系统，包括：S10对视频帧图像进行连续采集；S20在采集到的第k帧图片中检测到跟随目标时，检测所述跟随目标在所述第k帧图片的位置信息；S30在时间轴第k+N+1帧处显示所述第k帧图片，并标记出所述跟随目标在所述第k帧图片的位置；N为一个检测周期内所采集的图片数量；S40根据所述跟随目标在所述第k帧图片的位置信息，依次预测在采集到的第k+N+1至第k+2N‑1帧图片中跟随目标的位置；S50在时间轴第k+N+2至k+2N帧处依次显示所述k+N+1至k+2N‑1帧图片以及所述预测的跟随目标的位置，通过本发明专利技术能够更加流畅地显示图像。

An image display processing method and system based on Robot

The invention discloses a robot image display method and system, including: S10 based processing of video frames for continuous acquisition; S20 in the K frame images collected were detected in the following target, the target detection in the following section K frame image position information display S30; the K pictures in the time axis of the k+N+1 frame, and mark the following target in the picture of the location of the K frame; N is the number one in the detection period collected pictures; S40 according to the position information of the target in the following section K images, are forecast to follow in the collected article k+N+1 to k+2N 1 pictures in the position of S50; in the time axis k+N+2 to k+2N frame in order to show the following target the k+N+1 to k+2N 1 pictures and the predicted position, the invention can more smoothly. The image is shown.

【技术实现步骤摘要】
一种基于机器人的目标图像显示处理方法及系统
本专利技术涉及机器人领域，特别是一种基于机器人的目标图像显示处理。
技术介绍
随着人工智能的逐渐发展，机器人必将融入人们的工作与生活之中，如何提高机器人与人之间的交互智能性，成为了目前研究的热点。人体跟随作为人机交互的一种方式，具有方便，自动化程度高等优点，被广泛应用在具有行走能力的机器人中。具体的，机器人在实现人体跟随技术时，首先通过内置的摄像机等采集设备采集图像信号，当在采集到的图像信号中检测到人体目标时，在机器人的显示屏幕上显示包含该人体图像并标注人体的位置，并跟随人体的移动而移动。但是，目前的技术中，机器人对图像的的采集速度远远高于对图像的处理速度，如图8所示，假设当检测模块处理完第1帧后，采集模块已经采集完第n帧的图像，系统会把检测结果显示到时间轴上n+1帧的位置上。为了避免跟踪丢失目标，检测模块跳过对第2～n-1帧的检测、开始检测第n帧的内容，当处理完第n帧时，采集模块已经采集完第2n-1帧，系统把该检测结果显示在时间轴上2n帧的位置。因此，时间轴上n+1至2n-1帧之间显示模块一直显示的是第一帧的检测结果，时间轴上2n至3n-2帧之间显示的是第n帧的检测结果。从中可以看出，虽然目标在视场内不断的移动，而显示模块并不能及时跟随到目标，将连续显示n-1个相同的帧然后跳到之后的第n帧，因此在时间轴上第n+1帧到2n-1帧之间存在卡顿(始终显示第1帧)，在2n-1帧和2n帧之间存在跳变(从显示第1帧突然变为显示第n帧)，这样会给用户带来不好的使用体验。因此，需要设计一种能够能加流畅地显示图像的方法，使显示时能够避免卡顿和跳变，给用户带来更好的体验感。
技术实现思路
本专利技术的目的是提供一种基于机器人的目标图像显示处理方法及系统，能够解决机器人显示目标图像时存在卡顿、跳变的问题，使显示更为流畅，提高用户的体验感，技术方案如下：一种基于机器人的目标图像显示处理方法，包括步骤：S10对视频帧图像进行连续采集；S20在采集到的第k帧图片中检测到跟随目标时，检测所述跟随目标在所述第k帧图片的位置信息；S30在时间轴第k+N+1帧图片处显示所述第k帧图片，并标记出所述跟随目标在所述第k帧图片的位置；N为一个检测周期内所采集的帧图片数量；S40根据所述跟随目标在所述第k帧图片的位置信息，依次预测在采集到的第k+N+1至第k+2N-1帧图片中跟随目标的位置；S50在时间轴第k+N+2至k+2N帧图片处依次显示所述k+N+1至k+2N-1帧图片以及所述预测的跟随目标的位置。通过本专利技术，能够在检测跟随目标在图片中位置的同时预测跟随目标在图片中的位置，避免了因为检测速度慢而导致显示出来的跟随目标图像出现卡顿的现象，通过预测跟随目标在图像中的位置信息还能够避免检测出来的目标位置变化过大而出现图片跳变的现象，使显示出来的含有跟随目标的图像更具连贯性。优选的，步骤S40中根据所述跟随目标在所述第k帧图片的位置信息，依次预测在采集到的第k+N+1至第k+2N-1帧图片中跟随目标的位置具体为：根据所述跟随目标在所述第k帧图片的位置信息，预测在第k+N+1帧中跟随目标的位置，以及根据第k+N+i帧中跟随目标的位置，预测k+N+i+1帧中跟随目标的位置；其中i分别为1～N-2的正整数；根据递归的方法，能够通过第k帧图片的位置信息预测得到第k+N+1帧图片的位置信息，再通过第k+N+1帧图片的位置信息预测得到第k+N+2帧图片的位置信息，然通过递归思想，能够预测出第k+N+1至第k+2N-1帧图片中跟随目标的位置。通过预测能够避免在时间轴上第k+N+2帧到第k+2N帧的位置一直显示检测之后的第k帧图像以及目标图像的位置，使显示的图像更加流畅，不会出现卡顿的现象。优选的，该方法进一步包括：在步骤S30中显示所述第k帧图片的同时，对采集到的第k+N帧图片进行检测，以及在步骤S50之后，在时间轴第k+2N+1帧图片处显示所述k+N帧图片以及所述检测到的跟随目标的位置。由于预测的速度快于检测的速度，因此，在预测第k+N+2帧跟随目标位置时，对采集到的第k+N帧图片进行检测，在时间轴第k+2N+1帧图片处显示所述k+N帧图片以及所述检测到的跟随目标的位置，这样及时纠正预测出现的偏差，使得显示的图像符合跟随目标的运动轨迹。优选的，根据所述跟随目标在所述第k帧图片的位置信息，预测在第k+N+1帧中跟随目标的位置具体为：S41分别计算出所述第k帧图片跟随目标对应的第k特征点信息和采集到的第k+N+1帧图片跟随目标对应的第k+N+1特征点信息；S42对所述第k特征点信息和所述第k+N+1特征点信息进行匹配，分别得到第k特征点集、第k+N+1特征点集；S43根据所述第k特征点集计算出所述第k特征点集的第k质心信息，以及根据所述第k+N+1特征点集计算出所述第k+N+1特征点集的第k+N+1质心信息；S44根据所述第k质心信息、所述第k+N+1质心信息以及所述第k帧目标图片信息的中心位置信息，预测得到第k+1帧目标预测图片信息。通过对每一帧图片中跟随目标的特征点的采集，并计算每个有效特征点的位置坐标、图片中心位置的坐标以及跟随目标质心坐标，能够准确地预测出跟随目标在图片中的位置，达到预测的目的。优选的，S42中对所述第k特征点信息和所述第k+N+1特征点信息进行匹配的步骤具体包括：S421根据K邻近一致性算法计算所述第k特征点信息和所述第k+N+1特征点信息的相似度，得到对应的匹配点；S422根据Ransac随机采样一致算法滤除错误匹配点，得到所述第k特征点集和所述第k+N+1特征点集。根据K邻近一致性算法能够计算出每张图片的特征点，并根据Ransac随机采样一致算法滤除错误匹配点，使最终得到的特征点的有效程度更高，使预测时的计算更加准确，预测得到的跟随目标位置更准确。优选的，步骤S43中计算所述第k+N+1特征点集的第k+N+1质心信息具体包括：S431根据所述第k特征点集计算得到第k帧目标图片信息内所有特征点的像素坐标，以及根据所述第k+N+1特征点集计算得到第k+N+1帧图片信息内所有特征点的像素坐标；S432根据所述第k帧目标图片信息内所有特征点的像素坐标计算得到所述第k质心像素坐标作为第k质心信息，以及根据所述第k+N+1帧图片信息内所有特征点的像素坐标计算得到所述第k+N+1像素坐标信息作为第k+N+1质心信息。所述步骤S432中所述的第k质心像素坐标的计算公式如下：其中，P(k)(j)表示第k帧目标图片信息对应的第k特征点集中第j个特征点的像素坐标，C(k)表示所述第k质心像素坐标；所述步骤S432中所述的第k+N质心像素坐标的计算公式如下；其中，P(k+N+1)(j)表示第k+N+1帧图片信息对应的第k+N+1特征点集中第j个特征点的像素坐标，C(k+N+1)表示所述第k+N质心像素坐标。通过上述公式，根据检测跟随目标的有效特征点在图片中的像素坐标，可以计算得到跟随目标的质心坐标，使预测得到跟随目标在图片中的位置更为准确。优选的，步骤S44中预测得到第k+N+1帧图片中跟随目标的位置具体为：S441计算得到所述第k帧目标图片信息的中心位置像素坐标作为中心位置信息；S442根据所述第k质心像素本文档来自技高网...

【技术保护点】
一种基于机器人的目标图像显示处理方法，其特征在于，包括步骤：S10对视频帧图像进行连续采集；S20在采集到的第k帧图片中检测到跟随目标时，检测所述跟随目标在所述第k帧图片的位置信息；S30在时间轴第k+N+1帧处显示所述第k帧图片，并标记出所述跟随目标在所述第k帧图片的位置，N为一个检测周期内所采集的图片数量；S40根据所述跟随目标在所述第k帧图片的位置信息，依次预测在采集到的第k+N+1至第k+2N‑1帧图片中跟随目标的位置；S50在时间轴第k+N+2至k+2N帧处依次显示所述k+N+1至k+2N‑1帧图片以及所述预测的跟随目标的位置。

【技术特征摘要】
1.一种基于机器人的目标图像显示处理方法，其特征在于，包括步骤：S10对视频帧图像进行连续采集；S20在采集到的第k帧图片中检测到跟随目标时，检测所述跟随目标在所述第k帧图片的位置信息；S30在时间轴第k+N+1帧处显示所述第k帧图片，并标记出所述跟随目标在所述第k帧图片的位置，N为一个检测周期内所采集的图片数量；S40根据所述跟随目标在所述第k帧图片的位置信息，依次预测在采集到的第k+N+1至第k+2N-1帧图片中跟随目标的位置；S50在时间轴第k+N+2至k+2N帧处依次显示所述k+N+1至k+2N-1帧图片以及所述预测的跟随目标的位置。2.如权利要求1所述的一种基于机器人的目标图像显示处理方法，其特征在于，步骤S40中根据所述跟随目标在所述第k帧图片的位置信息，依次预测在采集到的第k+N+1至第k+2N-1帧图片中跟随目标的位置具体为：根据所述跟随目标在所述第k帧图片的位置信息，预测在第k+N+1帧图片中跟随目标的位置，以及根据第k+N+i帧图片中跟随目标的位置，预测k+N+i+1帧图片中跟随目标的位置；其中i分别为1～N-2的正整数。3.如权利要求1所述的一种基于机器人的目标图像显示处理方法，其特征在于，该方法进一步包括：在步骤S30中显示所述第k帧图片的同时，对采集到的第k+N帧图片进行检测，以及在步骤S50之后，在时间轴第k+2N+1帧图片处显示所述k+N帧图片以及所述检测到的跟随目标的位置。4.如权利要求1或2所述的一种基于机器人的目标图像显示处理方法，其特征在于，根据所述跟随目标在所述第k帧图片的位置信息，预测在第k+N+1帧中跟随目标的位置具体为：S41分别计算出所述第k帧图片跟随目标对应的第k特征点信息和采集到的第k+N+1帧图片跟随目标对应的第k+N+1特征点信息；S42对所述第k特征点信息和所述第k+N+1特征点信息进行匹配，分别得到第k特征点集、第k+N+1特征点集；S43根据所述第k特征点集计算出所述第k特征点集的第k质心信息，以及根据所述第k+N+1特征点集计算出所述第k+N+1特征点集的第k+N+1质心信息；S44根据所述第k质心信息、所述第k+N+1质心信息以及所述第k帧目标图片信息的中心位置信息，预测得到第k+N+1帧图片中所述跟随目标的位置。5.如权利要求4所述的一种基于机器人的目标图像显示处理方法，其特征在于，S42中对所述第k特征点信息和所述第k+N+1特征点信息进行匹配的步骤具体包括：S421根据K邻近一致性算法计算所述第k特征点信息和所述第k+N+1特征点信息的相似度，得到对应的匹配点；S422根据Ransac随机采样一致算法滤除错误匹配点，得到所述第k特征点集和所述第k+N+1特征点集。6.如权利要求4或5所述的一种基于机器人的目标图像显示处理方法，其特征在于，步骤S43中计算所述第k+N+1特征点集的第k+N+1质心信息具体包括：S431根据所述第k特征点集计算得到第k帧目标图片信息内所有特征点的像素坐标，以及根据所述第k+N+1特征点集计算得到第k+N+1帧图片信息内所有特征点的像素坐标；S432根据所述第k帧目标图片信息内所有特征点的像素坐标计算得到所述第k质心像素坐标作为第k质心信息，以及根据所述第k+N+1帧图片信息内所有特征点的像素坐标计算得到所述第k+N+1像素坐标信息作为第k+N+1质心信息。7.如权利要求6所述的一种基于机器人的目标图像显示处理方法，其特征在于：所述步骤S432中所述的第k质心像素坐标的计算公式如下：其中，P(k)(j)表示第k帧目标图片信息对应的第k特征点集中第j个特征点的像素坐标，C(k)表示所述第k质心像素坐标；所述步骤S432中所述的第k+N+1质心像素坐标的计算公式如下；其中，P(k+N+1)(j)表示第k+N+1帧图片信息对应的第k+N+1特征点集中第j个特征点的像素坐标，C(k+N+1)表示所述第k+N+1质心像素坐标。8.如权利要求7所述的一种基于机器人的目标图像显示处理方法，其特征在于，步骤S44中预测得到第k+N+1帧图片中跟随目标的位置具体为：S441计算得到所述第k帧目标图片信息的中心位置像素坐标作为中心位置信息；S442根据所述第k质心像素坐标、所述第k+N+1质心像素坐标、所述第k帧图片信息的中心位置像素坐标，计算得到所述第k+N+1帧图片信息的中心位置像素坐标，其计算公式如下：R(k+N+1)＝R(k)-C(k)+C(k+N+1)其中，R(k+N+1)表示所述第k+N+1帧图片信息的中心位置像素坐标，R(k)表示所述第k帧目标图片信息的中心位置像素坐标，C(k)表示所...

【专利技术属性】
技术研发人员：谢阳阳，郭昌野，
申请(专利权)人：南京阿凡达机器人科技有限公司，
类型：发明
国别省市：江苏,32