一种视频标注方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请提供一种视频标注方法、装置、设备及计算机可读存储介质，涉及计算机视觉与图像处理技术领域，能够在一定程度上提高对视频数据的标注效率，减少人力成本。该方法包括：通过RGB‑D图像采集设备采集关于工作场景的视频帧序列；所述视频帧序列中的各个视频帧包括待标注对象；获取所述RGB‑D图像采集设备采集所述各个视频帧时的目标设备姿态参数，以及根据所述目标设备姿态参数构建所述工作场景的三维场景点云；通过对所述三维场景点云中待标注对象所在的位置处设置三维对象模型，得到所述三维场景点云中待标注对象的第一对象信息；根据所述第一对象信息和所述目标设备姿态参数，对所述各个视频帧包括的待标注对象标注第二对象信息。

【技术实现步骤摘要】
一种视频标注方法、装置、设备及计算机可读存储介质
本申请涉及计算机视觉与图像处理
，尤其涉及一种视频标注方法、装置、设备及计算机可读存储介质。
技术介绍
机械臂在工业、零售和服务领域有着广泛的应用，包括货物的抓取分配、流水线上器件的分拣、物流中的拆码垛等等。传统的机械臂缺乏对环境的感知，故只能在静态环境里通过预先编程确定机械臂的动作与行为(比如工业机器人大量使用的离线示教)，并且，传统的机械臂往往需要定制固定夹具或者机械结构，使待分拣目标按规定轨迹运动或摆放，这样造成不够灵活，每个不同场景都需要定制化设计，造成成本较高。随着科技的发展，出现了基于深度学习的视觉引导算法。其中，视觉引导算法主要包括目标检测和目标姿态估计两方面。目前，基于深度学习的算法都需要大量标注数据进行训练。摄像机可以采集大量的视频数据，接着对视频数据进行人工标注，然后通过标注好的视频数据对目标检测模型和目标姿态估计模型进行训练。但通过人工标注的方式存在标注效率较低，以及人力成本较大等问题。
技术实现思路
本申请实施例提供了一种视频标注方法、装本文档来自技高网...

【技术保护点】
1.一种视频标注方法，其特征在于，包括：/n通过RGB-D图像采集设备采集关于工作场景的视频帧序列；所述视频帧序列中的各个视频帧包括待标注对象；/n获取所述RGB-D图像采集设备采集所述各个视频帧时的目标设备姿态参数，以及根据所述目标设备姿态参数构建所述工作场景的三维场景点云；/n通过对所述三维场景点云中待标注对象所在的位置处设置三维对象模型，得到所述三维场景点云中待标注对象的第一对象信息；/n根据所述第一对象信息和所述目标设备姿态参数，对所述各个视频帧包括的待标注对象标注第二对象信息。/n

【技术特征摘要】
1.一种视频标注方法，其特征在于，包括：
通过RGB-D图像采集设备采集关于工作场景的视频帧序列；所述视频帧序列中的各个视频帧包括待标注对象；
获取所述RGB-D图像采集设备采集所述各个视频帧时的目标设备姿态参数，以及根据所述目标设备姿态参数构建所述工作场景的三维场景点云；
通过对所述三维场景点云中待标注对象所在的位置处设置三维对象模型，得到所述三维场景点云中待标注对象的第一对象信息；
根据所述第一对象信息和所述目标设备姿态参数，对所述各个视频帧包括的待标注对象标注第二对象信息。


2.根据权利要求1所述的方法，其特征在于，所述获取所述RGB-D图像采集设备采集所述各个视频帧时的目标设备姿态参数，以及根据所述目标设备姿态参数构建所述工作场景的三维场景点云，包括：
采用同时定位与建图SLAM算法，以所述RGB-D图像采集设备采集第一视频帧时的初始设备姿态参数为参考坐标系，获取所述RGB-D图像采集设备采集所述各个视频帧时的目标设备姿态参数；所述第一视频帧为所述视频帧序列中的一张视频帧；
根据所述各个视频帧对应的目标设备姿态参数，将每张视频帧中的像素点转换至参考坐标系下，得到参考坐标系下的视频帧；
对所述参考坐标系下的视频帧进行数据合并处理，得到合并处理后的视频帧；
对所述合并处理后的视频帧进行去噪平滑处理，得到所述工作场景的三维场景点云。


3.根据权利要求2所述的方法，其特征在于，所述根据所述各个视频帧对应的目标设备姿态参数，将每张视频帧中的像素点转换至参考坐标系下，得到参考坐标系下的视频帧，包括：
将所述每张视频帧中的像素点转换至相机坐标系下，对应得到相机坐标系下的视频帧；
根据所述各个视频帧对应的目标设备姿态参数，将所述相机坐标系下的视频帧转换至参考坐标系下，得到参考坐标系下的视频帧。


4.根据权利要求1所述的方法，其特征在于，所述第一对象信息包括：所述三维场景点云中待标注对象的对象类别信息、当前标识信息以及第一对象姿态信息；
所述通过对所述三维场景点云中待标注对象所在的位置处设置三维对象模型，得到所述三维场景点云中待标注对象的第一对象信息，包括：
获取所述三维场景点云中待标注对象对应的三维对象模型，所述三维对象模型设置有对应的对象类别信息；
按照所述三维场景点云中待标注对象的标注顺序，设置所述三维场景点云中待标注对象的当前标识信息，以及将所述三维对象模型的对象类别信息作为所述三维场景点云中待标注对象的对象类别信息；
通过将所述三维对象模型转换至所述三维场景点云所在的参考坐标系下，得到转换后的三维对象模型；
通过在所述三维场景点云中的待标注对象所在的位置处设置转换后的三维对象模型，确定所述三维场景点云中待标注对象的第一对象姿态信息。


5.根据权利要求4所述的方法，其特征在于，所述通过将所述三维对象模型转换至所述三维场景点云所在的参考坐标系下，得到转换后的三维对象模型，包括：
对所述三维对象模型设置初始姿态参数；
根据所述初始姿态参数将所述三维对象模型转换至所述三维场景点云所在的参考坐标系下，得到转换后的三维对象模型；
对应地，所述通过在所述三维场景点云中的待标注对象所在...

【专利技术属性】
技术研发人员：莫柠锴，陈世峰，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44