通道可视化训练数据合成方法、装置、设备和存储介质制造方法及图纸

本申请涉及数字图像处理技术领域，特别是涉及到一种通道可视化训练数据合成方法、装置、设备和存储介质，其中方法包括：获取多张包含待检测目标对象的相关图像，对相关图像进行处理；获取摄像机的相关参数；获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点；根据摄像机的相关参数和种子点的位置，计算得出摄像头到每个种子点对应真实场景中的位置的实际距离；根据实际距离，将处理后的相关图像进行尺寸调整，并与真实场景图像进行合成，得到合成图像，合成图像用于通道可视化训练。通过本方法合成的图像数据会更接近于物距远目标小、物距近的目标大的真实情况。物距近的目标大的真实情况。物距近的目标大的真实情况。

【技术实现步骤摘要】
通道可视化训练数据合成方法、装置、设备和存储介质


[0001]本申请涉及数字图像处理
，特别是涉及到一种通道可视化训练数据合成方法、装置、设备和存储介质。

技术介绍

[0002]数据对于深度学习训练非常重要，但现实世界所收集的真实数据在数量和质量上有时无法满足需求。例如在电力行业等通道可视化领域，某些检测对象通常出现机率低，优质数据无法大量获取甚至无法获取，比如森林山火、烟雾等。因此，需要人工合成数据作为训练数据的补充，合成数据是计算机模拟或算法所生成的带有注释的信息，可用于模拟真实数据。虽然是人造数据，但合成数据能够从数学或统计学上反映真实数据。研究表明，在训练 AI 模型方面，使用合成数据进行训练，与基于实际物体、事件或人的真实数据进行训练效果相同，甚至能达到更好的效果。
[0003]现有图像合成技术包括：图像拼接和蒙版合成。图像拼接，是将从其他图像中裁切的目标对象直接拼接到新的图像中，该方法不去除背景。蒙版合成，是将从其他图像中裁切的目标对象通过蒙版合成到新的图像中，该方法去除背景。具体原理如下：其中代表像素属于前景的概率图，代表待合成的场景图像，代表含有待检测目标对象的图像，代表合成后的图像。
[0004]上述两种图像合成技术，其中图像拼接由于未去除目标对象的背景，合成的图像会有强烈的视觉违和感，与真实数据相差较大。蒙版合成由于去除了目标对象的背景，合成的图像较为真实，因此蒙版合成是一种较好的合成数据方法。但蒙版合成图像时如果不考虑物距因素会导致合成的图像不符合远景目标对象小和近景目标对象大的客观情况，在数学或统计学上无法反映真实数据的分布情况，导致通道可视化训练数据集质量低，进而影响训练效果。

技术实现思路

[0005]本申请的主要目的为提供一种通道可视化训练数据合成方法、装置、设备和存储介质，旨在解决现有通道可视化训练数据合成中，合成的图像不符合远景目标对象小和近景目标对象大的客观情况，不能够人工合成高质量的通道可视化训练数据集的技术问题。
[0006]为了实现上述专利技术目的，本申请提出一种通道可视化训练数据合成方法，所述方法包括：获取多张包含待检测目标对象的相关图像，对所述相关图像进行处理；获取摄像机的相关参数；获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点；根据所述摄像机的相关参数和所述种子点的位置，计算得出摄像头到每个所述种
子点对应真实场景中的位置的实际距离；根据所述实际距离，将处理后的所述相关图像进行尺寸调整，并与所述真实场景图像进行合成，得到合成图像，所述合成图像用于通道可视化训练。
[0007]进一步地，所述获取多张包含待检测目标对象的相关图像，对所述相关图像进行处理，包括：获取多张包含待检测目标对象的相关图像，将目标对象从相关图像中分割出来，得到目标对象的蒙版图；将所述蒙版图按照最小外接矩形的方式对目标对象进行裁切，并将裁切后的所述蒙版图进行分类和缩放。
[0008]进一步地，所述获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点，包括：根据摄像机视野中监控关注的区域，对真实场景图像进行监控等级区域划分；在划定的区域内生成随机数量和随机位置的种子点。
[0009]进一步地，所述根据所述摄像机的相关参数和所述种子点的位置，计算得出摄像头到每个所述种子点对应真实场景中的位置的实际距离，包括：运用几何变换方法计算出每个所述种子点映射在真实场景中的位置，再计算出摄像头到每个所述位置的实际距离。
[0010]进一步地，所述根据所述实际距离，将处理后的所述相关图像进行尺寸调整，并与所述真实场景图像进行合成，得到合成图像，所述合成图像用于通道可视化训练，包括：根据所述种子点数量，随机获取相同数量的裁剪后的蒙版图；将所述实际距离进行排序；根据实际距离排序结果，调整所述蒙版图尺寸；将尺寸调整后的蒙版图移动到对应种子点位置处，得到合成图像。
[0011]本申请还提供了一种通道可视化训练数据合成装置，所述装置包括：相关图像处理模块，用于获取多张包含待检测目标对象的相关图像，对所述相关图像进行处理；摄像机参数获取模块，用于获取摄像机的相关参数；真实场景图像处理模块，用于获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点；实际距离测量模块，用于根据所述摄像机的相关参数和所述种子点的位置，计算得出摄像头到每个所述种子点对应真实场景中的位置的实际距离;合成模块，用于根据所述实际距离，将处理后的所述相关图像进行尺寸调整，并与所述真实场景图像进行合成，得到合成图像，所述合成图像用于通道可视化训练。
[0012]进一步地，所述相关图像处理模块，包括：相关图像处理子模块，用于获取多张包含待检测目标对象的相关图像，将目标对象从相关图像中分割出来，得到目标对象的蒙版图；将所述蒙版图按照最小外接矩形的方式对目标对象进行裁切，并将裁切后的所述蒙版图进行分类和缩放。
[0013]进一步地，所述真实场景图像处理模块，包括：真实场景图像处理子模块，用于根据摄像机视野中监控关注的区域，对真实场景
图像进行监控等级区域划分；在划定的区域内生成随机数量和随机位置的种子点。
[0014]本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
[0015]本申请还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
[0016]本申请提供的一种通道可视化训练数据合成方法，通过摄像机参数和真实场景图像中选定的点，通过几何关系计算出摄像机到真实场景中每个选定点的实际距离。基于实际距离使用蒙版合成的方法合成数据，可根据实际距离自动生成符合近景和远景目标不同大小的高质量通道可视化训练数据。例如在电力行业通道可视化领域中，可以对难以获取的数据起到仿真扩充的作用，有利于后期深度学习模型的训练。
附图说明
[0017]图1为本申请一实施例的通道可视化训练数据合成方法的流程示意图；图2为本申请一实施例的摄像机与真实场景点在标定平面上的几何投影示意图；图3为本申请一实施例的摄像机到真实场景点实际距离的几何投影示意图；图4为本申请一实施例的摄像机所拍图像中真实场景点和标定点几何示意图；图5为本申请一实施例的包含待检测目标对象的相关图像；图6为本申请一实施例的合成数据效果图；图7 为本申请一实施例的通道可视化训练数据合成装置的结构示意框图；图8 为本申请一实施例的计算机设备的结构示意框图。
[0018]本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0019]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通道可视化训练数据合成方法，其特征在于，所述方法包括：获取多张包含待检测目标对象的相关图像，对所述相关图像进行处理；获取摄像机的相关参数；获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点；根据所述摄像机的相关参数和所述种子点的位置，计算得出摄像头到每个所述种子点对应真实场景中的位置的实际距离；根据所述实际距离，将处理后的所述相关图像进行尺寸调整，并与所述真实场景图像进行合成，得到合成图像，所述合成图像用于通道可视化训练。2.根据权利要求1所述的通道可视化训练数据合成方法，其特征在于，所述获取多张包含待检测目标对象的相关图像，对所述相关图像进行处理，包括：获取多张包含待检测目标对象的相关图像，将目标对象从相关图像中分割出来，得到目标对象的蒙版图；将所述蒙版图按照最小外接矩形的方式对目标对象进行裁切，并将裁切后的所述蒙版图进行分类和缩放。3.根据权利要求1所述的通道可视化训练数据合成方法，其特征在于，所述获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点，包括：根据摄像机视野中监控关注的区域，对真实场景图像进行监控等级区域划分；在划定的区域内生成随机数量和随机位置的种子点。4.根据权利要求1所述的通道可视化训练数据合成方法，其特征在于，所述根据所述摄像机的相关参数和所述种子点的位置，计算得出摄像头到每个所述种子点对应真实场景中的位置的实际距离，包括：运用几何变换方法计算出每个所述种子点映射在真实场景中的位置，再计算出摄像头到每个所述位置的实际距离。5.根据权利要求2所述的通道可视化训练数据合成方法，其特征在于，所述根据所述实际距离，将处理后的所述相关图像进行尺寸调整，并与所述真实场景图像进行合成，得到合成图像，所述合成图像用于通道可视化训练，包括：根据所述种子点数量，随...

【专利技术属性】
技术研发人员：王齐，陈尚锋，汪暾，邱鹏，欧阳开一，
申请(专利权)人：中科开创广州智能科技发展有限公司，
类型：发明
国别省市：