用于飞拍过程中拍摄位点搜寻的方法和系统技术方案

本发明专利技术提供了一种用于飞拍过程中拍摄位点搜寻的方法和系统，包括：步骤SA1：采集多个样本；其中，用固定相机，对每个样本进行360度全方位采样，将这些图像注入多角度图像库；步骤SA2：对多角度图像库里的每张图像进行标注；其中，对每张图像的四个顶角用框标注，获得label数据集；步骤SA3：将多角度图像库和label数据集作为输入，送进目标检测，进行训练。本发明专利技术利用目标检测训练图像，获得样本的角坐标，并通过不同图像的角坐标计算得到变换矩阵，对飞拍图像的筛选，从而自动化的获得运动轨迹和拍摄位点的正确参数。

【技术实现步骤摘要】
用于飞拍过程中拍摄位点搜寻的方法和系统
本专利技术涉及计算机视觉领域，具体地，涉及用于飞拍过程中拍摄位点搜寻的方法和系统。
技术介绍
在传统的工业质检过程中，图像采集的过程较为简单，一般都是固定相机，然后对样本的各个面分别拍照。在这个过程中，每次只能拍摄一个面，然后需要人工介入去调整样本的角度，这一过程会很影响样本图像采集的速度。而飞拍技术则是固定样本，采用运动相机，一次性对样本的所有面进行拍摄。这样的技术可以大大的提高工业质检中样本拍摄的效率。飞拍的原理是，对承载相机的机器臂调整好运动轨迹，在轨迹中设置好拍摄位点，当相机运动到拍摄位点后会进行拍摄。在工业表面缺陷质量检测中，效率是一个关键的因素。利用人工智能技术代替人工，最大的优势在于速度。利用飞拍技术虽然可以大大提高工业质检的速度，但是飞拍的运动轨迹和正确的拍摄位点通常很难调节，这一过程以往需要人工介入，进行大量的调参优化。专利文献CN111586289A揭示一种高速飞拍控制方法，其包括步骤：预设飞拍位置于拍摄控制单元；运动控制单元控制运动单元带动工件经过预设飞拍位置；运动单元触发拍摄控制单元；拍摄控制单元先后启动拍摄单元的拍摄件及光源件；拍摄件拍取工件图像。本专利技术还提供一种高速飞拍控制系统。本专利技术的高速飞拍控制方法通过拍摄控制单元对拍摄件及光源件进行控制，使得光源件迟于拍摄件启动，同时根据预设的飞拍位置对运动状态的工件进行拍摄，实现不停机拍摄。但是飞拍拍摄点的获取方式，需要进一步优化。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种用于飞拍过程中拍摄位点搜寻的方法和系统。根据本专利技术提供的一种用于飞拍过程中拍摄位点搜寻的方法，包括：步骤SA1：采集多个样本；其中，用固定相机，对每个样本进行360度全方位采样，将这些图像注入多角度图像库；步骤SA2：对多角度图像库里的每张图像进行标注；其中，对每张图像的四个顶角用框标注，获得label数据集；步骤SA3：将多角度图像库和label数据集作为输入，送进目标检测，进行训练。优选地，360度全方位采样定义：样本在固定在一个球体中心，相机位于球体表面，均匀地在球体表面找出多个点，并在这些点对着球心的样本拍摄。根据本专利技术提供的一种飞拍控制方法，包括：通过所述的用于飞拍过程中拍摄位点搜寻的方法，获得拍摄位点；通过用于飞拍过程中图像筛选的方法，对图像进行筛选。优选地，所述通过用于飞拍过程中图像筛选的方法，包括：步骤甲：获取单适应性矩阵HAB；步骤乙：根据单适应性矩阵HAB筛选图片。优选地，所述步骤甲，包括：步骤甲S1：对拍摄位点正确的图像进行随机剪裁，获得剪裁的图像块A；步骤甲S2：对图像块A的四个角进行随机扰动，获得四对偏移量Δxi，Δyi，i＝1，2，3，4；其中，Δxi表示平面直角坐标系下X轴的偏移量，Δyi表示平面直角坐标系下Y轴的偏移量；并根据对偏移量计算得到单适应性矩阵HAB；将图像块A通过HAB的逆矩阵转换得到图像块B；步骤甲S3：将图像块A和图像块B作为输入，单适应性矩阵HAB作为监督Label，送入homographyNet进行训练；让homographyNet网络去学习样本对之间的变换，图像块A、B是作为一对样本对，作为模型输入，预测出单适应性矩阵并获得单适应性矩阵HAB作为label进行监督；所述步骤乙包括：步骤乙S1：对样本的拍摄设定运动轨迹，并在运动轨迹上设置拍摄位点；将拍摄的所有图像以灰度形式存进飞拍图像库；步骤乙S2：第一次筛选：利用拉普拉斯算子对飞拍图像库中图片进行模糊筛选；步骤乙S3：第二次筛选：将第一次筛选后的飞拍图像库的清晰图片与正确图像库里对应的图像作为输入，送入步骤甲训练得到的homographyNet，进行推理，获得两张图片的单适应性矩阵HAB，并由HAB计算飞拍图像和正确图像之间的变换差距，并从飞拍图像库中筛除大于设定阙值T的飞拍图像；步骤乙S4：记录出经过两次筛选后，存留下来飞拍照片的拍摄位点和运动轨迹；其中，存留下来飞拍照片的拍摄位点作为更新后的拍摄位点，存留下来飞拍照片的运动轨迹作为更新后的运动轨迹；提高变换差距的阙值T；返回触发步骤乙S1继续执行；步骤乙S4返回步骤乙S1为迭代优化运动轨迹和拍摄位点，缩小拍摄位点随机生成的范围和数量，逐步提高变换差距的阙值T，直到剩下6个最合适的拍摄位点，6个最合适的拍摄位点具体为上下左右前后六个角度的正投影视图。根据本专利技术提供的一种用于飞拍过程中拍摄位点搜寻的系统，包括：模块MA1：采集多个样本；其中，用固定相机，对每个样本进行360度全方位采样，将这些图像注入多角度图像库；模块MA2：对多角度图像库里的每张图像进行标注；其中，对每张图像的四个顶角用框标注，获得label数据集；模块MA3：将多角度图像库和label数据集作为输入，送进目标检测，进行训练。优选地，360度全方位采样定义：样本在固定在一个球体中心，相机位于球体表面，均匀地在球体表面找出多个点，并在这些点对着球心的样本拍摄。根据本专利技术提供的一种飞拍控制系统，包括：通过所述的用于飞拍过程中拍摄位点搜寻的系统，获得拍摄位点；通过用于飞拍过程中图像筛选的系统，对图像进行筛选。优选地，所述通过用于飞拍过程中图像筛选的系统，包括：模块甲：获取单适应性矩阵HAB；模块乙：根据单适应性矩阵HAB筛选图片。优选地，所述模块甲，包括：模块甲M1：对拍摄位点正确的图像进行随机剪裁，获得剪裁的图像块A；模块甲M2：对图像块A的四个角进行随机扰动，获得四对偏移量Δxi，Δyi，i＝1，2，3，4；其中，Δxi表示平面直角坐标系下X轴的偏移量，Δyi表示平面直角坐标系下Y轴的偏移量；并根据对偏移量计算得到单适应性矩阵HAB；将图像块A通过HAB的逆矩阵转换得到图像块B；模块甲M3：将图像块A和图像块B作为输入，单适应性矩阵HAB作为监督Label，送入homographyNet进行训练；让homographyNet网络去学习样本对之间的变换，图像块A、B是作为一对样本对，作为模型输入，预测出单适应性矩阵并获得单适应性矩阵HAB作为label进行监督；所述模块乙包括：模块乙M1：对样本的拍摄设定运动轨迹，并在运动轨迹上设置拍摄位点；将拍摄的所有图像以灰度形式存进飞拍图像库；模块乙M2：第一次筛选：利用拉普拉斯算子对飞拍图像库中图片进行模糊筛选；模块乙M3：第二次筛选：将第一次筛选后的飞拍图像库的清晰图片与正确图像库里对应的图像作为输入，送入模块甲训练得到的homographyNet，进行推理，获得两张图片的单适应性矩阵HAB，并由HAB计算飞拍图像和正确图像之间的变换差距，并从飞拍图像库中筛除大于设定阙值T的飞拍图像；模块乙M4：记录出经过两次筛选后，存留下本文档来自技高网...

【技术保护点】
1.一种用于飞拍过程中拍摄位点搜寻的方法，其特征在于，包括：/n步骤SA1：采集多个样本；其中，用固定相机，对每个样本进行360度全方位采样，将这些图像注入多角度图像库；/n步骤SA2：对多角度图像库里的每张图像进行标注；其中，对每张图像的四个顶角用框标注，获得label数据集；/n步骤SA3：将多角度图像库和label数据集作为输入，送进目标检测，进行训练。/n

【技术特征摘要】
1.一种用于飞拍过程中拍摄位点搜寻的方法，其特征在于，包括：
步骤SA1：采集多个样本；其中，用固定相机，对每个样本进行360度全方位采样，将这些图像注入多角度图像库；
步骤SA2：对多角度图像库里的每张图像进行标注；其中，对每张图像的四个顶角用框标注，获得label数据集；
步骤SA3：将多角度图像库和label数据集作为输入，送进目标检测，进行训练。


2.根据权利要求1所述的用于飞拍过程中拍摄位点搜寻的方法，其特征在于，360度全方位采样定义：样本在固定在一个球体中心，相机位于球体表面，均匀地在球体表面找出多个点，并在这些点对着球心的样本拍摄。


3.一种飞拍控制方法，其特征在于，
通过权利要求1所述的用于飞拍过程中拍摄位点搜寻的方法，获得拍摄位点；
通过用于飞拍过程中图像筛选的方法，对图像进行筛选。


4.根据权利要求3所述的飞拍控制方法，其特征在于，所述通过用于飞拍过程中图像筛选的方法，包括：
步骤甲：获取单适应性矩阵HAB；
步骤乙：根据单适应性矩阵HAB筛选图片。


5.根据权利要求4所述的用于飞拍过程中拍摄位点搜寻的方法，其特征在于，
所述步骤甲，包括：
步骤甲S1：对拍摄位点正确的图像进行随机剪裁，获得剪裁的图像块A；
步骤甲S2：对图像块A的四个角进行随机扰动，获得四对偏移量Δxi,Δyi，i＝1,2,3,4；其中，Δxi表示平面直角坐标系下X轴的偏移量，Δyi表示平面直角坐标系下Y轴的偏移量；并根据对偏移量计算得到单适应性矩阵HAB；将图像块A通过HAB的逆矩阵转换得到图像块B；
步骤甲S3：将图像块A和图像块B作为输入，单适应性矩阵HAB作为监督Label，送入homographyNet进行训练；让homographyNet网络去学习样本对之间的变换，图像块A、B是作为一对样本对，作为模型输入，预测出单适应性矩阵并获得单适应性矩阵HAB作为label进行监督；
所述步骤乙包括：
步骤乙S1：对样本的拍摄设定运动轨迹，并在运动轨迹上设置拍摄位点；将拍摄的所有图像以灰度形式存进飞拍图像库；
步骤乙S2：第一次筛选：利用拉普拉斯算子对飞拍图像库中图片进行模糊筛选；
步骤乙S3：第二次筛选：将第一次筛选后的飞拍图像库的清晰图片与正确图像库里对应的图像作为输入，送入步骤甲训练得到的homographyNet，进行推理，获得两张图片的单适应性矩阵HAB，并由HAB计算飞拍图像和正确图像之间的变换差距，并从飞拍图像库中筛除大于设定阙值T的飞拍图像；
步骤乙S4：记录出经过两次筛选后，存留下来飞拍照片的拍摄位点和运动轨迹；其中，存留下来飞拍照片的拍摄位点作为更新后的拍摄位点，存留下来飞拍照片的运动轨迹作为更新后的运动轨迹；提高变换差距的阙值T；返回触发步骤乙S1继续执行；
步骤乙S4返回步骤乙S1为迭代优化运动轨迹和拍摄位点，缩小拍摄位点随机生成的范围和数量，逐步提高变换差距的阙值T，直到剩下6个最合适的拍摄位点，6个最合适的拍摄位点具体为上下左右前后六个角度的正投影视图。

【专利技术属性】
技术研发人员：杭天欣，马元巍，陈红星，王克贤，潘正颐，侯大为，
申请(专利权)人：上海微亿智造科技有限公司，
类型：发明
国别省市：上海;31