一种深度彩色摄像头的图像选择性成像方法技术

本发明专利技术公开了一种深度彩色摄像头的图像选择性成像方法，属于建筑施工图像采集技术领域，由深度摄像头与彩色摄像头的出场配准，所述深度摄像头进行空洞检测，彩色摄像头进行选择性曝光设置，包括如下步骤：获取深度摄像头的深度图像；获取RGB摄像头的图像；为深度图像中的每一个像素附上对应的RGB颜色，如给坐标为(x,y)的深度图像素附上对应颜色；基于深度摄像头的数据在一定范围d内进行选择，将距离摄像头d以内的深度数据留下，并计算其对应的RGB点坐标，将计算出的RGB点保存为一个集合。本发明专利技术中通过深度摄像头与彩色摄像头的出场配准，使得建筑墙面处理机器人识别窗边图像清晰，对于墙面障碍物的判别不受影响，不会出现过曝或欠曝的情况。过曝或欠曝的情况。过曝或欠曝的情况。

【技术实现步骤摘要】
一种深度彩色摄像头的图像选择性成像方法


[0001]本专利技术涉及建筑施工图像采集
，尤其是涉及一种深度彩色摄像头的图像选择性成像方法。

技术介绍

[0002]在建筑机器人施工过程中，需要对窗边进行精确施工，对墙面障碍物及门窗的检测过程中，会同时用到深度摄像头与彩色摄像头，在此场景下，RGB摄像头一半视野看到墙体，一半看到窗户外的空间，极易造成墙面欠曝、外部空间过曝，图像形成一黑一白两个区域，对于墙面障碍物等小型物体，失去判别能力，此时对摄像头的白平衡有较高要求，需要避免出现墙体部分欠曝的情况。

技术实现思路

[0003]本专利技术的目的在于提供一种深度彩色摄像头的图像选择性成像方法，以解决现有技术中建筑机器人窗边图像采集容易出现过曝、欠曝的技术问题。
[0004]本专利技术提供一种深度彩色摄像头的图像选择性成像方法，该成像方法用于建筑墙面处理机器人的窗边图像采集，由深度摄像头与彩色摄像头的出场配准，所述深度摄像头进行空洞检测，彩色摄像头进行选择性曝光设置，该成像方法包括如下步骤：
[0005]Sp1：获取深度摄像头的深度图像；
[0006]Sp2：获取RGB摄像头的图像；
[0007]Sp3：为深度图像中的每一个像素附上对应的RGB颜色，如给坐标为(x,y)的深度图像素附上对应颜色；
[0008]Sp4：基于深度摄像头的数据进行选择：结合设备施工的逻辑，通过硬件或软件限制深度摄像头的视野在一定范围d以内，可以认为d以外的物体与墙面施工设备当前施工没有任何关系，无论是深度数据还是RGB数据都可以丢弃；对于因为金属反光或者超出视野范围没有深度数据的区域，视为数据无效区域，丢弃其深度及RGB数据；将距离摄像头d以内的深度数据留下，并计算其对应的RGB点坐标，将计算出的RGB点保存为一个集合。
[0009]进一步，所述深度图像中的每一个像素附上对应的RGB颜色方法包括：
[0010]Sp3
‑
1：构造一个三维向量p_ir＝(x,y,z)，其中x,y是该点的像素坐标，z是该像素的深度值；
[0011]Sp3
‑
2：用内参矩阵H_ir的逆，乘以p_ir得到对应的空间点坐标P_ir，P_ir＝(x1,y1,z1)，代表在深度坐标系下，距离深度摄像头原点的xyz三轴距离分别为(x1,y1,z1)，其中，内参矩阵H_ir可通过摄像头生产厂家或者标定板标定获得；
[0012]Sp3
‑
3：由于P_ir是该点在深度坐标系下的坐标，将其转换到RGB摄像头的坐标系下，P_ir乘旋转矩阵R，加上一个平移向量T，得到P_rgb，即为该点在RGB坐标系下的坐标，其中，深度摄像头与RGB摄像头之间的位置关系由旋转矩阵R、平移向量T表示，由生成厂家提供或自行使用标定板标定；
[0013]Sp3
‑
4：用RGB摄像头的内参矩阵H_rgb乘以P_rgb，得到p_rgb，p_rgb也是一个三维向量，其x和y坐标即为该点在RGB图像中的像素坐标；
[0014]Sp3
‑
5：对深度图像中的每一个像素都做上述操作，得到配准后的深度图，深度图中每一点均有RGB图中的像素点对应。
[0015]进一步，本方法中，根据ISP硬件生成的图像,选择其中有深度数据匹配的点，曝光统计数据评估当前图像的曝光质量。
[0016]进一步，本方法中，对于选出的RGB点，根据相机感光芯片传回的光电信号强度，使用固定的曝光设置参数，产生彩色图像。
[0017]进一步，本方法中，产生的彩色图像在空洞位置会有残缺，把RGB三个色彩通道赋值255，填充颜色，非空洞区域会正常显色，无欠曝、过曝，不影响算法的障碍物检测。
[0018]与现有技术相比较，本专利技术的有益效果在于：
附图说明
[0019]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1为本专利技术中的成像方法的流程图。
具体实施方式
[0021]下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。
[0022]基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0023]具体实施例：
[0024]下面结合图1所示，本专利技术实施例提供了一种深度彩色摄像头的图像选择性成像方法，该成像方法用于建筑墙面处理机器人的窗边图像采集，由深度摄像头与彩色摄像头的出场配准，所述深度摄像头进行空洞检测，彩色摄像头进行选择性曝光设置，该成像方法包括如下步骤：
[0025]Sp1：获取深度摄像头的深度图像；
[0026]Sp2：获取RGB摄像头的图像；
[0027]Sp3：为深度图像中的每一个像素附上对应的RGB颜色，如给坐标为(x,y)的深度图像素附上对应颜色；
[0028]所述深度图像中的每一个像素附上对应的RGB颜色方法包括：
[0029]Sp3
‑
1：构造一个三维向量p_ir＝(x,y,z)，其中x,y是该点的像素坐标，z是该像素的深度值；
[0030]Sp3
‑
2：用内参矩阵H_ir的逆，乘以p_ir得到对应的空间点坐标P_ir，P_ir＝(x1,y1,z1)，代表在深度坐标系下，距离深度摄像头原点的xyz三轴距离分别为(x1,y1,z1)，其中，内参矩阵H_ir可通过摄像头生产厂家或者标定板标定获得；
[0031]Sp3
‑
3：由于P_ir是该点在深度坐标系下的坐标，将其转换到RGB摄像头的坐标系下，P_ir乘旋转矩阵R，加上一个平移向量T，得到P_rgb，即为该点在RGB坐标系下的坐标，其中，深度摄像头与RGB摄像头之间的位置关系由旋转矩阵R、平移向量T表示，由生成厂家提供或自行使用标定板标定；
[0032]Sp3
‑
4：用RGB摄像头的内参矩阵H_rgb乘以P_rgb，得到p_rgb，p_rgb也是一个三维向量，其x和y坐标即为该点在RGB图像中的像素坐标；
[0033]Sp3
‑
5：对深度图像中的每一个像素都做上述操作，得到配准后的深度图，深度图中每一点均有RGB图中的像素点对应；
[0034]Sp4：基于深度摄像头的数据进行选择：结合设备施工的逻辑，通过硬件或软件限制深度摄像头的视野在一定范围d以内，可以认为d以外的物体与墙面施工设备当前施工没有任何关系，无论是深度数据还是RGB数据都可以丢弃；对于因为金属反光或者超出视野范围没有深度数据的区域，视为数据无效区域，丢弃其深度及R本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度彩色摄像头的图像选择性成像方法，该成像方法用于建筑墙面处理机器人的窗边图像采集，由深度摄像头与彩色摄像头的出场配准，其特征在于：所述深度摄像头进行空洞检测，彩色摄像头进行选择性曝光设置，该成像方法包括如下步骤：Sp1：获取深度摄像头的深度图像；Sp2：获取RGB摄像头的图像；Sp3：为深度图像中的每一个像素附上对应的RGB颜色，如给坐标为(x,y)的深度图像素附上对应颜色；Sp4：基于深度摄像头的数据进行选择：结合设备施工的逻辑，通过硬件或软件限制深度摄像头的视野在一定范围d以内，可以认为d以外的物体与墙面施工设备当前施工没有任何关系，无论是深度数据还是RGB数据都可以丢弃；对于因为金属反光或者超出视野范围没有深度数据的区域，视为数据无效区域，丢弃其深度及RGB数据；将距离摄像头d以内的深度数据留下，并计算其对应的RGB点坐标，将计算出的RGB点保存为一个集合。2.根据权利要求1所述的一种深度彩色摄像头的图像选择性成像方法，其特征在于：所述深度图像中的每一个像素附上对应的RGB颜色方法包括：Sp3
‑
1：构造一个三维向量p_ir＝(x,y,z)，其中x,y是该点的像素坐标，z是该像素的深度值；Sp3
‑
2：用内参矩阵H_ir的逆，乘以p_ir得到对应的空间点坐标P_ir，P_ir＝(x1,y1,z1)，代表在深度坐标系下，距离深度摄像头原点的xyz三轴距离分别为(x1,y1,z1)，其中，内参...

【专利技术属性】
技术研发人员：邓煜，严启凡，何彦杉，
申请(专利权)人：深圳大方智能科技有限公司，
类型：发明
国别省市：