摄像头的硬件在环标定、靶点设置方法、系统及相关设备技术方案

本申请实施例提供一种摄像头的硬件在环标定、靶点设置方法、系统及相关设备，其中，方法包括：确定多个靶点中的每个靶点对应的权重，其中，多个靶点为显示设备上的靶点，显示设备上位于目标区域内的靶点对应的权重大于位于目标区域外的靶点对应的权重，显示设备的目标区域用于显示标定图像的一部分；标定图像为在进行摄像头的硬件在环标定时显示设备显示的图像；根据权重对多个靶点进行P次有放回的抽样，以得到P个靶点组，其中，针对每次抽样，靶点对应的权重越大，该靶点被抽取的概率越大，P为正整数；根据P个靶点组和摄像头的当前位姿进行摄像头的硬件在环标定。采用本申请实施例，有利于提升对准精度和标定效率。

【技术实现步骤摘要】
【国外来华专利技术】摄像头的硬件在环标定、靶点设置方法、系统及相关设备
本申请涉及硬件在环(HardwareintheLoop，HIL)
，尤其涉及一种摄像头的硬件在环标定、靶点设置方法、系统及相关设备。
技术介绍
硬件在环是验证高级驾驶辅助系统(AdvancedDrivingAssistanceSystem，ADAS)的重要方法，视频注入是构建硬件在环的重要步骤。而传统的视频灌注设备价格昂贵，且适用性较差，例如不同的相机需要使用不同的视频注入设备，因此极大地提高了视频注入的成本。相机在环是一种在暗箱中直接通过相机拍摄屏幕的方式达到视频注入功能的技术。相机在环无需特定的视频注入设备，价格便宜且适用性强，可完成不同型号相机的视频灌注。相机在环通过在暗箱中模拟各种环境，例如雨天、雾天等，可达到视频再处理功能，极大地丰富了用户的需求。因此，相机在环已成为实现视频注入功能的重要技术。相机在环的本质是使得相机拍摄图像和实际图像完全相同，其最终目标是实现像素级的对准，也即实现实际的像素坐标和拍摄所得的像素坐标完全相同。目前，相机的对准精度大多是基于机加工或者简单手工调节保证，故精度较低且极大依赖调节者的经验，调节时间长，效率低下。因此，如何提升相机的对准精度和标定效率已成为亟需解决的技术问题。在高级驾驶辅助系统功能集成中，不同的相机通常承担不同的功能，也即不同的相机有不同重点关注区域；从而相机对不同区域的精度要求也不尽相同，而由于相机模组加工误差及相机建模与实际相机的差异，例如畸变校正模型无法完全拟合实际模型，使得相机对准通常无法做到绝对的准确，通常只能保证局部的高精度；故相机对重点关注区域的精度应尽可能的高，相机对非重点关注区域的精度相对于重点关注区域可以低些。因此，如何提升相机对重点关注区域的对准精度也成为亟需解决的技术问题。
技术实现思路
本申请实施例公开了一种摄像头的硬件在环标定、靶点设置方法、系统及相关设备，有利于提升对准精度和标定效率。本申请实施例第一方面公开了一种摄像头的硬件在环标定方法，该方法包括：确定多个靶点中的每个靶点对应的权重，其中，多个靶点为显示设备上的靶点，显示设备上位于目标区域内的靶点对应的权重大于位于目标区域外的靶点对应的权重，显示设备的目标区域用于显示标定图像的一部分；标定图像为在进行摄像头的硬件在环标定时显示设备显示的图像；根据权重对多个靶点进行P次有放回的抽样，以得到P个靶点组，其中，针对每次抽样，靶点对应的权重越大，该靶点被抽取的概率越大，P为正整数；根据P个靶点组和摄像头的当前位姿进行摄像头的硬件在环标定。在本申请实施例中，给不同区域的靶点设置不同的权重，基于权重对靶点进行有放回的重采样既保证了各组靶点数据之间的独立性，又侧重提升了摄像头的重点关注区域对应的靶点被抽取的概率，根据采样得到的各组靶点和摄像头的当前位姿进行摄像头的硬件在环标定，可有效提升摄像头对重点关注区域的对准精度。具体地，用于摄像头的硬件在环标定的显示设备上有多个靶点，在该显示设备上显示标定图像，该标定图像有该摄像头的重点关注区域，该标定图像被显示在该显示设备上时，该显示设备上用于显示该重点关注区域的显示区域为目标区域，先设置该目标区域内的靶点对应的权重大于位于该目标区域外的靶点对应的权重；然后基于权重概率对多个靶点进行P次有放回的抽样以得到P个靶点组，也即靶点对应的权重越大，该靶点被抽取的概率越大；由于目标区域内的靶点的权重大于位于该目标区域外的靶点对应的权重，故每次抽样时，目标区域内的靶点被抽取的概率更大，目标区域内的靶点被抽取的数量相对就越多，在根据P个靶点组和摄像头的当前位姿进行摄像头的硬件在环标定时，目标区域内的靶点所起的决定作用占比就越大，摄像头对重点关注区域的对准精度就越高。综上，本申请实施例，可有效提升摄像头对重点关注区域的对准精度，保证用户的个性化对准需求。在一种可能的实现方式中，根据P个靶点组和摄像头的当前位姿进行摄像头的硬件在环标定，包括：根据P个靶点组确定P个第一目标位姿，其中，P个靶点组与P个第一目标位姿一一对应；通过摄像头对当前显示标定图像的显示设备进行图像采集以得到目标图像，并根据多个靶点和目标图像确定摄像头的当前位姿；根据P个第一目标位姿的平均值和当前位姿进行摄像头的硬件在环标定。在本申请实施例中，先根据又放回的重采样得到的P个靶点组确定P个第一目标位姿；然后通过摄像头对当前显示标定图像的显示设备进行图像采集以得到目标图像，并根据显示设备上的多个靶点和该目标图像确定摄像头的当前位姿；再将P个第一目标位姿的平均值作为需要调整到的位姿，进行该摄像头的硬件在环标定，也即将该摄像头的当前位姿调整至该P个第一目标位姿的平均值；由于利用重采样的方法多次计算摄像头的目标姿态，通过求平均的方法得到需要调整到的位姿，该需要调整到的位姿不仅为摄像头的位姿调整方向提供参考标杆，同时着重保证了摄像头的重点关注区域的对准精度，有利于提升摄像头对准的标定效率、对准精度。在一种可能的实现方式中，在根据P个靶点组确定P个第一目标位姿之前，该方法还包括：通过摄像头对标定板进行图像采集以得到Q张标定图像，其中，Q为正整数；对Q张标定图像中的每张标定图像进行角点检测以得到每张标定图像中的各个角点的像素坐标；根据Q张标定图像中的每张标定图像中的各个角点的像素坐标、每张标定图像中的各个角点的第三三维坐标得到摄像头的内参矩阵和摄像头的畸变系数，其中，第三三维坐标为标定板坐标系下的坐标。在本申请实施例中，通过摄像头对标定板进行图像采集以得到多张标定图像，同该多张标定图像得到摄像头的内参矩阵和摄像头的畸变系数，而标定过程中的位姿计算需要用到摄像头的内参矩阵和摄像头的畸变系数，从而可以为计算摄像头的需要调整到的位姿以及摄像头的当前位姿提供基础，有利于提升摄像头的硬件在环对准精度。在一种可能的实现方式中，根据P个靶点组确定P个第一目标位姿，包括：针对P个靶点组中的每个靶点组，执行以下步骤，得到P个第一目标位姿：获取目标靶点组中的每个靶点的二维坐标，其中，目标靶点组为P个靶点组中的任意一个，二维坐标为第二坐标系下的坐标，第二坐标系为以显示设备的屏幕边框的一个外边界点为原点、以屏幕边框的竖向为第一坐标轴、以屏幕边框的横向为第二坐标轴的坐标系；根据目标靶点组中的每个靶点的二维坐标、第一三维坐标、摄像头的内参矩阵和摄像头的畸变系数，计算得到目标靶点组对应的第一目标位姿，其中，第一三维坐标为第一坐标系下的坐标，第一坐标系为以显示设备的屏幕的一个边界点为原点、以屏幕的竖向为第一坐标轴、以屏幕的横向为第二坐标轴、以屏幕的垂直方向为第三坐标轴的坐标系。在本申请实施例中，根据目标靶点组中的每个靶点的二维坐标、第一三维坐标、摄像头的内参矩阵和摄像头的畸变系数，计算得到目标靶点组对应的第一目标位姿，其中，该二维坐标为第二坐标系下的坐标，该第一三维坐标为第一坐标系下的坐标；由于显示设备的屏幕和屏幕边框的尺寸是固定的，当屏幕上显示有标定图像时，可以根据标定图像的像素坐标推算得到每个靶点在第二坐标系上的二维坐标；并且可以通过全站仪获取每个靶点在全站本文档来自技高网...

【技术保护点】
1.一种摄像头的硬件在环标定方法，其特征在于，所述方法包括：/n确定多个靶点中的每个靶点对应的权重，其中，所述多个靶点为显示设备上的靶点，所述显示设备上位于目标区域内的靶点对应的权重大于位于所述目标区域外的靶点对应的权重，所述显示设备的目标区域用于显示标定图像的一部分；所述标定图像为在进行所述摄像头的硬件在环标定时所述显示设备显示的图像；/n根据所述权重对所述多个靶点进行P次有放回的抽样，以得到P个靶点组，其中，针对每次抽样，靶点对应的权重越大，该靶点被抽取的概率越大，所述P为正整数；/n根据所述P个靶点组和所述摄像头的当前位姿进行所述摄像头的硬件在环标定。/n

【技术特征摘要】
【国外来华专利技术】1.一种摄像头的硬件在环标定方法，其特征在于，所述方法包括：
确定多个靶点中的每个靶点对应的权重，其中，所述多个靶点为显示设备上的靶点，所述显示设备上位于目标区域内的靶点对应的权重大于位于所述目标区域外的靶点对应的权重，所述显示设备的目标区域用于显示标定图像的一部分；所述标定图像为在进行所述摄像头的硬件在环标定时所述显示设备显示的图像；
根据所述权重对所述多个靶点进行P次有放回的抽样，以得到P个靶点组，其中，针对每次抽样，靶点对应的权重越大，该靶点被抽取的概率越大，所述P为正整数；
根据所述P个靶点组和所述摄像头的当前位姿进行所述摄像头的硬件在环标定。


2.根据权利要求1所述的方法，其特征在于，所述根据所述P个靶点组和所述摄像头的当前位姿进行所述摄像头的硬件在环标定，包括：
根据所述P个靶点组确定P个第一目标位姿，其中，所述P个靶点组与所述P个第一目标位姿一一对应；
通过所述摄像头对当前显示所述标定图像的所述显示设备进行图像采集以得到目标图像，并根据所述多个靶点和所述目标图像确定所述摄像头的当前位姿；
根据所述P个第一目标位姿的平均值和所述当前位姿进行所述摄像头的硬件在环标定。


3.根据权利要求2所述的方法，其特征在于，所述根据所述P个靶点组确定P个第一目标位姿，包括：
针对所述P个靶点组中的每个靶点组，执行以下步骤，得到P个第一目标位姿：
获取所述目标靶点组中的每个靶点的二维坐标，其中，所述目标靶点组为所述P个靶点组中的任意一个，
所述二维坐标为第二坐标系下的坐标，所述第二坐标系为以所述显示设备的屏幕边框的一个外边界点为原点、以所述屏幕边框的竖向为第一坐标轴、以所述屏幕边框的横向为第二坐标轴的坐标系；
根据所述目标靶点组中的每个靶点的二维坐标、第一三维坐标、所述摄像头的内参矩阵和所述摄像头的畸变系数，计算得到所述目标靶点组对应的第一目标位姿，
其中，所述第一三维坐标为第一坐标系下的坐标，所述第一坐标系为以所述显示设备的屏幕的一个边界点为原点、以所述屏幕的竖向为第一坐标轴、以所述屏幕的横向为第二坐标轴、以所述屏幕的垂直方向为第三坐标轴的坐标系。


4.根据权利要求2或3所述的方法，其特征在于，所述根据所述多个靶点和所述目标图像确定所述摄像头的当前位姿，包括：
对所述目标图像进行圆心检测以得到所述多个靶点中的每个靶点在所述目标图像中的像素坐标；
根据所述多个靶点中的每个靶点在所述目标图像中的像素坐标、所述多个靶点中的每个靶点的第一三维坐标、所述摄像头的内参矩阵、所述摄像头的畸变系数，计算得到所述当前位姿，
其中，所述第一三维坐标为第一坐标系下的坐标，所述第一坐标系为以所述显示设备的屏幕的一个边界点为原点、以所述屏幕的竖向为第一坐标轴、以所述屏幕的横向为第二坐标轴、以所述屏幕的垂直方向为第三坐标轴的坐标系。


5.根据权利要求2-4中任一项所述的方法，其特征在于，所述多个靶点包括所述显示设备的屏幕内的M个第一靶点和屏幕边框上的N个第二靶点，其中，所述M个第一靶点与所述N个第二靶点不共面，所述M和所述N为大于或等于3的整数，在所述根据所述P个靶点组和所述摄像头的当前位姿进行所述摄像头的硬件在环标定之前，所述方法还包括：
获取所述M个第一靶点的第二三维坐标和所述N个第二靶点的第二三维坐标，其中，所述第二三维坐标为全站仪坐标系下的坐标；
对所述M个第一靶点的第二三维坐标进行坐标转换以得到所述M个第一靶点的第一三维坐标，以及对所述N个第二靶点的第二三维坐标进行坐标转换以得到所述N个第二靶点的第一三维坐标。


6.根据权利要求2-5中任一项所述的方法，其特征在于，所述根据所述P个第一目标位姿的平均值和所述当前位姿进行所述摄像头的硬件在环标定，包括：
将第二目标位姿与所述当前位姿作差以得到当前位姿残差，其中，所述第二目标位姿为所述P个第一目标位姿的平均值，所述当前位姿残差包括3个当前位置自由度残差和3个当前姿态自由度残差；
先按照当前位置自由度残差从大到小的顺序依次调节所述摄像头的各个位置自由度，以使所述摄像头的第一位置自由度与所述第二目标位姿的第一位置自由度的差值小于预设的第一位置自由度残差阈值、所述摄像头的第二位置自由度与所述第二目标位姿的第二位置自由度的差值小于预设的第二位置自由度残差阈值、所述摄像头的第三位置自由度与所述第二目标位姿的第三位置自由度的差值小于预设的第三位置自由度残差阈值；
再按照当前姿态自由度残差从大到小的顺序依次调节所述摄像头的各个姿态自由度，以使所述摄像头的第一姿态自由度与所述第二目标位姿的第一姿态自由度的差值小于预设的第一姿态自由度残差阈值、所述摄像头的第二姿态自由度与所述第二目标位姿的第二姿态自由度的差值小于预设的第二姿态自由度残差阈值、所述摄像头的第三姿态自由度与所述第二目标位姿的第三姿态自由度的差值小于预设的第三姿态自由度残差阈值。


7.一种摄像头的硬件在环标定靶点设置方法，其特征在于，包括：
在显示设备的屏幕内设置M个第一靶点，以及在所述显示设备的屏幕边框上设置N个第二靶点，其中，所述显示设备用于在进行摄像头的硬件在环标定时显示标定图像，所述M个第一靶点与所述N个第二靶点不共面，所述M和所述N为大于或等于3的整数。


8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
获取所述M个第一靶点的第二三维坐标和所述N个第二靶点的第二三维坐标，其中，所述第二三维坐标为全站仪坐标系下的坐标；
对所述M个第一靶点的第二三维坐标和所述N个第二靶点的第二三维坐标进行坐标转换，得到所述M个第一靶点的第一三维坐标和所述N个第二靶点的第一三维坐标，其中，所述第一三维坐标为第一坐标系下的坐标，所述第一坐标系为以所述屏幕的一个边界点为原点、以所述屏幕的竖向为第一坐标轴、以所述屏幕的横向为第二坐标轴、以所述屏幕的垂直方向为第三坐标轴的坐标系；
所述M个第一靶点的第一三维坐标和所述N个第二靶点的第一三维坐标用于摄像头的硬件在环标定。


9.一种摄像头的硬件在环标定装置，其特征在于，所述装置包括：
确定单元，用于确定多个靶点中的每个靶点对应的权重，其中，所述多个靶点为显示设备上的靶点，所述显示设备上位于目标区域内的靶点对应的权重大于位于所述目标区域外的靶点对应的权重，所述显示设备的目标区域用于显示标定图像的一部分；所述标定图像为在进行所述摄像头的硬件在环标定时所述显示设备显示的图像；
抽样单元，用于根据所述权重对所述多个靶点进行P次有放回的抽样，以得到P个靶点组，其中，针对每次抽样，靶点对应的权重越大，该靶点被抽取的概率越大，所述...

【专利技术属性】
技术研发人员：张德明，洪峰，陈曦，黄成凯，郭洪强，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44