避障提醒方法、相关装置及计算机可读存储介质制造方法及图纸

本申请涉及计算机视觉技术领域，公开了一种避障提醒方法、相关装置及计算机可读存储介质。本申请中，根据获取的图像数据进行地面检测获取道路的地面信息；根据获取的地面信息进行通路检测，确定道路的通行状况；若确定道路不可通行，则对道路进行路况检测获得第一检测结果，以及对道路进行障碍物检测获得第二检测结果；根据第一检测结果和第二检测结果确定避障提醒信息。通过获取的图像数据进行地面检测，在地面检测的基础上进行通路检测，并在确定道路不可通行的情况下通过路况检测和障碍物检测，以确定避障提醒信息，从而使用户能够快速安全的通过障碍。

【技术实现步骤摘要】
避障提醒方法、相关装置及计算机可读存储介质
本申请涉及计算机视觉
，特别涉及一种避障提醒方法、相关装置及计算机可读存储介质。
技术介绍
在导盲、机器人和自动驾驶等领域，随着机器人及无人驾驶技术的发展，避障提醒成为一项极为重要的技术，避障提醒技术为可自主导航机器人及路径规划机器人提供重要的技术支持。专利技术人在研究现有技术过程中发现，现有有技术中的避障提醒通常只针对前方区域进行通路检测，仅反馈是否可以通行，而无法获取障碍物的具体信息，导致用户不能快速安全的绕过障碍物，对于导航等应用造成不便。
技术实现思路
本申请部分实施例所要解决的一个技术问题在于提供一种避障提醒方法、相关装置及计算机可读存储介质，以解决上述技术问题。本申请实施例提供了一种避障提醒方法，包括：根据获取的图像数据进行地面检测获取道路的地面信息；根据获取的地面信息进行通路检测，确定道路的通行状况；若确定道路不可通行，则对道路进行路况检测获得第一检测结果，以及对道路进行障碍物检测获得第二检测结果；根据第一检测结果和第二检测结果确定避障提醒信息。本申请实施例还提供了一种避障提醒装置，该避障提醒装置包括：第一检测模块，用于根据获取的图像数据进行地面检测获取道路的地面信息；第二检测模块，用于根据获取的地面信息进行通路检测，确定道路的通行状况；第三检测模块，用于若确定道路不可通行，则对道路进行路况检测获得第一检测结果，以及对道路进行障碍物检测获得第二检测结果：确定模块，用于根据第一检测结果和第二检测结果确定避障提醒信息。本申请实施例还提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请任意方法实施例中涉及的避障提醒方法。本申请实施例还提供了一种计算机可读存储介质，存储有计算机指令，计算机指令用于使计算机执行本申请任意方法实施例中涉及的避障提醒方法。本申请实施例相对于现有技术而言，通过获取的图像数据进行地面检测，在地面检测的基础上进行通路检测，并在确定道路不可通行的情况下通过路况检测和障碍物检测，以确定避障提醒信息，从而使用户能够快速安全的通过障碍。附图说明一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。图1是本申请第一实施例中避障提醒方法的流程图；图2是本申请第一实施例中像素坐标系和相机坐标系的关系图；图3是本申请第一实施例中相机坐标系和世界坐标系的关系图；图4是本申请第一实施例中图像数据分区的示意图；图5是本申请第二实施例中避障提醒方法的流程图；图6是本申请第三实施例中避障提醒装置的方框示意图；图7是本申请第四实施例中避障提醒装置的方框示意图；图8是本申请第五实施例中电子设备的结构实例图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚明白，以下结合附图及实施例，对本申请部分实施例进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请的第一实施例涉及一种避障提醒方法，该避障提醒方法的执行主体是导盲头盔或智能机器人等智能设备。该避障提醒方法的具体流程如图1所示，包括以下步骤：在步骤101中，根据获取的图像数据进行地面检测获取道路的地面信息。具体的说，在本实施例中，根据获取的图像数据建立道路的三维点云，并在三维点云中进行地面检测获得道路的地面信息。在实际应用中可以采用多种方式建立道路的三维点云，本实施方式并不限定建立三维点云的具体实现方式。在一个具体实现中，获取图像数据，其中图像数据包括：深度图和相机的姿态角；根据深度图和预设的归一化尺度计算尺度归一化因子；根据该深度图和尺度归一化因子计算尺度归一化后的深度图；根据尺度归一化后的深度图构建相机坐标系下的三维点云；根据相机坐标系下的三维点云和相机的姿态角，构建世界坐标系下的三维点云。具体地,利用公式(1)计算尺度归一化因子，公式(1)表示如下：其中，S表示尺度归一化因子，W表示深度图的宽度，H表示深度图的高度，Norm表示预设的归一化尺度。Norm是预先设置的已知量，在具体应用中，如需要对连续帧的深度图进行处理建立三维点云，则对每一帧深度图的处理过程中使用的归一化尺度保持不变。利用公式(2)计算尺度归一化后的深度图，公式(2)表示如下：其中，Ws表示尺度归一化后的深度图的宽度，Hs表示尺度归一化后的深度图的高度。根据Ws和Hs可确定出尺度归一化后的深度图。具体地说，根据公式(3)及归一化后的深度图构建相机坐标系下的三维点云，该相机坐标系下的三维点云表示为P(Xc,Yc,Zc)，由于深度图中每个像素都含有相机到拍摄物体的距离值，则通过公式(3)将深度图中的像素坐标转换为相机坐标系的坐标，并构成相机坐标系下的三维点云，公式(3)表示如下：其中，u和v是任意点P在归一化后的深度图中的坐标值，Xc、Yc和Zc是点P在相机坐标系中的坐标值，M3×4是相机的内参矩阵，Zc为点P在尺度归一化后的深度图中的深度值，也就是相机到拍摄物体的距离值，为已知量。根据相机坐标系与世界坐标系之间的坐标转换关系，将相机坐标系中的三维点云P(Xc,Yc,Zc)转化为世界坐标系下的三维点云P(Xw,Yw,Zw)，该转换关系用公式(4)表示：其中，Xw、Yw和Zw是三维点云中任意点P在世界坐标系中的坐标值，Xc、Yc和Zc是点P在相机坐标系下的坐标值，α是相机在世界坐标系中与Xw轴的夹角，β是相机在世界坐标系中与Yw轴的夹角，γ是相机在世界坐标系中与Zw轴的夹角。需要说明的是，在进行坐标系方向确定时，假设图像坐标系为o1-xy，则相机坐标系Oc-XcYcZc和像素坐标系o-uv的关系如图2所示，相机坐标系Oc-XcYcZc和世界坐标Ow-XwYwZw的关系如图3所示。其中，如图2中，以深度图左上角为原点建立的以像素为单位的直角坐标系o-uv作为像素坐标系，横坐标u表示像素点所在的像素列数，纵坐标v表示像素点所在的像素行数。将相机光轴与深度图平面的交点定义为图像坐标系o1-xy的原点o1，且x轴与u轴平行，y轴与v轴平行。相机坐标系Oc-XcYcZc以相机光心Oc为坐标原点，Xc轴和Yc轴分别与图像坐标系中的x轴和y轴平行，Zc轴为相机的光轴，和图像平面垂直并交于o1点。其中，如图3中，世界坐标系Ow-XwYwZw的原点Ow与相机坐标系的原点Oc重合，均为相机光心，选取水平向右为Xw轴正方向，垂直向下为Yw轴正方向，垂直XwOwYw平面并指向正前方为Zw轴正方向，建立世界坐标系。具体的说，在三维点云中进行地面检测获得道路的地面信息的具体过程如下：检测三维点云中的地面高度，并确定地面高度上的障碍物信息，将地面高度和障碍物信息作为道路的地面信息，从而确定出道路的具体状况，并且保证了避障提醒信息的准确性。其中，确定地面高度上的障碍物信息的具体过程为：根据地面高度确定道路的地面位置；对道路的地面位置进行障碍物检测，并根据障碍物检测结果生成地面高度上的障碍物信息。在步骤102中，根据获取的地面信息进行通路检测，判断道路本文档来自技高网...

【技术保护点】
1.一种避障提醒方法，包括：根据获取的图像数据进行地面检测获取道路的地面信息；根据获取的所述地面信息进行通路检测，确定所述道路的通行状况；若确定所述道路不可通行，则对所述道路进行路况检测获得第一检测结果，以及对所述道路进行障碍物检测获得第二检测结果；根据所述第一检测结果和所述第二检测结果确定避障提醒信息。

【技术特征摘要】
1.一种避障提醒方法，包括：根据获取的图像数据进行地面检测获取道路的地面信息；根据获取的所述地面信息进行通路检测，确定所述道路的通行状况；若确定所述道路不可通行，则对所述道路进行路况检测获得第一检测结果，以及对所述道路进行障碍物检测获得第二检测结果；根据所述第一检测结果和所述第二检测结果确定避障提醒信息。2.如权利要求1所述的避障提醒方法，其中，所述根据获取的图像数据进行地面检测获取道路的地面信息，具体包括：根据获取的图像数据建立所述道路的三维点云；在所述三维点云中进行地面检测获得所述道路的地面信息。3.如权利要求2所述的避障提醒方法，其中，所述在所述三维点云中进行地面检测获得所述道路的地面信息，具体包括：检测所述三维点云中的地面高度；确定所述地面高度上的障碍物信息；将所述地面高度和所述障碍物信息作为所述道路的地面信息。4.如权利要求3所述的避障提醒方法，其中，所述根据获取的所述地面信息进行通路检测，确定所述道路的通行状况，具体包括：根据所述道路的地面信息确定预警区，并通过检测所述预警区的通行状况确定所述道路的通行状况。5.如权利要求4所述的避障提醒方法，其中，所述根据所述道路的地面信息确定预警区，并通过检测所述预警区的通行状况确定所述道路的通行状况，具体包括:构建预警区的空间坐标：根据所述地面高度确定所述预警区在所述空间坐标下的高度位置；根据所述障碍物信息确定所述预警区在所述空间坐标下的宽度和距离；根据所述地面高度调整所述预警区的位置；通过检测调整位置后的所述预警区的通行状况确定所述道路的通行状况；其中，所述通行状况包括可通行和不可通行。6.如权利要求3至5任一项所述的避障提醒方法，其中，所述对所述道路进行路况检测获得第一检测结果，具体包括：根据所述地面高度确定所述道路的地面位置；对所述道路的地面位置进行路况检测，确定所述道路上的坑洼信息，并将所述坑洼信息作为所述第一检测结果，其中，所述坑洼信息包括：是否存在所述坑洼以及所述坑洼的位置。7.如权利要求6所述的避障提醒方法，其中，所述对所述道路进行障碍物检测获得第二检测结果，具体包括：对获取的所述图像数据进行划分得到M×N个分区；其中，M、N均是大于1的整数；确定每个所述分区的障碍物的信息；根据每个所述分区的障碍物的信息，确定每个所述分区各自的预警等级；根据每个所述分区的所述预警等级，确定通过所述道路的决策建议；并将所述每个所述分区各自的预警等级和所述道路的决策建议作为所述第二检测结果。8.如权利要求7所述的避障提醒方法...

【专利技术属性】
技术研发人员：李业，林义闽，廉士国，
申请(专利权)人：达闼科技北京有限公司，
类型：发明
国别省市：北京,11