本申请公开了一种感知方法、装置、电子设备及存储介质，涉及智能交通的车路协同领域。具体实现方案为：获取广角相机摄取的广角图像；对该广角图像进行去畸变处理，得到广角相机正下方的图像；通过球面投影模型将广角图像投影变换到至少一个视角，得到至少一个平面投影图像，每个平面投影图像对应一个视角。本申请能够实现利用最少相机配置达到无盲区感知，并且能够降低感知系统的维护成本，提高感知系统的鲁棒性。统的鲁棒性。统的鲁棒性。
【技术实现步骤摘要】
路侧感知方法、装置、电子设备、存储介质及路侧设备
[0001]本申请涉及智能交通领域，尤其涉及车路协同领域。
技术介绍
[0002]在新基建的大背景下，车用无线通信技术(V2X，ehicle to everything)路侧感知系统为车路协同的车辆提供了超视距的感知信息。相机作为路侧感知系统的最主要的传感器之一，对障碍物进行三维(3D)感知。传统的路侧感知方法是使用多个相机来进行全区域的覆盖，有时会加装广角相机(如鱼眼相机)来减少硬件设备的数量。这种方式存在以下缺点：一是必须使用较多的相机，相机的外参标定的成本高且后期相机的维护成本也较高，感知系统的鲁棒性会降低；二是尽管使用了多个相机，难免会存在遗漏的小盲区，难以解决。
技术实现思路
[0003]本申请提供了一种路侧感知方法、装置、电子设备以及存储介质。
[0004]根据本申请的一方面，提供了一种路侧感知方法，包括：
[0005]获取广角相机摄取的广角图像；
[0006]对广角图像进行去畸变处理，得到广角相机正下方的图像；
[0007]通过球面投影模型将广角图像投影变换到至少一个视角，得到至少一个平面投影图像，每个平面投影图像对应一个视角。
[0008]根据本申请的另一方面，提供了一种路侧感知装置，包括：
[0009]获取模块，用于获取广角相机摄取的广角图像；
[0010]去畸变模块，用于对广角图像进行去畸变处理，得到广角相机正下方的图像；
[0011]投影模块，用于通过球面投影模型将广角图像投影变换到至少一个视角，得到至少一个平面投影图像，每个平面投影图像对应一个视角。
[0012]根据本申请的另一方面，提供了一种电子设备，其特征在于，包括：
[0013]至少一个处理器；以及
[0014]与至少一个处理器通信连接的存储器；其中，
[0015]存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的方法。
[0016]根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行上述的方法。
[0017]根据本申请的另一方面，提供了一种路侧设备，包括如上述的电子设备。
[0018]本申请通过获取广角图像，对广角图像进行去畸变并投影到不同的视角，得到广角相机正下方的图像、以及不同视角的平面投影图像，实现了利用最少相机配置达到无盲区感知，并且能够降低感知系统的维护成本，提高感知系统的鲁棒性。
[0019]应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0020]附图用于更好地理解本方案，不构成对本申请的限定。其中：
[0021]图1是本申请实施例的一种路侧感知方法实现流程图；
[0022]图2A是一个鱼眼图像示意图；
[0023]图2B是一个鱼眼图像经过去畸变处理后的图像；
[0024]图3是本申请实施例的一种感知方法中，步骤S103的实现流程图；
[0025]图4是鱼眼相机的球面模型示意图；
[0026]图5是鱼眼图像的坐标系示意图；
[0027]图6是本申请实施例的一种路侧感知方法中，确定平面投影图像的像素坐标和广角图像的像素坐标的对应关系的方式示意图；
[0028]图7是本申请实施例的一种路侧感知方法中，根据平面投影图像的像素坐标和广角图像的像素坐标的对应关系，通过球面投影模型将广角图像投影变换到至少一个视角示意图；
[0029]图8A是将鱼眼图像投影变换到视角一得到的枪机式平面投影图；
[0030]图8B是将鱼眼图像投影变换到视角二得到的枪机式平面投影图；
[0031]图8C是将鱼眼图像投影变换到视角三得到的枪机式平面投影图；
[0032]图8D是将鱼眼图像投影变换到视角四得到的枪机式平面投影图；
[0033]图8E是将鱼眼图像投影变换到视角五得到的枪机式平面投影图；
[0034]图8F是将鱼眼图像投影变换到视角六得到的枪机式平面投影图；
[0035]图9是本申请实施例的一种路侧感知装置900的结构示意图；
[0036]图10是本申请实施例的一种路侧感知装置1000的结构示意图；
[0037]图11是用来实现本申请实施例的路侧感知方法的电子设备的框图。
具体实施方式
[0038]以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0039]车路协同系统中，通过在路侧设置多个相机来进行全区域的覆盖。如何利用较少的硬件设备来完成路口的无盲区全覆盖感知，以实现降低成本且提高系统稳定性的目的，是目前车路协同路侧视觉感知研究的重点。
[0040]针对上述问题，本方案通过在路口设置广角镜头(如鱼眼镜头)，实现车路协同中的路口无盲区感知。
[0041]鱼眼镜头是一种极端的广角镜头，焦距在6
‑
16mm之间，视角多在180度以上。为了使镜头达到最大的摄影角度，这种镜头的前镜片呈抛物状，向前突出，与鱼的眼睛颇为相似，因此被称为鱼眼镜头。鱼眼镜头属于超广角镜头中的一种特殊镜头，它的视角力求达到或超出人眼所能看到的范围。鱼眼镜头与人眼中的真实世界的镜像存在很大的差异，因为实际看到的景物是有规则的固定形态，而通过鱼眼镜头产生的画面效果则超出了这一范畴。
[0042]本申请实施方式中，应理解，相机、镜头、摄像机、摄像头等均表示可以获取覆盖范围内的图像的设备，其含义类似，且可以互换，本申请对此不做限制。
[0043]本申请实施例提供一种路侧感知方法，该方法可以应用于车路协同系统中的路口无盲区感知。本申请实施例仅使用最少数量的鱼眼相机来完成路口的无死角的全区域覆盖，针对常规的十字路口，仅需要4个鱼眼相机(一个方向一个)来完成全路口的全区域感知。每个鱼眼相机可以经过两步来得到全区域的二维图像：第一步，利用Ocam模型或者OpenCV模型对鱼眼图像进行去畸变，得到鱼眼相机正下方的图像；第二步，利用球面投影模型将圆形鱼眼相机原图变换到特定视角的平面透视图像。以下参照附图，举具体的实施例详细介绍。
[0044]图1是本申请实施例的一种路侧感知方法实现流程图，至少包括：
[0045]步骤S101：获取广角相机摄取的广角图像；
[0046]步骤S102：对广角图像进行去畸变处理，得到广角相机正下方的图像；
[0047]步骤S103：通过球面投影模型将广角图像投影变换到至少一个视角，得到至少一个平面投影图像，每个本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种路侧感知方法，包括：获取广角相机摄取的广角图像；对所述广角图像进行去畸变处理，得到所述广角相机正下方的图像；通过球面投影模型将所述广角图像投影变换到至少一个视角，得到至少一个平面投影图像，每个所述平面投影图像对应一个所述视角。2.根据权利要求1所述的方法，其中，所述通过球面投影模型将所述广角图像投影变换到至少一个视角，包括：确定所述平面投影图像的像素坐标和所述广角图像的像素坐标的对应关系；根据所述对应关系，通过球面投影模型将广角图像投影变换到所述至少一个视角。3.根据权利要求2所述的方法，其中，所述确定所述平面投影图像的像素坐标和所述广角图像的像素坐标的对应关系，包括：利用所述广角图像的半径确定所述广角相机的焦距；利用所述广角相机的焦距、以及所述平面投影图像中任意点与空间坐标系的角度关系，确定所述球面投影模型的投影中心到所述任意点的向量投影到所述广角图像的坐标系上的长度；其中，所述空间坐标系为所述广角相机的球形投影面对应的坐标系；利用所述长度、所述平面投影图像中任意点与空间坐标系的角度关系、以及广角图像的中心点像素坐标，确定所述任意点在所述广角图像所在平面上的投影点的像素坐标；根据所述任意点在平面投影图像的坐标系上的像素坐标、以及所述任意点在所述广角图像所在平面上的投影点的像素坐标，确定所述平面投影图像的像素坐标和广角图像的像素坐标的对应关系。4.根据权利要求3所述的方法，其中，所述根据所述对应关系，通过球面投影模型将广角图像投影变换到所述至少一个视角，包括：选取至少一个所述视角；确定所述视角与所述空间坐标系的角度关系；利用所述视角与所述空间坐标系的角度关系，确定所述平面投影图像中任意点与所述空间坐标系的角度关系；利用所述对应关系、以及所述平面投影图像中任意点与所述空间坐标系的角度关系，将广角图像投影变换到所述视角。5.根据权利要求1至4任一所述的方法，其中，所述广角相机包括鱼眼相机，所述广角图像包括鱼眼图像。6.根据权利要求1至4任一所述的方法，其中，所述广角相机设置于道路路口，所述道路路口的每个方向设置一个所述广角相机。7.一种路侧感知装置，包括：获取模块，用于获取广角相机摄取的广角图像；去畸变模块，用于对所述广角图像进行去畸变处理，得到所述广角相机正下方的图像；投影模块，用于通过球面投影模型将所述广角图像投影变换到至少一个视角，得到至少...
【专利技术属性】
技术研发人员：苑立彬，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。