物件的双感测方法及用于物件感测的运算装置制造方法及图纸

本发明专利技术公开一种物件的双感测方法及用于物件感测的运算装置。在方法中，对雷达信息进行第一聚类。对第一聚类的结果进行第二聚类。将第二聚类的结果作为一个或更多个兴趣区域。依据兴趣区域对结合信息进行物件侦测及/或物件追踪。雷达信息包括空间中的多个感测点，且第一聚类用以决定那些感测点中的第一部分为一个或更多个物件。第二聚类用以决定第一聚类的结果为物件的那些感测点位于第一密集程度的区域。结合信息是结合雷达信息与图像所形成的，且雷达信息的侦测区域重叠于图像的拍摄区域。由此，可改善识别准确度。可改善识别准确度。可改善识别准确度。

【技术实现步骤摘要】
物件的双感测方法及用于物件感测的运算装置


[0001]本专利技术涉及一种感测信息处理技术，且特别涉及一种物件的双感测方法及用于物件感测的运算装置。

技术介绍

[0002]在智能交通系统中，分散在各处的各种传感器彼此发挥其重要的作用。这些传感器收集准确且即时的本地信息，并将这信息传送到云端，使系统可即时掌握此处情况并据以作出决策。在许多传感器中，相机与雷达分别扮演着重要的角色。相机拥有丰富的图像信息，并能供深度学习模型识别出物件类别。然而，在恶劣环境中，图像识别容易失效。另一方面，雷达所用的毫米波的特性是，较不受恶劣天候影响，还能侦测物件的位置、速度等物理信息。然而，雷达无法识别物件类别。由此可知，相机与雷达感测都有其各自的缺点。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供一种物件的双感测方法及用于物件感测的运算装置，可融合相机及雷达感测，结合两种感测的优点，进而弥补各自的缺点。
[0004]本专利技术实施例的物件的双感测方法包括(但不仅限于)下列步骤：对雷达信息进行第一聚类。对第一聚类的结果进行第二聚类。将第二聚类的结果作为一个或更多个兴趣区域。依据兴趣区域对结合信息进行物件侦测及/或物件追踪。雷达信息包括空间中的多个感测点，且第一聚类用以决定那些感测点中的第一部分为一个或更多个物件。第二聚类用以决定第一聚类的结果为物件的那些感测点位于第一密集程度的区域。结合信息是结合雷达信息与图像所形成的，且雷达信息的侦测区域重叠于图像的拍摄区域。
[0005]本专利技术一实施例的用于物件感测的运算装置包括(但不仅限于)存储器及处理器。存储器用以存储程序代码。处理器耦接存储器。处理器经配置用以载入并执行程序代码以执行：对雷达信息进行第一聚类，对第一聚类的结果进行第二聚类，将第二聚类的结果作为一个或更多个兴趣区域，并依据兴趣区域对结合信息进行物件侦测及/或物件追踪。雷达信息包括空间中的多个感测点，且第一聚类用以决定那些感测点中的第一部分为一个或更多个物件。第二聚类用以决定第一聚类的结果为物件的那些感测点位于第一密集程度的区域。结合信息是结合雷达信息与图像所形成的，且雷达信息的侦测区域重叠于图像的拍摄区域。
[0006]基于上述，依据本专利技术实施例的物件的双感测方法及用于物件感测的运算装置，对雷达信息进行二次聚类，并据以作为双感测的结合信息在物件侦测及/或物件追踪所用的兴趣区域。由此，可提升侦测及追踪的准确度，更能增进运算效率。
[0007]为让本专利技术的上述特征和优点能更明显易懂，下文特举实施例，并配合所附的附图作详细说明如下。
附图说明
[0008]图1是本专利技术一实施例的感测系统的元件方块图；
[0009]图2是本专利技术一实施例的物件的双感测方法的流程图；
[0010]图3A是本专利技术一实施例的雷达信息在空间中的感测点的示意图；
[0011]图3B是本专利技术一实施例的第一聚类的示意图；
[0012]图3C是本专利技术一实施例的第二聚类的示意图；
[0013]图4A是本专利技术一实施例的固定区域的示意图；
[0014]图4B是本专利技术一实施例的动态兴趣区域的示意图；
[0015]图5是本专利技术一实施例的双感测融合的流程图；
[0016]图6是本专利技术一实施例的双感测的位置关系的示意图；
[0017]图7是本专利技术一实施例的雷达设置的空间示意图；
[0018]图8是本专利技术一实施例的雷达、相机及图像坐标的示意图；
[0019]图9是本专利技术一实施例的雷达与物件的位置关系的示意图；
[0020]图10是本专利技术一实施例的雷达坐标、雷达世界坐标与偏航(yaw)角度的关系的示意图；
[0021]图11是本专利技术一实施例的相机坐标、新相机坐标与偏航角度的关系的示意图；
[0022]图12是本专利技术另一实施例的双感测的位置关系的示意图；
[0023]图13是本专利技术一实施例的坐标轴转换的示意图；
[0024]图14是本专利技术一实施例的信息融合的示意图；
[0025]图15是本专利技术一实施例的物件侦测及物件追踪的流程图；
[0026]图16是本专利技术一实施例的交错单元(Intersection of Union，IoU)的示意图。
[0027]符号说明
[0028]1:感测系统
[0029]20:雷达
[0030]30:图像撷取装置
[0031]100:运算装置
[0032]110:存储器
[0033]130:通信收发器
[0034]150:处理器
[0035]S210～S240、S510～S520、S1510～S1560:步骤
[0036]G:群组
[0037]DR1、DRI:兴趣区域
[0038]FR:固定区域
[0039]O1:物件
[0040]O
rw
、O
cw
、O
c
、O
p
:原点
[0041]x
rw
、y
rw
、z
rw
、x
cw
、y
cw
、z
cw
、x
c
、y
c
、z
c
、x
p
、y
p
、x
cw
、y
cw
、z
cw
、x0、y0、x
new
、y
new
:坐标
[0042]β:偏航角度
[0043]θ:俯仰角度
[0044]L
x
:水平距离
[0045]L
y
:垂直距离
[0046]RIM:雷达图像
[0047]Height
radar_object
:高度差异
[0048]y
r
:深度距离
[0049]y
r_new
:投影深度距离
[0050]α:夹角
[0051]MCA:多通道阵列
[0052]BT:第一框选区域
[0053]BI:第二框选区域
[0054]OA:重叠区域
具体实施方式
[0055]图1是依据本专利技术一实施例的感测系统1的元件方块图。请参照图1，感测系统1包括(但不仅限于)雷达20、图像撷取装置30及运算装置100。需说明的是，图1以一台雷达20及一台图像撷取装置30作为范例说明，然而其数量不以此为限。
[0056]雷达20是将电波、光或声波发射至空间中并侦测空间中的物件所反射的回波(echo)的装置。在一实施例中，可依据回波决定诸如相对位置、相对速度、方向及/或强度的雷达信息。
[0057]图像撷取装置30可以是相机、摄影机、监视器、智能型手机或具备图像撷取功能的路侧单元(Road Side Un本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物件的双感测方法，包括：对雷达信息进行第一聚类，其中该雷达信息包括空间中的多个感测点，且该第一聚类用以决定该些感测点中的第一部分为至少一物件；对该第一聚类的结果进行第二聚类，其中该第二聚类用以决定该第一聚类的结果为该至少一物件的该些感测点位于第一密集程度的区域；将该第二聚类的结果作为至少一兴趣区域；以及依据该至少一兴趣区域对结合信息进行物件侦测及物件追踪中的至少一者，其中该结合信息是结合该雷达信息与图像所形成的，且该雷达信息的侦测区域重叠于该图像的拍摄区域。2.如权利要求1所述的物件的双感测方法，其中该第二聚类的点数少于该第一聚类，且该第二聚类的范围小于该第一聚类；或是，其中该第二聚类的点数大于该第一聚类，且该第二聚类的范围大于该第一聚类。3.如权利要求1所述的物件的双感测方法，其中将该第二聚类的结果作为该至少一兴趣区域的步骤包括：将该第一密集程度的区域中的感测点的中心作为该至少一兴趣区域的中心。4.如权利要求1所述的物件的双感测方法，其中该第二聚类未有该第一密集程度的区域，且该双感测方法还包括：使用至少一固定区域作为该至少一兴趣区域，其中该至少一固定区域是事先定义的。5.如权利要求1所述的物件的双感测方法，还包括：将该雷达信息中的该些感测点在该空间上的坐标转换成多个图像坐标，以产生经转换雷达信息，其中该经转换雷达信息包括该些图像坐标上的雷达信息；以及结合该经转换雷达信息及该图像，以产生该结合信息。6.如权利要求5所述的物件的双感测方法，其中将该雷达信息中的该些感测点在该空间上的坐标转换成该些图像坐标的步骤还包括：依据雷达及图像撷取装置的相对位置设定雷达世界坐标及相机世界坐标的坐标关系，其中该雷达用于取得该雷达信息，且该图像撷取装置用于取得该图像；以及依据该坐标关系决定该些图像坐标，其中该雷达信息中的该些感测点是依序自雷达坐标、该雷达世界坐标、该相机世界坐标及相机坐标而转换成该些图像坐标中的一者。7.如权利要求5所述的物件的双感测方法，其中该雷达信息中的第一感测类型包括相对距离、相对速度及强度中的至少一者，该图像中的第二感测类型包括色彩空间定义的多个颜色类型，且结合该经转换雷达信息及该图像的步骤包括：依据该第一感测类型及该第二感测类型将该经转换雷达信息及该图像结合成多个通道的感测图像，其中该些通道分别对应到该相对距离、该相对速度及该强度中的至少一者、以及该些颜色类型。8.如权利要求7所述的物件的双感测方法，其中依据该至少一兴趣区域对该结合信息进行该物件侦测及该物件追踪中的至少一者的步骤包括：将该些通道的感测图像输入至用于该物件侦测的侦测模型，以输出该侦测模型的预测结果；以及依据该预测结果进行该物件追踪。
9.如权利要求1或8所述的物件的双感测方法，其中依据该至少一兴趣区域对该结合信息进行该物件侦测及该物件追踪中的至少一者的步骤包括：决定该物件侦测的预测结果中的第一框选区域及该物件追踪的第二框选区域的重叠区域，其中该重叠区域是该第一框选区域及该第二框选区域的交集；以及依据该重叠区域所占总区域的比例决定该第一框选区域及该第二框选区域中的物件是否相同，其中该总区域是该第一框选区域及该第二框选区域的并集。10.如权利要求1所述的物件的双感测方法，其中依据该至少一兴趣区域对该结合信息进行该物件侦测及该物件追踪中的至少一者的步骤包括：侦测至少一固定区域中是否有该至少一物件，其中该至少一固定区域是事先定义的，且该至少一固定区域的第二部分未重叠于该第二聚类的结果；以及依据该至少一固定区域的侦...

【专利技术属性】
技术研发人员：郭峻因，林佳正，
申请(专利权)人：纬创资通股份有限公司，
类型：发明
国别省市：