红绿灯的识别方法、装置、电子设备和计算机存储介质制造方法及图纸

本申请提出一种红绿灯的识别方法、装置、电子设备和计算机存储介质，涉及无人驾驶技术领域，其中，方法包括：获取红绿灯当前时刻的当前候选颜色状态，获取各历史时刻的历史候选颜色状态和对应的识别概率，根据各历史时刻的历史候选颜色状态和对应的识别概率、颜色状态转换矩阵以及当前候选颜色状态，生成红绿灯的颜色状态序列，通过引入当前识别结果的相关的信息，即历史时刻的识别结果和颜色状态转换矩阵，确定当前的识别结果，提高了红绿灯识别的准确度，解决现有技术中单纯依靠模型识别的结果，红绿灯识别准确度较低的技术问题。

【技术实现步骤摘要】
红绿灯的识别方法、装置、电子设备和计算机存储介质
本申请涉及计算机
，尤其涉及无人驾驶
，具体涉及一种红绿灯的识别方法、装置、电子设备和计算机存储介质。
技术介绍
随着社会和经济的快速发展，无人驾驶车辆越来越受到人们的关注，原因在于无人驾驶车辆能够减少交通事故导致的人员伤亡，并且可以替代驾驶员完成特殊的作业。而在无人驾驶领域，准确识别路口的红绿灯颜色，对于交通安全至关重要。相关技术中，通常是采用基于深度学习的模型对红绿灯的当前颜色状态进行识别，但是利用模型识别，无法确保每一帧的识别结果都是正确的，从而模型识别结果的准确度无法保证。
技术实现思路
提供了一种用于跨模态处理方法、装置、电子设备和计算机存储介质。根据第一方面，提供了一种红绿灯的识别方法，通过引入当前识别结果的相关的信息，即历史时刻的识别结果和颜色状态转换矩阵，确定当前的识别结果，提高了红绿灯识别的准确度，解决现有技术中单纯依靠模型识别的结果，红绿灯识别准确度较低的技术问题。本申请的第二方面提出一种红绿灯的识别装置。本申请的第三方面提出一种电子设备。本申请的第四方面提出一种非临时性计算机可读存储介质。本申请第一方面实施例提出了一种红绿灯的识别方法，包括：获取红绿灯当前时刻的当前候选颜色状态；获取各历史时刻的历史候选颜色状态和对应的识别概率；根据所述各历史时刻的历史候选颜色状态和对应的识别概率、颜色状态转换矩阵以及所述当前候选颜色状态，生成所述红绿灯的颜色状态序列；根据所述红绿灯的颜色状态序列，确定所述红绿灯的当前颜色状态。本申请第二方面实施例提出了一种红绿灯的识别装置，包括：获取模块，用于获取红绿灯当前时刻的当前候选颜色状态，以及获取各历史时刻的历史候选颜色状态和对应的识别概率；生成模块，还用于根据所述各历史时刻的历史候选颜色状态和对应的识别概率、颜色状态转换矩阵以及所述当前候选颜色状态，生成所述红绿灯的颜色状态序列；确定模块，用于根据所述红绿灯的颜色状态序列，确定所述红绿灯的当前颜色状态。本申请第三方面实施例提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如第一方面所述的红绿灯的识别方法。本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的红绿灯的识别方法。本申请实施例所提供的技术方案可以包含如下的有益效果：获取红绿灯当前时刻的当前候选颜色状态，获取各历史时刻的历史候选颜色状态和对应的识别概率，根据各历史时刻的历史候选颜色状态和对应的识别概率、颜色状态转换矩阵以及当前候选颜色状态，生成红绿灯的颜色状态序列，通过引入当前识别结果的相关的信息，即历史时刻的识别结果和颜色状态转换矩阵，确定当前的识别结果，提高了红绿灯识别的准确度。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1为本申请实施例所提供的一种红绿灯的识别方法的流程示意图；图2为本申请实施例提供的另一种红绿灯的识别方法的流程示意图；图3为本申请提供的各历史时刻的候选颜色状态示意图；图4为本申请提供的各候选路径的示意图；图5为本申请实施例提供的颜色状态转换矩阵示意图；图6为本申请实施例提供的又一种红绿灯的识别方法的流程示意图；图7为本申请实施例提供的再一种红绿灯的识别方法的流程示意图；图8为本申请实施例提供的一种红绿灯的识别装置的结构示意图；以及图9为本申请实施例提供的的红绿灯的识别方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。下面参考附图描述本申请实施例的红绿灯的识别方法、装置、电子设备和计算机存储介质。图1为本申请实施例所提供的一种红绿灯的识别方法的流程示意图。如图1所示，该方法包括以下步骤：步骤101，获取红绿灯当前时刻的当前候选颜色状态。具体地，利用摄像装置获取要识别的红绿灯的当前时刻的图像。作为一种可能的实现方式，通过隐马尔可夫模型，识别得到当前时刻红绿灯的颜色状态和对应的识别概率，其中，识别概率即为即为识别为当前颜色的置信度，例如，当前识别出的红绿灯的颜色状态为红色，则识别概率为0.5，也就是说识别为红色的置信度为0.5；识别出的红绿灯的颜色状态为绿色，对应的识别概率为0.3；识别出的红绿灯的颜色状态为黄色，对应的识别概率为0.2。步骤102，获取各历史时刻的历史候选颜色状态和对应的识别概率。其中，各历史时刻是当前时刻之前的时刻，各历史时刻和当前时刻构成连续的时间序列。本实施例中历史候选颜色状态和对应的识别概率，是根据当前时刻之前采集到的多个历史图像识别得到的，作为一种可能的实现方式，在当前时刻之前的预设时间段内，按照预设的时间间隔对要识别的红绿灯采集了多帧历史图像，多帧历史图像按照采集的时刻先后顺序，组成对应相应采集时刻的历史图像序列，并输入隐马尔可夫模型，识别得到相应历史图像中红绿灯的不同颜色状态及对应的识别概率。例如，当前时刻为ti，预设时间段即为ti之前的时段，若预设时间段内采集到4帧历史图像，则4帧历史图像对应的采集时刻即为ti-1，ti-2、ti-3和ti-4，通过隐马尔可夫模型对4帧历史图像进行识别后，得到历史候选颜色状态的时序以及各颜色状态对应的识别概率，例如，历史时刻ti-4，识别出的红绿灯的颜色状态为红色，对应的识别概率为0.5，识别出的红绿灯的颜色状态为绿色，对应的识别概率为0.3，识别出的红绿灯的颜色状态为黄色，对应的识别概率为0.2。步骤103，根据各历史时刻的历史候选颜色状态和对应的识别概率、颜色状态转换矩阵以及当前候选颜色状态生成红绿灯的颜色状态序列。其中，颜色状态序列中的各个元素指示了对应各个历史时刻和当前时刻的红绿灯的颜色状态。具体地，根据各历史时刻的历史候选颜色状态和当前时刻的候选颜色状态生成多个候选转换路径，根据颜色状态转换矩阵和各历史时刻的历史候选颜色状态对应的识别概率生成多个候选转换路径分别对应的置信度值，根据多个候选转换路径的置信度值确定目标转换路径，根据目标转换路径生成红绿灯的颜色状态序列。步骤104，根据红绿灯的颜色状态序列，确定红绿灯的当前颜色状态。具体地，根据确定的红绿灯的颜色状态序本文档来自技高网...

【技术保护点】
1.一种红绿灯的识别方法，其特征在于，包括：/n获取红绿灯当前时刻的当前候选颜色状态；/n获取各历史时刻的历史候选颜色状态和对应的识别概率；/n根据所述各历史时刻的历史候选颜色状态和对应的识别概率、颜色状态转换矩阵以及所述当前候选颜色状态，生成所述红绿灯的颜色状态序列；/n根据所述红绿灯的颜色状态序列，确定所述红绿灯的当前颜色状态。/n

【技术特征摘要】
1.一种红绿灯的识别方法，其特征在于，包括：
获取红绿灯当前时刻的当前候选颜色状态；
获取各历史时刻的历史候选颜色状态和对应的识别概率；
根据所述各历史时刻的历史候选颜色状态和对应的识别概率、颜色状态转换矩阵以及所述当前候选颜色状态，生成所述红绿灯的颜色状态序列；
根据所述红绿灯的颜色状态序列，确定所述红绿灯的当前颜色状态。


2.如权利要求1所述的红绿灯的识别方法，其特征在于，所述根据所述各历史时刻的历史候选颜色状态和对应的识别概率、颜色状态转换矩阵以及所述当前候选颜色状态生成所述红绿灯的颜色状态序列，包括：
根据所述各历史时刻的历史候选颜色状态和当前时刻的候选颜色状态生成多个候选转换路径；
根据所述颜色状态转换矩阵和所述识别概率生成所述多个候选转换路径分别对应的置信度值；
将所述多个候选转换路径中置信度值最高的候选转换路径，确定为目标转换路径；
根据目标转换路径生成所述红绿灯的颜色状态序列。


3.如权利要求2所述的红绿灯的识别方法，其特征在于，所述颜色状态转换矩阵包括多个颜色状态，以及每个颜色状态向其他颜色状态转换的转换概率。


4.如权利要求3所述的红绿灯的识别方法，其特征在于，所述候选转换路径包括多个时间节点，每个时间节点包括对应的识别概率，以及当前时间节点至下一时间节点的转换概率；其中，所述历史时刻和所述当前时刻，与所述多个时间节点相对应。


5.如权利要求4所述的红绿灯的识别方法，其特征在于，所述根据所述颜色状态转换矩阵和所述识别概率生成所述多个候选转换路径分别对应的置信度值，包括：
根据所述颜色状态转换矩阵获取所述候选转换路径之中每个时间节点的转换概率；
根据所述各历史时刻的历史候选颜色状态和对应的识别概率，获取所述候选转换路径之中所述每个时间节点的识别概率；
根据所述每个时间节点的转换概率和所述识别概率生成所述每个时间节点的置信度值；以及
根据所述每个时间节点的置信度值生成所述候选转换路径的置信度值。


6.如权利要求1所述的红绿灯的识别方法，其特征在于，所述生成所述红绿灯的颜色状态序列之后，还包括：
判断所述颜色状态序列是否包含过渡颜色状态；
如果所述颜色状态序列不包含所述过渡颜色状态，则显示所述颜色状态；以及
如果所述颜色状态序列包含所述过渡颜色状态，则对所述颜色状态序列进行平滑处理以更新所述颜色状态序列。


7.如权利要求6所述的红绿灯的识别方法，其特征在于，所述对所述颜色状态序列进行平滑处理以更新所述颜色状态序列，包括：
获取预设的平滑时间窗口；
获取所述平滑时间窗口之中各个时间节点的颜色状态；以及
根据所述平滑时间窗口之中各个时间节点的颜色状态，选择数量最多的非过渡颜色状态作为更新后的颜色状态序列。


8.如权利要求2所述的红绿灯的识别方法，其特征在于，所述生成所述红绿灯的颜色状态序列之后，还包括：
获取所述红绿灯的语义状态；
确定同属于所述语义状态的其他红绿灯；
获取所述红绿灯的颜色状态序列对应的置信度值，以及所述其它红绿灯的颜色状态序列对应的置信度值；
根据所述红绿灯和所述其他红绿灯的位置，确定所述红绿灯的权重和所述其他红绿灯的权重；
根据所述红绿灯的权重和所述红绿灯的置信度值，以及所述其他红绿灯的权重和其它所述红绿灯的置信度值，确定所述语义状态下红绿灯的当前颜色状态。


9.如权利要求2所述的红绿灯的识别方法，其特征在于，还包括：
根据所述目标转换路径获取处于闪烁状态的红绿灯，并进行报警。


10.一种红绿灯的识别装置，其特征在于，包括：
获取模块，用于获取红绿灯当前时刻的当前候选颜色状态，以及获取各历史时刻的历史候选颜色状态...

【专利技术属性】
技术研发人员：李林，王昊，马彧，王亮，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11