基于计算机视觉的汽车充电桩界面检测智能交互系统技术方案

本发明专利技术属于汽车充电桩出厂质量检测领域，具体方案为：基于计算机视觉的汽车充电桩界面检测智能交互系统，具体步骤为：一、拍摄充电桩屏幕界面获得实时画面，并进行三维重建得到深度信息；二、使用卷积神经网络对现有充电桩屏幕界面样本进行文字检测与界面定位，得到充电桩屏幕界面类别信息与文本行信息；三、将类别信息与文本行信息送入并行多模型文字识别网络中，提取关键信息并记录文本行中心点坐标；四、将文本识别结果与指令内容匹配，得到需要点击的内容；五、寻找文本行中心点坐标，并从深度图中进行深度采样，获得中心点的三维坐标；六、借助ROS平台进行静态坐标转换；七、机械臂根据坐标点击充电桩屏幕，完成操作，速度快，准确率高。确率高。确率高。

【技术实现步骤摘要】
基于计算机视觉的汽车充电桩界面检测智能交互系统


[0001]本专利技术属于汽车充电桩出厂质量检测
，具体涉及一种基于计算机视觉的汽车充电桩界面检测智能交互系统。

技术介绍

[0002]随着社会经济的不断发展，能源紧缺和环境污染问题日趋严重，为了应对全球变暖和能源枯竭等问题，新能源电动汽车应运而生。同时，充电桩作为电动汽车补给电能的重要设施也得到了迅猛发展，我国也在积极推进充电桩等基础设施的建设。因此，需要健全和加强充电设备的质量管理。
[0003]为确保充电桩能够安全可靠地服务用户，充电桩在出厂前的功能测试尤为重要，其中，测试其操作界面能否正确显示和切换是非常关键的。目前，主要采取人工逐个检查的方式，这种方式存在以下三方面的缺点：1）、充电桩出场前均处于未安装状态，没有完备的安全防护装，存在发生漏电的危险，对工人的生命安全造成极大威胁。
[0004]2）、充电桩界面种类繁多，结构多样，切换顺序复杂且速度快，界面上文字大小不一，字体多样等因素都会降低人工测试效率，且存在较大的主观误差。
[0005]3）、阶段充电桩检测大都是基于充电桩内部硬件功能和通信协议的检测，还未有模拟用户去使用包装完好的充电桩整个过程的测试系统。
[0006]对于充电桩屏幕显示系统来说，在出厂前也需要进行质量检测。因此，急需开发一种高智能化，高集成化，高自动化的充电桩检测系统。

技术实现思路

[0007]为解决现有技术存在的技术问题，本专利技术提供了基于计算机视觉的汽车充电桩界面检测智能交互系统，来测试出厂前充电桩的人机交互功能。
[0008]本系统分为界面感知模块、机械臂控制模块和云平台管理系统，其中，界面感知模块可以实现界面实时定位，界面文字检测，界面位置矫正，界面分类，关键信息提取和识别六个功能。界面感知模块可以提取各个文字按钮的位置信息，实时传送给机械臂控制模块，控制其去触碰对应按钮完成界面切换，同时，将提取到的关键信息送往云平台进行监测和分析。
[0009]针对于界面感知模块的文字检测部分，本系统采用了一种新型多任务结构，并用快速模板匹配算法实现界面分类以及关键信息提取，在文字识别部分，采用了一种并行的多模型识别网络结构，与人工检测相比，本系统极大地提高了充电桩检测过程的效率，减少了成本消耗和防止安全隐患发生。
[0010]为实现上述目的，本专利技术所采用的技术方案为：基于计算机视觉的汽车充电桩界面检测智能交互系统，通过并行多模型识别网络完成文字识别，经mqtt协议推送订阅指令，匹配关键信息，实现ROS静态坐标转换，控制机械臂点击屏幕操作，具体步骤如下：
一、基于现有充电桩屏幕界面样本，使用卷积神经网络训练多任务网络；二、基于现有充电桩屏幕文本行样本，使用卷积神经网络训练并行多模型文字识别网络；三、双目相机拍摄充电桩屏幕界面实时画面，并对其进行三维重建得到深度信息，之后使用步骤一得到的多任务网络进行文字检测与界面定位，得到充电桩屏幕文本行信息与界面类别信息，送往步骤二得到的并行多模型文字识别网络识别，提取关键信息，同时记录文本行中心点坐标；四、服务器经mqtt协议，发送json类型的指令文件，本地接收并将文本识别结果与指令内容进行匹配，得知此时需要点击的内容；五、步骤四获知点击内容，寻找步骤三所对应的文本行中心点坐标，并从双目相机的深度图中进行深度采样，获得中心点的三维坐标；六、借助ROS（Robot Operating System）平台，进行静态坐标转换，完成相机坐标系下中心点坐标到机械臂坐标系下坐标的转换；七、对步骤六得到的坐标，分成工厂流水线式和便携式两种机械臂控制模块，工厂流水线式机械臂控制模块采用六自由度机械臂，便携式机械臂控制模块采用可移动的三轴小型机械臂，待机械臂控制模块完成屏幕点击操作时，通知服务器操作完成。
[0011]在步骤一中，多任务网络根据现有的充电桩屏幕界面进行裁切，对裁切后的样本进行数据增强，对增强后的图像调整大小至600*600像素，送入多任务网络中进行训练。
[0012]网络既能对单个文字的小区域进行分割，又能对整体的界面和背景进行分割。网络的输出包括图像语义分割图、字符中心预测图和字符连接关系预测图；多任务网络可以过滤掉复杂背景，得到图像上的界面位置以及界面上的文本行位置。
[0013]在步骤二中，并行多模型文字识别网络根据现有的充电桩屏幕文本序列进行数据增强，而后缩放或填充至32*280像素，送入并行多模型文字识别网络中进行训练。
[0014]根据文本序列的长度、字体、大小和所在位置，将文本行分为不同属性，每种属性采用不同的模型，每一种模型的基本结构为CRNN结构，CNN模型采用DenseNet（Dense Convolutional Network）来提取文字序列图像特征，RNN模型采用Bi
‑
LSTM将特征矢量进行融合，最后用CTC算法进行文字序列的译码和预测。
[0015]在步骤四中，本专利技术使用mqtt协议完成json指令的上传下达，实现服务器与本地端的通讯。
[0016]mqtt最核心的传输协议为Subcribe（定阅）和Publish（推送），简单来说就是客户端口Subcribe一个topic（主题）后，其它的客户端向服务器往这个topic推送Payload（有效数据），服务器就会把Payload转发给定阅这个topic的客户端。在此处，本地端要先订阅一个topic上的有效数据，获知服务器指令，在机械臂模块完成点击操作之后，要向另一个topic上推送操作完成的有效数据。同样的，服务器作为客户端，首先是在一个topic上推送json指令的字节流，而后是订阅另一个topic上完成指令的情况。
[0017]在步骤五中，利用深度感知将图像上的像素点的二维坐标转换为三维相机坐标。
[0018]二维像素坐标到三维相机坐标的变换，可由双目相机ZED采集的深度图得到，即深度图不同的通道分别表示该像素点的信息。但考虑到用单个像素点获取三维坐标信息存在误差的情况，本专利技术采用以该像素点为中心点的7*7的正方形像素阵进行深度采样，
经平滑滤波，取平均值作为该点对应的三维相机坐标。
[0019]在步骤六中，借助ROS平台进行静态坐标转换，实现相机坐标系坐标到机械臂坐标系坐标的转换。
[0020]发布方发布相机坐标系和机械臂坐标系的相对关系，包括偏移量和四元数。订阅方订阅到发布的坐标系相对关系，再传入由步骤五得到的坐标点信息，借助Transform(实现坐标变换，并将结果输出，作为机械臂要运动到的位置。
[0021]在步骤七中，针对不同的落地场景，可分成工厂流水线式和便携式两种机械臂控制模块。工厂流水线式机械臂控制模块采用六自由度机械臂，借助ROS平台中的MoveIt工具，进行机械臂建模(URDF)、碰撞检测配置、运动规划关节组配置、初始化位置配置和路径规划；便携式机械臂控制模块采用可移动的三轴小型机械臂，转换成G代码格式，使用串口发送给机械臂完成点击屏幕操作，待本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，具体步骤如下：一、通过双目相机拍摄充电桩屏幕界面获得实时画面，并对实时画面进行三维重建得到深度信息；二、基于实时画面的现有充电桩屏幕界面样本，使用卷积神经网络训练多任务网络，多任务网络对现有充电桩屏幕界面样本进行文字检测与界面定位，得到充电桩屏幕界面类别信息与文本行信息；三、使用卷积神经网络训练并行多模型文字识别网络，将步骤二中得到的充电桩屏幕界面类别信息与文本行信息送入并行多模型文字识别网络中，提取关键信息并记录文本行中心点坐标；四、本地接收步骤三中的文本识别结果，并将文本识别结果与服务器发送的指令内容进行匹配，得到此时需要点击的内容；五、通过步骤四获知的点击内容寻找步骤三中所对应的文本行中心点坐标，并从双目相机的深度图中进行深度采样，获得中心点的三维坐标；六、借助ROS平台进行静态坐标转换，完成相机坐标系下中心点坐标到机械臂坐标系下坐标的转换；七、机械臂根据步骤六中的坐标完成充电桩屏幕的点击操作，并通知服务器操作完成。2.根据权利要求1所述的基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，所述服务器经mqtt协议发送json类型的指令文件。3.根据权利要求2所述的基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，所述机械臂的控制分为工厂流水线式控制模块与便携式机械臂控制模块，工厂流水线式控制模块采用六自由度机械臂完成操作，便携式机械臂控制模块采用可移动的三轴小型机械臂完成操作。4.根据权利要求3所述的基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，在步骤二中，对现有的充电桩屏幕界面进行裁切，对裁切后的样本进行数据增强，并将增强后的图像大小调整至600*600像素，调整后的图像送入多任务网络中进行训练。5.根据权利要求4所述的基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，并行多模型文字识别网络根据现有的充电桩屏幕文本序列进行数据增强，而后缩放或填充至32*280像素，调整后的充电桩屏幕...

【专利技术属性】
技术研发人员：袁雪，张宇，向彦彦，管利聪，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：