基于视觉的智能座舱异形屏自动化测试系统及方法技术方案

本发明专利技术涉及一种基于视觉的智能座舱异形屏自动化测试系统及方法；系统包括图像采集单元、传输单元、服务器、机械臂执行单元；图像采集单元适配于异形屏，能够自动矫正异形屏坐标信息；传输单元接收图像采集单元发送的数据，并将数据发送给服务器进行存储、算法加载、展示，由机械臂执行单元接收，进行机械臂的控制；测试方法包括检测异形屏后进行设备初始化；用户设置异形屏测试流程；导入测试用例开始执行异形屏自动化检测；图像采集单元进行图形采集，机器人执行，服务器记录测试数据；本发明专利技术自动化程度高、成本少、性能稳定；解决了现有技术存在的异形屏无法正常检测及检测方式比较单一、无法满足多样化产品的测试需求问题。无法满足多样化产品的测试需求问题。无法满足多样化产品的测试需求问题。

【技术实现步骤摘要】
基于视觉的智能座舱异形屏自动化测试系统及方法


[0001]本专利技术属于自动检测
，涉及一种基于视觉的智能座舱异形屏自动化测试系统及方法。

技术介绍

[0002]随着汽车产业不断发展，用户对于汽车座舱的工艺，智能程度，功能性要求越来越高，而现有的检测方式比较单一，无法满足多样化产品的测试需求。
[0003]常规检测方式通过人工或结合2D视觉进行检测，检测速度慢，检测智能程度不高，并且对于异形屏无法正常检测。
[0004]专利文献CN114791429A提供一种多工位机器视觉汽车零部件智能检测系统，涉及汽车零部件视觉检测
该多工位机器视觉汽车零部件智能检测系统，包括主传送带，所述主传送带的一侧设置有一号环形传送带，所述主传送带的另一侧设置有二号环形传送带，所述一号环形传送带的外侧设置有一号视觉检测机构，所述二号环形传送带的外侧设置有二号视觉检测机构，所述主传送带的外侧设置有三号视觉检测机构；所述一号环形传送带与二号环形传送带的外侧均设置有人工工位。本专利技术，对机器视觉检测的生产线进行整合，使其检测线路缩短，整个检测生产线无需很多人工干预，且只需完成两次检测就可以得到完整的检测结果，检测之后可以自动对零部件进行划区分拣。
[0005]上述专利是汽车零部件智能检测系统，检测机构、原理和对象与本申请不同。
[0006]专利文献CN114235453A涉及一种智能座舱产品自动检测系统，包括上位机、工控板卡、高边输入检测电路、低边输入检测电路、电压值模拟电路，工控板卡与上位机连接，上位机与待测智能座舱产品通过总线连接，工控板卡与高边输入检测电路、低边输入检测电路、电压值模拟电路连接，用于控制高边输入检测电路将高电平输出到待测智能座舱产品的对应引脚，以及控制低边输入检测电路将低电平输出到待测智能座舱产品的对应引脚，以及控制将受控模拟电平接入待测智能座舱产品的对应引脚，待测智能座舱产品用于自检是否测试到该高电平信号或低电平信号或模拟电平信号，并将检测结果传输给上位机。本专利技术解决了智能座舱自动化检测问题，提高检测效率，减少检测人员的劳动强度。
[0007]上述专利是一种利用检测电路输出高低电平来对智能座舱产品检测，与本申请相关度低。

技术实现思路

[0008]本专利技术所要解决的技术问题是克服了现有技术存在的异形屏无法正常检测及检测方式比较单一、无法满足多样化产品的测试需求问题，提供了一种基于视觉的智能座舱异形屏自动化测试系统及方法。
[0009]需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖
非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0010]为解决上述技术问题，本专利技术是采用如下技术方案实现的：
[0011]一种基于视觉的智能座舱异形屏自动化测试系统，包括图像采集单元、传输单元、服务器、机械臂执行单元；
[0012]所述图像采集单元适配于异形屏，能够自动矫正异形屏坐标信息；
[0013]所述传输单元接收图像采集单元发送的数据，并将数据发送给服务器进行存储、算法加载、展示，再由所述机械臂执行单元接收，进行机械臂的控制。
[0014]进一步地，异形屏功能测试包括屏幕切换逻辑、HMI图像显示测试；
[0015]异形屏性能测试包括流畅度、响应时间测试。
[0016]进一步地，所述图像采集单元采用三维视觉传感器；所述服务器内设置异形智能屏识别算法，获取三维空间坐标信息，结合多样化图像检测算法、机器人控制算法，针对多尺寸异形屏进行准确识别。
[0017]进一步地，异形智能屏识别算法:基于3D视觉传感器拍摄异形屏产品，获取到异形屏三维点云数据，输出被测异形屏尺寸规格；
[0018]多样化图像检测算法：基于2D视觉传感器拍摄异形屏产品，获取到异形屏中二维图像信息，实现字符、图标、时延检测功能；
[0019]机器人控制算法：基于多自由度协作机器人TCP或IP通讯协议，封装控制接口，实现点击、双击、滑动机器人动作；
[0020]一种基于视觉的智能座舱异形屏自动化测试方法，包括以下步骤：
[0021]启动系统；
[0022]检测异形屏后进行设备初始化：3D相机标定，2D视觉标定，机器人手眼标定，完成初始化；
[0023]用户设置本次异形屏测试流程；
[0024]导入测试用例开始执行异形屏自动化检测；
[0025]图像采集单元进行图形采集，机器人执行，服务器记录测试数据；
[0026]完成测试用例执行，输出检测结果。
[0027]进一步地，所述图像采集单元根据用户使用场景进行定制，终端通过3D、2D视觉传感器采集异形屏的三维空间下的坐标信息、异形屏中的图标位置、文字OCR皆通过图像框选进行配置。
[0028]进一步地，所述图像采集单元采集异形智能屏的三维数据信息，通过该信息来识别物件型号，结合机器人输出相应空间坐标位置信息，通过TCP或IP传输数字命令，完成相应测试功能；图像识别、机械臂控制算法由服务器端配置。
[0029]进一步地，用户根据异形屏测试需求，通过服务器端组合测试用例程序，并通过机械臂执行单元、图像采集单元实现测试用例验证，系统根据执行测试用例，反馈实际结果比对编写测试用例，输出检测报告。
[0030]进一步地，所述图像采集单元对终端采集数据进行配置，配置数据包含景深、视野、曝光、DLP、图标、字符、指针、帧率数据信息，图像采集单元将采集的数据通过无线网络
传输到服务器存储。
[0031]进一步地，所述服务器端提供一个配置3D、2D传感器、机器人模块页面用来初始化硬件链接状态，实现图像采集单元与机械臂执行单元的通信链接、初始化、标定、三维空间关系映射。
[0032]与现有技术相比本专利技术的有益效果是：
[0033]本专利技术通过加入三维视觉传感器，结合异形智能屏识别算法，获取三维空间坐标信息，结合多样化图像检测算法、机器人控制算法，针对多尺寸异形屏实现了准确识别。
[0034]本专利技术自动化程度高、成本少、性能稳定。
附图说明
[0035]下面结合附图对本专利技术作进一步的说明：
[0036]图1为基于视觉的智能座舱异形屏自动化测试系统机器人控制算法示意图；
[0037]图2为本专利技术所述一种基于视觉的智能座舱异形屏自动化测试系统原理框图；
[0038]图3为3D视觉传感器配置示意图；
[0039]图4为机械臂配置示意图；
[0040]图5为本专利技术所述一种基于视觉的智能座舱异形屏自动化测试方法流程图。
具体实施方式
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的智能座舱异形屏自动化测试系统，其特征在于，包括图像采集单元、传输单元、服务器、机械臂执行单元；所述图像采集单元适配于异形屏，能够自动矫正异形屏坐标信息；所述传输单元接收图像采集单元发送的数据，并将数据发送给服务器进行存储、算法加载、展示，再由所述机械臂执行单元接收，进行机械臂的控制。2.根据权利要求1所述的一种基于视觉的智能座舱异形屏自动化测试系统，其特征在于：异形屏功能测试包括屏幕切换逻辑、HMI图像显示测试；异形屏性能测试包括流畅度、响应时间测试。3.根据权利要求1所述的一种基于视觉的智能座舱异形屏自动化测试系统，其特征在于：所述图像采集单元采用三维视觉传感器；所述服务器内设置异形智能屏识别算法，获取三维空间坐标信息，结合多样化图像检测算法、机器人控制算法，针对多尺寸异形屏进行准确识别。4.根据权利要求3所述的一种基于视觉的智能座舱异形屏自动化测试系统，其特征在于：异形智能屏识别算法:基于3D视觉传感器拍摄异形屏产品，获取到异形屏三维点云数据，输出被测异形屏尺寸规格；多样化图像检测算法：基于2D视觉传感器拍摄异形屏产品，获取到异形屏中二维图像信息，实现字符、图标、时延检测功能；机器人控制算法：基于多自由度协作机器人TCP或IP通讯协议，封装控制接口，实现点击、双击、滑动机器人动作。5.一种基于视觉的智能座舱异形屏自动化测试方法，其特征在于，包括以下步骤：启动系统；检测异形屏后进行设备初始化：3D相机标定，2D视觉标定，机器人手眼标定，完成初始化；用户设置本次异形屏测试流程；导入测试用例开始执行异形屏自动化检测；图像采集...

【专利技术属性】
技术研发人员：姜明远，吉岩，刘星，朱海龙，陈越，邵凌宇，衣鹏，张乃文，陈仁奎，李岩，
申请(专利权)人：中国第一汽车股份有限公司，
类型：发明
国别省市：