【技术实现步骤摘要】
本专利技术涉及轨道交通辅助装配，尤其涉及一种基于多模态交互的线缆线号识别方法及系统。
技术介绍
1、在当前的工业产品制造过程中，人工装配仍然占据主要地位。工人需要根据详细的图纸和严格的编号进行装配操作，以确保产品的准确性和质量，例如，在汽车或飞机的制造过程中，存在大量的线缆铺设工作，这需要工人进行仔细的甄别和操作。
2、然而，不同线槽处的线缆需要确保准确铺设，但长时间从事这类线缆铺设工作，可能会导致工人出现错误匹配和操作失误的情况，同时对于工人的技能和知识要求也较高。
3、因此，现在亟需一种基于多模态交互的线缆线号识别方法及系统来解决上述问题。
技术实现思路
1、针对现有技术存在的问题，本专利技术提供一种基于多模态交互的线缆线号识别方法及系统。
2、本专利技术提供一种基于多模态交互的线缆线号识别方法，包括：
3、构建真实线缆布放场景对应的虚拟场景模型；
4、基于增强现实设备，对所述真实线缆布放场景中的目标线缆进行识别，获取所述目标线缆在所述虚拟场景模型中对应的线号虚拟显示信息；
5、接收第一输入，所述第一输入包括基于所述增强现实设备，对所述线号虚拟显示信息进行多模态交互控制的操作；
6、响应于所述第一输入，在所述虚拟场景模型中，对所述线号虚拟显示信息执行对应的多模态交互控制，并基于所述增强显示设备，在所述虚拟场景模型中显示多模态交互控制后的线号虚拟显示信息。
7、根据本专利技术提供的一种
8、获取所述真实线缆布放场景中各个线缆的线缆布放信息，其中，所述线缆布放信息包括铺设线槽路径信息和端口信息；
9、基于unity技术，根据所述真实线缆布放场景中各个线缆的所述铺设线槽路径信息和所述端口信息，构建所述真实线缆布放场景中各个线缆线槽对应的虚拟线槽，得到所述虚拟场景模型；
10、在所述构建真实线缆布放场景对应的虚拟场景模型之后，所述方法还包括：
11、通过图像采集设备，获取各个线缆表面的编号信息；
12、根据所述编号信息与所述线缆布放信息之间的映射关系，构建线缆装配信息数据库。
13、根据本专利技术提供的一种基于多模态交互的线缆线号识别方法，所述方法还包括：
14、在所述真实线缆布放场景和所述虚拟场景模型中分别设置对应的标识物体；
15、在所述基于增强现实设备，对所述真实线缆布放场景中的目标线缆进行识别，获取所述目标线缆在所述虚拟场景模型中对应的线号虚拟显示信息之前，所述方法还包括：
16、基于所述标识物体，根据预设对齐条件，将所述真实线缆布放场景与所述虚拟场景模型进行对齐处理。
17、根据本专利技术提供的一种基于多模态交互的线缆线号识别方法，所述基于增强现实设备，对所述真实线缆布放场景中的目标线缆进行识别，获取所述目标线缆在所述虚拟场景模型中对应的线号虚拟显示信息，包括：
18、获取由所述增强现实设备对所述真实线缆布放场景中的目标线缆的表面进行识别后得到的目标编号信息；
19、将所述目标编号信息与所述线缆装配信息数据库中的所述线缆布放信息进行匹配，获取所述目标线缆对应的目标线缆布放信息；
20、根据所述目标线缆布放信息，在所述虚拟场景模型中确定对应的目标虚拟线槽，并根据所述目标虚拟线槽在所述虚拟场景模型中的预设显示状态和所述目标线缆布放信息，在所述增强现实设备上生成对应的显示界面，获取所述目标线缆对应的所述目标线缆布放信息。
21、根据本专利技术提供的一种基于多模态交互的线缆线号识别方法，所述对所述线号虚拟显示信息执行对应的多模态交互控制，包括：
22、在确定所述多模态交互控制为语音控制时，根据所述目标线缆布放信息，生成对应的线缆线号播报语音信息，并根据接收到的语音控制信息，对所述目标线缆布放信息进行修改，得到修改后的目标线缆布放信息。
23、根据本专利技术提供的一种基于多模态交互的线缆线号识别方法，所述对所述线号虚拟显示信息执行对应的多模态交互控制，还包括：
24、接收第二输入，所述第二输入包括基于所述增强现实设备，采集用户手势动作后生成的手势控制指令；
25、响应于所述第二输入，根据所述手势控制指令，对所述显示界面中的显示内容进行对应的调整，得到调整后的显示界面。
26、根据本专利技术提供的一种基于多模态交互的线缆线号识别方法，所述对所述线号虚拟显示信息执行对应的多模态交互控制，还包括：
27、接收第三输入，所述第三输入包括基于所述增强显示设备，对用户眼球运动进行追踪后生成的眼球控制指令；
28、响应于所述第三输入，根据所述眼球控制指令，确定所述显示界面中的目标虚拟物体，或在所述虚拟场景模型中激活对应线缆的线缆布放信息。
29、本专利技术还提供一种基于多模态交互的线缆线号识别系统，包括：
30、虚拟模型构建模块，用于构建真实线缆布放场景对应的虚拟场景模型；
31、线号识别模块，用于基于增强现实设备，对所述真实线缆布放场景中的目标线缆进行识别，获取所述目标线缆在所述虚拟场景模型中对应的线号虚拟显示信息；
32、第一处理模块，用于接收第一输入，所述第一输入包括基于所述增强现实设备，对所述线号虚拟显示信息进行多模态交互控制的操作；
33、多模态交互模块，用于响应于所述第一输入，在所述虚拟场景模型中，对所述线号虚拟显示信息执行对应的多模态交互控制，并基于所述增强显示设备，在所述虚拟场景模型中显示多模态交互控制后的线号虚拟显示信息。
34、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于多模态交互的线缆线号识别方法。
35、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于多模态交互的线缆线号识别方法。
36、本专利技术提供的基于多模态交互的线缆线号识别方法及系统，通过构建真实线缆布放场景对应的虚拟场景模型，利用增强现实设备，对真实线缆布放场景中的目标线缆进行识别，以获取目标线缆在虚拟场景模型中对应的线号虚拟显示信息，进而基于增强现实设备，对线号虚拟显示信息进行多模态交互控制，从而在虚拟场景模型中显示多模态交互控制后的线号虚拟显示信息，使得线缆线号更为直观地显示给用户，提高了线缆线号识别准确性和线缆布放效率。
本文档来自技高网...【技术保护点】
1.一种基于多模态交互的线缆线号识别方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态交互的线缆线号识别方法，其特征在于，所述构建真实线缆布放场景对应的虚拟场景模型，包括：
3.根据权利要求2所述的基于多模态交互的线缆线号识别方法，其特征在于，所述方法还包括：
4.根据权利要求2所述的基于多模态交互的线缆线号识别方法，其特征在于，所述基于增强现实设备，对所述真实线缆布放场景中的目标线缆进行识别，获取所述目标线缆在所述虚拟场景模型中对应的线号虚拟显示信息，包括：
5.根据权利要求4所述的基于多模态交互的线缆线号识别方法，其特征在于，所述对所述线号虚拟显示信息执行对应的多模态交互控制，包括：
6.根据权利要求4所述的基于多模态交互的线缆线号识别方法，其特征在于，所述对所述线号虚拟显示信息执行对应的多模态交互控制，还包括：
7.根据权利要求4所述的基于多模态交互的线缆线号识别方法，其特征在于，所述对所述线号虚拟显示信息执行对应的多模态交互控制，还包括：
8.一种基于多模态交互的线缆线号识别系统
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于多模态交互的线缆线号识别方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于多模态交互的线缆线号识别方法。
...【技术特征摘要】
1.一种基于多模态交互的线缆线号识别方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态交互的线缆线号识别方法，其特征在于，所述构建真实线缆布放场景对应的虚拟场景模型，包括：
3.根据权利要求2所述的基于多模态交互的线缆线号识别方法，其特征在于，所述方法还包括：
4.根据权利要求2所述的基于多模态交互的线缆线号识别方法，其特征在于，所述基于增强现实设备，对所述真实线缆布放场景中的目标线缆进行识别，获取所述目标线缆在所述虚拟场景模型中对应的线号虚拟显示信息，包括：
5.根据权利要求4所述的基于多模态交互的线缆线号识别方法，其特征在于，所述对所述线号虚拟显示信息执行对应的多模态交互控制，包括：
6.根据权利要求4所述的基于多模态交...
【专利技术属性】
技术研发人员：毕佳鹏，胡浩，李明高，田寅，龚明，
申请(专利权)人：中车工业研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。