【技术实现步骤摘要】
本专利技术涉及机器人交互，尤其是工业视觉机器人交互方法及系统。
技术介绍
1、在工业领域，工业视觉机器人已经广泛应用于汽车制造、电子设备、食品包装、医药生产等行业。例如，在汽车制造中，工业视觉机器人可以用于零部件的检测和装配；在电子设备生产中，它可以进行电路板的检测和焊点的质量控制；在食品包装中，它可以检测食品的外观和包装质量。
2、现有的视觉机器人系统在面对非结构化场景时，往往表现出适应性不足的问题，它们通常只能按照预先设定的导航路径和任务进行操作，缺乏对环境变化的实时感知和应对能力，这意味着在复杂或动态的工业环境中，机器人可能无法有效地应对意外情况，从而影响作业的安全性和效率。
技术实现思路
1、本专利技术的目的在于提供工业视觉机器人交互方法，以解决上述
技术介绍
中提出的技术问题。
2、为实现上述目的，本专利技术提供如下技术方案：
3、工业视觉机器人交互方法，包括：
4、获取场景视频信息、场景点云数据和自然语言指令信息；
5、根据所述场景视频信息获取多个实时场景图像，对每个实时场景图像提取特征，得到实时场景像素点特征；
6、根据场景云数据图像信息获取多个历史场景图像，对每个历史场景图像提取特征，得到历史场景像素点特征；
7、获取实时场景像素点特征和历史场景像素点特征相区别的场景差异特征点；
8、根据自然语言指令信息获取语音执行信息和目标场景信息，
9、基于场景差异特征点和目
10、根据语音执行信息和三维语义场景信息获取交互信息，基于交互信息进行路径规划和动作执行。
11、优选的，所述根据所述场景视频信息获取多个实时场景图像，对每个实时场景图像提取特征，得到实时场景像素点特征的步骤，包括：
12、根据场景视频信息获取多个场景图像帧；
13、对多个场景图像帧进行循环中逐帧读取，并在循环的每一次迭代中，捕获多个场景帧，将场景帧作为实时场景图像；
14、对实时场景图像依次进行灰度化、降噪、对比度增强预处理，得到增强场景图像；
15、对增强场景图像进行特征提取，得到实时场景像素点特征。
16、优选的，所述根据场景云数据图像信息获取多个历史场景图像，对每个历史场景图像提取特征，得到历史场景像素点特征的步骤，包括：
17、基于场景云数据获取场景云数据图像信息；
18、根据场景云数据图像信息进行消除噪声、调整大小、进行颜色空间转换预处理，获取多个历史场景图像；
19、对每个历史场景图像进行像素特征提取，得到场景像素点特征；
20、对场景像素点特征进行归一化，得到历史场景像素点特征。
21、优选的，所述获取实时场景像素点特征和历史场景像素点特征相区别的场景差异特征点的步骤，包括：
22、根据实时场景像素点特征获取第一场景像素特征向量；
23、根据历史场景像素点特征获取第二场景像素特征向量；
24、根据第一场景像素特征向量和第二场景像素特征向量通过余弦相似度计算，得到特征点匹配向量值；
25、判断特征点匹配向量值是否处于预设区间；
26、若处于，判断实时场景像素点特征和历史场景像素点特征相似；
27、若不处于，判断实时场景像素点特征和历史场景像素点特征不相似，将该不相似的实时场景像素点特征座位场景差异特征点。
28、优选的，所述根据自然语言指令信息获取语音执行信息和目标场景信息的步骤，包括：
29、获取自然语言指令信息，并对自然语言指令信息进行文本提取，得到文本语言信息；
30、对文本语言信息进行分词处理，得到多个语义单词；
31、对每个语义单词进行词性标注，得到标注单词；
32、基于预设词汇表获取标注单词相对应的语义实体；
33、获取语义实体的语法结构，并基于语法结构对多个语义实体进行拼接，得到多个拼接语义实体；
34、基于意图识别模型对拼接语义实体进行语义提取，得到语义理解信息和场景语义信息；
35、根据语义理解信息获取语音执行信息；
36、根据场景语义信息获取目标场景信息。
37、优选的，所述基于场景差异特征点和目标场景信息进行三维场景创建，得到三维语义场景信息的步骤，包括：
38、根据场景差异特征点获取差异像素值；
39、获取差异像素值的深度值；
40、根据目标场景信息获取目标体素；
41、获取目标体素值的深度值；
42、根据差异像素与目标体素计算体素空间值，其中空间值计算公式为：
43、sdf(vxyz)＝d(lij)-c(vxyz)；
44、其中，sdf(vxyz)为空间值，d(lij)为差异像素lij的深度值，lij为差异像素，c(vxyz)为目标体素值的深度值，vxyz为目标体素值；
45、根据空间值计算体素的符号距离值，其中计算公式为：
46、
47、其中，tsdf(vxyz)为体素的符号距离值，t为tsdf的阶段距离值；
48、获取目标体素的语义信息；
49、根据语义信息和符号距离值通过求平均值得到每个目标场景信息的空间中心坐标；
50、基于每个目标场景信息空间中心坐标进行三维场景创建，得到三维语义场景信息。
51、优选的，所述根据语音执行信息和三维语义场景信息获取交互信息，基于交互信息进行路径规划和动作执行的步骤，包括：
52、根据语音执行信息获取意图信息和目标信息；
53、根据目标信息获取三维语义场景信息中的目标位置信息；
54、根据意图信息与目标位置信息进行信息相结合，得到交互信息，其中交互信息包括目标位置、期望的动作信息、环境中的障碍物位置；
55、基于交互信息获取当前位置到目标位置的路径信息；
56、基于期望的动作信息生成控制指令信息；
57、根据控制指令信息按照路径信息进行动作执行。
58、本专利技术还提供了工业视觉机器人交互控制系统，包括：
59、第一获取模块，用于获取场景视频信息、场景点云数据和自然语言指令信息；
60、第二获取模块，用于根据所述场景视频信息获取多个实时场景图像，对每个实时场景图像提取特征，得到实时场景像素点特征；
61、第三获取模块，用于根据场景云数据图像信息获取多个历史场景图像，对每个历史场景图像提取特征，得到历史场景像素点特征；
62、第四获取模块，用于获取实时场景像素点特征和历史场景像素点特征相区别的场景差异特征点；
63、第五获取模块，用于根据自然语言指令信息获取语音执行信息和目标场景信息，本文档来自技高网...
【技术保护点】
1.工业视觉机器人交互方法，其特征在于，包括：
2.根据权利要求1所述的工业视觉机器人交互方法，其特征在于，所述根据所述场景视频信息获取多个实时场景图像，对每个实时场景图像提取特征，得到实时场景像素点特征的步骤，包括：
3.根据权利要求1所述的工业视觉机器人交互方法，其特征在于，所述根据场景云数据图像信息获取多个历史场景图像，对每个历史场景图像提取特征，得到历史场景像素点特征的步骤，包括：
4.根据权利要求1所述的工业视觉机器人交互方法，其特征在于，所述获取实时场景像素点特征和历史场景像素点特征相区别的场景差异特征点的步骤，包括：
5.根据权利要求1所述的工业视觉机器人交互方法，其特征在于，所述根据自然语言指令信息获取语音执行信息和目标场景信息的步骤，包括：
6.根据权利要求5所述的工业视觉机器人交互方法，其特征在于，所述基于场景差异特征点和目标场景信息进行三维场景创建，得到三维语义场景信息的步骤，包括：
7.根据权利要求1所述的工业视觉机器人交互方法，其特征在于，所述根据语音执行信息和三维语义场景信息获取交
8.工业视觉机器人交互控制系统，其特征在于，包括：
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述工业视觉机器人交互方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述工业视觉机器人交互方法的步骤。
...【技术特征摘要】
1.工业视觉机器人交互方法，其特征在于，包括：
2.根据权利要求1所述的工业视觉机器人交互方法，其特征在于，所述根据所述场景视频信息获取多个实时场景图像，对每个实时场景图像提取特征，得到实时场景像素点特征的步骤，包括：
3.根据权利要求1所述的工业视觉机器人交互方法，其特征在于，所述根据场景云数据图像信息获取多个历史场景图像，对每个历史场景图像提取特征，得到历史场景像素点特征的步骤，包括：
4.根据权利要求1所述的工业视觉机器人交互方法，其特征在于，所述获取实时场景像素点特征和历史场景像素点特征相区别的场景差异特征点的步骤，包括：
5.根据权利要求1所述的工业视觉机器人交互方法，其特征在于，所述根据自然语言指令信息获取语音执行信息和目标场景信息的步骤，包括：
6....
【专利技术属性】
技术研发人员：项昶斌，曹飞，王挺霄，邹庆量，王华，
申请(专利权)人：浙江银轮智能装备有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。