作业辅助方法和系统、可穿戴设备及工程车辆技术方案

本公开提供了一种作业辅助方法和系统、可穿戴设备及工程车辆，涉及工程车辆技术领域，所述作业辅助方法包括：可穿戴设备与工程车辆操作室内的终端设备建立通信连接；所述可穿戴设备将作业现场的实时视频画面共享给所述终端设备；响应于作业现场指挥人员的操作，所述可穿戴设备确定指挥图像和作业目标的标记图像中的至少一个；所述可穿戴设备将所述指挥图像和所述标记图像中的至少一个融合到作业现场的实时视频画面中，以辅助操作人员作业。

Work-assisted methods and systems, wearable equipment and engineering vehicles

【技术实现步骤摘要】
作业辅助方法和系统、可穿戴设备及工程车辆
本公开涉及工程车辆
，尤其是一种作业辅助方法和系统、可穿戴设备及工程车辆。
技术介绍
伴随着基础经济、民生工程的大力发展，诸如起重机的工程车辆在工程建设、轨道交通和抢险救援等领域发挥着重要作用。起重机吊装作业属于危险作业的一种。为了防止事故的发生，需要人与人、人与起重机达到协调统一。作业任务的完成需要指挥人员、司索工及操作人员的密切配合和相互协作，各工种人员的配合程度直接影响吊装作业的效率及安全性。传统的人员配合方式主要通过视频监控、音频对讲、手势引导来进行。
技术实现思路
专利技术人注意到，受建设成本和空间的限制，摄像头只能部署在局部重点区域，故视频监控只能覆盖重点区域，无法覆盖整体的作业环境。因此，操作人员在操纵室内无法清晰地看到被吊物及周围环境。音频对讲系统虽然可以随身携带，但使用时影响指挥人员进行肢体指挥动作，也会影响操作人员的操作。另外，操作人员距离指挥人员较远时，较难清晰看到指挥人员的指挥手势，从而影响对被吊物的精确判断及操作决策。故，采用传统的人员配合方式，作业效率低下。为了解决上述问题，本公开实施例提出了如下解决方案。根据本公开实施例的一方面，提供一种作业辅助方法，包括：可穿戴设备与工程车辆操作室内的终端设备建立通信连接；所述可穿戴设备将作业现场的实时视频画面共享给所述终端设备；响应于作业现场指挥人员的操作，所述可穿戴设备确定指挥图像和作业目标的标记图像中的至少一个；所述可穿戴设备将所述指挥图像和所述标记图像中的至少一个融合到作业现场的实时视频画面中，以辅助操作人员作业。在一些实施例中，所述响应于作业现场指挥人员的操作，所述可穿戴设备确定指挥图像和作业目标的标记图像中的至少一个包括：响应于指挥人员开启指挥功能的第一操作，所述可穿戴设备根据指挥人员的指挥操作信息确定所述指挥图像；响应于指挥人员开启标记功能的第二操作，所述可穿戴设备根据指挥人员标记作业目标的手势动作确定所述标记图像。在一些实施例中，所述指挥操作信息包括指挥语音和指挥手势中的至少一种。在一些实施例中，所述可穿戴设备根据指挥人员的指挥操作信息确定所述指挥图像包括：所述可穿戴设备识别所述指挥语音，以得到关键词；根据所述关键词匹配出对应的指挥指令；根据匹配出的指挥指令从指挥图像库中匹配出所述指挥图像。在一些实施例中，所述根据匹配出的指挥指令从指挥图像库中匹配出所述指挥图像包括：所述可穿戴设备根据匹配出的指挥指令从指挥图像库中匹配出第一指挥图像；所述可穿戴设备根据所述指挥手势从指挥图像库中匹配出第二指挥图像；所述可穿戴设备判断所述第一指挥图像与所述第二指挥图像是否相同；在所述第一指挥图像与所述第二指挥图像相同的情况下，以所述第一指挥图像或所述第二指挥图像作为所述指挥图像。在一些实施例中，所述可穿戴设备根据指挥人员标记作业目标的手势动作确定所述标记图像包括：判断指挥人员的手势是否为指定手势；若指挥人员的手势为指定手势，判断指挥人员的手势动作是否为指定动作；若指挥人员的手势动作为指定动作，则在指尖的位置处以增强现实的方式生成所述标记图像。根据本公开实施例的另一方面，提供一种可穿戴设备，包括：通信模块，用于与工程车辆操作室内的终端设备建立通信连接；共享模块，用于将作业现场的实时视频画面共享给所述终端设备；确定模块，用于响应于作业现场指挥人员的操作，所述可穿戴设备确定指挥图像和作业目标的标记图像中的至少一个；融合模块，用于将所述指挥图像和所述标记图像中的至少一个融合到作业现场的实时视频画面中。在一些实施例中，所述确定模块用于：响应于指挥人员开启指挥功能的第一操作，所述可穿戴设备根据指挥人员的指挥操作信息确定所述指挥图像；响应于指挥人员开启标记功能的第二操作，所述可穿戴设备根据指挥人员标记作业目标的手势动作确定所述标记图像。在一些实施例中，所述指挥操作信息包括指挥语音和指挥手势中的至少一种。在一些实施例中，所述确定模块用于：识别所述指挥语音，以得到关键词；根据所述关键词匹配出对应的指挥指令；根据匹配出的指挥指令从指挥图像库中匹配出所述指挥图像。在一些实施例中，所述确定模块用于：根据匹配出的指挥指令从指挥图像库中匹配出第一指挥图像；根据所述指挥手势从指挥图像库中匹配出第二指挥图像；所述可穿戴设备判断所述第一指挥图像与所述第二指挥图像是否相同；在所述第一指挥图像与所述第二指挥图像相同的情况下，以所述第一指挥图像或所述第二指挥图像作为所述指挥图像。在一些实施例中，所述确定模块用于：判断指挥人员的手势是否为指定手势；若指挥人员的手势为指定手势，判断指挥人员的手势动作是否为指定动作；若指挥人员的手势动作为指定动作，则在指尖的位置处以增强现实的方式生成所述标记图像。根据本公开实施例的又一方面，提供一种可穿戴设备，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行上述任意一个实施例所述的方法。根据本公开实施例的又一方面，提供一种作业辅助系统，包括：上述任意一个实施例所述的可穿戴设备；和终端设备，用于与所述可穿戴设备建立通信连接；接收所述可穿戴设备共享的作业现场的实时视频画面并显示。根据本公开实施例的再一方面，提供一种工程车辆，包括：上述任意一个实施例所述的作业辅助系统。在一些实施例中，所述工程车辆包括起重机。根据本公开实施例的还一方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述任意一个实施例所述的方法。本公开实施例中，可穿戴设备将作业目标的标记图像和指挥图像中的至少一个融合到作业现场的实时视频画面中，从而可以辅助操作人员更好地进行操作决策，提高了作业的准确性和作业效率。另外，相对于在固定位置部署摄像头的方式，可穿戴设备更为便携，且操作简单，大大提高了作业的便携性。下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。附图说明为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本公开一些实施例的作业辅助方法的流程示意图；图2是根据本公开一些实施例的画面共享的效果示意图；图3是根据本公开一些实施例的可穿戴设备的结构示意图；图4是根据本公开另一些实施例的可穿戴设备的结构示意图；图5是根据本公开一些实施例的作业辅助系统的结构示意图。具体实施方式下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。本文档来自技高网...

【技术保护点】
1.一种作业辅助方法，包括：可穿戴设备与工程车辆操作室内的终端设备建立通信连接；所述可穿戴设备将作业现场的实时视频画面共享给所述终端设备；响应于作业现场指挥人员的操作，所述可穿戴设备确定指挥图像和作业目标的标记图像中的至少一个；所述可穿戴设备将所述指挥图像和所述标记图像中的至少一个融合到作业现场的实时视频画面中，以辅助操作人员作业。

【技术特征摘要】
1.一种作业辅助方法，包括：可穿戴设备与工程车辆操作室内的终端设备建立通信连接；所述可穿戴设备将作业现场的实时视频画面共享给所述终端设备；响应于作业现场指挥人员的操作，所述可穿戴设备确定指挥图像和作业目标的标记图像中的至少一个；所述可穿戴设备将所述指挥图像和所述标记图像中的至少一个融合到作业现场的实时视频画面中，以辅助操作人员作业。2.根据权利要求1所述的作业辅助方法，其中，所述响应于作业现场指挥人员的操作，所述可穿戴设备确定指挥图像和作业目标的标记图像中的至少一个包括：响应于指挥人员开启指挥功能的第一操作，所述可穿戴设备根据指挥人员的指挥操作信息确定所述指挥图像；响应于指挥人员开启标记功能的第二操作，所述可穿戴设备根据指挥人员标记作业目标的手势动作确定所述标记图像。3.根据权利要求2所述的作业辅助方法，其中，所述指挥操作信息包括指挥语音和指挥手势中的至少一种。4.根据权利要求3所述的作业辅助方法，其中，所述可穿戴设备根据指挥人员的指挥操作信息确定所述指挥图像包括：所述可穿戴设备识别所述指挥语音，以得到关键词；根据所述关键词匹配出对应的指挥指令；根据匹配出的指挥指令从指挥图像库中匹配出所述指挥图像。5.根据权利要求4所述的作业辅助方法，其中，所述根据匹配出的指挥指令从指挥图像库中匹配出所述指挥图像包括：所述可穿戴设备根据匹配出的指挥指令从指挥图像库中匹配出第一指挥图像；所述可穿戴设备根据所述指挥手势从指挥图像库中匹配出第二指挥图像；所述可穿戴设备判断所述第一指挥图像与所述第二指挥图像是否相同；在所述第一指挥图像与所述第二指挥图像相同的情况下，以所述第一指挥图像或所述第二指挥图像作为所述指挥图像。6.根据权利要求2所述的作业辅助方法，其中，所述可穿戴设备根据指挥人员标记作业目标的手势动作确定所述标记图像包括：判断指挥人员的手势是否为指定手势；若指挥人员的手势为指定手势，判断指挥人员的手势动作是否为指定动作；若指挥人员的手势动作为指定动作，则在指尖的位置处以增强现实的方式生成所述标记图像。7.一种可穿戴设备，包括：通信模块，用于与工程车辆操作室内的终端设备建立通信连接；共享模块，用于将作业现场的实时视频画面共享给所述终端设备；确定模块，...

【专利技术属性】
技术研发人员：张程，叶平，柴君飞，张连第，杨艳，李权，
申请(专利权)人：徐州重型机械有限公司，
类型：发明
国别省市：江苏,32