一种基于机器人操作系统的远程支援方法及设备技术方案

本申请提供了一种基于机器人操作系统的远程支援方法及设备，该方法通过第一采集节点，获取若干第一话题消息，并发布至第一话题；通过第二推流节点的消息订阅请求，订阅第一话题，并确定各第一话题消息相应的若干支援事件图像。基于各支援事件图像，生成推流播放视频，并实时发送推流播放视频至相应的流媒体服务器，以在流媒体服务器接收到用户终端的视频拉流指令或根据预设主动推流指令，建立相应的用户终端至推流播放视频的访问权限。基于用户根据推流播放视频的操作，确定用户终端的远程支援指令，以控制相应的巡防机器人。以控制相应的巡防机器人。以控制相应的巡防机器人。

【技术实现步骤摘要】
一种基于机器人操作系统的远程支援方法及设备


[0001]本申请涉及通信方法
，尤其涉及一种基于机器人操作系统的远程支援方法及设备。

技术介绍

[0002]随着互联网技术的发展，视频直播行业迅速发展，通过直播可以分享、普及知识，使科技、人文等知识普及面更广。直播可以将摄像头实时采集图像，推流至拉流的客户端，实现多客户端播放直播内容的目的。
[0003]目前，人工智能技术的发展和完善，方便了我们生活的各个方面，比如扫地机器人自动扫地，安防机器人监控防暴，以及商场引购机器人。若机器人遇到紧急情况，无法自主做出动作判断时，容易引起事故发生，给人们带来不便。从而影响人们正常的生活工作效率，降低人们的使用体验。

技术实现思路

[0004]本申请实施例提供了一种基于机器人操作系统的远程支援方法及设备，用于辅助控制机器人，提高机器人的应急避险能力。
[0005]一方面，本申请提供了一种基于机器人操作系统的远程支援方法，该方法包括：
[0006]通过第一采集节点，获取若干第一话题消息，并发布至第一话题。通过第二推流节点的消息订阅请求，订阅第一话题，并确定各第一话题消息相应的若干支援事件图像。基于各支援事件图像，生成推流播放视频，并实时发送推流播放视频至相应的流媒体服务器，以在流媒体服务器接收到用户终端的视频拉流指令或根据预设主动推流指令，建立相应的用户终端至推流播放视频的访问权限。基于用户根据推流播放视频的操作，确定用户终端的远程支援指令，以控制相应的巡防机器人。
[0007]在本申请的一种实现方式中，通过第一采集节点，生成图像采集指令。将图像采集指令发送至相应的图像采集设备，并将图像采集设备采集的图像数据，作为第一话题消息，以发布第一话题消息至第一话题。其中，图像采集设备通过吉比特多媒体串行链路GMSL连接机器人操作系统。
[0008]在本申请的一种实现方式中，通过第二推流节点，确定预设话题与第一话题是否匹配。在确定预设话题与第一话题匹配的情况下，订阅第一话题，并将第一话题的各第一话题消息与前一时刻的第一话题消息进行比对。其中，前一时刻的第一话题消息为第二推流节点前一时刻订阅第一话题时，第一话题中的第一话题消息。根据比对结果，确定更新的各第一话题消息的支援事件图像。支援事件图像为RGB图像。
[0009]在本申请的一种实现方式中，通过预设多媒体处理工具，将支援事件图像的转换为YUV图像。基于用户终端的设置参数，确定编码的B帧参数及I帧参数，以通过H.264编码器，对YUV图像进行编码。将编码后的YUV图像进行格式封装，并添加实时消息协议RTMP协议头部至格式封装后的YUV图像，以得到推流播放视频，并实时发送推流播放视频至相应的流
媒体服务器。其中，RTMP协议头部用于表示传输数据所使用的通信协议为RTMP。
[0010]在本申请的一种实现方式中，通过流媒体服务器，将推流播放视频的视频协议转换为网页实时通信WebRTC协议。
[0011]在本申请的一种实现方式中，格式封装后的YUV图像为流媒体格式FLV。
[0012]在本申请的一种实现方式中，流媒体服务器为直播点播服务器SRS。
[0013]在本申请的一种实现方式中，解析远程支援指令。其中，远程支援指令至少包括：移动控制子指令、图像采集子指令、音频播放子指令。基于远程支援指令以及相应的第三执行节点，确定巡防机器人的执行操作，并执行相应的执行操作。执行操作包括：移动、图像采集、播放音频。根据执行操作相应的推流播放视频，确定执行操作的巡防支援图像。将巡防支援图像及推流播放视频发送至相应的流媒体服务器，以根据用户终端的反馈信息，确定巡防支援图像与推流播放视频的匹配度。在匹配度大于预设阈值的情况下，通过第四特征提取节点，获取巡防支援图像的支援图像特征矩阵。其中，第四特征提取节点设置有图像特征提取模型。基于支援图像特征矩阵以及支援事件图像，确定支援事件图像的特征矩阵与支援图像特征矩阵是否匹配。在确定支援事件图像的特征矩阵与支援图像特征矩阵匹配的情况下，确定并执行支援图像特征矩阵相应的执行操作。
[0014]在本申请的一种实现方式中，根据推流播放视频的视频时长，将推流播放视频分割为N组视频帧。其中，N为自然数，N大于一。分别确定N组视频帧中，分辨率最小的视频帧，为第一比对帧，并根据时间顺序，将第一比对帧的预设邻域时长内的视频帧，作为第一比对帧集合。以及剔除N组视频帧中，第一比对帧集合相应的视频帧。计算推流图像样本与第一比对帧集合中的各视频帧，相应的像素相似度。其中，推流图像样本为前一时段的远程支援指令所对应的图像。在像素相似度小于预设值的情况下，确定N组视频帧中，分辨率最小的视频帧，为第二比对帧，并根据时间顺序，将第一比对帧的预设邻域时长内的视频帧，作为第二比对帧集合，以确定推流图像样本与第二比对帧集合中的各视频帧，相应的像素相似度，直至像素相似度大于或等于预设值，得到相应的相似视频帧或推流播放视频的各视频帧相应的像素相似度均小于预设值。其中，相似视频帧为第M比对帧集合中，像素相似度大于或等于预设值。M为自然数。在得到相似视频帧的情况下，将相似视频帧作为执行操作的巡防支援图像。
[0015]另一方面，本申请实施例还提供了一种基于机器人操作系统的远程支援设备，该设备包括：
[0016]至少一个处理器；以及，与至少一个处理器通信连接的存储器。其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：
[0017]通过第一采集节点，获取若干第一话题消息，并发布至第一话题。通过第二推流节点的消息订阅请求，订阅第一话题，并确定各第一话题消息相应的若干支援事件图像。基于各支援事件图像，生成推流播放视频，并实时发送推流播放视频至相应的流媒体服务器，以在流媒体服务器接收到用户终端的视频拉流指令或根据预设主动推流指令，建立相应的用户终端至推流播放视频的访问权限。基于用户根据推流播放视频的操作，确定用户终端的远程支援指令，以控制相应的巡防机器人。
[0018]本申请通过上述实施例可以实现机器人操作系统至流媒体服务器的视频推流，从
而在巡防机器人进行工作时，通过推流视频进行巡防机器人的远程辅助驾驶或远程支援巡防机器人当前面临的事件。同时，通过流媒体服务器的推流播放视频，使用户终端可以访问到延时小的实时视频流，保证辅助控制机器人的实时性，提高机器人的应急避险能力。
附图说明
[0019]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0020]图1为本申请实施例中一种基于机器人操作系统的远程支援方法的一种流程示意图；
[0021]图2为本申请实施例中一种基于机器人操作系统的远程支援方法的另一种流程示意图；
[0022]图3为本申请实施例中一种基于机器人操作系统的远程支援设备的结构示意图。
具体实施方式...

【技术保护点】

【技术特征摘要】
1.一种基于机器人操作系统的远程支援方法，其特征在于，所述方法包括：通过第一采集节点，获取若干第一话题消息，并发布至第一话题；通过第二推流节点的消息订阅请求，订阅所述第一话题，并确定各所述第一话题消息相应的若干支援事件图像；基于各所述支援事件图像，生成推流播放视频，并实时发送所述推流播放视频至相应的流媒体服务器，以在所述流媒体服务器接收到用户终端的视频拉流指令或根据预设主动推流指令，建立相应的用户终端至所述推流播放视频的访问权限；基于用户根据所述推流播放视频的操作，确定所述用户终端的远程支援指令，以控制相应的巡防机器人。2.根据权利要求1所述方法，其特征在于，所述通过第一采集节点，获取若干第一话题消息，并发布至第一话题，具体包括：通过所述第一采集节点，生成图像采集指令；将所述图像采集指令发送至相应的图像采集设备，并将所述图像采集设备采集的图像数据，作为所述第一话题消息，以发布所述第一话题消息至所述第一话题；其中，所述图像采集设备通过吉比特多媒体串行链路GMSL连接机器人操作系统。3.根据权利要求1所述方法，其特征在于，所述通过第二推流节点的消息订阅请求，订阅所述第一话题，并确定各所述第一话题消息相应的若干支援事件图像，具体包括：通过所述第二推流节点，确定预设话题与所述第一话题是否匹配；若匹配，订阅所述第一话题，并将所述第一话题的各所述第一话题消息与前一时刻的第一话题消息进行比对；其中，所述前一时刻的所述第一话题消息为所述第二推流节点前一时刻订阅所述第一话题时，所述第一话题中的第一话题消息；根据比对结果，确定更新的各所述第一话题消息的支援事件图像；所述支援事件图像为RGB图像。4.根据权利要求1所述方法，其特征在于，所述基于各所述支援事件图像，生成推流播放视频，并实时发送所述推流播放视频至相应的流媒体服务器，具体包括：通过预设多媒体处理工具，将所述支援事件图像的转换为YUV图像；基于所述用户终端的设置参数，确定编码的B帧参数及I帧参数，以通过H.264编码器，对所述YUV图像进行编码；将编码后的所述YUV图像进行格式封装，并添加实时消息协议RTMP协议头部至格式封装后的所述YUV图像，以得到所述推流播放视频，并实时发送所述推流播放视频至相应的所述流媒体服务器；其中，所述RTMP协议头部用于表示传输数据所使用的通信协议为RTMP。5.根据权利要求1所述方法，其特征在于，所述基于所述支援事件图像，生成推流播放视频，并实时发送所述推流播放视频至相应的流媒体服务器之后，所述方法还包括：通过所述流媒体服务器，将所述推流播放视频的视频协议转换为网页实时通信WebRTC协议。6.根据权利要求4所述方法，其特征在于，所述格式封装后的所述YUV图像为流媒体格式FLV。7.根据权利要求1所述方法，其特征在于，所述流媒体服务器为直播点播服务器SRS。8.根据权利要求1所述方法，其特征在于，所述基于用户根据所述推流播放视频的操
作，确定所述用户终端的远程支援指令之后，所述方法还包括：解析所述远程支援指令；其中，所述远程支援指令至...

【专利技术属性】
技术研发人员：李志芸，王本强，尹青山，高明，王建华，
申请(专利权)人：山东新一代信息产业技术研究院有限公司，
类型：发明
国别省市：