【技术实现步骤摘要】
本申请涉及近场识别，尤其涉及一种近场感知方法及装置。
技术介绍
1、机器人是指挥与控制系统中实现近场感知的重要工具。但目前在以机器人为代表的工程系统中，不同模态的传感器通常还只能在各自感知识别完成后做融合，使得融合逻辑的设计非常困难。机器人系统上配置的传感器复杂多样，从摄像机到激光雷达，从听觉到触觉，从味觉到嗅觉，几乎所有传感器在机器人上都有应用。但限于任务的复杂性、成本和使用效率等原因，大多数工作仍然停留在实验室阶段。在目前市场上流行的服务机器人领域，用的最多的仍然是视觉和语音传感器，这两类模态一般是独立处理(如视觉用于目标检测、听觉用于语音交互)，缺少一种能够有效的实时联合处理视音频信息以进行近场感知的方法。
技术实现思路
1、本申请提供一种近场感知方法及装置，可以有效的实时联合处理视音频信息以进行近场感知。
2、第一方面，本申请实施例提供一种近场感知方法，包括：
3、基于目标时间戳和时间偏移度对融合后的视频数据和音频数据进行同步；所述目标时间戳为添加在融合后的视频数据和音频数据上的时间戳；
4、基于同步后的视频数据和音频数据进行近场感知。
5、在一个实施例中，所述方法还包括：
6、对获取的音频数据进行声源定位确定目标所处位置；
7、将声源定位后的音频数据与获取的视频数据进行融合；融合后的视频数据和音频数据来源于同一个目标。
8、在一个实施例中，所述方法还包括：
9、对融合后的视频数
10、在一个实施例中，所述方法还包括：
11、基于所述目标时间戳计算所述时间偏移度。
12、在一个实施例中，基于目标时间戳和时间偏移度对融合后的视频数据和音频数据进行同步，包括：
13、基于所述时间偏移度对融合后的视频数据和音频数据进行所述目标时间戳的延迟判定；
14、在所述目标时间戳延迟的情况下，对所述目标时间戳的向下取整值进行修正得到目标时间戳修正值；
15、基于所述目标时间戳修正值对融合后的视频数据和音频数据进行同步。
16、第二方面，本申请实施例提供一种近场感知装置，包括：
17、同步模块，用于基于目标时间戳和时间偏移度对融合后的视频数据和音频数据进行同步；所述目标时间戳为添加在融合后的视频数据和音频数据上的时间戳；
18、感知模块，用于基于同步后的视频数据和音频数据进行近场感知。
19、在一个实施例中，所述同步模块还用于：
20、对获取的音频数据进行声源定位确定目标所处位置；
21、将声源定位后的音频数据与获取的视频数据进行融合；融合后的视频数据和音频数据来源于同一个目标。
22、第三方面，本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
23、第四方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的方法。
24、第五方面，本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法。
25、本申请实施例提供的近场感知方法及装置，通过目标时间戳和时间偏移度对音视频数据进行同步，进而进行近场感知，通过对近场环境声音、画面的采集与处理可以实现多源数据的同步采集融合，能够有效的实时联合处理视频和音频数据。
本文档来自技高网...【技术保护点】
1.一种近场感知方法，其特征在于，包括：
2.根据权利要求1所述的近场感知方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的近场感知方法，其特征在于，所述方法还包括：
4.根据权利要求1所述的近场感知方法，其特征在于，所述方法还包括：
5.根据权利要求1所述的近场感知方法，其特征在于，基于目标时间戳和时间偏移度对融合后的视频数据和音频数据进行同步，包括：
6.一种近场感知装置，其特征在于，包括：
7.根据权利要求6所述的近场感知装置，其特征在于，所述同步模块还用于：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述近场感知方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述近场感知方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如
...【技术特征摘要】
1.一种近场感知方法，其特征在于，包括：
2.根据权利要求1所述的近场感知方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的近场感知方法，其特征在于，所述方法还包括：
4.根据权利要求1所述的近场感知方法，其特征在于，所述方法还包括：
5.根据权利要求1所述的近场感知方法，其特征在于，基于目标时间戳和时间偏移度对融合后的视频数据和音频数据进行同步，包括：
6.一种近场感知装置，其特征在于，包括：
7.根据权利要求6所述的近场感知装...
【专利技术属性】
技术研发人员：朱晓秀，贾晓磊，程呈，张龙飞，邢钦云，刘来旸，唐硕，
申请(专利权)人：中国人民解放军三二三九八部队，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。