一种双目感知系统和方法技术方案

本发明专利技术实施例公开了一种双目感知系统和方法。该系统包括：云台、固定于云台上的双目摄像机及与双目摄像机连接的处理器；其中，双目摄像机的结构包括仿人眼双可见光相机结构；云台，用于基于接收到的控制指令，确定当前的转动参数，并按照转动参数控制自身转轴转动以使双目摄像机移动至与控制指令对应的目标位置；双目摄像机，用于通过双目摄像机的左摄像头和右摄像头分别采集与目标位置对应的电力现场信息，分别生成左目视频和右目视频，并将左目视频和右目视频发送至处理器；处理器，用于接收左目视频和右目视频，基于预先建立的行为识别模型，确定电力现场的作业人员的作业行为是否合格。本发明专利技术实施例能够准确地识别作业人员的行为。的行为。的行为。

【技术实现步骤摘要】
一种双目感知系统和方法


[0001]本专利技术实施例涉及摄像机监控
，尤其涉及一种双目感知系统和方法。

技术介绍

[0002]电力作业环境复杂，作业流程繁琐，同时周围存在带电设备，作业人员的安全存在一定风险，通常需要专职人员作为现场的安全监理人员，查看现场作业过程是否有违规操作。
[0003]随着视频技术的发展，可以在现场部署监控相机，将视频传输到远端，由远端的监控人员辅助分析现场情况。但是，监控相机仅能采集到二维平面的现场信息，监控人员无法准确地对作业人员的行为进行确定；并且，监控人员确定作业人员行为时，存在主观影响大、易出错等问题，无法有效地保证现场作业的安全性。

技术实现思路

[0004]本专利技术实施例提供了一种双目感知系统和方法，以实现通过左目视频和右目视频得到现场的三维立体信息，能够更精准地了解现场的情况；基于行为识别模型确定作业行为是否合格，避免人工识别主观因素导致的误差，提高识别结果的准确性，能够更好地确保现场作业的安全性。
[0005]第一方面，本专利技术实施例提供了一种双目感知系统，包括：云台、固定于所述云台上的双目摄像机及与所述双目摄像机连接的处理器；其中，所述双目摄像机的结构包括仿人眼双可见光相机结构；
[0006]所述云台，用于基于接收到的控制指令，确定当前的转动参数，并按照所述转动参数控制自身转轴转动以使所述双目摄像机移动至与所述控制指令对应的目标位置；
[0007]所述双目摄像机，用于通过所述双目摄像机的左摄像头和右摄像头分别采集与所述目标位置对应的电力现场信息，分别生成左目视频和右目视频，并将所述左目视频和所述右目视频发送至所述处理器；
[0008]所述处理器，用于接收所述左目视频和所述右目视频，基于预先建立的行为识别模型，确定电力现场的作业人员的作业行为是否合格。
[0009]第二方面，本专利技术实施例还提供了一种双目感知方法，应用于双目感知系统，所述双目感知系统包括云台、固定于所述云台上的双目摄像机及与所述双目摄像机连接的处理器；其中，所述双目摄像机的结构包括仿人眼双可见光相机结构；所述方法包括：
[0010]通过所述云台基于接收到的控制指令，确定当前的转动参数，并按照所述转动参数控制自身转轴转动以使所述双目摄像机移动至与所述控制指令对应的目标位置；
[0011]通过所述双目摄像机的左摄像头和右摄像头分别采集与所述目标位置对应的电力现场信息，分别生成左目视频和右目视频，并将所述左目视频和所述右目视频发送至所述处理器；
[0012]通过所述处理器接收所述左目视频和所述右目视频，基于预先建立的行为识别模
型，确定电力现场的作业人员的作业行为是否合格。
[0013]本专利技术实施例所提供的双目感知系统，通过双自由度、双可见光相机结构的双目摄像机，实时获取现场三维环境信息，环境感知能力更强，将现场双目作业视频实时传输到后台，操作人员通过沉浸式显示模块，可以获取作业现场的具有立体感的视频，增加后台监控人员的临场感。采用前端智能识别技术，可实现人员识别定位、作业人员行为的实时跟踪和识别，实时作业人员违章行为的实时判别，与传统智能相机相比较，智能分析能力更强。并且，通过设计的机器人交互模块，利用前端识别分析，实时输出现场设备位置三维坐标，可实现机器人的视觉伺服控制，引导机器人自动完成相关作业内容。
[0014]此外，本专利技术所提供的一种双目感知方法与上述系统对应，具有同样的有益效果。
附图说明
[0015]为了更清楚地说明本专利技术实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本专利技术实施例提供的一种双目感知系统的结构图；
[0017]图2为本专利技术实施例提供的另一种双目感知系统的结构图；
[0018]图3为本专利技术实施例提供的一种双目感知方法的流程图；
[0019]图4为本专利技术实施例提供的一种现场作业分析示意图。
具体实施方式
[0020]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0021]另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0022]为了使本
的人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。
[0023]实施例一
[0024]图1为本专利技术实施例提供的一种双目感知系统的结构图。如图1所示，本实施例的系统具体可包括：云台10、固定于云台10上的双目摄像机11及与双目摄像机11连接的处理器12。
[0025]云台10，用于基于接收到的控制指令，确定当前的转动参数，并按照转动参数控制自身转轴转动以使双目摄像机11移动至与控制指令对应的目标位置。
[0026]需要说明的是，云台10可为双自由度运动云台，可以满足俯仰角和偏航角同时运转。可通过多种方式控制云台10转动，如通过连接外部485总线与云台建立通信连接，向云
台10发送控制指令等方式。
[0027]在具体实施中，可预先确定出需要监控的电力现场的位置信息，基于电力现场的位置信息确定出云台需要转动的转动参数，从而通过云台控制器向云台10发送控制指令。控制指令中包含有设定的云台的转动参数和云台标识等信息。转动参数包括云台的转动角度、转动时刻、转动速度、转动加速度和转动方向等数据。其中，云台10可从俯仰角和偏航角两个方向进行转动，转动角度包括转动俯仰角和/或转动偏航角。
[0028]进一步的，云台10可根据接收到的控制指令，确定出当前的转动参数；并基于转动参数中的转动角度和转动方向控制云台10的转轴进行转动，带动固定于云台10上的双目摄像机11移动至控制指令中指定的转动参数对应的目标位置。
[0029]双目摄像机11，用于通过双目摄像机11的左摄像头和右摄像头分别采集与目标位置对应的电力现场信息，分别生成左目视频和右目视频，并将左目视频和右目视频发送至处理器12。
[0030]可选的，双目摄像机11的结构包括仿人眼双可见光相机结构；仿人眼双可见光相机结构中，双目基线距离与人眼基线距离一致，可获取到三维的电力现场信息，除电力现场的平面信息外，进一步获取到电力现场的深度信息，仿人眼本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目感知系统，其特征在于，包括：云台、固定于所述云台上的双目摄像机及与所述双目摄像机连接的处理器；其中，所述双目摄像机的结构包括仿人眼双可见光相机结构；所述云台，用于基于接收到的控制指令，确定当前的转动参数，并按照所述转动参数控制自身转轴转动以使所述双目摄像机移动至与所述控制指令对应的目标位置；所述双目摄像机，用于通过所述双目摄像机的左摄像头和右摄像头分别采集与所述目标位置对应的电力现场信息，分别生成左目视频和右目视频，并将所述左目视频和所述右目视频发送至所述处理器；所述处理器，用于接收所述左目视频和所述右目视频，基于预先建立的行为识别模型，确定电力现场的作业人员的作业行为是否合格。2.根据权利要求1所述的系统，其特征在于，所述系统还包括与所述处理器连接的显示设备，所述处理器包括信息传输模块；其中，所述信息传输模块，用于将所述左目视频和所述右目视频发送至所述显示设备；所述显示设备，用于接收所述左目视频和所述右目视频，基于所述左目视频和所述右目视频，显示所述目标位置对应的电力现场信息。3.根据权利要求2所述的系统，其特征在于，所述显示设备包括：虚拟现实显示器，用于接收所述左目视频和所述右目视频，将所述左目视频显示于所述虚拟现实显示器内与左眼位置对应的第一显示器中，将所述右目视频显示于所述虚拟现实显示器内与右眼位置对应的第二显示器中。4.根据权利要求3所述的系统，其特征在于，所述虚拟现实器包括头戴式虚拟现实显示器。5.根据权利要求1所述的系统，其特征在于，所述处理器包括与所述云台连接的位置跟踪模块；其中，所述位置跟踪模块，用于基于所述左目视频和所述右目视频，确定在视频时间内所述作业人员的人员坐标变化信息，基于所述人员坐标变化信息，确定所述作业人员在下一时刻的人员坐标，基于下一时刻的所述人员坐标生成位置调整指令发送至所述云台；所述云台，还用于基于接收到的所述位置调整指令，确定下一时刻的转动参数，并按照所述下一时刻的转动参数控制自身转轴转动。6.根据权利要求1所述的系统，其特征在于，所述处理器包括确定空间坐标模块和行为分析模块；其中，所述确定空间坐标模块，与所述双目摄像机连接，用于接收所述左目视频和所述右目视频，基于所述左目视频和所述右目视频，确定所述作业人员的人工关键点，基于双目立体几何算法，确定各所述人工关键点对应的空间坐标，将所述空间坐标发送至所述行为分析模块；所述行为分析模块，与所述确定空间坐标模块连接，用于接收各所述人工关键点对应的空间坐标，基于所述空间坐标和预先建立的所述行为识别模型，确定所述作业人员的作业行为，并基于预先存储的行为规范标准确定所述作业行为是否合格。7.根据权利要求6所述的系统，其特征在于，所述处理器还包括：模型建立模块，用于获取样本行为中各人工关键点的空间坐标构成的样本特征序列，
...

【专利技术属性】
技术研发人员：王振利，王琦，王万国，刘晗，徐康，张斌，吕俊涛，王磊，陈天顺，杨月琛，张海龙，张志，许荣浩，刘广秀，徐梦雨，
申请(专利权)人：国网智能科技股份有限公司，
类型：发明
国别省市：