基于球头摄像机的远程同步操控系统技术方案

本发明专利技术提供了基于球头摄像机的远程同步操控系统，其将球头摄像机和头戴显示器进行联动控制，以用户佩戴头戴显示器时头部运动带动头戴显示器进行动作为基准，联动控制球头摄像机同步改变自身的摄像状态，用户能够实现对球头摄像机的远程控制，同时将球头摄像机拍摄的影像实时呈现给用户，提高头戴显示器的影像显示实时性和可控性，改善头戴显示器的用户体验。验。验。

【技术实现步骤摘要】
基于球头摄像机的远程同步操控系统


[0001]本专利技术涉及头戴显示控制的
，特别涉及基于球头摄像机的远程同步操控系统。

技术介绍

[0002]头盔式或眼镜式头戴显示器已经成为虚拟显示技术的主要发展形式。头戴显示器都是向用户播放预先形成的影像，或者将预先形成的影像叠加在真实环境中，从而形成VR显示模式或AR显示模式。现有的头戴显示器并未能够与不处于同一场合的摄像机进行远程连接，并实时向用户呈现摄像机拍摄得到的实时影像，更无法通过头戴显示器直接控制摄像机的拍摄状态，以使用户能够根据自身实际需要观看到相应视场范围的实时影像。可见，现有的头戴显示器无法与摄像机进行远程联动，从而无法同步控制摄像机改变自身的拍摄状态以及将摄像机拍摄得到的实时影像同步呈现给头戴显示器的佩戴用户。

技术实现思路

[0003]针对现有技术存在的缺陷，本专利技术提供基于球头摄像机的远程同步操控系统，其利用惯性测量采集头戴显示器的动作状态信息，以此动作控制指令；并利用动作控制指令，驱动球头摄像机进行相应的同步动作，从而使得球头摄像机在同步动作过程中采集周围环境影像；再将周围环境影像转换成影像数据流后发送回头戴显示器，使得头戴显示器向用户显示与周围环境影像相一致的虚拟影像；还通过视线确定单元采集用户的观看视线信息，以及通过显示调整单元根据观看视线信息，调整虚拟影像在头戴显示器的显示状态，上述系统将球头摄像机和头戴显示器进行联动控制，以用户佩戴头戴显示器时头部运动带动头戴显示器进行动作为基准，联动控制球头摄像机同步改变自身的摄像状态，用户能够实现对球头摄像机的远程控制，同时将球头摄像机拍摄的影像实时呈现给用户，提高头戴显示器的影像显示实时性和可控性，改善头戴显示器的用户体验。
[0004]本专利技术提供基于球头摄像机的远程同步操控系统，其包括：
[0005]头戴式显示器，其用于向佩戴用户呈现虚拟影像；
[0006]惯性测量单元，其设置于所述头戴显示器内，用于采集所述头戴显示器的动作状态信息；
[0007]控制单元，其与所述惯性测量单元连接，用于根据所述动作状态信息，生成动作控制指令；
[0008]球头摄像机，其用于采集周围环境影像；
[0009]驱动单元，其与所述控制单元连接，用于根据所述动作控制指令，驱动所述球头摄像机进行相应的同步动作，从而使得所述球头摄像机在同步动作过程中采集周围环境影像；
[0010]所述控制单元还用于将所述周围环境影像转换成影像数据流，并将所述影像数据流发送回所述头戴显示器；
[0011]所述头戴显示器还用于将所述影像数据流转换为影像显示信号，从而显示与所述周围环境影像相一致的所述虚拟影像；
[0012]视线确定单元，其设置于所述头戴显示器内，用于采集所述用户的观看视线信息；
[0013]显示调整单元，其设置于所述头戴显示器内，用于根据所述观看视线信息，调整所述虚拟影像在所述头戴显示器的显示状态。
[0014]进一步，所述惯性测量单元采集所述头戴显示器的动作状态信息具体包括：
[0015]所述惯性测量单元包括姿态角测量子单元和加速度计单元；
[0016]所述姿态角测量子单元用于在所述用户佩戴所述头戴显示器进行动作过程中，检测所述头戴显示器的动作姿态角信息；其中，所述动作姿态角信息包括所述头戴显示器在动作过程中的俯仰角和航向角；
[0017]所述加速度计单元用于在所述用户佩戴所述头戴显示器进行动作过程中，检测所述头戴显示器的动作加速度信息。
[0018]进一步，所述控制单元根据所述动作状态信息，生成动作控制指令具体包括：
[0019]所述控制单元根据所述动作姿态角信息，确定所述头戴显示器在动作过程中俯仰角和航向角各自的角度变化范围和角度变化速度；
[0020]再根据所述角度变化范围和所述角度变化速度，生成用于控制所述球头摄像机进行同步动作过程中进行俯仰方向和航向方向的角度调整的第一动作控制指令；
[0021]所述控制单元根据所述动作加速度信息，生成用于控制所述球头摄像机进行同步动作过程中进行拍摄焦距调整的第二动作控制指令。
[0022]进一步，所述控制单元在生成所述第一动作控制指令和所述第二动作控制指令之前，还包括
[0023]所述控制单元对所述动作姿态角信息和所述动作加速度信息进行卡尔曼滤波，以此实现对所述动作姿态角信息和所述动作加速度信息的数据平滑化处理。
[0024]进一步，所述控制单元根据所述动作加速度信息，生成用于控制所述球头摄像机进行同步动作过程中进行拍摄焦距调整的第二动作控制指令具体包括：
[0025]所述控制单元对所述动作加速度信息进行二次积分处理后，得到相应的位置信息；再根据所述位置信息，生成所述第二动作控制指令；其中，所述第二动作控制指令用于调整所述球头摄像机的拍摄焦距，从而实现所述球头摄像机拍摄画面的放大或缩小。
[0026]进一步，所述控制单元对所述动作加速度信息进行二次积分处理后，得到相应的位置信息具体包括：
[0027]在求取所述位置信息时使用AHRS算法获取姿态信息，在使用所述AHRS算法的过程中需要利用陀螺仪作为当前运动方向的唯一测量装置，在使用所述陀螺仪来测量方向时控制所述陀螺仪进行平面旋转，并在预设的固定角度进行停止并测量陀螺仪在不同固定角度时的静止测量值，所述陀螺仪的旋转是由脉冲电机进行控制，并且在所述脉冲电机上添加计数器，所述计数器在电机旋转一整圈后会输出一个高脉冲信号，同时通过串口与所述陀螺仪进行通信连接，以此获得所述陀螺仪的测量值和所述陀螺仪的工作电压值，在使用所述陀螺仪进行测量方向前，判断所述陀螺仪是否正常工作并且工作电压是否正常，同时采集在所述计数器输出两个高脉冲信号的上升沿之间对所述脉冲电机被输入的脉冲个数判断所述脉冲电机是否工作正常，并根据所述陀螺仪的工作状态以及所述脉冲电机的工作正
常状态生成自检信息并控制所述陀螺仪的测量启动使能，其过程为：
[0028]步骤S1，利用下面公式(1)，根据与所述陀螺仪的通信状态，判断所述陀螺仪是否正常工作并且工作电压是否正常，
[0029][0030]在上述公式(1)中，E
g
表示所述陀螺仪的工作状态判断值；F表示接收到陀螺仪的返回信息的输出值，若接收到陀螺仪的返回信息，则F＝1，反之F＝0；{F＝1|}表示在满足F＝1的条件下再判断|后边的算式是否成立，若成立，则函数值为1，若不成立，则函数值为0，若不满足F＝1的条件，则直接令函数值为0；A(d)表示接收到陀螺仪的第d个返回信息中的帧头数据；A0表示陀螺仪的有效返回数据中的通用数据帧头；R(d)表示接收到陀螺仪的第d个返回信息中的帧尾数据；R0表示陀螺仪的有效返回数据中的通用数据帧尾；U(d)表示提取接收到陀螺仪的第d个返回信息中的特定位数上的数据，所述特定位数上的数据为提取的所述陀螺仪当前的工作电压；U0表示提供给所述陀螺仪的外部供电电压；D表示接收到陀螺仪的返回信息的总个数；表示将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于球头摄像机的远程同步操控系统，其特征在于，其包括：头戴式显示器，其用于向佩戴用户呈现虚拟影像；惯性测量单元，其设置于所述头戴显示器内，用于采集所述头戴显示器的动作状态信息；控制单元，其与所述惯性测量单元连接，用于根据所述动作状态信息，生成动作控制指令；球头摄像机，其用于采集周围环境影像；驱动单元，其与所述控制单元连接，用于根据所述动作控制指令，驱动所述球头摄像机进行相应的同步动作，从而使得所述球头摄像机在同步动作过程中采集周围环境影像；所述控制单元还用于将所述周围环境影像转换成影像数据流，并将所述影像数据流发送回所述头戴显示器；所述头戴显示器还用于将所述影像数据流转换为影像显示信号，从而显示与所述周围环境影像相一致的所述虚拟影像；视线确定单元，其设置于所述头戴显示器内，用于采集所述用户的观看视线信息；显示调整单元，其设置于所述头戴显示器内，用于根据所述观看视线信息，调整所述虚拟影像在所述头戴显示器的显示状态。2.如权利要求1所述的基于球头摄像机的远程同步操控系统，其特征在于：所述惯性测量单元采集所述头戴显示器的动作状态信息具体包括：所述惯性测量单元包括姿态角测量子单元和加速度计单元；所述姿态角测量子单元用于在所述用户佩戴所述头戴显示器进行动作过程中，检测所述头戴显示器的动作姿态角信息；其中，所述动作姿态角信息包括所述头戴显示器在动作过程中的俯仰角和航向角；所述加速度计单元用于在所述用户佩戴所述头戴显示器进行动作过程中，检测所述头戴显示器的动作加速度信息。3.如权利要求2所述的基于球头摄像机的远程同步操控系统，其特征在于：所述控制单元根据所述动作状态信息，生成动作控制指令具体包括：所述控制单元根据所述动作姿态角信息，确定所述头戴显示器在动作过程中俯仰角和航向角各自的角度变化范围和角度变化速度；再根据所述角度变化范围和所述角度变化速度，生成用于控制所述球头摄像机进行同步动作过程中进行俯仰方向和航向方向的角度调整的第一动作控制指令；所述控制单元根据所述动作加速度信息，生成用于控制所述球头摄像机进行同步动作过程中进行拍摄焦距调整的第二动作控制指令。4.如权利要求3所述的基于球头摄像机的远程同步操控系统，其特征在于：所述控制单元在生成所述第一动作控制指令和所述第二动作控制指令之前，还包括所述控制单元对所述动作姿态角信息和所述动作加速度信息进行卡尔曼滤波，以此实现对所述动作姿态角信息和所述动作加速度信息的数据平滑化处理。5.如权利要求3所述的基于球头摄像机的远程同步操控系统，其特征在于：所述控制单元根据所述动作加速度信息，生成用于控制所述球头摄像机进行同步动作过程中进行拍摄焦距调整的第二动作控制指令具体包括：所述控制单元对所述动作加速度信息进行二次积
分处理后，得到相应的位置信息；再根据所述位置信息，生成所述第二动作控制指令；其中，所述第二动作控制指令用于调整所述球头摄像机的拍摄焦距，从而实现所述球头摄像机拍摄画面的放大或缩小。6.如权利要求5所述的基于球头摄像机的远程同步操控系统，其特征在于：所述控制单元对所述动作加速度信息进行二次积分处理后，得到相应的位置信息具体包括：在求取所述位置信息时使用AHRS算法获取姿态信息，在使用所述AHRS算法的过程中需要利用陀螺仪作为当前运动方向的唯一测量装置，在使用所述陀螺仪来测量方向时控制所述陀螺仪进行平面旋转，并在预设的固定角度进行停止并测量陀螺仪在不同固定角度时的静止测量值，所述陀螺仪的旋转是由脉冲电机进行控制，并且在所述脉冲电机上添加计数器，所述计数器在电机旋转一整圈后会输出一个高脉冲信号，同时通过串口与所述陀螺仪进行通信连接，以此获得所述陀螺仪的测量值和所述陀螺仪的工作电压值，在使用所述陀螺仪进行测量方向前，判断所述陀螺仪是否正常工作并且工作电压是否正常，同时采集在所述计数器输出两个高脉冲信号的上升沿之间对所述脉冲电机被输入的脉冲个数判断所述脉冲电机是否工作正常，并根据所述陀螺仪的工作状态以及所述脉冲电机的工作正常状态生成自检信息并控制所述陀螺仪的测量启动使能，其过程为：步骤S1，利用下面公式(1)，根据与所述陀螺仪的通信状态，判断所述陀螺仪是否正常工作并且工作电压是否正常，在上述公式(1)中，E
g
表示所述陀螺仪的工作状态判断值；F表示接收到陀螺仪的返回信息的输出值，若接收到陀螺仪的返回信息，则F＝1，反之F＝0；{F＝1|}表示在满足F＝1的条件下再判断|后边的算式是否成立，若成立，则函数值为1，若不成...

【专利技术属性】
技术研发人员：胡文强，
申请(专利权)人：上海旷通科技有限公司，
类型：发明
国别省市：