面向车载立体视觉系统的头部运动姿态检测系统技术方案

本发明专利技术公开了一种面向车载立体视觉系统的头部运动姿态检测系统，其中，头部姿态检测模组用于检测驾驶员头部姿态，车身姿态检测模块用于检测车身的姿态，服务器获得驾驶员头部与车身的相对姿态数据；服务器将获得的相对姿态数据发送至云台，云台带动安装在云台上的双目摄像机转动，使双目摄像机相对车身的姿态与驾驶员头部相对于车身的姿态相同；双目摄像机用于采集车身的姿态图像及车身外部场景图像，并将采集的图像信息回传至服务器，服务器将双目摄像机拍摄到图像传输给头戴显示器进行显示，解决了夜间能见度条件差的情况下，或者封闭或观察窗口较小的车身中驾驶员及观察员难于观察外部的问题。

Head Motion and Attitude Detection System for Vehicle Stereo Vision System

The invention discloses a head motion attitude detection system for vehicle stereo vision system, in which the head attitude detection module is used to detect the driver's head attitude, the body attitude detection module is used to detect the body attitude, the server obtains the relative attitude data of the driver's head and body, and the server sends the obtained relative attitude data to the cloud platform, which drives the safety. The binocular camera mounted on the platform rotates to make the attitude of the binocular camera relative to the car body the same as that of the driver's head relative to the car body; the binocular camera is used to capture the attitude image of the car body and the external scene image of the car body, and transmit the collected image information back to the server. The server transmits the image captured by the binocular camera to the head-mounted display for display, which solves the problem. It is difficult for drivers and observers to observe external problems in the body with poor night visibility or closed or small observation windows.

【技术实现步骤摘要】
面向车载立体视觉系统的头部运动姿态检测系统
本专利技术涉及辅助驾驶系统领域，具体地，涉及一种面向车载立体视觉系统的头部运动姿态检测系统。
技术介绍
在现有技术中，惯性传感器检测头部姿态：利用惯性传感器可以检测驾驶员的头部姿态，通过计算得到驾驶员面朝的方向。在驾驶过程中，由于人随车一起运动，人与车之间并未发生相对运动，而此时若使用单一的惯性传感器，由于传感器相对于地球发生了运动，此时检测到的姿态就会发生变化，这与实际需求不符。基于姿态检测的辅助驾驶系统：目前在该方向上并没有考虑到特殊车身，在夜间和可见度条件较差，或者车身封闭或观察窗口较小的情况下，这种情况下驾驶员的观察能力受限，无法进行良好的驾驶操作，因此需要一种能够跟随驾驶员头部方向运动的视觉辅助系统，增强驾驶员正常驾驶视觉和观察外界的能力。
技术实现思路
本专利技术提供了一种面向车载立体视觉系统的头部运动姿态检测系统，使用该检测系统后可以准确检测出驾驶员头部相对于驾驶车身的姿态，从而判断出驾驶员头部在车内的运动情况。进一步的，本系统能够解决在封闭或观察窗口较小的车身中驾驶员的观察能力受限问题，同时能够在夜间(不开车灯、无路灯)能见度条件差的情况下，跟随驾驶员头部方向运动辅助驾驶员驾驶，增强驾驶员或观察员从车内或舱内观察外部的能力。其中，本专利技术中的头部姿态检测模组分为两种情况：第一种情况为头部姿态检测模组具体为头部姿态检测模块；第二种情况为头部姿态检测模组包括：头部姿态检测模块和图像捕获模块。为实现上述专利技术目的，本申请提供了一种面向车载立体视觉系统的头部运动姿态检测系统。该检测系统包括母级系统与子级系统两级，其中母级系统是主系统，包括母级惯性姿态检测模块以及服务器部分，子级系统是次级系统，物理结构上包含于母级系统，包括子级姿态检测模块。子级系统和母级系统的姿态检测模块分别检测相对地球的绝对姿态，并上传至服务器，服务器对两级系统传入的数据进行分析比较，从而计算出子级系统相对于母级系统的相对姿态。在车身驾驶的具体问题中,当头部姿态检测模组具体为第一种情况，即为头部姿态检测模块时，子级系统由一个具有惯性传感模块的头戴显示器组成，该显示器能够获取驾驶员头部姿态，同时能够通过显示屏将母级系统中双目摄像机采集到的车身外的景象显示给驾驶员；母级系统由一个惯性传感模块，服务器，一个双目摄像机以及承载双目摄像机的云台系统组成，能够获取车身的姿态及驾驶员需要获取的车身外部场景图像。其中，本申请中的服务器可由上位机或者本地处理模块构成如：FPGA器件，MCU器件，亦或者由上位机与本地处理模块如FPGA器件，MCU器件协同构成。工作时，两级系统的惯性传感模块分别获取车身及车身内驾驶员头部的姿态，传至服务器进行分析，服务器比对两组数据，判断此时驾驶员头部与车身的相对姿态，将该姿态值映射为云台系统的旋转角度，于是云台带动双目摄像机转动至某个角度，此时摄像机将拍摄到的画面实时地传回服务器，并在驾驶员的头戴显示器上进行显示，如此驾驶员便看到了与自己头部姿态相同方向的车身外的景象，解决了在夜间(不开车灯、无路灯)能见度条件差的情况下，或者封闭或观察窗口较小的车身中驾驶员及观察员观察外部的问题。其中，头部姿态检测模块包含：陀螺仪，地磁计，加速度计三种传感器，每种传感器分别采集X轴，Y轴，Z轴三个方向上的数据，即陀螺仪X轴的数据，Y轴的数据，Z轴的数据；地磁计X轴的数据，地磁计Y轴的数据，地磁计Z轴的数据；加速度计X轴的数据，加速度计Y轴的数据，加速度计Z轴的数据，总共9项数据，利用这9项数据计算出用于计算最终被测物三轴姿态(欧拉角)的“四元数”，在利用“四元数”与欧拉角的转换关系计算出三轴姿态即欧拉角(俯仰角pitch,翻滚角roll,偏航角yaw)。车身姿态检测模块同理。本专利技术的两级惯性传感器进行姿态检测系统采用两个惯性传感器，分别采集车身及驾驶员头部的姿态进行比对计算，能够准确的计算出两者的相对姿态，同时通过车身外的随动摄像机和驾驶员头部的显示器能够实时的让驾驶员观察到车身外需要观察的区域，从而达到辅助驾驶的目的。其中，本申请中两个姿态检测模块上传的分别是：驾驶员头部俯仰角pitch1，驾驶员头部偏航角yaw1，驾驶员头部翻滚角roll1；车身俯仰角pitch2，车身偏航角yaw2，车身翻滚角roll2。分别将两个俯仰角做差，两个偏航角做差，两个翻滚角做差。从而获得驾驶员头部与车身的相对姿态，即是两者间，相对偏航角yaw和相对翻滚角roll。其中，车身俯仰角为车身相对于地球坐标系的俯仰角；车身偏航角为车身相对于地球坐标系的偏航角；车身翻滚角为车身相对于地球坐标系的翻滚角；驾驶员头部俯仰角，偏航角和翻滚角同理。其中，检测系统中的头部姿态检测模块与车身姿态检测模块对应为两级两级惯性传感，检测系统可扩展为3级或多级惯性传感。当头部姿态检测模组具体为第二种情况，头部姿态检测模组包括：头部姿态检测模块和图像捕获模块时，目的是利用视频检测坐标消除累计误差，头部姿态检测在辅助驾驶、无人机、工程机械操作的姿态系统中的核心问题，目前主要采取的技术方案是利用数字磁罗盘进行姿态检测，不过数字磁罗盘易受外界磁干扰，长时间使用会产生较大误差，同时该方法检测精度有限，制约了其应用和发展。第二种情况解决头部姿态检测中误差大，精度小，长时间使用误差累计的问题。优选的，头部姿态检测模组包括：头部姿态检测模块和图像捕获模块，头部姿态检测模块用于获得驾驶员头部的第一姿态数据，并将获得第一姿态数据传输至服务器；图像捕获模块用于获得驾驶员头部相关图像信息，基于驾驶员头部相关图像信息获得驾驶员头部的第二姿态数据；基于第一姿态数据和第二姿态数据对头部姿态检测模组检测到的驾驶员头部姿态数据进行矫正，获得矫正后的驾驶员头部姿态数据。优选的，图像捕获模块包括：若干摄像机和一个标识，标识安装在用户头部，摄像机用于采集标识信息，并将采集的标识信息发送至服务器，服务器对标识信息进行处理获得驾驶员头部姿态数据，根据对应摄像机的位置对驾驶员头部姿态数据进行修正，获得驾驶员头部的第一姿态数据。优选的，图像捕获模块包括：1个摄像机和若干标识，该摄像机正对驾驶员人脸或正对驾驶员后脑，3个标识均安装在用户头部，其中一个标识位于驾驶员头部正前方或正后方，摄像机用于采集标识信息，并将采集的标识信息发送至服务器，服务器对标识信息进行处理获得驾驶员头部姿态数据，根据对应摄像机的位置对驾驶员头部姿态数据进行修正，获得驾驶员头部的第一姿态数据。优选的，图像捕获模块为一个正对驾驶员人脸或正对驾驶员后脑的摄像机，摄像机用于采集驾驶员头部特征图像，并将采集的驾驶员头部特征图像发送至服务器，服务器对驾驶员头部特征图像进行识别，获得驾驶员头部的第一姿态数据。优选的，基于第一姿态数据和第二姿态数据对头部姿态检测模组检测到的驾驶员头部姿态数据进行矫正，获得矫正后的驾驶员头部姿态数据，具体包括：获得当前第二姿态数据与第一姿态数据的差值，并存为最新的偏差值；并在之后的数据处理中持续使用该偏差值对头部姿态检测模组检测到的驾驶员头部姿态数据进行矫正，获得矫正后的驾驶员头部姿态数据。优选的，在对驾驶员头部姿态数据进行矫正前还包括：判断第二姿态数据是否达到设定的校准点。优选的，当图像捕本文档来自技高网...

【技术保护点】
1.面向车载立体视觉系统的头部运动姿态检测系统，其特征在于，所述姿态检测系统包括：头部姿态检测模组、车身姿态检测模块、服务器、云台、头戴显示器、双目摄像机；头部姿态检测模组用于检测驾驶员头部姿态，车身姿态检测模块用于检测车身的姿态,头部姿态检测模组和车身姿态检测模块将检测到的数据传输至服务器，服务器将两个模块检测到的数据进行比较计算出差值，获得驾驶员头部与车身的相对姿态数据；服务器将获得的相对姿态数据发送至云台，云台基于相对姿态数据进行转动，带动安装在云台上的双目摄像机转动，使双目摄像机相对车身的姿态与驾驶员头部相对于车身的姿态相同；双目摄像机用于采集车身的姿态图像及车身外部场景图像，并将采集的图像信息回传至服务器，服务器将双目摄像机拍摄到图像传输给头戴显示器进行显示。

【技术特征摘要】
1.面向车载立体视觉系统的头部运动姿态检测系统，其特征在于，所述姿态检测系统包括：头部姿态检测模组、车身姿态检测模块、服务器、云台、头戴显示器、双目摄像机；头部姿态检测模组用于检测驾驶员头部姿态，车身姿态检测模块用于检测车身的姿态,头部姿态检测模组和车身姿态检测模块将检测到的数据传输至服务器，服务器将两个模块检测到的数据进行比较计算出差值，获得驾驶员头部与车身的相对姿态数据；服务器将获得的相对姿态数据发送至云台，云台基于相对姿态数据进行转动，带动安装在云台上的双目摄像机转动，使双目摄像机相对车身的姿态与驾驶员头部相对于车身的姿态相同；双目摄像机用于采集车身的姿态图像及车身外部场景图像，并将采集的图像信息回传至服务器，服务器将双目摄像机拍摄到图像传输给头戴显示器进行显示。2.根据权利要求1所述的面向车载立体视觉系统的头部运动姿态检测系统，其特征在于，头部姿态检测模组具体为头部姿态检测模块，头部姿态检测模块用于检测驾驶员头部姿态数据包括：驾驶员头部相对于地球坐标系俯仰角pitch，驾驶员头部相对于地球坐标系偏航角yaw，驾驶员头部相对于地球坐标系翻滚角roll；车身姿态检测模块用于检测车身的姿态数据，包括：车身相对于地球坐标系俯仰角pitch，车身相对于地球坐标系偏航角yaw，车身相对于地球坐标系翻滚角roll。3.根据权利要求2所述的面向车载立体视觉系统的头部运动姿态检测系统，其特征在于，头部姿态检测模块与车身姿态检测模块结构相同，均包括：陀螺仪，地磁计，加速度计三种传感器，每种传感器分别采集X轴，Y轴，Z轴三个方向上的数据，利用采集的数据计算出用于计算最终被测物三轴姿态四元数，利用四元数与欧拉角的转换关系计算出三轴姿态即欧拉角。4.根据权利要求2所述的面向车载立体视觉系统的头部运动姿态检测系统，其特征在于，服务器将两个姿态传感器检测到的数据进行比较计算出差值，获得驾驶员头部与车身的相对姿态数据，具体包括：两个姿态检测模块上传的分别是：驾驶员头部俯仰角pitch1，驾驶员头部偏航角yaw1，驾驶员头部翻滚角roll1；车身俯仰角pitch2，车身偏航角yaw2，车身翻滚角roll2；分别将两个俯仰角做差，两个偏航角做差，两个翻滚角做差，从而获得驾驶员头部与车身的相对车身姿态，即是两者间的相对俯仰角pitch，相对偏航角yaw和相对翻滚角roll。5.根据权利要求2所述的面向车载立体视觉系统的头部运动姿态检测系统，其特征在于，所述驾驶员头部与车身的相对姿态数据具体为：驾驶员头部相对于车身的左右偏转角度，前后俯仰角度，和左右翻滚角。6.根据权利要求1所述的面向车载立体视觉系统的头部运动姿态检测系统，其特征在于，服务器将获得的相对姿态数据发送至控制云台随动系统的云台控制模块，云台控制模块将相对姿态数据转换成控制云台的信号数据并通过串口发送给云台舵机，利用PWM信号控制舵机转至指定角度，带动安装在云台上的双目摄像机，使双目摄像机相对车身的姿态与驾驶员头部相对于车身的姿态相同。7.根据权利要求6所述的面向车载立体视觉系统的头部运动姿态检测系统，其特征在于，云台具有水平、俯仰、翻转中的两个或三个自由度，具有两个或三个舵机，分别控制偏转角度和俯仰角度或分别控制偏转角度和俯仰角度和翻滚角度。8.根据权利要求1所述的面向车载立体视觉系统的头部运动姿态检测系统，其特征在于，双目摄像机采集车身的姿态图像及车身外部场景图像，并回传至服务器，服务器将双目摄像机拍摄到的有视差的图像合并为有3D效果的立体图像，再传给驾驶员佩戴的头戴显示器进行显示。9.根据权利要求1所述的面向车载立体视觉系统的头部运动姿态检测系统，其特征在于，头部姿态检测模组安装在头戴显示器上，佩戴在驾驶员头部，车身姿态检测模块与车身固定连接，双目摄像机安装在云台上，服务器放置在车身内部。10.根据权利要求1所述的面向车载立体视觉系统的头部运动姿态检测系统，检测系统中的头部姿态检测模组与车身姿态检测模块对应为两级两级惯性传感，检测系统可扩展为3级或多...

【专利技术属性】
技术研发人员：陈东义，郭承刚，黄志奇，杨雁杰，陈俊辉，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51