根据驾驶员状态自动调整驾驶员辅助装置的方法和装置制造方法及图纸

本发明专利技术涉及一种根据驾驶员状态调整驾驶员辅助装置的位置的方法，调整位置装置执行如下步骤，其中，步骤(a)，将驾驶员坐在车辆的驾驶座上并启动所述车辆之后获取的所述驾驶员的上半身图像与下半身图像输入到姿势预测网络中，获取身体关键点，计算身体部位的长度并调整驾驶座位置，步骤(b)，所述车辆行驶时，将所述上半身图像输入到人脸检测器中来检测面部，将所述面部输入到眼睛检测器中来检测眼部，将已调整的驾驶座位置与眼睛的2D坐标输入到3D坐标转换器中，参考所述2D坐标与所述驾驶座的位置来生成所述眼睛的3D坐标，并参考所述3D坐标调整所述车辆的镜子的位置。

【技术实现步骤摘要】
根据驾驶员状态自动调整驾驶员辅助装置的方法和装置
本专利技术涉及一种车辆的驾驶员辅助装置，更具体地涉及一种根据驾驶员状态自动调整所述驾驶员辅助装置的方法和装置。
技术介绍
通常，在驾驶车辆时，要时刻注视前方，同时也要注视后方，因此车辆安装有后视镜，以便驾驶员在看前方时也可以看后方。另一方面，在车辆上通常配置有共3个镜子，一个在车辆内前方、其他两个分别在车辆外侧左右前门处。在车辆的左右前门两侧安装有侧视镜(side-viewmirror)，以帮助驾驶员确保车辆周边的后方视野，并且在车辆内的前方挡风玻璃上安装有后视镜(rear-viewmirror)，以帮助驾驶员确保车辆的后方视野。此时，如果驾驶员难以通过镜子确保后方视野，则需要手动调整后视镜与侧视镜的角度才能确保视线。并且，驾驶员应根据自身身体条件调整驾驶座椅的位置。但是，如果驾驶员想要驾驶已经由另一驾驶员调整过驾驶座椅的位置与镜子的位置的车辆，存在必须根据自己的身体条件重新调整驾驶座椅的位置与镜子的位置的问题。因此，本专利技术提出一种根据驾驶员的身体条件，自动调整驾驶座的镜子的位置的方法。
技术实现思路
本专利技术的目的在于解决所有上述问题。本专利技术的另一目的在于能够根据驾驶员状态自动调整驾驶员辅助装置。本专利技术的另一目的在于能够根据驾驶员状态自动调整驾驶座椅位置与一个以上的镜子的位置。本专利技术的又一目的在于能够通过跟踪驾驶员的视线(gaze)来实时地自动调整镜子的位置。为了达到如上所述的本专利技术的目的，并且实现后述的本专利技术的特征效果的，本专利技术的特定结构如下。根据本专利技术的一个方面，根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，包括：步骤(a)，当获取驾驶员坐在车辆的驾驶座上并启动所述车辆之后的、所述驾驶员的至少一个上半身图像和至少一个下半身图像时，执行将所述上半身图像与所述下半身图像输入到姿势预测网络中的过程，从而使所述姿势预测网络，(i)获取位于所述上半身图像和所述下半身图像中的、与所述驾驶员相对应的一个以上的身体关键点，(ii)参考所述身体关键点计算所述驾驶员的至少一个身体部位的长度，(iii)参考所述驾驶员的已计算的所述身体部位的长度调整所述驾驶座的位置；以及步骤(b)，所述车辆在所述驾驶座的位置已调整的状态下行驶时，所述位置调整装置执行，过程(i)，将所述上半身图像输入到人脸检测器中，使所述人脸检测器，在所述上半身图像上检测所述驾驶员的至少一个面部；过程(ii)，将所述面部输入到眼睛检测器中，使所述眼睛检测器，在所述面部中检测所述驾驶员的至少一个眼部；过程(iii)，在所述检测到的眼部中将与所述驾驶员的至少一个眼睛相对应的2D坐标与已调整的驾驶座的位置输入到3D坐标转换器中，从而使所述3D坐标转换器，参考所述驾驶座的位置和所述眼睛的2D坐标生成所述驾驶员的所述眼睛的3D坐标，并参考所述眼睛的所述3D坐标调整所述车辆的至少一个镜子的至少一个位置。一实施例中，在所述步骤(a)中，所述位置调整装置，使所述姿势预测网络，(i)通过特征提取器从所述上半身图像和所述下半身图像中提取一个以上的特征，分别生成一个以上的特征张量，(ii)通过关键点热图(keypointheatmap)和部分亲和力字段(partaffinityfield)提取器，分别生成与每个所述特征张量相对应的一个以上的关键点热图和一个以上的部分亲和力字段，(iii)通过关键点分组(grouping)层从每个所述关键点热图中提取一个以上的关键点，参考每个所述部分亲和力字段，分别对已提取的关键点进行分组生成与所述驾驶员相对应的所述身体关键点。一实施例中，所述位置调整装置，使所述姿势预测网络，通过所述特征提取器的至少一个卷积层，将至少一个卷积运算分别适用于所述上半身图像和所述下半身图像中，生成每个所述特征张量。一实施例中，所述位置调整装置，使所述姿势预测网络，通过所述关键点热图和部分亲和力字段提取器的全卷积网络或至少一个1x1卷积层，对每个所述特征张量适用至少一个全卷积运算或至少一个1x1卷积运算，从而分别生成与每个所述特征张量相对应的所述关键点热图和所述部分亲和力字段。一实施例中，所述位置调整装置，使所述姿势预测网络，通过所述关键点分组层，提取每个所述关键点热图中的每个最高点，作为与每个所述关键点热图相对应的每个所述关键点。一实施例中，所述位置调整装置，使所述姿势预测网络，通过所述关键点分组层，参考每个所述部分亲和力字段，分别连接已提取的关键点对中具有最高相互连接概率的对，从而对已提取的关键点进行分组。一实施例中，在所述步骤(b)中，所述位置调整装置，使所述人脸检测器，(i)通过卷积层对所述上半身图像适用至少一个卷积运算，生成至少一个特征图，(ii)通过区域生成网络(RegionProposalNetwork，RPN)生成与所述特征图上的一个以上的对象相对应的一个以上的建议框，(iii)通过池化层，对与所述特征图上的所述建议框相对应的一个以上的区域适用至少一个池化运算，生成至少一个特征矢量，(iv)通过全连接(FullyConnected，FC)层，对所述特征矢量适用至少一个FC运算生成至少一个FC输出值，(v)对所述FC层的所述FC输出值，适用分类运算和回归运算，分别输出关于所述对象的类别信息和回归信息之后，通过分类层和回归层，检测所述上半身图像上的所述驾驶员的所述面部，其中，每个所述对象对应于每个所述建议框。一实施例中，在所述步骤(b)中，所述位置调整装置，使所述眼睛检测器，将所述面部转换为至少一个修正统计变换(ModifiedCensusTransform，MCT)图像，适用自适应提升(Adaboost)算法从所述MCT图像中获取的眼睛检测用特征数据中检测所述驾驶员的所述眼部，其中，局部的平均亮度与所述面部的亮度之间差异被编码为所述MCT图像。一实施例中，所述驾驶座的所述位置为获取所述上半身图像的至少一个相机与所述驾驶座之间的距离。一实施例中，在所述步骤(a)中，所述位置调整装置执行，如下过程，其中，所述过程，通过参考所述驾驶员的所述身体部位的长度，进一步调整所述车辆的方向盘的位置。根据本专利技术的另一个方面，一种位置调整装置，其根据驾驶员状态调整驾驶员辅助装置的位置，其特征在于，包括：至少一个存储器，存储指令；以及至少一个处理器，被配置执行所述指令，所述指令用于执行如下过程(I)和(II)，其中，过程(I)当获取驾驶员坐在车辆的驾驶座上并启动所述车辆之后的、所述驾驶员的至少一个上半身图像和至少一个下半身图像时，执行将所述上半身图像与所述下半身图像输入到姿势预测网络中的过程，从而使所述姿势预测网络，(i)获取位于所述上半身图像和所述下半身图像中的、与所述驾驶员相对应的一个以上的身体关键点，(ii)参考所述身体关键点计算所述驾驶员的至少一个身体部位的长度，(iii)参考所述驾驶员的已计算的所述身体部位的长度调整所述驾驶座的位置；以及过程(II)所述车辆在所述驾驶座本文档来自技高网...

【技术保护点】
1.一种根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，包括：/n步骤(a)，当获取驾驶员坐在车辆的驾驶座上并启动所述车辆之后的、所述驾驶员的至少一个上半身图像和至少一个下半身图像时，执行将所述上半身图像与所述下半身图像输入到姿势预测网络中的过程，从而使所述姿势预测网络，(i)获取位于所述上半身图像和所述下半身图像中的、与所述驾驶员相对应的一个以上的身体关键点，(ii)参考所述身体关键点计算所述驾驶员的至少一个身体部位的长度，(iii)参考所述驾驶员的已计算的所述身体部位的长度调整所述驾驶座的位置；以及/n步骤(b)，所述车辆在所述驾驶座的位置已调整的状态下行驶时，所述位置调整装置执行，过程(i)，将所述上半身图像输入到人脸检测器中，使所述人脸检测器，在所述上半身图像上检测所述驾驶员的至少一个面部；过程(ii)，将所述面部输入到眼睛检测器中，使所述眼睛检测器，在所述面部中检测所述驾驶员的至少一个眼部；过程(iii)，在所述检测到的眼部中将与所述驾驶员的至少一个眼睛相对应的2D坐标与已调整的驾驶座的位置输入到3D坐标转换器中，从而使所述3D坐标转换器，参考所述驾驶座的位置和所述眼睛的2D坐标生成所述驾驶员的所述眼睛的3D坐标，并参考所述眼睛的所述3D坐标调整所述车辆的至少一个镜子的至少一个位置。/n...

【技术特征摘要】
20190131 US 62/799,296;20200109 US 16/738,5791.一种根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，包括：
步骤(a)，当获取驾驶员坐在车辆的驾驶座上并启动所述车辆之后的、所述驾驶员的至少一个上半身图像和至少一个下半身图像时，执行将所述上半身图像与所述下半身图像输入到姿势预测网络中的过程，从而使所述姿势预测网络，(i)获取位于所述上半身图像和所述下半身图像中的、与所述驾驶员相对应的一个以上的身体关键点，(ii)参考所述身体关键点计算所述驾驶员的至少一个身体部位的长度，(iii)参考所述驾驶员的已计算的所述身体部位的长度调整所述驾驶座的位置；以及
步骤(b)，所述车辆在所述驾驶座的位置已调整的状态下行驶时，所述位置调整装置执行，过程(i)，将所述上半身图像输入到人脸检测器中，使所述人脸检测器，在所述上半身图像上检测所述驾驶员的至少一个面部；过程(ii)，将所述面部输入到眼睛检测器中，使所述眼睛检测器，在所述面部中检测所述驾驶员的至少一个眼部；过程(iii)，在所述检测到的眼部中将与所述驾驶员的至少一个眼睛相对应的2D坐标与已调整的驾驶座的位置输入到3D坐标转换器中，从而使所述3D坐标转换器，参考所述驾驶座的位置和所述眼睛的2D坐标生成所述驾驶员的所述眼睛的3D坐标，并参考所述眼睛的所述3D坐标调整所述车辆的至少一个镜子的至少一个位置。


2.根据权利要求1所述的根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，
在所述步骤(a)中，
所述位置调整装置，使所述姿势预测网络，(i)通过特征提取器从所述上半身图像和所述下半身图像中提取一个以上的特征，分别生成一个以上的特征张量，(ii)通过关键点热图和部分亲和力字段提取器，分别生成与每个所述特征张量相对应的一个以上的关键点热图和一个以上的部分亲和力字段，(iii)通过关键点分组层从每个所述关键点热图中提取一个以上的关键点，参考每个所述部分亲和力字段，分别对已提取的关键点进行分组生成与所述驾驶员相对应的所述身体关键点。


3.根据权利要求2所述的根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，
所述位置调整装置，使所述姿势预测网络，通过所述特征提取器的至少一个卷积层，将至少一个卷积运算分别适用于所述上半身图像和所述下半身图像中，生成每个所述特征张量。


4.根据权利要求2所述的根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，
所述位置调整装置，使所述姿势预测网络，通过所述关键点热图和部分亲和力字段提取器的全卷积网络或至少一个1×1卷积层，对每个所述特征张量适用至少一个全卷积运算或至少一个1×1卷积运算，从而分别生成与每个所述特征张量相对应的所述关键点热图和所述部分亲和力字段。


5.根据权利要求2所述的根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，
所述位置调整装置，使所述姿势预测网络，通过所述关键点分组层，提取每个所述关键点热图中的每个最高点，作为与每个所述关键点热图相对应的每个所述关键点。


6.根据权利要求5所述的根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，
所述位置调整装置，使所述姿势预测网络，通过所述关键点分组层，参考每个所述部分亲和力字段，分别连接已提取的关键点对中具有最高相互连接概率的对，从而对已提取的关键点进行分组。


7.根据权利要求1所述的根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，
在所述步骤(b)中，
所述位置调整装置，使所述人脸检测器，(i)通过卷积层对所述上半身图像适用至少一个卷积运算，生成至少一个特征图，(ii)通过区域生成网络生成与所述特征图上的一个以上的对象相对应的一个以上的建议框，(iii)通过池化层，对与所述特征图上的所述建议框相对应的一个以上的区域适用至少一个池化运算，生成至少一个特征矢量，(iv)通过全连接层，对所述特征矢量适用至少一个全连接运算生成至少一个全连接输出值，(v)对所述全连接层的所述全连接输出值，适用分类运算和回归运算，分别输出关于所述对象的类别信息和回归信息之后，通过分类层和回归层，检测所述上半身图像上的所述驾驶员的所述面部，其中，每个所述对象对应于每个所述建议框。


8.根据权利要求7所述的根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，
在所述步骤(b)中，
所述位置调整装置，使所述眼睛检测器，将所述面部转换为至少一个修正统计变换图像，适用自适应提升算法从所述修正统计变换图像中获取的眼睛检测用特征数据中检测所述驾驶员的所述眼部，其中，局部的平均亮度与所述面部的亮度之间差异被编码为所述修正统计变换图像。


9.根据权利要求1所述的根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，
所述驾驶座的所述位置为获取所述上半身图像的至少一个相机与所述驾驶座之间的距离。


10.根据权利要求1所述的根据驾...

【专利技术属性】
技术研发人员：金桂贤，金镕重，金鹤京，南云铉，夫硕焄，成明哲，申东洙，吕东勋，柳宇宙，李明春，李炯树，张泰雄，郑景中，诸泓模，赵浩辰，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：韩国;KR