基于ARHUD的成像方法和系统技术方案

本发明专利技术提供了一种基于ARHUD的成像方法和系统，适于在位于汽车前档风玻璃上的具有增强现实效果的抬头显示屏ARHUD上呈现经过处理的变更图像。成像方法包括如下步骤：通过车内摄像头持续地采集座舱内驾驶员的面部图像，并在面部图像中获取多个面部关键点；对多个面部关键点进行三角剖分处理后，将多个面部关键点中的至少一部分仿射变换至目标关键点，以获得变更图像；以及将变更图像投射在ARHUD上。本发明专利技术的基于ARHUD的成像方法和系统可以在汽车的场景中实现对面部图像的修容处理，提升座舱智能化程度，提高用户驾车体验。提高用户驾车体验。提高用户驾车体验。

【技术实现步骤摘要】
基于ARHUD的成像方法和系统


[0001]本专利技术主要涉及智能座舱领域，尤其涉及一种基于ARHUD的成像方法和系统。

技术介绍

[0002]随着智能汽车领域的发展，用户对于智能汽车的需求已不再局限于汽车性能上的追求，而也愈发期待智能汽车可以实现更多的智能功能。汽车不再仅具有交通工具的性能，当人们驾驶汽车的时候，更希望它具有更多智能化的辅助功能。
[0003]对于照片或视频的修容处理在其他领域如多媒体或者视频通讯领域已经是较为普遍的事情，然而针对座舱内的环境，目前还没有关于人脸图像处理的方案，在一些特殊场景下如车内视频会议等场景，人们对于汽车智能化的需求还未得以完全地满足。

技术实现思路

[0004]本专利技术要解决的技术问题是提供一种基于ARHUD的成像方法和系统，可以在汽车的场景中实现对面部图像的修容处理，提升座舱智能化程度，提高用户汽车的使用体验。
[0005]为解决上述技术问题，本专利技术提供了一种基于ARHUD的成像方法，适于在位于汽车前档风玻璃上的具有增强现实效果的抬头显示屏ARHUD上呈现经过处理的变更图像，包括如下步骤：
[0006]通过车内摄像头持续地采集座舱内驾驶员的面部图像，并在所述面部图像中获取多个面部关键点；
[0007]对所述多个面部关键点进行三角剖分处理后，将多个面部关键点中的至少一部分仿射变换至目标关键点，以获得变更图像；以及
[0008]将所述变更图像投射在所述ARHUD上。
[0009]在本专利技术的一实施例中，还包括在进行所述三角剖分处理之前，在所述面部图像中生成均匀分布的多个网格，在所述多个网格中将多个面部关键点中的至少一部分仿射变换至目标关键点，以获得所述变更图像。
[0010]在本专利技术的一实施例中，还包括通过卡尔曼滤波或一欧元滤波对所述多个网格的顶点进行平滑处理。
[0011]在本专利技术的一实施例中，还包括：
[0012]通过车外摄像头持续地获取车辆前方的车前图像；
[0013]当检测到所述车前图像中出现行人时，对具有所述行人画面的车前图像进行关键点检测，以获得所述行人眉心位置的图像坐标；
[0014]根据所述车外摄像头的内参和外参以及所述行人相较于所述车外摄像头的深度信息获取所述行人眉心位置的世界坐标；
[0015]获取所述行人的视线方向，并根据所述视线方向、所述车内摄像头的内参和外参以及驾驶员相较于所述车内摄像头的深度信息，获得驾驶员面部图像中的每个像素点对应的世界坐标；以及
[0016]根据所述行人眉心位置的世界坐标和所述驾驶员面部图像中的每个像素点对应的世界坐标，将所述变更图像通过水平镜像处理呈现在汽车的前挡风玻璃外的对应位置。
[0017]在本专利技术的一实施例中，还包括将驾驶员面部图像中的人脸部分通过抠图处理从而获得人脸部分图像，并将所述人脸部分图像通过水平镜像处理呈现在汽车的前档风玻璃外的对应位置。
[0018]在本专利技术的一实施例中，在将所述变更图像通过水平镜像处理呈现在汽车的前挡风玻璃外的对应位置后，还包括增加所述ARHUD的显示亮度的步骤。
[0019]在本专利技术的一实施例中，还包括预先对所述ARHUD进行畸变矫正处理的步骤。
[0020]在本专利技术的一实施例中，响应于位于中控屏幕上的滑竿按键、语音输入、移动端应用程序指令或位于ARHUD上的滑竿控制中的任一种控制方式，将所述多个面部关键点中的至少一部分仿射变换至所述目标关键点。
[0021]在本专利技术的一实施例中，所述位于ARHUD上的滑竿控制包括在ARHUD上显示滑竿的影像，获取所述滑竿每个像素点的世界坐标，通过所述车内摄像头识别一个或多个手指关节点，获取所述手指关节点的世界坐标并将手指关节点连结成一条直线，其中，
[0022]若所述直线位于所述滑竿的预设区域内且手指做出指定动作，则触发所述滑竿跟随所述手指移动，以实现将所述多个面部关键点中的至少一部分仿射变换至所述目标关键点。
[0023]在本专利技术的一实施例中，所述多个面部关键点为二维的面部关键点，所述方法还包括：
[0024]在对所述多个面部关键点进行三角剖分处理后，通过三维人脸重建方法将所述二维的多个面部关键点转换为三维的面部关键点；
[0025]将所述三维的多个面部关键点中的至少一部分仿射变换至目标关键点；
[0026]将经过所述仿射变换的三维的多个面部关键点转换回二维的面部关键点，以获得所述变更图像；以及
[0027]将所述变更图像投射在ARHUD上和/或车辆的侧面挡风玻璃上。
[0028]为了解决上述的技术问题，本专利技术还提供了一种基于ARHUD的汽车内成像系统，包括：
[0029]存储器，用于存储可由处理器执行的指令；以及处理器，用于执行所述指令以实现上述基于ARHUD的成像方法。
[0030]一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现上述基于ARHUD的成像方法。
[0031]与现有技术相比，本专利技术具有以下优点：本专利技术的基于ARHUD的成像方法和系统在汽车的应用场景中实现了对于人脸图像的修容处理，并根据不同的需求向车外或者通过车内多媒体呈现具有特殊效果的人脸图像，提高了汽车驾驶和使用的智能性；特别地，还可以使用网格标定算法代替三角剖分的算法模式，使得在汽车行驶过程中即使出现抖动，人脸关键点的获取也能维持稳定。
附图说明
[0032]包括附图是为提供对本申请进一步的理解，它们被收录并构成本申请的一部分，
附图示出了本申请的实施例，并与本说明书一起起到解释本专利技术原理的作用。附图中：
[0033]图1是本专利技术一实施例的一种基于ARHUD的成像方法的流程示意图；
[0034]图2是本专利技术一实施例的一种基于ARHUD的成像方法的原理示意图；以及
[0035]图3是本专利技术一实施例的一种基于ARHUD的成像系统的系统框图。
具体实施方式
[0036]为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
[0037]如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
[0038]除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ARHUD的成像方法，适于在位于汽车前档风玻璃上的具有增强现实效果的抬头显示屏ARHUD上呈现经过处理的变更图像，其特征在于，包括如下步骤：通过车内摄像头持续地采集座舱内驾驶员的面部图像，并在所述面部图像中获取多个面部关键点；对所述多个面部关键点进行三角剖分处理后，将多个面部关键点中的至少一部分仿射变换至目标关键点，以获得变更图像；以及将所述变更图像投射在所述ARHUD上。2.如权利要求1所述的方法，其特征在于，还包括在进行所述三角剖分处理之前，在所述面部图像中生成均匀分布的多个网格，在所述多个网格中将多个面部关键点中的至少一部分仿射变换至目标关键点，以获得所述变更图像。3.如权利要求2所述的方法，其特征在于，还包括通过卡尔曼滤波或一欧元滤波对所述多个网格的顶点进行平滑处理。4.如权利要求1任一项所述的方法，其特征在于，还包括：通过车外摄像头持续地获取车辆前方的车前图像；当检测到所述车前图像中出现行人时，对具有所述行人画面的车前图像进行关键点检测，以获得所述行人眉心位置的图像坐标；根据所述车外摄像头的内参和外参以及所述行人相较于所述车外摄像头的深度信息获取所述行人眉心位置的世界坐标；获取所述行人的视线方向，并根据所述视线方向、所述车内摄像头的内参和外参以及驾驶员相较于所述车内摄像头的深度信息，获得驾驶员面部图像中的每个像素点对应的世界坐标；以及根据所述行人眉心位置的世界坐标和所述驾驶员面部图像中的每个像素点对应的世界坐标，将所述变更图像通过水平镜像处理呈现在汽车的前挡风玻璃外的对应位置。5.如权利要求4所述的方法，其特征在于，还包括将驾驶员面部图像中的人脸部分通过抠图处理从而获得人脸部分图像，并将所述人脸部分图像通过水平镜像处理呈现在汽车的前档风玻璃外的对应位置。6.如权利要求4或5所述的方法，其特征在于，在将所述变更图像通过水平...

【专利技术属性】
技术研发人员：陈立里，袁丹寿，张祺，
申请(专利权)人：合众新能源汽车有限公司，
类型：发明
国别省市：