一种基于智能学习模型的乘车体验增强方法、装置及云端制造方法及图纸

本发明专利技术涉及一种基于智能学习模型的乘车体验增强方法、装置及云端。本发明专利技术中通过焦距不同且共等效光轴的三个摄像装置采集车内图像，所采集车内图像因摄像装置焦距的不同而具有不同的观测尺度，使得拍摄目标在车内图像中的相对尺寸和细节丰富，为后续训练智能学习模型减少负担，大幅度减少智能学习模型所需的卷积层，提高算法效率；将多组车内图像按时序排列形成数据包，计算获取数据包内的每组车内图像的尺度响应图并对尺度响应图归一化，提高数据的可识别性，利用高可识别性的数据训练智能学习模型来推测乘客可能的实际需求，进而根据预测的实际需求执行相应的操作，有助于提升乘客的乘车体验。客的乘车体验。客的乘车体验。

【技术实现步骤摘要】
一种基于智能学习模型的乘车体验增强方法、装置及云端


[0001]本专利技术涉及汽车智能控制
，尤其涉及一种基于智能学习模型的乘车体验增强方法、装置及云端。

技术介绍

[0002]伴随着互联网与移动通信技术的普及和人工智能、嵌入式芯片等新一代计算技术的快速发展，智能型传感器与智慧算法在智能驾驶应用方面发挥了越发重要的作用。传感器的微型化与计算能力的提升使得在汽车内部可以隐蔽式的部署多个传感器，在不干扰驾驶与乘坐的前提下感知车内环境，推测乘车人和司机的潜在需求。目前该类应用已有部分现实产品应用于新能源汽车、网约车等场景，为提升驾驶的舒适感和安全性，以及提升乘客乘坐的体验感起到了重要作用。
[0003]目前有以下几种实现方式：（1）通过一个或多个传感器感知用户行为，并对应进行自动调整设置。这种方式系统简单，但能够完成的功能也较为简单，无法满足用户更智能的需求。（2）通过摄像头捕捉用户特定动作，例如摆手、摇头等，从而利用图像识别处理方法和/或神经网络方法进行识别，从而对应进行车辆的操控设置。这种方法更为智能，能够完成的设置更多，但需要用户按照规范的动作（标志性动作）进行，且动作数量有限，能调整设置的功能也有限。（3）通过语音识别进行控制，这种虽然能够完成复杂的车辆操控，但依然需要用户主动说出需求（标志性声音）才能够实现操控。由此可见，无论哪种方案，都需要事先约定好标志性的事件（语言、动作等）才能够完成对应的操控，这使得操控车辆功能的种类多少受限于算法复杂程度，且都需要用户主动声明需求才能满足，同时每个用户所能够实现的功能也是相同的，没有个性化的定制。实际上有些功能在一些用户那里根本用不到，但依然要为这些功能设置相应算法，增加了算法负担。为此，需要一种能够无需用户主动发出信号，可主动识别用户动作，对用户意图进行准确预测，从而增强用户乘车体验的技术。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本专利技术提供一种基于智能学习模型的乘车体验增强方法、装置及云端。
[0005]第一方面，本专利技术提供一种基于智能学习模型的乘车体验增强方法，包括：控制三个摄像装置每隔预设时间间隔L同时拍摄一组车内图像，三个摄像装置的等效光轴保持一致，且三个摄像装置的焦距f1、f2、f3满足；将多组车内图像打包生成一个包含时序信息和空间信息的数据包，其中，数据包每个元素，t=1，2
……
T；对于数据包每个元素中的每一个车内图像，计算生成与其对应的尺度响应图、、，将尺度响应图通过如下公式归一化：
，其中，表示尺度响应图中空间坐标为（u，v）的点的取值，为归一化的尺度响应图，为归一化的尺度响应图中空间坐标为（u，v）的点的取值，，表示某个尺度响应图的所有像素的平均值，为每一组车内图像的三个尺度响应图中所有像素的平均值的中间值；以获得的归一化的尺度响应图为基础数据，训练创建对数据包内车内图像所含对象行为识别的智能学习模型。
[0006]更进一步地，计算车内图像的尺度响应图S的公式如下：；其中，表示车内图像I中坐标为(u,v)的像素值，为与I对应的尺度响应图S中坐标为(u,v)的像素值，、为对应的两个高斯卷积窗，、分别为高斯卷积窗、对应坐标(i,j)处的权重值，符号表示卷积运算。
[0007]更进一步地，所述高斯卷积窗定义如下：；其中，表示自然指数函数， (i,j)表示高斯卷积窗某个点的坐标，高斯卷积窗的中心的坐标为(0,0)，、为高斯卷积窗的参数。
[0008]更进一步地，所述智能学习模型所采用的神经网络模型包括输入层、隐藏层和输出层，其中，所述隐藏层为3层结构。
[0009]更进一步地，在训练智能学习模型时，人工标注训练智能学习模型的数据包的归一化尺度响应图所对应的实际需求标签形成训练样本；利用训练样本对智能学习模型所采用的神经网络模型进行训练，确定神经网络模型中相邻层之间的连接权重。
[0010]更进一步地，对神经网络模型的训练时，采用后向传播方法求取代价函数的极值，取代价函数极值时的连接权重构建智能学习模型。
[0011]更进一步地，预设的时间间隔取值0.5秒，每一个数据包中包含12组车内图像。
[0012]更进一步地，通过训练的智能学习模型对车内图像的数据包进行预测获取用户的实际需求，车载控制器根据用户的实际需求执行相应操作。
[0013]第二方面，本专利技术提供一种执行基于智能学习模型的乘车体验增强方法的装置，包括：图像采集模块，所述图像采集模块用于采集车内图像；尺度响应图生成模块，所述尺度响应图生成模块针对数据包内的每组车内图像生成尺度响应图；
归一化模块，所述归一化模块对尺度响应图进行归一化；智能学习模型模块，所述智能学习模型模块对进行尺度响应图归一化的数据包进行预测，获取用户的实际需求；执行模块，所述执行模块根据用户的实际需求执行相应操作以满足用户的实际需求。
[0014]第三方面，本专利技术提供一种执行基于智能学习模型的乘车体验增强方法的云端，包括：处理器、存储器、通讯接口和总线，总线连接处理器、存储器和通讯接口，云端的通讯接口通过网络连接车辆，云端从车辆获取车内图像并存储于存储器，所述存储器存储至少一条指令，所述处理器读取并执行所述指令对存储于处理器的车内图像进行处理分析并将分析结果反馈给车辆以实现所述的基于智能学习模型的乘车体验增强方法。
[0015]本专利技术实施例提供的上述技术方案与现有技术相比具有如下优点：本专利技术通过共等效光轴的三个摄像设备捕捉车内环境与乘客的行为，并据此推测乘客可能的实际需求，进而根据实际需求执行相应的操作有助于提升乘客的乘车体验。
[0016]本专利技术通过焦距不同的三个摄像装置，在等效光轴一致的情况下，对车内情况实现不同视野范围的采集，由于三个摄像装置的光轴近似一致，并且在空间上的差异远小于拍摄目标的空间尺寸，因此，可以近似认为所采集三张车内图像的主要区别是：因焦距的不同而具有不同的观测尺度，使得拍摄目标在车内图像中的相对尺寸和细节丰富，为后续训练智能学习模型减少负担，大幅度减少智能学习模型所需的卷积层，提高算法效率。
[0017]本专利技术通过计算原始的车内图像的尺度响应图，可以在过滤噪声的同时突出原始的车内图像的细节特征，与直接输入原始的车内图像相比，尺度响应图像在不同行为类别上的特征区别度更高，可识别性能更强。通过将数据包中的尺度响应图归一化，降低由于焦距不同导致的观测对象在不同图像中的亮度水平不均衡程度，能够进一步降低数据噪声，有助于提高数据的可识别性能。为智能识别模型提供识别性强的输入数据，提高预测的准确率。
附图说明
[0018]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。
[0019]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于智能学习模型的乘车体验增强方法，其特征在于，包括：控制三个摄像装置每隔预设时间间隔L同时拍摄一组车内图像，三个摄像装置的等效光轴保持一致，且三个摄像装置的焦距f1、f2、f3满足 ；将多组车内图像打包生成一个包含时序信息和空间信息的数据包，其中，数据包每个元素，t=1，2
……
T；对于数据包每个元素中的每一个车内图像，计算生成对应的尺度响应图、、，将尺度响应图通过如下公式归一化：，其中，表示尺度响应图中空间坐标为（u，v）的点的取值，为归一化的尺度响应图，为归一化的尺度响应图中空间坐标为（u，v）的点的取值，，表示某个尺度响应图的所有像素的平均值，为每一组车内图像的三个尺度响应图中所有像素的平均值的中间值；以获得的归一化的尺度响应图为基础数据，训练创建对数据包内车内图像所含对象行为识别的智能学习模型。2.如权利要求1所述的基于智能学习模型的乘车体验增强方法，其特征在于，计算车内图像的尺度响应图S的公式如下：；其中，表示车内图像I中坐标为(u,v)的像素值，为与I对应的尺度响应图S中坐标为(u,v)的像素值，、为对应的两个高斯卷积窗，、分别为高斯卷积窗、对应坐标(i,j)处的权重值，符号表示卷积运算。3.如权利要求2所述的基于智能学习模型的乘车体验增强方法，其特征在于，所述高斯卷积窗定义如下：；其中，表示自然指数函数， (i,j)表示高斯卷积窗某个点的坐标，高斯卷积窗的中心的坐标为(0,0)，、为高斯卷积窗的参数。4.如权利要求1所述的基于智能学习模型的乘车体验增强方法，其特征在于，所述智能学习模型所采用的神经网络模型包括输入层、隐藏层和输出层，其中，所述隐藏层为3层结构。
5.如权利要求1所述的基于智能学习模型的乘车体验增强方法，其特征在于，在训练智能学习模型时，人工标注训练智能学习模型的数据包的归一化尺...

【专利技术属性】
技术研发人员：李建武，张松，王卫苹，刘凯，王国梁，
申请(专利权)人：北京理工大学前沿技术研究院，
类型：发明
国别省市：