一种应用于智能汽车的多屏互动方法、多屏互动系统技术方案

本发明专利技术提供一种应用于智能汽车多屏互动方法、多屏互动系统，具体包括：上电的显示屏初始化后，建立通信连接；上电显示屏从车载网络获取其它显示屏的识别信息并添加入显示状态表；上电显示屏之间能够进行交互；通过采集显示屏信息，压缩和传输更新的内容。本发明专利技术提供的技术方案中，提出多种显示屏在车内的互动，在屏幕互动传输过程中，仅传输更新区域并进行压缩传输，相比于现有传输全屏方式，本申请仅传输更新区域，传输有效载荷低以及系统资源利用率低。车内多屏互动，能够实现一屏投向多屏或多屏投射到一个屏中。或多屏投射到一个屏中。或多屏投射到一个屏中。

【技术实现步骤摘要】
一种应用于智能汽车的多屏互动方法、多屏互动系统


[0001]本专利技术涉及自动驾驶领域，特别涉及一种应用于智能汽车的多屏互动方法及多屏互动系统。

技术介绍

[0002]现代社会对用车需求的变化，导致对汽车提出更高要求，人们不仅仅满足自己驾驶，还希望在自己疲劳或有事情时汽车能够自动驾驶，这种需求驱动汽车自动驾驶技术的向前发展，使得自动驾驶成为汽车发展的必然方向之一，国际自动机工程师学会(SAE)将自动驾驶分为从第0级无自动化到第5级，其中从第3级条件自动驾驶开始，驾驶操作与对周边环境的监控被自动驾驶系统接管，人类驾驶员也就不再需要时刻关注驾驶任务。因此，汽车HMI将会是汽车体验的关键，现有技术中，汽车的HMI界面较为单一，汽车尽在驾驶员前方设置仪表屏和中控屏，并且仪表屏和中控屏功能相对独立，缺乏互动。另外，后排并没有设置显示屏，导致后排乘客在行车无法进行娱乐互动。

技术实现思路

[0003]基于现有技术中存在的缺陷，本专利技术提供一种应用于智能汽车多屏互动方法，包括：系统ACC上电后，上电的显示屏初始化后，建立通信连接；
[0004]上电显示屏从车载网络获取其它显示屏的识别信息并添加入显示状态表；上电显示屏之间能够进行交互；
[0005]通过采集显示屏信息，压缩和传输更新的内容；
[0006]通过设置用于屏幕捕获的API，捕获原始图像数据、与捕获的当前帧与上一帧之间差异的有效信息；
[0007]通过解析有效信息，确定压缩和传输的区域。
[0008]一种应用于智能汽车多屏互动方法，进一步可选的，有效信息用于记录当前帧与上一帧之间的数据属性的信息。
[0009]一种应用于智能汽车多屏互动方法，进一步可选的，从屏幕捕获的API获得的有效信息中获取更新区域；更新区域定义为在预设窗口大小的范围内，与上次捕获的帧内容相比，屏幕内容在其中更新。
[0010]一种应用于智能汽车多屏互动方法，进一步可选的，通过将所有单独的更新区域合并，生成包含当前帧中所有更新像素的最小区域并用于进一步压缩。
[0011]一种应用于智能汽车多屏互动方法，进一步可选的，通过预设区域大小的滑动窗口，用滑动窗口遍历屏幕的区域，获取本帧的窗口图像，将本帧的窗口图像与上一帧捕获同一区域的图像进行比较，获取更新后窗口图像；
[0012]将更新后的窗口图像进行合并后送入对应的编码器进行处理。
[0013]一种应用于智能汽车多屏互动方法，进一步可选的，编码器管理器同时创建预设多个编码器进程，编码器进程从图像不同的区域开始同时遍历，每个编码器进程负责遍历
预设区域。
[0014]一种应用于智能汽车多屏互动方法，进一步可选的，至少包括：
[0015]从当前显示屏中提取信息形成图像编码区域和帧信息；
[0016]编码区域包括捕获的原始图像信息，帧信息包括有效信息；
[0017]根据采集的原始图像的信息大小选择适配的编码器对图像进行编码形成比特流，然后将有效信息和比特流绑定后传输给目标显示屏；
[0018]从图像编码区域获取内容更新区域，内容更新区域包括本帧图像与上一帧图像相比，内容发生变化的位置。
[0019]一种应用于智能汽车多屏互动方法，进一步可选的，至少包括：在SoC系统中启动虚屏控制API，虚屏控制API获取投屏显示或同步显示的屏幕数量和对应的分辨率；
[0020]当屏幕数量数量为多个和/或显示区域为1个时，根据屏幕数量、对应的分辨率，虚屏控制API创建对应的虚拟屏幕；
[0021]虚拟屏幕用于SoC系统正常运行预设应用程序，在后台进行模拟显示但不传输至显示屏的LCD屏幕进行显示；
[0022]将多个虚拟屏幕模拟显示的图像传输与其分辨率匹配的编码器进行解码后通过车载以太网协议栈输出至目标显示屏进行显示。
[0023]一种应用于智能汽车多屏互动方法，进一步可选的，当屏幕数量为1个、显示区域为多个，根据显示区域数量以及显示区域窗口大小，虚屏控制API创建对应的虚拟屏幕。
[0024]一种应用于智能汽车多屏互动方法，进一步可选的，编码器由编码管理器动态创建，根据编码区域的大小和数量进行创建对应的编码器，当图像编码完成后释放编码器。
[0025]一种应用于智能汽车多屏互动方法，进一步可选的，创建的编码器按编码区域的大小排序；
[0026]SoC系统从最小到最大依次检查已创建的编码器，并选择第一个包含更新区域进行压缩；
[0027]选择编码器时，判断先前的编码区域是否覆盖当前更新的区域；
[0028]如果是，则将直接继承该区域以进行压缩；否则，将生成一个新的编码区域，其中更新的区域位于中心，以便在下一帧中最大程度地重复使用。
[0029]一种应用于智能汽车多屏互动方法，进一步可选的，在确定编码器和编码区域后，更新的屏幕内容可以被压缩并传输到目标显示屏；
[0030]编码器规格和编码区域的帧信息与编码码流一起传输；
[0031]根据接收到的帧信息和比特流，目标显示屏使用相应的解码器对帧进行解压缩，并将解码后的图像相应地渲染到指定的屏幕区域。
[0032]一种应用于智能汽车多屏互动方法，进一步可选的，采集图像区域，将采集的每帧图像数据拆分为多个图像；
[0033]编码管理器创建与拆分后的图像数量匹配的编码器；
[0034]将拆分的多个图像同时送入对应的编码器进行编码；
[0035]将编码后的比特流和帧信息进行绑定后发送给目标显示屏。
[0036]一种应用于智能汽车多屏互动方法，进一步可选的，其特征在于，当用户操作屏幕后，SoC系统底层获取物理信息后封装为指令对象；
[0037]指令对象里至少包括触摸事件预设信息，预设信息至少包括动作类型、位置坐标、压力感应、有效区域面积中的之一；
[0038]获取到指令对象，将指令对象转换为指令通过车载以太网协议栈发送给目标显示屏；
[0039]目标显示屏在接收到指令对象并对指令对象进行解析后获取触摸事件的信息；
[0040]根据将触摸事件的信息行程操作指令重新模拟触摸操作屏幕；
[0041]将模拟操作触摸对应的内容输出显示。
[0042]一种汽车多屏互动系统，应用上述的智能汽车人机多屏互动方法；
[0043]多屏互动系统还包括：
[0044]至少包括两块显示屏能够交互，交互包括：屏幕共享、投屏显示屏、信息同步、信息推送、屏幕操控的中至少一种或多种；
[0045]交互方式包括：移动到可点击的按钮区域时触摸屏会有震动反馈，并且屏幕按钮会有高亮提示；
[0046]或利用车内的弧度，辅助用户找到按钮区域；
[0047]或应用语音、手势、HUD和AR等方式。
[0048]一种汽车多屏互动系统，进一步可选的，至少有一块显示屏设有摄像头，用于获取图像信息，图像信息包括人脸、车内周围环境信息；
[0049]通过采集人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于智能汽车多屏互动方法，其特征在于，系统ACC上电后，上电的显示屏初始化后，建立通信连接；上电显示屏从车载网络获取其它显示屏的识别信息并添加入显示状态表；上电显示屏之间能够进行交互；通过采集显示屏信息，压缩和传输更新的内容；通过设置用于屏幕捕获的API，捕获原始图像数据、与捕获的当前帧与上一帧之间差异的有效信息；通过解析有效信息，确定压缩和传输的区域。2.如权利要求1所述一种应用于智能汽车多屏互动方法，其特征在于，有效信息用于记录当前帧与上一帧之间的数据属性的信息。3.如权利要求1所述一种应用于智能汽车多屏互动方法，其特征在于，从屏幕捕获的API获得的有效信息中获取更新区域；更新区域定义为在预设窗口大小的范围内，与上次捕获的帧内容相比，屏幕内容在其中更新。4.如权利要求3所述一种应用于智能汽车多屏互动方法，其特征在于，通过将所有单独的更新区域合并，生成包含当前帧中所有更新像素的最小区域并用于进一步压缩。5.如权利要求1所述一种应用于智能汽车多屏互动方法，其特征在于，通过预设区域大小的滑动窗口，用滑动窗口遍历屏幕的区域，获取本帧的窗口图像，将本帧的窗口图像与上一帧捕获同一区域的图像进行比较，获取更新后窗口图像；将更新后的窗口图像进行合并后送入对应的编码器进行处理。6.如权利要求5所述一种应用于智能汽车多屏互动方法，其特征在于，编码器管理器同时创建预设多个编码器进程，编码器进程从图像不同的区域开始同时遍历，每个编码器进程负责遍历预设区域。7.一种应用于智能汽车多屏互动方法，其特征在于，至少包括：从当前显示屏中提取信息形成图像编码区域和帧信息；编码区域包括捕获的原始图像信息，帧信息包括有效信息；根据采集的原始图像的信息大小选择适配的编码器对图像进行编码形成比特流，然后将有效信息和比特流绑定后传输给目标显示屏；从图像编码区域获取内容更新区域，内容更新区域包括本帧图像与上一帧图像相比，内容发生变化的位置。8.一种应用于智能汽车多屏互动方法，其特征在于，至少包括：在SoC系统中启动虚屏控制API，虚屏控制API获取投屏显示或同步显示的屏幕数量和对应的分辨率；当屏幕数量为多个和/或显示区域为1个时，根据屏幕数量、对应的分辨率，虚屏控制API创建对应的虚拟屏幕；虚拟屏幕用于SoC系统正常运行预设应用程序，在后台进行模拟显示但不传输至显示屏的LCD屏幕进行显示；将多个虚拟屏幕模拟显示的图像传输与其分辨率匹配的编码器进行解码后通过车载以太网协议栈输出至目标显示屏进行显示。9.如权利要求8所述一种应用于智能汽车多屏互动方法，其特征在于，当屏幕数量为1个、显示区域为多个，根据显示区域数量以及显示区域窗口大小，虚屏控制API创建对应的
虚拟屏幕。10.如权利要求5或7或8所述一种应用于智能汽车多屏互动方法，其特征在于，编码器由编码管理器动态创建，根据编码区域的大小和数量进行创建对应的编码器，当图像编码完成后释放编码器。11.如权利要求10所述一种应用于智能汽车多屏互动方法，其特征在于，创建的编码器按编码区域的大小排序；SoC系统从最小到最大依次检查已创建的编码器，并选择第一个包含更新区域进行压缩；选择编码器时，判断先前的编码区域是否覆盖当前更新的区域；如果是，则将直接继承该区域以进行压缩；否则，将生成一个新的编码区域，其中更新的区域位于中心，以便在下一帧中最大程度地重复使用。12.如权利要求10所述一种应用于智能汽车多屏互动方法，其特征在于，...

【专利技术属性】
技术研发人员：肖文平，何敖东，
申请(专利权)人：上海赫千电子科技有限公司，
类型：发明
国别省市：