基于图像识别的控制方法和系统及车辆、存储介质技术方案

本发明专利技术公开了一种基于图像识别的控制方法和系统及车辆、存储介质，包括，获取显示界面的状态信息并进行判断；如果所述状态信息发生变化，则获取所述显示界面的图像信息并提取所述图像信息的特征信息；获取对所述特征信息的控制指令；根据所述控制指令对所述特征信息进行控制。由此，不需要对软件进行适配性调试，用户也可以对软件进行语音操控，提升了用户的使用体验。用体验。用体验。

【技术实现步骤摘要】
基于图像识别的控制方法和系统及车辆、存储介质


[0001]本专利技术涉及应用控制
，尤其是涉及一种基于图像识别的控制方法，以及计算机可读存储介质和基于图像识别的控制系统以及车辆。

技术介绍

[0002]近些年来，随着技术的不断发展，图像识别在生活中的应用也日趋广泛。但是，专利技术人发现，现有技术中，图像识别的用户使用体验不够完善。

技术实现思路

[0003]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术的一个目的在于提出一种基于图像识别的控制方法，该方法旨在一定程度上解决现有技术存在的不足。
[0004]本专利技术的目的之二在于提出一种计算机可读存储介质。
[0005]本专利技术的目的之三在于提出一种基于图像识别的控制系统。
[0006]本专利技术的目的之四在于提出一种车辆。
[0007]为了解决上述问题，本专利技术第一方面实施例的基于图像识别的控制方法，包括：获取显示界面的状态信息并进行判断；如果所述状态信息发生变化，则获取所述显示界面的图像信息并提取所述图像信息的特征信息；获取对所述特征信息的控制指令；根据所述控制指令对所述特征信息进行控制。
[0008]根据本专利技术实施例提供的基于图像识别的控制方法，特征信息的控制指令能够根据显示界面状态信息的变化自动获取显示界面的图像信息，进而提取图像信息中的特征信息。在获取到对特征信息的控制指令后，根据控制指令对特征信息进行控制。由此，在一定程度上提升了图像识别的用户使用体验。
[0009]在一些实施例中，所述获取所述显示界面的图像信息并提取所述图像信息的特征信息包括，获取所述显示界面的图像信息并与之前获取的图像信息进行比对，识别所述图像信息中发生变化的图像区域，提取所述图像区域的特征信息并更新到之前所述提取的特征信息中。
[0010]在一些实施例中，所述获取所述显示界面的图像信息并提取所述图像信息的特征信息包括，对所述显示界面进行视频录制并提取所述视频的特征信息。
[0011]在一些实施例中，当所述显示界面的状态信息停止变化并且持续时间大于或者等于第一预设时间时，停止对所述显示界面的视频录制；所述提取所述视频的特征信息包括，提取所述视频中关键帧的特征信息。
[0012]在一些实施例中，所述获取显示界面的状态信息包括，获取应用程序在所述显示界面的显示状态信息；所述如果所述状态信息发生变化，则获取所述显示界面的图像信息并提取所述图像信息的特征信息包括，如果所述应用程序在所述显示界面的显示状态发生了变化，并且所述
变化后的显示状态持续时间大于或者等于第二预设时间时，则开始获取所述显示界面的图像信息并提取所述图像信息的特征信息，并当所述变化后的显示状态持续时间大于或者等于第三预设时间时，停止获取所述显示界面的图像信息；其中，所述第二预设时间小于第三预设时间。
[0013]在一些实施例中，所述如果所述应用程序在所述显示界面的显示状态发生了变化包括，所述显示界面显示的应用程序发生了变化或者应用程序的当前显示界面发生了变化。
[0014]在一些实施例中，所述特征信息包括，文字控制按钮区域、图形控制按钮区域、文字输入区域；所述获取对所述特征信息的控制指令包括，获取语音指令、服务器下发的指令、第三方传输的指令或者系统自动生成的指令；所述根据所述控制指令对所述特征信息进行控制包括，对所述特征信息进行点击、滑动、文字输入操作；所述根据所述控制指令对所述特征信息进行控制之后，所述方法还包括，向用户反馈控制结果。
[0015]在一些实施例中，所述特征信息包括，在所述显示界面的坐标位置信息；所述方法还包括，获取用户在控制所述特征信息时的操作信息，并在根据所述控制指令对所述特征信息进行控制时模拟用户的操作信息；其中，所述操作信息包括点击动作信息、滑动动作信息、文字输入动作信息。
[0016]本专利技术第二方面实施例的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述实施例所述的基于图像识别的控制方法。
[0017]本专利技术第三方面实施例的基于图像识别的控制系统，包括：状态信息获取模块，用于获取显示界面的状态信息并进行判断；图像信息获取模块，用于在所述状态信息发生变化时，获取所述显示界面的图像信息并提取所述图像信息的特征信息；控制指令获取模块，用于获取对所述特征信息的控制指令；控制模块，用于根据所述控制指令对所述特征信息进行控制。
[0018]根据本专利技术实施例提供的基于图像识别的控制系统，图像信息获取模块能够根据状态信息获取模块获取的显示界面状态信息的变化自动获取显示界面的图像信息，进而提取图像信息中的特征信息。在控制指令获取模块获取到对特征信息的控制指令后，控制模块根据控制指令对特征信息进行控制。由此，在一定程度上提升了图像识别的用户使用体验特征信息的控制指令。
[0019]本专利技术第四方面实施例的车辆，包括显示装置和上述实施例所述的基于图像识别的控制系统。
[0020]根据本专利技术实施例的车辆，通过采用上面实施例的基于图像识别的控制系统，图像信息获取模块能够根据状态信息获取模块获取的显示界面状态信息的变化自动获取显示界面的图像信息，进而提取图像信息中的特征信息。在控制指令获取模块获取到对特征信息的控制指令后，控制模块根据控制指令对特征信息进行控制。由此，在一定程度上提升了图像识别的用户使用体验。
[0021]本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变
得明显，或通过本专利技术的实践了解到。
附图说明
[0022]本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1是根据本专利技术的一个实施例的基于图像识别的控制方法流程图；图2是根据本专利技术的一个实施例的应用于车载中控显示屏的控制方法流程图；图3是根据本专利技术的一个实施例的坐标位置示意图；图4是根据本专利技术的一个实施例的基于图像识别的控制系统示意图；图5是根据本专利技术的一个实施例的应用于车载中控显示屏的控制系统示意图；图6是根据本专利技术的一个实施例车辆示意图。
具体实施方式
[0023]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0024]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0025]本专利技术可以在有计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块，一般的，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本专利技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像识别的控制方法，其特征在于，包括：获取显示界面的状态信息并进行判断；如果所述状态信息发生变化，则获取所述显示界面的图像信息并提取所述图像信息的特征信息；获取对所述特征信息的控制指令；根据所述控制指令对所述特征信息进行控制。2.根据权利要求1所述的基于图像识别的控制方法，其特征在于，所述获取所述显示界面的图像信息并提取所述图像信息的特征信息包括，获取所述显示界面的图像信息并与之前获取的图像信息进行比对，识别所述图像信息中发生变化的图像区域，提取所述图像区域的特征信息并更新到之前提取的所述特征信息中。3.根据权利要求1所述的基于图像识别的控制方法，其特征在于，所述获取所述显示界面的图像信息并提取所述图像信息的特征信息包括，对所述显示界面进行视频录制并提取所述视频的特征信息。4.根据权利要求3所述的基于图像识别的控制方法，其特征在于，当所述显示界面的状态信息停止变化并且持续时间大于或者等于第一预设时间时，停止对所述显示界面的视频录制；所述提取所述视频的特征信息包括，提取所述视频中关键帧的特征信息。5.根据权利要求1所述的基于图像识别的控制方法，其特征在于，所述获取显示界面的状态信息包括，获取应用程序在所述显示界面的显示状态信息；所述如果所述状态信息发生变化，则获取所述显示界面的图像信息并提取所述图像信息的特征信息包括，如果所述应用程序在所述显示界面的显示状态发生了变化，并且所述变化后的显示状态持续时间大于或者等于第二预设时间时，则开始获取所述显示界面的图像信息并提取所述图像信息的特征信息，并当所述变化后的显示状态持续时间大于或者等于第三预设时间时，停止获取所述显示界面的图像信息；其中，所述第二预设时间小于第三预设时间；所述如果所述应用程序在所述显示界面的显示状态发生了变化包括，所述显示界面显示的应用程序发生了变化或者应用程序的当前显示界面发生了变化。6.根据权利要求1所述的基于图像识别的控制方法，其特征在于，所述特征信息包括，文字控制按钮区域、图形控制按钮区域、文字输入区域；所述获取对所述特征信息的控制指令包括，获取语音指令、服务器下发的指令、第三方传输的指令或者系统自动生成的指令；所述根据所述控制指令对所述特征信息进行控制包括，对所述特征信息进行点击、滑动、文字输入操作；所述根据所述控制指令对所述特征信息进行控制之后，所述方法还包括，向用户反馈控制结果。7.根据权利要求1所述的基于图像识别的控制方法，其特征在于，所述特征信息包括，在所述显示界面的坐标位置信息；所述方法还包括，获取用户在控制所述特征信息时的操作信息，并在根据所述控制指令对所述特征信息进行控制时模拟用户的操作信息；
其中，所述操作信息包括点击动作信息、滑动动作信息、文字输入动作信息。8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现权利要求1-7任一项所述的基于图像识别的控制方法。9.一种基于图像识别的控制系统，其特征在于，包括：状态信息获取模块，用于获取显示界面的状态信息并进行判断；图像信息获取模块，用...

【专利技术属性】
技术研发人员：叶将涛，阮洲，杨世琨，刘柯，
申请(专利权)人：比亚迪股份有限公司，
类型：发明
国别省市：