基于图像识别的控制方法和系统及车辆、存储介质技术方案

本发明专利技术公开了一种基于图像识别的控制方法和系统及车辆、存储介质，所述方法，包括：获取控制指令；获取所述显示界面的图像信息并提取所述图像信息中与所述控制指令相对应的特征信息；根据所述控制指令对所述特征信息进行控制。由此，不需要对软件进行适配性调试，用户也可以对软件进行语音操控，提升了用户的使用体验。体验。体验。

【技术实现步骤摘要】
基于图像识别的控制方法和系统及车辆、存储介质


[0001]本专利技术涉及应用控制
，尤其是涉及一种基于图像识别的控制方法，以及计算机可读存储介质和基于图像识别的控制系统以及车辆。

技术介绍

[0002]近些年来，随着技术的不断发展，图像识别在生活中的应用也日趋广泛。但是，专利技术人发现，现有技术中，图像识别的用户使用体验不够完善。

技术实现思路

[0003]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术的一个目的在于提出一种基于图像识别的控制方法，该方法旨在一定程度上解决现有技术存在的不足。
[0004]本专利技术的目的之二在于提出一种计算机可读存储介质。
[0005]本专利技术的目的之三在于提出一种基于图像识别的控制系统。
[0006]本专利技术的目的之四在于提出一种车辆。
[0007]为了解决上述问题，本专利技术第一方面实施例的基于图像识别的控制方法，包括：获取控制指令；在获取到所述控制指令后，获取所述显示界面的图像信息，并提取所述图像信息中与所述控制指令相对应的特征信息；根据所述控制指令对所述特征信息进行控制。
[0008]根据本专利技术实施例提供的基于图像识别的控制方法，在获取到控制指令后，获取显示界面的图像信息并提取图像信息中与控制指令相对应的特征信息，进而根据控制指令对特征信息进行控制，由此，在一定程度上提升了图像识别的用户使用体验。。
[0009]在一些实施例中，所述在获取到所述控制指令后，获取所述显示界面的图像信息，并提取所述图像信息中与所述控制指令相对应的特征信息包括，在获取到所述控制指令后，获取显示界面的状态信息并进行判断；如果所述状态信息发生变化，并且无法从状态信息变化后的所述显示界面的图像信息中提取到与所述控制指令相对应的特征信息，则根据状态信息变化前的所述显示界面的图像信息提取与所述控制指令相对应的特征信息。
[0010]在一些实施例中，如果无法从所述显示界面的图像信息中提取到至少部分与所述控制指令相对应的特征信息，则根据所述控制指令对已提取到的与所述控制指令相对应的特征信息进行控制；所述方法还包括，继续获取所述显示界面的图像信息并提取所述至少部分未提取到的与所述控制指令相对应的特征信息；根据所述控制指令对新提取到的与所述控制指令相对应的特征信息进行控制，直至与所述控制指令相对应的特征信息全部被提取完毕。
[0011]在一些实施例中，所述继续获取所述显示界面的图像信息并提取所述至少部分未提取到的与所述控制指令相对应的特征信息，包括，继续获取所述显示界面的图像信息，并与之前获取的图像信息进行比对，识别所述图像信息中发生变化的图像区域，并从所述图像区域中提取所述至少部分未提取到的与所述控制指令相对应的特征信息。
[0012]在一些实施例中，所述根据所述控制指令获取所述显示界面的图像信息，并提取所述图像信息中与所述控制指令相对应的特征信息，包括，根据所述控制指令对所述显示界面进行视频录制，并提取所述视频中与所述控制指令相对应的特征信息。
[0013]在一些实施例中，所述提取所述视频中与所述控制指令相对应的特征信息包括，提取所述视频的视频关键帧中与所述控制指令相对应的特征信息；所述方法还包括，当从所述视频关键帧中提取到所有所述控制指令相对应的特征信息时，停止对所述显示界面的视频录制。
[0014]在一些实施例中，如果无法从所述显示界面的图像信息中提取到至少部分与所述控制指令相对应的特征信息，则继续获取所述显示界面的图像信息，并提取所述图像信息中与所述控制指令相对应的特征信息，直至提取到全部与所述控制指令相对应的特征信息；根据所述控制指令对所述特征信息进行控制。
[0015]在一些实施例中，所述获取显示界面的状态信息包括，获取应用程序在所述显示界面的显示状态信息；所述状态信息发生变化包括，所述显示界面显示的应用程序发生了变化或者应用程序的当前显示界面发生了变化。
[0016]在一些实施例中，所述特征信息包括，文字控制按钮区域、图形控制按钮区域、文字输入区域；所述获取对所述显示界面的控制指令包括，获取语音指令、服务器下发的指令、第三方传输的指令或者系统自动生成的指令；所述根据所述控制指令对所述特征信息进行控制包括，对所述特征信息进行点击、滑动、文字输入操作；所述根据所述控制指令对所述特征信息进行控制之后，所述方法还包括，向用户反馈控制结果。
[0017]在一些实施例中，所述特征信息还包括在所述显示界面的坐标位置信息；所述方法还包括，获取用户在控制所述特征信息时的操作信息，并在根据所述控制指令对所述特征信息进行控制时模拟用户的操作信息；其中，所述操作信息包括点击动作信息、滑动动作信息、文字输入动作信息。
[0018]本专利技术第二方面实施例的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述实施例所述的基于图像识别的控制方法。
[0019]本专利技术第三方面实施例的基于图像识别的控制系统，包括：控制指令获取模块，用于获取控制指令；图像信息获取模块，在所述控制指令获取模块获取到所述控制指令后，获取所述显示界面的图像信息，并提取所述图像信息中与所述控制指令相对应的特征信息；特征信息控制模块，用于根据所述控制指令对所述特征信息进行控制。
[0020]根据本专利技术实施例提供的基于图像识别的控制系统，在获取到控制指令后，获取
显示界面的图像信息并提取图像信息中与控制指令相对应的特征信息，进而根据控制指令对特征信息进行控制，由此，在一定程度上提升了图像识别的用户使用体验。
[0021]本专利技术第四方面实施例的车辆，包括显示装置和上述实施例所述的基于图像识别的控制系统。
[0022]根据本专利技术实施例的车辆，通过采用上面实施例的基于图像识别的控制系统，在一定程度上提升了图像识别的用户使用体验。
[0023]本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0024]本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1是根据本专利技术的一个实施例的基于图像识别的控制方法流程图；图2是根据本专利技术的一个实施例的应用于车载中控显示屏的控制方法流程图；图3是根据本专利技术的一个实施例的坐标位置示意图；图4是根据本专利技术的一个实施例的基于图像识别的控制系统示意图；图5是根据本专利技术的一个实施例的应用于车载中控显示屏的控制系统示意图；图6是根据本专利技术的一个实施例车辆示意图。
具体实施方式
[0025]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0026]需要说明的是，在不冲突的情况下，本申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像识别的控制方法，其特征在于，包括：获取控制指令；在获取到所述控制指令后，获取所述显示界面的图像信息，并提取所述图像信息中与所述控制指令相对应的特征信息；根据所述控制指令对所述特征信息进行控制。2.根据权利要求1所述的基于图像识别的控制方法，其特征在于，所述在获取到所述控制指令后，获取所述显示界面的图像信息，并提取所述图像信息中与所述控制指令相对应的特征信息包括，在获取到所述控制指令后，获取显示界面的状态信息并进行判断；如果所述状态信息发生变化，并且无法从状态信息变化后的所述显示界面的图像信息中提取到与所述控制指令相对应的特征信息，则根据状态信息变化前的所述显示界面的图像信息提取与所述控制指令相对应的特征信息。3.根据权利要求1所述的基于图像识别的控制方法，其特征在于，如果无法从所述显示界面的图像信息中提取到至少部分与所述控制指令相对应的特征信息，则根据所述控制指令对已提取到的与所述控制指令相对应的特征信息进行控制；所述方法还包括，继续获取所述显示界面的图像信息并提取所述至少部分未提取到的与所述控制指令相对应的特征信息；根据所述控制指令对新提取到的与所述控制指令相对应的特征信息进行控制，直至与所述控制指令相对应的特征信息全部被提取完毕。4.根据权利要求3所述的基于图像识别的控制方法，其特征在于，所述继续获取所述显示界面的图像信息并提取所述至少部分未提取到的与所述控制指令相对应的特征信息，包括，继续获取所述显示界面的图像信息，并与之前获取的图像信息进行比对，识别所述图像信息中发生变化的图像区域，并从所述图像区域中提取所述至少部分未提取到的与所述控制指令相对应的特征信息。5.根据权利要求1所述的基于图像识别的控制方法，其特征在于，所述根据所述控制指令获取所述显示界面的图像信息，并提取所述图像信息中与所述控制指令相对应的特征信息，包括，根据所述控制指令对所述显示界面进行视频录制，并提取所述视频中与所述控制指令相对应的特征信息。6.根据权利要求5所述的基于图像识别的控制方法，其特征在于，所述提取所述视频中与所述控制指令相对应的特征信息包括，提取所述视频的视频关键帧中与所述控制指令相对应的特征信息；所述方法还包括，当从所述视频关键帧中提取到所有所述控制指令相对应的特征信息时，停止对所述显示界面的视频录制。7.根据权利要求1所述的基于图像识别的控制方法，其特征在于，如果无法从所述显示界面的图像信息中提取到至少部分与所述控制指令相对应的特征信息，则继续获取所述显示界面的图像信息，并提取所述图像信息中与所述控制指令相对应的特征信息，直至提取
到全部与所述控制指令相对应的特征信息；根据所述控制指令对所述特征信息进行控制。8.根据权利要求2所述的基于图像识别的控制方法，其特征在于，所述获取显示界面的状态信息包括，获取应用程序在所述显示界面的显示状态信息；所述状态信息发生变化包括，所述显示界面显示的应用程序发生了变化或者应用程序的当前显示界面发生了变化。9.根据权利要求1所述的基于图像识别的控制方法，其特征在于，所述特征信息包括，文字控制按钮区域、图形控制按钮区域、文字输入区域；所述获取对所述显示界面的控制指令包括，获取语音指令、服务器下发的指令、第三方传输的指令或者系统自动生成的指令；所述根据所述控制指令对所述特征信息进行控制包括，对所述特征信息进行点击、滑动、文字输入操作；所述根据所述控制指令对所述特征信息进行控制之后，所述方法还包括，向用户反馈控制结果。10.根据权利要求1所述的基于图像识别的控制方法，其特征在于，所述特征信息还包括在所述显示界面的坐标位置信息；所述方法还包括，获取用户在控制所述特征信息时的操作信息，并在根据所述控制指令对所述特征信息进行控制时模拟用户的操作信息；其中，所述操作信息包括点击动作信息、滑动动作信息、文字输入动作信息。11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现权利要求1-10任一项所述的基于图像识别的控制方法。12.一种基于图像识别的控制系统，其特征在于，包括：控制指令获取模块，用于获取控制指令；图像信息获取模块，用于在所述控制指令获取模块获取到所述控制指令后，获取所述显示界面的图像信息，并提取所述图像信息中与所述控制指令相对应...

【专利技术属性】
技术研发人员：叶将涛，阮洲，杨世琨，刘柯，
申请(专利权)人：比亚迪股份有限公司，
类型：发明
国别省市：