通过2D相机操作用户界面的系统和方法技术方案

本发明专利技术公开了通过2D相机操作用户界面的系统和方法，其中，该方法包括：接收所获取的乘客的图像和所获取的反射镜上的乘客的反射的图像；从所获取的图像中提取乘客的实像和虚像，并且通过实像和虚像之间的相关性来识别手势；以及选择与所识别的手势对应的车载设备作业。因此，乘客能够在利用一只手操作方向盘并且保持他们的眼睛向前的同时利用另一只手的简单运动来控制多个车载电子设备，从而使乘客更加方便并提高行车安全。

【技术实现步骤摘要】
通过2D相机操作用户界面的系统和方法相关申请的交叉引用本申请要求于2012年12月18日提交给韩国知识产权局的韩国专利申请第10-2012-0148814号的优先权和权益，通过引用将其全部内容结合于此。
本专利技术涉及一种通过由2D相机识别乘客的手势来操作控制车载设备的用户界面的系统和方法。
技术介绍
现代车辆配备有方便乘客的许多电子设备。这些电子设备包括：导航系统、免提移动电话系统等、以及诸如收音机和空调器等常规电子设备。常规车载电子设备提供经由指派按钮的用户界面，并且近几年触屏的使用已经普及。乘客可以通过利用他们的手直接触摸这些设备而操作它们。然而，基于乘客的视线和手运动的操作可能妨碍安全驾驶。因此，有必要开发提供用户方便而并不妨碍驾驶的用户界面技术。为了解决这个问题，超声波传感器常用于通过距离和速度检测来识别手的位置和/或运动。此外，手的存在或不存在和/或手的位置已经通过利用手遮断红外光束或者检测反射信号来间接地检测。近距离接近电子设备的手已经通过由静电电容式传感器电识别手的接近来检测。最近已经公开了利用人体导电性的手势识别技术，其通过类似天线一样发射和接收无线电波来识别手势。然而，利用静电电容式传感器的常规方法仅提供诸如距离等的一维信息，并且即使使用多个传感器，才可以识别一些运动，而未考虑手势。此外，即使当使用诸如网络摄像头等2D相机时，仅操作由相机看见的二维图像，因此使得难于测量面向相机的运动。所公开的上述信息仅用于增强对本专利技术的
技术介绍
的理解，并因此上述信息包含的信息并不形成为该国的本领域的普通技术人员所已知的现有技术。
技术实现思路
进行本专利技术以致力于提供一种从由车载的反射镜和2D相机获取的图像信息中识别手势并因此控制多个车载电子设备的系统和方法。一种通过车载的2D相机操作用户界面的方法，包括：接收所获取的乘客图像和所获取的反射镜上的乘客的反射的图像；从所获取的图像中提取乘客的实像和虚像，并且通过在实像和虚像之间的相关性来识别手势；以及选择与识别的手势对应的车载设备作业。从所获取的图像中对乘客的实像和虚像进行提取，以及通过实像和虚像之间的相关性对手势进行识别可以包括：从所获取的乘客图像中提取乘客的手的实像和虚像；从所获取的乘客图像中提取乘客的手的图像；生成实像和虚像的轨迹；以及从实像和虚像的轨迹中识别手势。从实像和虚像的轨迹中对手势的识别可以包括：确定匹配实像和虚像的轨迹的手势是否存储在信息数据库中；以及如果匹配手势存储在信息数据库中，则将实像和虚像的轨迹识别为手势。该方法可以进一步包括：确定在接收获取的乘客图像之前是否存在使用手势识别功能的请求；以及如果存在使用手势识别功能的请求，则接收获取的乘客图像。该方法可以进一步包括：确定是否存在终止手势识别功能的请求；以及如果存在终止手势识别功能的请求，则终止手势识别功能。一种用于具有反射镜的车内通过2D相机操作用户界面的系统，包括：图像获取器，用于获取乘客的图像；图像存储器，用于存储由图像获取器获取的图像；信息数据库，存储可识别的手势和相应的车载设备信息；以及电子控制单元（本文中也称作电子控制器），用于基于来自图像获取器的输入信号和图像存储器中存储的蓄积图像信息来控制车载设备作业，其中，电子控制器执行一系列用于执行该方法的命令。该系统可以进一步包括：信号接收器，用于从乘客接收请求信号以使用手势识别功能，并且将请求信号传递至电子控制器；以及输出展示器，用于显示电子控制器的车载设备作业的内容。根据本专利技术的示例性实施方式，由于能够通过由2D相机获取的实像和虚像之间的相关性来提取乘客的手势，因此可实现成本降低。此外，根据本专利技术的示例性实施方式，由于使用了车载的常规2D相机和反射镜，所以可以在没有额外努力的情况下，可以识别3D运动或手势。此外，根据本专利技术的示例性实施方式，识别出的手的向上运动、向下运动、向左运动、以及向右运动的3D运动使乘客的自然手势能够操作相应的设备，从而实现改进使用性能。因此，乘客能够在利用一只手操作方向盘并且保持他们的眼睛向前的同时利用另一只手的简单运动来控制多个车载电子设备，从而提高乘客的便利的同时提高行车安全。附图说明图1是示意性地示出了根据本专利技术的示例性实施方式的利用2D相机的用户界面系统的示图。图2是根据本专利技术的示例性实施方式的由车载的2D相机操作用户界面的方法的顺序图。图3是与根据本专利技术的示例性实施方式的手势对应的操作的说明。具体实施方式在下文中，将参考附图详细地描述本专利技术的示例性实施方式。如本领域的技术人员应当理解的，在不偏离本专利技术的精神或范围的情况下，可以以各种不同的方式对所描述的实施方式进行修改。图1是示意性地示出了根据本专利技术的示例性实施方式的利用2D相机的用户界面系统的示图。参考图1，利用2D相机的用户界面（UI）系统包括：信号接收器100、图像获取器110、信息数据库120、定时器160、图像存储器150、电子控制单元（ECU）130、以及输出展示器140。信号接收器100包括：按钮、触屏等。本文中所使用的输入指代通过按钮或触屏生成输入信号，但也可以使用诸如声音、手势等的其他输入方法。图像获取器110包括：2D相机、光学传感器、超声波传感器、图像传感器等。图像获取器110能够将人体部分的实像和反射镜200上反射的虚像获取为彩色图像或黑白图像。只要图像获取器110定位为获取包括用户的手、腿等人体的图像的位置，图像获取器110可以位于紧挨着方向盘、方向盘以下、或方向盘以上的位置。反射镜200可以是显示器，诸如AVN、挡风玻璃、客厢内后视镜（roommirror）、中央仪表板的内部、变速杆侧的内部、或人造镜面。图像存储单元150可以蓄积地存储由图像获取器110获取的图像帧，或者存储电子控制单元130中处理的图像。定时器160校对时间。信息数据库120存储与多个预定的人体部分的实像和虚像的轨迹对应的手势。此外，信息数据库120根据需要存储与手势对应的设备操作信息。例如，如图3所示，车载设备作业可以针对各种手势进行操作，诸如当实像和虚像中的手掌靠近时、实像和虚像中的手掌向左移动或向上移动时，用于在行车时接电话、播放音乐、停止音乐、打开/关闭音乐、暂停音乐、以及打开/关闭空调器。优选地，存储的手势针对通常定义的手势而预设。信息数据库120存储由乘客登记的手势。乘客可以选择各种人体部分的实像和虚像的轨迹并将它们存储为手势。优选每个乘客输入诸如手等他们自己身体部分的实像和虚像的轨迹，以便将不同身体部分的实像和虚像的轨迹没有误差地识别为手势。电子控制单元130从图像获取器110获取的图像中提取手的实像和反射镜200上反射的手的虚像。这样，通过重复提取实像和虚像并且蓄积它们可以生成实像和虚像的轨迹。此外，可通过将当前图像帧与存储在图像存储单元150中的先前图像帧进行比较来检测手的实像和手的虚像的轨迹。可以以各种方式对生成实像和虚像的轨迹的方法进行修改，但也可以使用其他方法来检测实像和虚像的轨迹。例如，电子控制单元130可以基于人体图像执行图像处理。即，将外围图像从乘客的身体的实像和虚像移除，并对提取的图像中的头、躯干、每只胳膊、每只手、以及每条腿分别建模。实像和虚像的轨迹从手的建模图像中来检测。此外，电子控制单元130通过参本文档来自技高网...

【技术保护点】
一种通过车载的2D相机操作用户界面的方法，包括：接收所获取的乘客的图像和所获取的反射镜上所述乘客的反射的图像，其中，所获取的乘客的图像包括所述乘客的手的图像；从所获取的图像中提取所述乘客的手的实像和虚像，并且通过所述实像和所述虚像之间的相关性来识别手势；以及选择与所识别的手势对应的车载设备作业。

【技术特征摘要】
2012.12.18 KR 10-2012-01488141.一种通过车载的2D相机操作用户界面的方法，包括：接收所获取的乘客的图像和所获取的反射镜上所述乘客的反射的图像，其中，所获取的乘客的图像包括所述乘客的手的图像；从所获取的图像中提取所述乘客的手的实像和虚像，并且通过所述实像和所述虚像之间的相关性来识别手势；以及选择与所识别的手势对应的车载设备作业。2.根据权利要求1所述的方法，其中，从所获取的图像中提取所述乘客的手的实像和虚像、并且通过所述实像和所述虚像之间的相关性来识别手势包括：从所获取的所述乘客的图像中提取乘客的手的实像和虚像；从所获取的所述乘客的图像中提取所述乘客的手的图像；生成所述实像和所述虚像的轨迹；以及从所述实像和所述虚像的所述轨迹识别所述手势。3.根据权利要求2所述的方法，其中，从所述实像和所述虚像的所述轨迹识别所述手势包括：确定与所述实像和所述虚像的所述轨迹匹配的所述手势是否存储在信息数据库中；以及如果匹配的手势存储在所述信息数据库中，则将所述实像和所...

【专利技术属性】
技术研发人员：金圣云，
申请(专利权)人：现代自动车株式会社，
类型：发明
国别省市：韩国,KR