基于视频的活动识别制造技术

提供了用于执行基于视频的活动识别的系统和技术。例如，过程可包括使用第一机器学习模型来从第一帧提取第一一个或多个特征并从第二帧提取第二一个或多个特征。第一一个或多个特征和第二一个或多个特征与驾驶交通工具的人相关联。该过程可包括使用第二机器学习模型来处理第一一个或多个特征和第二一个或多个特征。该过程可包括基于使用第二机器学习模型处理第一一个或多个特征和第二一个或多个特征来确定与驾驶该交通工具的人相关联的至少一个活动。少一个活动。少一个活动。

【技术实现步骤摘要】
【国外来华专利技术】基于视频的活动识别
[0001]领域
[0002]本公开一般涉及活动检测或识别。在一些示例中，本公开的各方面涉及用于执行基于视频的活动识别的系统和技术。
[0003]背景
[0004]许多设备和系统允许通过生成场景的图像(或帧)和/或视频数据(包括多个帧)来捕捉该场景。例如，相机或包括相机的设备可以捕捉场景的帧序列(例如，场景的视频)。在一些情形中，帧序列可以被处理以用于执行一个或多个功能，可以被输出以用于显示，可以被输出以用于处理和/或由其他设备消耗以及用于其他用途。
[0005]交通工具是可包括一个或多个相机的设备的示例。例如，交通工具可包括可捕捉该交通工具的内部的各帧的一个或多个相机和/或可包括可捕捉该交通工具的外部的各帧的一个或多个相机。各帧可被处理以用于各种目的，诸如用于确定或识别由交通工具的驾驶员和/或乘客执行的活动，用于识别交通工具中的人的身份，用于标识交通工具附近的其他交通工具、对象和/或障碍物，等等。
[0006]简要概述
[0007]在一些示例中，描述了用于执行基于视频的活动识别以确定或识别交通工具的驾驶员的一个或多个活动的系统和技术。根据至少一个解说性示例，提供了一种处理一个或多个帧的方法。该方法包括：使用第一机器学习模型来从第一帧提取第一一个或多个特征并从第二帧提取第二一个或多个特征，第一一个或多个特征和第二一个或多个特征与驾驶交通工具的人相关联；使用第二机器学习模型来处理第一一个或多个特征和第二一个或多个特征；以及基于使用第二机器学习模型处理第一一个或多个特征和第二一个或多个特征来确定与驾驶该交通工具的人相关联的至少一个活动。
[0008]在另一示例中，提供了一种用于处理一个或多个帧的装置，其包括被配置成存储至少一个帧的存储器以及耦合到该存储器的一个或多个处理器(例如，实现在电路系统中)。该一个或多个处理器被配置成并且能够进行以下操作：使用第一机器学习模型来从第一帧提取第一一个或多个特征并从第二帧提取第二一个或多个特征，第一一个或多个特征和第二一个或多个特征与驾驶交通工具的人相关联；使用第二机器学习模型来处理第一一个或多个特征和第二一个或多个特征；以及基于使用第二机器学习模型处理第一一个或多个特征和第二一个或多个特征来确定与驾驶该交通工具的人相关联的至少一个活动。
[0009]在另一示例中，一种其上存储有指令的非瞬态计算机可读介质，这些指令在由一个或多个处理器执行时使该一个或多个处理器：使用第一机器学习模型来从第一帧提取第一一个或多个特征并从第二帧提取第二一个或多个特征，第一一个或多个特征和第二一个或多个特征与驾驶交通工具的人相关联；使用第二机器学习模型来处理第一一个或多个特征和第二一个或多个特征；以及基于使用第二机器学习模型处理第一一个或多个特征和第二一个或多个特征来确定与驾驶该交通工具的人相关联的至少一个活动。
[0010]在另一示例中，提供了一种用于处理一个或多个帧的设备。该设备包括：用于使用第一机器学习模型来从第一帧提取第一一个或多个特征并从第二帧提取第二一个或多个
特征的装置，第一一个或多个特征和第二一个或多个特征与驾驶交通工具的人相关联；用于使用第二机器学习模型来处理第一一个或多个特征和第二一个或多个特征的装置；以及用于基于使用第二机器学习模型处理第一一个或多个特征和第二一个或多个特征来确定与驾驶该交通工具的人相关联的至少一个活动的装置。
[0011]在一些方面，第一帧在帧序列中发生在第二帧之前。
[0012]在一些方面，第一一个或多个特征在第一时间被提取，并且第二一个或多个特征在第一时间之后发生的第二时间被提取。
[0013]在一些方面，上述方法、装置和计算机可读介质进一步包括：通过组合第一一个或多个特征和第二一个或多个特征来生成组合式特征表示。在一些情形中，与驾驶交通工具的人相关联的至少一个活动基于使用第二机器学习模型处理组合式特征表示来确定。在一些方面，组合式特征表示包括特征向量。在一些方面，特征向量包括二维特征向量。在一些方面，组合第一一个或多个特征和第二一个或多个特征包括级联第一一个或多个特征和第二一个或多个特征。
[0014]在一些方面，上述方法、装置和计算机可读介质进一步包括：在存储设备中存储第一一个或多个特征和第二一个或多个特征。
[0015]在一些方面，上述方法、装置和计算机可读介质进一步包括：从该存储设备获得第一一个或多个特征和第二一个或多个特征；以及使用第一机器学习模型来从第三帧提取第三一个或多个特征，第三一个或多个特征与驾驶该交通工具的人相关联。在一些情形中，与驾驶交通工具的人相关联的至少一个活动基于使用第二机器学习模型处理第一一个或多个特征、第二一个或多个特征和第三一个或多个特征来确定。
[0016]在一些方面，上述方法、装置和计算机可读介质进一步包括：在该存储设备中存储第三一个或多个特征；以及基于在该存储设备中存储第三一个或多个特征来从该存储设备移除特征。
[0017]在一些方面，上述方法、装置和计算机可读介质进一步包括：通过组合第一一个或多个特征、第二一个或多个特征和第三一个或多个特征来生成组合式特征表示。在一些情形中，与驾驶交通工具的人相关联的至少一个活动基于使用第二机器学习模型处理组合式特征表示来确定。
[0018]在一些方面，使用第二机器学习模型来处理第一一个或多个特征和第二一个或多个特征包括：使用第二机器学习模型来确定与第一一个或多个特征和第二一个或多个特征相关联的分类，该分类指示该至少一个活动。
[0019]在一些方面，第一机器学习模型包括神经网络。
[0020]在一些方面，第二机器学习模型包括卷积神经网络。在一些方面，卷积神经网络包括二维卷积(conv2d)神经网络。
[0021]在一些方面，上述方法、装置和计算机可读介质进一步包括：基于该至少一个活动来输出通知。在一些方面，该通知包括视觉通知。在此类方面，输出通知可包括显示视觉通知。在一些方面，该通知包括可听通知。在此类方面，输出通知可包括使用交通工具的至少一个扬声器来输出可听通知。
[0022]在一些方面，上述装置中的一者或多者是交通工具(例如，交通工具的计算设备)、移动设备(例如，移动电话或所谓的“智能电话”或其他移动设备)、可穿戴设备、扩展现实设
备(例如，虚拟现实(VR)设备、增强现实(AR)设备或混合现实(MR)设备)、个人计算机、膝上型计算机、服务器计算机或其他设备，或者是其一部分。在一些方面，该装置包括用于捕捉一个或多个图像的相机或多个相机。在一些方面，该装置进一步包括用于显示一个或多个图像、通知和/或其他可显示数据的显示器。在一些方面，该装置可包括一个或多个传感器，其可被用于确定该装置的位置和/或姿态、该装置的状态和/或用于其他目的。
[0023]本概述既非旨在标识出要求保护的主题内容的关键特征或必要特征，亦非旨在单独用于确定要求保护的主题内容的范围。本主题内容应当参考本专利的整个说明书的合适部分、任何或所有附图、以及每项权利要求来理解。...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于处理一个或多个帧的装置，包括：存储器；以及耦合至所述存储器的处理器，所述处理器被配置成：使用第一机器学习模型来从第一帧提取第一一个或多个特征并从第二帧提取第二一个或多个特征，所述第一一个或多个特征和所述第二一个或多个特征与驾驶交通工具的人相关联；使用第二机器学习模型来处理所述第一一个或多个特征和所述第二一个或多个特征；以及基于使用所述第二机器学习模型处理所述第一一个或多个特征和所述第二一个或多个特征来确定与驾驶所述交通工具的人相关联的至少一个活动。2.如权利要求1所述的装置，其中所述第一帧在帧序列中发生在所述第二帧之前。3.如权利要求1所述的装置，其中所述第一一个或多个特征在第一时间被提取，并且所述第二一个或多个特征在所述第一时间之后发生的第二时间被提取。4.如权利要求1所述的装置，其中所述处理器被配置成：至少部分地通过组合所述第一一个或多个特征和所述第二一个或多个特征来生成组合式特征表示；其中与驾驶所述交通工具的人相关联的所述至少一个活动是基于使用所述第二机器学习模型处理所述组合式特征表示来确定的。5.如权利要求4所述的装置，其中所述组合式特征表示包括特征向量。6.如权利要求5所述的装置，其中所述特征向量包括二维特征向量。7.如权利要求5所述的装置，其中为了组合所述第一一个或多个特征和所述第二一个或多个特征，所述处理器被配置成级联所述第一一个或多个特征和所述第二一个或多个特征。8.如权利要求1所述的装置，其中所述处理器被配置成：在存储设备中存储所述第一一个或多个特征和所述第二一个或多个特征。9.如权利要求8所述的装置，其中所述处理器被配置成：从所述存储设备获得所述第一一个或多个特征和所述第二一个或多个特征；以及使用所述第一机器学习模型来从第三帧提取第三一个或多个特征，所述第三一个或多个特征与驾驶所述交通工具的人相关联；其中与驾驶所述交通工具的人相关联的所述至少一个活动是基于使用所述第二机器学习模型处理所述第一一个或多个特征、所述第二一个或多个特征和所述第三一个或多个特征来确定的。10.如权利要求9所述的装置，其中所述处理器被配置成：在所述存储设备中存储所述第三一个或多个特征；以及基于在所述存储设备中存储所述第三一个或多个特征来从所述存储设备移除特征。11.如权利要求9所述的装置，其中所述处理器被配置成：至少部分地通过组合所述第一一个或多个特征、所述第二一个或多个特征和所述第三一个或多个特征来生成组合式特征表示；其中与驾驶所述交通工具的人相关联的所述至少一个活动是基于使用所述第二机器
学习模型处理所述组合式特征表示来确定的。12.如权利要求1所述的装置，其中所述处理器被配置成：使用所述第二机器学习模型来确定与所述第一一个或多个特征和所述第二一个或多个特征相关联的分类，所述分类指示所述至少一个活动。13.如权利要求1所述的装置，其中所述第一机器学习模型包括神经网络。14.如权利要求1所述的装置，其中所述第二机器学习...

【专利技术属性】
技术研发人员：李鑫，CT，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：