描述时间事件的方法技术

一种描述时间事件的方法，包括：接收所述时间事件的视频序列；提取所述视频序列内的至少一个乘员的至少一个物理特性；提取所述视频序列内的所述至少一个乘员的至少一个动作；提取所述至少一个乘员与所述视频序列内的第二乘员的至少一个交互；基于所述至少一个动作和所述至少一个交互中的至少一者来确定车辆内的所述时间事件的安全级别；以及描述所述至少一个乘员的所述至少一个物理特性以及所述至少一个乘员的所述至少一个动作和所述至少一个交互中的至少一者。个交互中的至少一者。个交互中的至少一者。

【技术实现步骤摘要】
描述时间事件的方法


[0001]本专利技术涉及行为描述，更具体地，本专利技术涉及舱内乘员行为描述。

技术介绍

[0002]目前，描述舱内行为的方法(例如驾驶员监控系统(driver monitoring system，DMS)和乘员监控系统(occupant monitoring system，OMS))采用卷积神经网络来提取特征，并且通过全局池化(pooling)将提取的卷积三维(3D)特征压缩为一维特征向量来归纳单个帧内的空间信息，这使空间信息降级，并且完全丢失时间信息。
[0003]另外，现有方法生成关于视频序列的单一描述。如果在该视频序列中有多个乘员，则这种单一描述无法精确地确定由乘员执行的动作。
[0004]目前，应用于驾驶员监控系统(DMS)和乘员监控系统(OMS)的卷积神经网络主要用于生成中间结果，例如面部位置、头部姿态、眼睛闭合、嘴张开等。为了确定事件的安全级别，通常通过基于规则的方法来进一步处理这些中间结果，以生成最终结果。

技术实现思路

[0005]一种描述时间事件的示例性方法，包括：接收所述时间事件的视频序列；提取所述视频序列内的至少一个乘员的至少一个物理特性；提取所述视频序列内的所述至少一个乘员的至少一个动作；提取所述至少一个乘员与所述视频序列内的第二乘员的至少一个交互；基于所述至少一个动作和所述至少一个交互中的至少一者来确定车辆内的所述时间事件的安全级别；以及描述所述至少一个乘员的所述至少一个物理特性以及所述至少一个乘员的所述至少一个动作和所述至少一个交互中的至少一者。
[0006]一种描述时间事件的另一示例性方法，包括：接收所述时间事件的视频序列；提取所述视频序列内的至少一个乘员的至少一个空间特性；提取所述视频序列内的所述至少一个乘员的至少一个时间动作；提取所述至少一个乘员与所述视频序列内的第二乘员的至少一个时间交互；基于所述至少一个乘员的所述至少一个时间动作和所述至少一个时间交互中的至少一者来确定车辆内的所述时间事件的安全级别；以及描述所述至少一个乘员的所述至少一个空间特性以及所述至少一个乘员的所述至少一个时间动作和所述至少一个时间交互中的至少一者。
附图说明
[0007]在附图中：
[0008]图1是根据本专利技术的一个实施例的第一示例性系统的示意图；
[0009]图2是根据本专利技术的一个实施例的第二示例性系统的示意图；
[0010]图3是根据本专利技术的一个实施例的工作流的示例性示意图；
[0011]图4是根据本专利技术的一个实施例的示例性3D瓶颈残差块；
[0012]图5是根据本专利技术的一个实施例的第一示例性方法；以及
[0013]图6是根据本专利技术的一个实施例的第二示例性方法。
具体实施方式
[0014]以下列出的实施例仅用于说明装置和方法的应用，而不是限制本专利技术的范围。对该装置和方法的修改的等同形式的修改应归入到权利要求的范围内。
[0015]贯穿以下说明书和权利要求使用的某些术语用于指代特定系统部件。如本领域技术人员将理解的，不同的公司可以以不同的名称来指代部件和/或方法。该文献无意区分名称不同但功能并非不同的部件和/或方法。
[0016]在以下讨论和权利要求中，术语“包括”和“包含”以开放式的方式使用，因此可以被解释为“包括，但不限于
…”
。此外，术语“联接”或“连接联接(第三人称)”旨在表示间接或直接的连接。因此，如果第一设备与第二设备联接，则该连接可以通过直接连接或通过经由其他设备和连接的间接连接来实现。
[0017]图1描绘了示例性的混合计算系统100，该系统可用于实现与图5和图6中描绘的过程中的一个或多个部分或步骤的操作相关联的神经网络。在该示例中，与所述混合系统相关联的处理器包括现场可编程门阵列(FPGA)122、图形处理器单元(GPU)120和中央处理单元(CPU)118。
[0018]CPU 118、GPU 120和FPGA 122具有提供神经网络的能力。CPU是可以执行许多不同功能的通用处理器，它的通用性导致其能执行多个不同任务的能力，然而，它对于多个数据流的处理是有限的，并且它相对于神经网络的功能是有限的。GPU是图形处理器，它具有能够依次处理并行任务的许多小的处理内核。FPGA是现场可编程设备，它具有被重配置并且以硬连线电路的方式来执行任何可被编程到CPU或GPU中的功能的能力。由于FPGA的编程是以电路形式的，因此其速度是CPU的几倍快，并且明显快于GPU。
[0019]系统还可以包含其他类型的处理器，例如：加速处理单元(APU，其包括有CPU并且在芯片上具有GPU元件)以及专门用于执行高速数字数据处理的数字信号处理器(DSP)。专用集成电路(ASIC)也可以执行FPGA的硬连线功能，然而，设计和生产ASIC的交付周期约为一个季度，其并不是在对FPGA进行编程中可用的快速周转实现实施方案。
[0020]图形处理器单元120、中央处理单元118和现场可编程门阵列122连接并连接至存储器接口和控制器112。FPGA通过可编程逻辑电路连接至存储器接口，以连接存储器互连130。由于FPGA的工作带宽非常大的事实并且为了将FPGA的用来执行存储任务的电路最小化，可以使用附加设备。存储器接口和控制器112另外连接至永久存储器盘110、存储系统114和只读存储器(ROM)116。
[0021]图1的系统可用于对FPGA进行编程和训练。GPU利用非结构化数据良好地运行并且可以被用于进行训练，一旦数据被训练完成，则可以找到确定性推论模型(deterministic inference model)，并且CPU可以利用由GPU确定的模型数据对FPGA进行编程。
[0022]存储器接口和控制器连接至中央互连124，中央互连124另外连接至GPU 120、CPU 118和FPGA 122。中心互连124另外连接至输入和输出接口128和网络接口126。
[0023]图2描绘了第二示例性混合计算系统200，该系统可用于实现与过程500中的一个或多个部分或步骤的操作相关联的神经网络。在该示例中，与混合系统相关联的处理器包括现场可编程门阵列(FPGA)210和中央处理单元(CPU)220。
[0024]FPGA电连接至FPGA控制器212，该FPGA控制器212与直接存储器访问(DMA)218接口连接。DMA 218连接至输入缓冲器214和输出缓冲器216，输入缓冲器214和输出缓冲器216都与FPGA联接，以分别将数据缓冲到FPGA和将数据从FPGA缓冲出来。DMA 218具有两个先进先出(FIFO)缓冲器，一个用于主CPU，另一个用于FPGA，DMA允许向适当的缓冲器写入数据或者从适当的缓冲器读取数据。
[0025]在DMA的CPU侧是主交换机228，其将数据和命令往返传送至DMA。DMA还连接至同步动态随机存取存储器(SDRAM)控制器224，该SDRAM控制器允许数据在FPGA和CPU220之间往返传送，SDR本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种描述时间事件的方法，包括：接收所述时间事件的视频序列；提取所述视频序列内的至少一个乘员的至少一个物理特性；提取所述视频序列内的所述至少一个乘员的至少一个动作；提取所述至少一个乘员与所述视频序列内的第二乘员的至少一个交互；基于所述至少一个动作和所述至少一个交互中的至少一者来确定车辆内的所述时间事件的安全级别；以及描述所述至少一个乘员的所述至少一个物理特性以及所述至少一个乘员的所述至少一个动作和所述至少一个交互中的至少一者。2.根据权利要求1所述的方法，其特征在于，所述至少一个乘员的所述至少一个物理特性包括位置。3.根据权利要求1所述的方法，其特征在于，所述至少一个乘员的所述至少一个物理特性包括性别和年龄中的至少一者。4.根据权利要求1所述的方法，其特征在于，所述至少一个乘员的所述至少一个物理特性包括至少一种情绪状态。5.根据权利要求1所述的方法，其特征在于，所述至少一个乘员的所述至少一个动作包括呼叫、谈话和争吵中的至少一者。6.根据权利要求1所述的方法，其特征在于，还包括：如果所述时间事件的所述安全级别超过预定安全阈值，则进行警报。7.根据权利要求1所述的方法，其特征在于，还包括：针对所述至少一个乘员的所述至少一个动作生成至少一个动作标签。8.根据权利要求1所述的方法，其特征在于，还包括：针对所述至少一个乘员的所述至少一个动作生成至少一个交互标签。9.根据权利要求1所述的方法，其特征在于，还包括：生成所述至少一个乘员的所述时间事件的所述视频序列的场景概要。10.一种描述时间事件的方法，包括：接收所述时间事件的视频...

【专利技术属性】
技术研发人员：胡子龙，张磊，顾群，
申请(专利权)人：黑芝麻智能科技有限公司，
类型：发明
国别省市：