描述时间事件的方法技术

一种描述时间事件的方法，包括：接收所述时间事件的视频序列；提取所述视频序列内的至少一个乘员的至少一个物理特性；提取所述视频序列内的所述至少一个乘员的至少一个动作；提取所述至少一个乘员与所述视频序列内的第二乘员的至少一个交互；基于所述至少一个动作和所述至少一个交互中的至少一者来确定车辆内的所述时间事件的安全级别；以及描述所述至少一个乘员的所述至少一个物理特性以及所述至少一个乘员的所述至少一个动作和所述至少一个交互中的至少一者。个交互中的至少一者。个交互中的至少一者。

【技术实现步骤摘要】
描述时间事件的方法


[0001]本专利技术涉及行为描述，更具体地，本专利技术涉及舱内乘员行为描述。

技术介绍

[0002]目前，描述舱内行为的方法(例如驾驶员监控系统(driver monitoring system，DMS)和乘员监控系统(occupant monitoring system，OMS))采用卷积神经网络来提取特征，并且通过全局池化(pooling)将提取的卷积三维(3D)特征压缩为一维特征向量来归纳单个帧内的空间信息，这使空间信息降级，并且完全丢失时间信息。
[0003]另外，现有方法生成关于视频序列的单一描述。如果在该视频序列中有多个乘员，则这种单一描述无法精确地确定由乘员执行的动作。
[0004]目前，应用于驾驶员监控系统(DMS)和乘员监控系统(OMS)的卷积神经网络主要用于生成中间结果，例如面部位置、头部姿态、眼睛闭合、嘴张开等。为了确定事件的安全级别，通常通过基于规则的方法来进一步处理这些中间结果，以生成最终结果。

技术实现思路

[0005]一种描述时间事件的示例性方法，包括：接收所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种描述时间事件的方法，包括：接收所述时间事件的视频序列；提取所述视频序列内的至少一个乘员的至少一个物理特性；提取所述视频序列内的所述至少一个乘员的至少一个动作；提取所述至少一个乘员与所述视频序列内的第二乘员的至少一个交互；基于所述至少一个动作和所述至少一个交互中的至少一者来确定车辆内的所述时间事件的安全级别；以及描述所述至少一个乘员的所述至少一个物理特性以及所述至少一个乘员的所述至少一个动作和所述至少一个交互中的至少一者。2.根据权利要求1所述的方法，其特征在于，所述至少一个乘员的所述至少一个物理特性包括位置。3.根据权利要求1所述的方法，其特征在于，所述至少一个乘员的所述至少一个物理特性包括性别和年龄中的至少一者。4.根据权利要求1所述的方法，其特征在于，所述至少一个乘员的所述至少一个物理特性包括至少一种情绪状态。5.根据权利要求1所述的方法，其特征在于，所述至少一个乘员的所述至少一个动作包括呼叫、谈话和争吵中的至少一者。6.根据权利要求1所述的方法，其特征在于，还包括：如果所述时间事件的所述安全级别超过预定安全阈值，则进行警报。7.根据权利要求1所述的方法，其特征在于，还包括：针对所述至少一个乘员的所述至少一个动作生成至少一个动作标签。8.根据权利要求1所述的方法，其特征在于，还包括：针对所述至少一个乘员的所述至少一个动作生成至少一个交互标签。9.根据权利要求1所述的方法，其特征在于，还包括：生成所述至少一个乘员的所述时间事件的所述视频序列的场景概要。10.一种描述时间事件的方法，包括：接收所述时间事件的视频...

【专利技术属性】
技术研发人员：胡子龙，张磊，顾群，
申请(专利权)人：黑芝麻智能科技有限公司，
类型：发明
国别省市：