家政工作模式的识别方法和装置制造方法及图纸

本公开提供了一种家政工作模式的识别方法，包括：获取由用户佩戴的可移动摄像头捕获的图像数据，图像数据包括视频帧的序列；提取图像数据的空间特征和时间特征，其中空间特征包括针对每个视频帧的多尺度特征，时间特征基于一段时间内的视频帧的空间特征而形成；获取由用户佩戴的一个或多个运动传感器采集到的运动数据，运动数据包括三维空间的加速度、角加速度和地磁数据的序列；提取运动数据的运动模式特征；提取一个或多个运动传感器相对于可移动摄像头的空间关系特征；基于图像数据的空间特征和时间特征、运动模式特征和空间关系特征，确定用户当前的家政模式和工作强度。

【技术实现步骤摘要】
家政工作模式的识别方法和装置
本专利技术涉及人力资源管理和传感器
，具体涉及一种家政工作模式的识别方法和装置。
技术介绍
家政服务是一种综合性的劳动，例如，包括做饭、拖地、擦窗户、看小孩等，每种工作模式需要的技能要求不同，单位时间的薪酬也有差异。常常有家政人员抱怨在业主家中的工作太辛苦，得不到合理的报酬，类似地，有的业主则会抱怨家政人员工作懈怠不主动，认为不值得拿那么多薪水。现有技术通常是根据固定位置摄像头采集视频数据，从视频中的动作判断家政人员正在从事的工作。例如，CN111008616A公开了一种基于卷积神经网络和深度核网络的视频行为识别方法，包括以下步骤：步骤1：采集视频并按行为类别进行分类；步骤2：对筛选后的视频进行预处理；步骤3：用经过预处理后的数据训练模型；步骤4：采集待检测视频并进行预处理；步骤5：根据步骤3得到的训练好的模型用步骤4得到的预处理后的数据作为输入进行行为识别；步骤6：根据步骤5的识别结果就可以得到与待识别视频相似度最高的行为类别。该方法仅提取了视频图像的图像特征，基于图像特征进行行为分类。...

【技术保护点】
1.一种家政工作模式的识别方法，包括：/n获取由用户佩戴的可移动摄像头捕获的图像数据，所述图像数据包括视频帧的序列；/n提取所述图像数据的空间特征和时间特征，其中所述空间特征包括针对每个视频帧的多尺度特征，所述时间特征基于一段时间内的视频帧的空间特征而形成；/n获取由用户佩戴的一个或多个运动传感器采集到的运动数据，所述运动数据包括三维空间的加速度、角加速度和地磁数据的序列；/n提取所述运动数据的运动模式特征；/n提取所述一个或多个运动传感器相对于所述可移动摄像头的空间关系特征；/n基于所述图像数据的空间特征和时间特征、所述运动模式特征和所述空间关系特征，确定用户当前的家政模式和工作强度。/n

【技术特征摘要】
1.一种家政工作模式的识别方法，包括：
获取由用户佩戴的可移动摄像头捕获的图像数据，所述图像数据包括视频帧的序列；
提取所述图像数据的空间特征和时间特征，其中所述空间特征包括针对每个视频帧的多尺度特征，所述时间特征基于一段时间内的视频帧的空间特征而形成；
获取由用户佩戴的一个或多个运动传感器采集到的运动数据，所述运动数据包括三维空间的加速度、角加速度和地磁数据的序列；
提取所述运动数据的运动模式特征；
提取所述一个或多个运动传感器相对于所述可移动摄像头的空间关系特征；
基于所述图像数据的空间特征和时间特征、所述运动模式特征和所述空间关系特征，确定用户当前的家政模式和工作强度。


2.如权利要求1所述的识别方法，其中，提取所述图像数据的空间特征包括使用卷积神经网络提取所述图像数据中视频帧的8倍下采样特征、16倍下采样特征和32倍下采样特征，并组合形成所述多尺度特征。


3.如权利要求1所述的识别方法，其中，提取所述图像数据的时间特征包括:从当前帧之前一段时间内的多个视频帧中随机选择一部分视频帧，组合所选择的一部分视频帧的空间特征，形成所述时间特征。


4.如权利要求3所述的识别方法，其中，组合所选择的一部分视频帧的空间特征包括：池化所述空间特征为最大值、平均值、乘积中的一个。


5.如权利要求1所述的识别方法，所述运动模式包括类别和强度，类别包括大运动平移、大运动转动、大运动振动、精细运动平移、精细运动转动、精细运动振动，强度包括距离、振幅、频率。


6.如权利要求1所述的识别方法，其中，提取所述运动数据的运动...

【专利技术属性】
技术研发人员：吴晓军，
申请(专利权)人：河北冀联人力资源服务集团有限公司，
类型：发明
国别省市：河北;13