行为辨识装置、学习装置以及方法及程序制造方法及图纸

本发明专利技术涉及行为辨识装置、学习装置以及方法及程序。行为识别装置具备：乘员信息取得单元，从对车辆内进行摄影而得到的运动图像的各帧图像，取得与车辆内乘员有关的乘员信息；第1特征量计算单元，计算作为基于所述乘员信息的特征量的第1特征量；第2特征量计算单元，计算作为将针对预定期间的帧图像的第1特征量连结而得到的特征量的第2特征量；以及识别单元，使用预先学习以根据第2特征量求出预定期间中的行为标签的概率分布的识别器、和所述第2特征量计算单元计算出的第2特征量，识别车辆内乘员的行为。

Behavior identification devices, learning devices, methods and procedures

The invention relates to a behavior identification device, a learning device, a method and a program. The behavior recognition device includes: a passenger information acquisition unit, which obtains passenger information related to the passenger in the vehicle from each frame image of the moving image obtained by photographing the vehicle; a first feature quantity calculation unit, which calculates the first feature quantity as the feature quantity based on the passenger information; and a second feature quantity calculation unit, which calculates the first feature quantity as the frame image for a predetermined period. The second eigenvalue of the eigenvalue obtained by the connection of the eigenvalues and the recognition unit recognize the behavior of the passengers in the vehicle by using the recognizer which pre-learns to calculate the probability distribution of the behavior label in the predetermined period according to the second eigenvalue and the second eigenvalue calculated by the calculation unit of the second eigenvalue.

【技术实现步骤摘要】
行为辨识装置、学习装置以及方法及程序
本专利技术涉及车辆内乘员的行为辨识装置，特别涉及适合于推测车辆内乘员的状态的车辆内乘员的行为辨识装置。
技术介绍
作为辨识车辆内乘员的行为的手法，例如，提出了如非专利文献1的方法。在非专利文献1中，根据输入图像制作分辨率不同的多个图像(金字塔图像)，从得到的金字塔图像高密度地检测关注点。另外，针对在时间方向上追踪各个关注点而得到的每个轨迹，计算HOG、HOF、MBH这样的多个种类的图像特征量。进而，在维度方向上连结这些图像特征量，使用Bag-of-Feature(特征袋)表现，变换为描述能力更高的图像特征量。最终地，使用将针对成为识别对象的每个行为得到的图像特征量作为输入的非线性SVM，学习识别器。另外，作为辨识车辆内乘员的行为的手法，例如，提出了如非专利文献2的方法。在非专利文献2中，使用深度传感器来检测各时刻下的人体的部位的位置，使用将得到的人体的部位的位置作为输入的隐马尔可夫模型(HMM)，计算第一特征量。另外，通过对得到的第一特征量应用费舍尔核(FisherKernel)，变换为描述能力更高的第2特征量(FisherVector(费舍尔向量))。最终地，使用将针对成为识别对象的每个行为计算出的第2特征量作为输入的非线性SVM，学习识别器。另外，作为辨识车辆内乘员的行为的手法，例如，提出了如非专利文献3的方法。在非专利文献3中，使用TOF型传感器来检测各时刻下的人体的部位的位置，根据得到的人体的部位之间的距离的顺序关系，计算特征量。另外，使用将得到的特征量作为输入的随机森林(RandomForest)，学习识别器。最终地，在时间方向上累计针对利用得到的识别器的各时刻的识别对象类别的概率密度，提高其准确度，从而辨识车辆内乘员的行为。现有技术文献【非专利文献1】H.Wang，A.Klaser，C.Schmid.“DenseTrajectoriesandMotionBoundaryDescriptorsforActionRecognition(用于行为辨识的密度轨迹和运动边界描述符)”，InternationalJournalofComputerVision(计算机视觉国际期刊，IJCV)，103，pp.60-79，2013.【非专利文献2】Y.Goutsuetal.，“GesturerecognitionusinghybridgenerativediscriminativeapproachwithFisherVector(使用利用费舍尔向量的混合生成区分方法的手势辨识)”，IEEEInternationalConferenceonRoboticsandAutomation(IEEE机器人与自动化国际会议，ICRA)，2015.【非专利文献3】M.Yamanakaetal.，“Driver'sBehaviorRecognitionBasedontheGlobalArchitectureofHumanPartsPosition(基于人体部分位置的全体结构的驾驶员的行为辨识)”，The22thSymposiumonSensingviaImageInformation(第22届关于利用图像信息感测的研讨会，SSII)，2016.【非专利文献4】M.Schwarzetal.，“RGB-DObjectRecognitionandPoseEstimationBasedonPre-TrainedConvolutionalNeuralNetworkFeatures(基于预训练的卷积神经网络特征的RGB-D对象辨识和姿态估计)”，ICRA2015.【非专利文献5】A.Toshevetal.，“HumanPoseEstimationviaDeepNeuralNetworks(利用深度神经网络的人体姿态估计)”，CVPR2014.【非专利文献6】S.Hochreiteretal.，“LongShort-TermMemory(长短期记忆)”，NeuralComputationarchive(神经计算档案)，1997.【非专利文献7】F.A.Gersetal.，“ContinualPredictionusingLSTMwithForgetGates(使用利用遗忘门的LSTM的连续预测)”，NeuralNetsWIRNVietri-99(神经网络WIRNVietri-99).【非专利文献8】F.Gersetal.，“LearningPreciseTimingwithLSTMRecurrentNetworks(利用LSTM递归网络学习精确定时)”，JournalofMachineLearningResearch(机器学习研究杂志)，2002.
技术实现思路
然而，在如非专利文献1那样，从图像空间上高密度地提取关注点，针对得到的每个轨迹计算多个种类的图像特征量的情况下，得到的特征量变得庞大，存在不仅识别器的学习、而且使用该识别器的识别处理也需要长时间这样的问题。另外，在如非专利文献2那样，使用深度传感器来检测各时刻下的人体的部位的位置，应用将得到的人体的部位的位置作为输入的隐马尔可夫模型(HMM)的情况下，存在虽然对于如姿态辨识那样的对运动图像中的人物意图的行为进行辨识是有效的，但另一方面，难以对运动图像中的人物未意图的危险行为等进行辨识这样的问题。进而，在如非专利文献3那样，使用TOF型传感器来检测各时刻下的人体的部位的位置，应用将得到的人体的部位之间的距离的顺序关系作为特征的随机森林(RandomForest)的情况下，存在难以对依赖于车辆内乘员的状态(人体姿势、手指姿势、脸的位置、脸的朝向、视线等)的时间序列的变化的行为进行辨识这样的问题。本专利技术是考虑上述问题而完成的，其目的在于能够高精度地辨识车辆内乘员的行为。本专利技术的一个方案是根据对车辆内进行摄影而得到的运动图像，识别车辆内乘员的行为的行为识别装置。本方案所涉及的行为识别装置具备：乘员信息取得单元，从所述运动图像的各帧图像取得与车辆内乘员有关的乘员信息；第1特征量计算单元，计算作为基于所述乘员信息的特征量的第1特征量；第2特征量计算单元，针对所述运动图像的各帧图像，计算作为将针对预定期间的帧图像的第1特征量连结而得到的特征量的第2特征量；以及识别单元，使用预先学习以根据第2特征量求出预定期间中的行为标签的概率分布的识别器、和所述第2特征量计算单元计算出的第2特征量，识别车辆内乘员的行为。此外，识别单元既可以输出从识别器得到的概率分布自身，也可以将在概率分布中提供最大值的行为标签决定为车辆内乘员的行为而输出。本专利技术的另一个方案是用于学习能够利用于上述行为识别装置的识别器的学习装置。本方案所涉及的学习装置具备：乘员信息取得单元，从对车辆内进行摄影而得到的运动图像的各帧图像取得与车辆内乘员有关的乘员信息；正确行为输入单元，取得各帧图像中的所述车辆内乘员的正确行为；概率分布计算单元，计算表示在预定期间的帧图像中所述车辆内乘员采取的各正确行为的比例的概率分布；第1特征量计算单元，针对各帧图像，计算作为基于所述乘员信息的特征量的第1特征量；第2特征量计算单元，计算作为将针对预定期间的帧图像的第1特征量连结而得到的特征量的第2特征量；以及学习单本文档来自技高网...

【技术保护点】
1.一种行为识别装置，根据对车辆内进行摄影而得到的运动图像来识别车辆内乘员的行为，其特征在于，具备：乘员信息取得单元，从所述运动图像的各帧图像取得与车辆内乘员有关的乘员信息；第1特征量计算单元，针对所述运动图像的各帧图像，计算作为基于所述乘员信息的特征量的第1特征量；第2特征量计算单元，计算作为将针对预定期间的帧图像的第1特征量连结而得到的特征量的第2特征量；以及识别单元，使用预先学习以根据第2特征量求出预定期间中的行为标签的概率分布的识别器、和所述第2特征量计算单元计算出的第2特征量，识别车辆内乘员的行为。

【技术特征摘要】
2017.08.25 JP 2017-1626601.一种行为识别装置，根据对车辆内进行摄影而得到的运动图像来识别车辆内乘员的行为，其特征在于，具备：乘员信息取得单元，从所述运动图像的各帧图像取得与车辆内乘员有关的乘员信息；第1特征量计算单元，针对所述运动图像的各帧图像，计算作为基于所述乘员信息的特征量的第1特征量；第2特征量计算单元，计算作为将针对预定期间的帧图像的第1特征量连结而得到的特征量的第2特征量；以及识别单元，使用预先学习以根据第2特征量求出预定期间中的行为标签的概率分布的识别器、和所述第2特征量计算单元计算出的第2特征量，识别车辆内乘员的行为。2.根据权利要求1所述的行为识别装置，其中，所述乘员信息包括车辆内乘员的多个人体部位的位置，所述第1特征量是基于所述人体部位的位置的关系的特征量。3.根据权利要求2所述的行为识别装置，其中，所述第1特征量是基于所述人体部位之间的距离的大小的位次的特征量。4.根据权利要求2所述的行为识别装置，其中，所述乘员信息还包括头部区域的位置、脸的朝向以及手区域的位置中的至少任意一个，所述第1特征量是将基于所述人体部位的位置的关系的特征量、和头部区域的位置、脸的朝向以及手区域的位置中的至少任意一个组合而成的特征量。5.根据权利要求1所述的行为识别装置，其中，所述运动图像包括红外图像和距离图像。6.根据权利要求1所述的行为识别装置，其中，所述识别单元将从所述识别器得到的在概率分布中提供最大值的行为标签决定为所述车辆内乘员的行为。7.一种学习装置，其特征在于，具备：乘员信息取得单元，从对车辆内进行摄影而得到的运动图像的各帧图像取得与车辆内乘员有关的乘员信息；正确行为输入单元，取得各帧图像中的所述车辆内乘员的正确行为；概率分布计算单元，计算表示在预定期间的帧图像中所述车辆内乘员采取的各正确行为的比例的概率分布；第1特征量计算单元，针对各帧图像，计算作为基于所述乘员信息的特征量的第1特征量；第2特征量计算单元，计算作为将针对预定期间的帧图像的第1特征量连结而得到的特征量的第2特征量；以及学习单元，根据所述第2特征量计算单元计算出的第2特征量、和所述概率分布计算单元计算出的概率分布，学习用于识别车辆内乘员在预定期间中采取...

【专利技术属性】
技术研发人员：山中正雄，西岛敏文，
申请(专利权)人：丰田自动车株式会社，
类型：发明
国别省市：日本,JP