一种基于视觉获取行人的消费肖像的方法及装置制造方法及图纸

本发明专利技术提供了一种基于视觉获取行人的消费肖像的方法及装置，该获取行人的消费肖像的方法及装置以提取的人体姿势关键点信息来对行人头部、上身、腿部、脚部图像进行解构分析得到人脸属性集、上身属性集、腿部属性集、脚部属性集，并融合四个属性集得到该行人的消费肖像；这种根据行人的外貌来获取行人消费肖像的技术弥补了线下广告无针对性的缺点，可以获取行人的消费肖像后就近传输给线下广告设备以提高其广告的获客率。

【技术实现步骤摘要】
一种基于视觉获取行人的消费肖像的方法及装置
本专利技术涉及视频识别领域，特别涉及一种根据行人的外貌、衣着特征获取行人消费肖像的方法及装置。
技术介绍
随着AI技术的进步现今的机器学习算法已经能够以极高的准确率实现：人体姿态关键点检测、随着AI技术的进步，先进的机器学习模型针对包含行人的图片已经能够以极高的准确率实现诸如：人体姿态关键点检测、人脸属性识别、服饰分割、以待检索图片对预存的图片库进行视觉搜索等功能；这些功能既可以用本地的设备来进行训练并应用，也可以通过远程调用AI算力服务商的API来实现；包含阿里云AI在内的提供商已经可以在线提供包含上述功能在内的API调用，从而极大的方便了在终端以远程调用的方式实现AI算力的整合，正是基于上述成熟基础技术条件，本专利技术实现了一种基于视觉获取行人的消费肖像的方法及装置，在获得行人的消费肖像之后可以就近传输至线下广告设备，线下广告设备可以依据行人的消费肖像为其提供较为合适的产品广告推荐内容。
技术实现思路
一种基于视觉获取行人的消费肖像的方法，其特征在于，包含以下步骤：...

【技术保护点】
1.一种基于视觉获取行人的消费肖像的方法，其特征在于，包含以下步骤：/n对监控摄像头采集到的视频流进行移动检测得到移动点、并耦合移动点得到至少一个独立移动图块；/n从所述独立移动图块中选取面积最大的独立移动图块为目标图块，并对目标图块作人体姿势关键点检测；/n根据检测到的人体姿势关键点信息：/n（1）从与行人头部对应的鼻子、左眼、右眼、左耳、右耳、颈部关键点中选取至少三点所构成的面积最大的凸多边形的各边向外延展第一预设冗余长度来从当前帧图像中截取该行人的头部截图；/n（2）从与行人上身对应的颈部、左肩、右肩、左肘、右肘、左腕、右腕、左腰、右腰关键点中选取至少三点所构成的面积最大的凸多边形的各边...

【技术特征摘要】
1.一种基于视觉获取行人的消费肖像的方法，其特征在于，包含以下步骤：
对监控摄像头采集到的视频流进行移动检测得到移动点、并耦合移动点得到至少一个独立移动图块；
从所述独立移动图块中选取面积最大的独立移动图块为目标图块，并对目标图块作人体姿势关键点检测；
根据检测到的人体姿势关键点信息：
（1）从与行人头部对应的鼻子、左眼、右眼、左耳、右耳、颈部关键点中选取至少三点所构成的面积最大的凸多边形的各边向外延展第一预设冗余长度来从当前帧图像中截取该行人的头部截图；
（2）从与行人上身对应的颈部、左肩、右肩、左肘、右肘、左腕、右腕、左腰、右腰关键点中选取至少三点所构成的面积最大的凸多边形的各边向外延展第二预设冗余长度来从当前帧图像中截取该行人的上身截图；
（3）从与行人腿部对应的左腰、右腰、左膝、右膝、左踝、右踝关键点中选取至少三点所构成的面积最大的凸多边形的各边向外延展第三预设冗余长度来从当前帧图像中截取该行人的腿部截图；
（4）以与行人脚部对应的左踝和右踝两关键点的连线线段的中点作为圆心、左踝和右踝两关键点之间的距离作为半径来从当前帧图像中截取一个圆形的该行人的脚部截图；
对所述头部截图进行人脸属性识别得到包含了行人的性别、所属年龄阶段、是/否佩戴眼镜、是/否笑的信息在内的人脸属性集；
分别对所述上身截图、腿部截图、脚部截图进行服饰分割得到目标上身服饰图、目标腿部服饰图、目标脚部服饰图；
不分先后顺序地：
（1）以目标上身服饰图来对上身服饰图库进行视觉搜索，选取上身服饰图库中与目标上身服饰图的相似程度值大于预设相似程度阈值的上身服饰近似图，并以各上身服饰近似图的图片ID与其对应的相似程度值关联组成上身图片ID-相似程度值数据对，由所有的上身图片ID-相似程度值数据对构成上身匹配数据集；
（2）以目标腿部服饰图来对腿部服饰图库进行视觉搜索，选取腿部服饰图库中与目标腿部服饰图的相似程度值大于预设相似程度阈值的腿部服饰近似图，并以各腿部服饰近似图的图片ID与其对应的相似程度值关联组成腿部图片ID-相似程度值数据对，由所有的腿部图片ID-相似程度值数据对构成腿部匹配数据集；
（3）以目标脚部服饰图来对脚部服饰图库进行视觉搜索，选取脚部服饰图库中与目标脚部服饰图的相似程度值大于预设相似程度阈值的脚部服饰近似图，并以各脚部服饰近似图的图片ID与其对应的相似程度值关联组成脚部图片ID-相似程度值数据对，由所有的脚部图片ID-相似程度值数据对构成脚部匹配数据集；
不分先后顺序地：
（1）以上身匹配数据集中的各数据对的图片ID来检索预存的图片ID-属性数据库：检索得到各图片ID对应的至少一个上身属性，上身匹配数据集中的至少一个数据对的图片ID检索到同一上身属性，上身属性被检索到它的至少一个图片ID所属数据对中最大的相似程度值标记，检索得到的所有上身属性在被相似程度值标记后构成上身属性集；
（2）以腿部匹配数据集中的各数据对的图片ID来检索预存的图片ID-属性数据库：检索得到各图片ID对应的至少一个腿部属性，腿部匹配数据集中的至少一个数据对的图片ID检索到同一腿部属性，腿部属性被检索到它的至少一个图片ID所属数据对中最大的相似程度值标记，检索得到的所有腿部属性在被相似程度值标记后构成腿部属性集；
（3）以脚部匹配数据集中的各数据对的图片ID来检索预存的图片ID-属性数据库：检索得到各图片ID对应的至少一个脚部属性，脚部匹配数据集中的至少一个数据对的图片ID检索到同一脚部属性，脚部属性被检索到它的至少一个图片ID所属数据对中最大的相似程度值标记，检索得到的所有脚部属性在被相似程度值标记后构成脚部属性集；
融合人脸属性集、上身属性集、腿部属性集、脚部属性集得到行人的消费肖像。


2.根据权利要求1所述的一种基于视觉获取行人的消费肖像的方法，其特征在于，其中所述移动检测采用帧差法、光流法的一种：
（1）其中在采用帧差法的情况下，将当前帧图像中相对于前帧图像的亮度变化差值的绝对值大于预设亮度变化阈值的像素点判定为移动点；
（2）其中在采用光流法的情况下，将当前帧图像中相对于前帧图像的移动距离超过预设像素距离阈值的像素点判定为移动点。


3.根据权利要求1所述的一种基于视觉获取行人的消费肖像的方法，其特征在于，其中耦合移动点得到独立移动图块的过程为：
（a）移动点直接与距离其距离不大于预设距离阈值的移动点之间建立耦合关系，并且间接地通过至少一个其逐个之间距离也不大于预设距离阈值的移动点与其它移动点建立耦合关系，存在耦合关系的至少三个移动点构成一个独立移动点集合；
（b）从所述独立移动点集合中选取至少三个移动点所构成的面积最大的凸多边形的各边向外延展第四预设冗余长度来从当前帧图像中截取得到与该移动点集合对应的独立移动图块。


4.根据权利要求1所述的一种基于视觉获取行人的消费肖像的方法，其特征在于，其中所述人体姿势关键点信息包含了：鼻子、左眼、右眼、左耳、右耳、颈部、左肩、右肩、左肘、右肘、左腕、右腕、左腰、右腰、左膝、右膝、左踝、右踝在当前帧图像中的坐标位置在内的信息。


5.根据权利要求1所述的一种基于视觉获取行人的消费肖像的方法，其特征在于，其中融合人脸属性集、上身属性集、腿部属性集、脚部属性集的方式为：
（1）对上身属性集中的各属性的相似程度值乘以预设上身权重系数、对腿部属性集中的各属性的相似程度值乘以预设腿部权重系数、对脚部属性集中的各属性的相似程度值乘以预设脚部权重系数，从而完成对各属性集的权重调整；
（2）把完成权重调整后的上身属性集、腿部属性集、脚部属性集的属性合并到总属性集，对于重复的属性仅保留一个并对其相似程度值进行累加，并以累加得到的相似程度值重新标记该属性；
（3）构建至少以性别、年龄阶段、是/否佩戴眼镜、是/否笑来分别作为坐标轴的至少四个维度的属性空间，并在其中各属性区间内预置针对不同属性的增益系数；以所述人脸属性集包含的行人的性别、所属年龄阶段、是/否佩戴眼镜、是/否笑来检索属性空间得到对应的属性区间，并取得该属性区间内针对不同属性的增益系数，以获得各属性的增益系数与总属性集中的对应属性的相似程度值相乘得到增益后的相似程度值；
（4）以总属性集中其相似程度值最大的属性的相似程度值作为预除分母，其它各属性的相似程度值除以预除分母得到其对应的相似系数，并以计算得到的相似系数重新标记对应的属性，相似程度值最大的属性的相似系数为1；
（5）以相似系数的大小由大到小对总属性集的各属性进行排序，获取预设提取个数排名靠前的属性并进一步地删选出其中相似系数大于预设系数下限的属性来构成行人的消费肖像。


6.一种基于视觉获取行人的消费肖像的装置，其特征在于，包括：
摄像头模块，用于采集视频流；
独立移动图块提取模块，用于对所述摄像头模块采集的视频流进行移动检测得到移动点，并耦合移动点得到至少一个独立移动图块；
人体姿势关键点检测模块，用于从所述独立移动图块中选取面积最大的独立移动图块为目标图块，并对目标图块作人体姿势关键点检测；
截图提取模块，用于根据所述人体姿势关键点检测模块检测到的人体姿势关键点信息：
（1）从与行人头部对应的鼻子、左眼、右眼、左耳、右耳、颈部关键点中选取至少三点...

【专利技术属性】
技术研发人员：周祥宇，
申请(专利权)人：上海首步信息技术有限公司，
类型：发明
国别省市：上海;31