基于大数据和视频分析的商场内自动贩卖机智能运营方法技术

本发明专利技术提供了一种基于大数据和视频分析的商场内自动贩卖机智能运营方法，该方法包括：当用户下单支付成功后，进行商品检测和取货行为检测，其中，商品检测用于得到贩卖机取货口处商品的种类和数量，并与用户的订单信息进行对比；取货行为检测用于判断用户在支付成功后是否进行取货这一动作；结合商品检测和取货行为检测得到的结果实现贩卖机的智能运营；本发明专利技术可以实现贩卖机的自证，当用户支付成功后出现少货或不出货的现象时可以给商家后台发送故障信息，提醒商家及时处理，减少用户损失；也可防止因用户个人情况出现漏取少取或慢取的行为而造成商家的损失。

【技术实现步骤摘要】
基于大数据和视频分析的商场内自动贩卖机智能运营方法
本专利技术属于大数据、人工智能领域，尤其涉及一种基于大数据和视频分析的商场内自动贩卖机智能运营方法。
技术介绍
商场自动贩卖机虽然节省了大量人力，但是由于自动贩卖机的使用频率较高，机器时常存在一些故障，导致用户支付后未出货或少出货，却显示取货成功等情况的发生，这时就需要用户自行向商家上报，然后商家后台工作人员再人为确认去解决，这对用户体验十分不利。
技术实现思路
为了解决上述问题，本专利技术提出一种基于大数据和视频分析的商场内自动贩卖机智能运营方法，该方法包括：步骤一，在贩卖机附近进行行人图像的采集，利用多人姿态估计模型对采集到的行人图像进行姿态估计得到行人的姿态，将姿态信息中行人两脚面关键点连线的中心点投影到预先构建好的商场BIM中，在BIM中设立ROI区域，其中，每个贩卖机都对应一个ROI区域；步骤二，当用户下单支付成功后，同时开始进行商品检测和取货行为检测；商品检测：开启环境灯，利用内嵌在贩卖机内的摄像头采集取货口处商品的图像，采集到的商品图像经过关键点检测网络得到关键点热图，对关键点热图进行后处理得到商品的种类和数量；将得到的商品的种类和数量与用户的订单信息进行对比；取货行为检测：获取BIM中行人两脚面关键点连线的中心点的坐标，对中心点坐标位于所使用贩卖机对应ROI区域内的行人的姿态进行分类，判断是否存在取货行为，不存在取货行为记为事件A，存在取货行为记为事件B；步骤三，对商品检测和取货行为检测得到的结果进行分析：若信息对比不一致，则贩卖机存在故障，向工作人员发送故障信息；若信息对比一致且发生事件A，提醒用户取货并在一定时间后再次进行商品检测；若信息对比一致且发生事件B，则再次进行商品检测，当未检测到商品时，关闭环境灯、结束商品检测；当检测到商品时，判定用户漏取商品，提醒用户取货并在一定时间后再次进行商品检测。环境灯部署在取货口处。关键点检测网络包括关键点编码器和关键点解码器，关键点编码器对输入图像进行特征提取，得到特征图，关键点解码器对特征图进行上采样生成关键点热图；该网络的训练过程具体为：采集商品的图像构建训练数据集；生成标签：关键点标注在商品的中心点处，标记关键点像素位置，而后使用高斯核，形成关键点热斑；每种商品的关键点对应一个通道；采用热图损失函数对该网络进行训练。对行人的姿态进行分类通过全连接网络实现，该网络的输入为中心点坐标位于所使用贩卖机对应ROI区域内的行人的姿态序列，输出为对应的行人姿势，其中，行人姿势包括站立、下蹲、弯腰。是否存在取货行为的判断过程为：将站立姿势对应为状态值1，下蹲和弯腰姿势对应为状态值2，若在用户支付成功后一定时间内，状态值存在至少一次从2到1的跳变，判定发生取货行为，否则，判定为未发生取货行为。本专利技术的有益效果在于：1.现有的贩卖机对商品的检测是在出货之前进行的，但在出货过程中可能会出现卡货、掉货的情况，本专利技术可以对出货之后的商品进行种类和数量的检测，可避免由于卡货现象给用户带来损失。2.本专利技术利用神经网络技术获取取货口处商品的种类和数量，再与用户的订单信息进行对比，可完成贩卖机的自证，若信息对比不一致，则给商家后台发送提示信息，提醒商家采取相关措施，可减少用户的损失，提升用户的贩卖机使用体验。3.本专利技术通过人体姿态估计检测用户购买后的取货过程，防止因用户个人情况出现漏取少取或慢取的行为而造成商家的损失，提高贩卖机售货效率；且先对取货行为进行判断可以降低内嵌在贩卖机内摄像头的功耗，不需摄像头持续对取货口处进行图像采集，只需在用户发生取货行为后进行图像的采集和处理。4.若贩卖机出现卡货这一异常情况，采用该方法可以准确得知被卡商品的种类和数量，可以有效防止恶意购买行为的发生，避免给商家带来损失。附图说明图1为本专利技术实施流程图。具体实施方式为了让本领域技术人员更好的理解本专利技术，下面结合实施例和附图对本专利技术进行进一步的说明。本专利技术提出一种基于大数据和视频分析的商场内自动贩卖机智能运营方法，即主要对商场各个区域的自动贩卖机进行自动化管理与自证，最终结合贩卖机终端与计算机视觉实现贩卖机出货的自证与用户取货过程的检测，其实施流程图如图1所示，具体地：首先，对商场各个位置的相机所得到的图像进行行人姿态的检测，得到行人姿态信息，当用户支付成功后，开启取货口检测功能，同时进行行人位置、姿势判断，并对取货口相机检测的饮料出货情况是否与用户下单匹配，从而为自动贩卖机售后验证及销售提供自动化运营支持。实施例：利用商场中的摄像头在贩卖机附近进行行人图像的采集，利用多人姿态估计模型对采集到的行人图像进行姿态估计得到行人姿态。人体姿态估计技术属于计算机视觉领域的常见任务，考虑到常见的姿态估计模型对环境的鲁棒性较差，因此此处可对模型进行自行训练，提高检测的准确性。对多人姿态估计模型进行训练：首先对训练图像数据进行采集，优选地，针对商场贩卖机处行人图像进行采集；采集的图像要经过归一化处理，将图片矩阵的值域变为[0,1]之间的浮点数，以便模型更好的收敛。。其次进行标签的制作，该标注采用以下方法，以减少人力的开支：a)首先利用常见的多人姿态估计模型对图像进行姿态估计，并将处理后的姿态关节点显示在原图像中。多人姿态估计模型可采用开源的HRNet、HigherHRNet等。b)对于上述检测结果图像，进行人为挑错，更改错误的和有较大误差的姿态坐标。c)然后通过高斯核针对上述各个类别关节点坐标进行卷积，得到行人姿态的热力图(Heatmap)。具体的细节，如高斯核半径的选取等，不在本专利技术讨论范围内。此处采用Associativeembedding技术，区分图像内的不同人实例，属于区分示例的常见技术手段，该技术使得同一个人的所有关键点tag值相近，不同人之间的tag值疏远，相近的概念通过欧式距离来实现。其公式如下：n表示第n个人，k表示第k个关键点，X表示真实关键点所在的像素位置，hk表示第k个人关键点的标签heatmap。该模型的具体训练过程为：用经过归一化处理的训练图像和标签数据，端到端地训练姿态估计编码器和姿态估计解码器，姿态估计编码器的输入为经过归一化处理后的图像数据，对输入图像进行特征提取后输出第一特征图，姿态估计解码器对第一特征图进行上采样并最终生成行人姿态热力图及关联嵌入图(Associativeembedding)。Loss函数采用HeatmapsLoss+GroupingLoss的加权和，其中：其中，Pcij代表类别C的人关键点在位置(i,j)处的得分，得分越高就越可能是人的关键点。ycij表示groundtruth的Heatmap。N代表groundtruth中的关键点数量。α、β为超参数，需要人为设定。N代表groundtruth本文档来自技高网...

【技术保护点】
1.一种基于大数据和视频分析的商场内自动贩卖机智能运营方法，其特征在于，该方法包括：/n步骤一，在贩卖机附近进行行人图像的采集，利用多人姿态估计模型对采集到的行人图像进行姿态估计得到行人的姿态，将姿态信息中行人两脚面关键点连线的中心点投影到预先构建好的商场BIM中，在BIM中设立ROI区域，其中，每个贩卖机都对应一个ROI区域；/n步骤二，当用户下单支付成功后，同时开始进行商品检测和取货行为检测；/n商品检测：开启环境灯，利用内嵌在贩卖机内的摄像头采集取货口处商品的图像，采集到的商品图像经过关键点检测网络得到关键点热图，对关键点热图进行后处理得到商品的种类和数量；将得到的商品的种类和数量与用户的订单信息进行对比；/n取货行为检测：获取BIM中行人两脚面关键点连线的中心点的坐标，对中心点坐标位于所使用贩卖机对应ROI区域内的行人的姿态进行分类，判断是否存在取货行为，不存在取货行为记为事件A，存在取货行为记为事件B；/n步骤三，对商品检测和取货行为检测得到的结果进行分析：/n若信息对比不一致，则贩卖机存在故障，向工作人员发送故障信息；/n若信息对比一致且发生事件A，提醒用户取货并在一定时间后再次进行商品检测；/n若信息对比一致且发生事件B，则再次进行商品检测，当未检测到商品时，关闭环境灯、结束商品检测；当检测到商品时，判定用户漏取商品，提醒用户取货并在一定时间后再次进行商品检测。/n...

【技术特征摘要】
1.一种基于大数据和视频分析的商场内自动贩卖机智能运营方法，其特征在于，该方法包括：
步骤一，在贩卖机附近进行行人图像的采集，利用多人姿态估计模型对采集到的行人图像进行姿态估计得到行人的姿态，将姿态信息中行人两脚面关键点连线的中心点投影到预先构建好的商场BIM中，在BIM中设立ROI区域，其中，每个贩卖机都对应一个ROI区域；
步骤二，当用户下单支付成功后，同时开始进行商品检测和取货行为检测；
商品检测：开启环境灯，利用内嵌在贩卖机内的摄像头采集取货口处商品的图像，采集到的商品图像经过关键点检测网络得到关键点热图，对关键点热图进行后处理得到商品的种类和数量；将得到的商品的种类和数量与用户的订单信息进行对比；
取货行为检测：获取BIM中行人两脚面关键点连线的中心点的坐标，对中心点坐标位于所使用贩卖机对应ROI区域内的行人的姿态进行分类，判断是否存在取货行为，不存在取货行为记为事件A，存在取货行为记为事件B；
步骤三，对商品检测和取货行为检测得到的结果进行分析：
若信息对比不一致，则贩卖机存在故障，向工作人员发送故障信息；
若信息对比一致且发生事件A，提醒用户取货并在一定时间后再次进行商品检测；
若信息对比一致且发生事件B，则再次进行商品检测，当未检测到商品...

【专利技术属性】
技术研发人员：赵霆霏，
申请(专利权)人：赵霆霏，
类型：发明
国别省市：辽宁;21