【技术实现步骤摘要】
无人售货方法、监控摄像机及系统
本申请涉及行为识别
，特别是涉及一种无人售货方法、监控摄像机及系统。
技术介绍
无人货架是一种部署在人们工作和生活空间角落中的无人售货货架。消费者通过无人货架购物时，可以直接从货架上取下货物，再主动扫描货架上的二维码或者向货架的货币接收部位投入货币进行付款，从而完成购物。但是，在上述无人售货方式中，货款的收取完全依赖于消费者对自身的约束，可能因消费者遗忘等主观因素造成货物被取走但未付款或者付款不及时的情况，导致货物已售出而未收取货款，付款率降低。为了应对上述问题，相关方案一般是在无人货架处张贴付款提示信息进行提醒，以及安装监控摄像头进行警示，来提高付款率。但是对于这些方法，如果消费者不主动去看的话，仍然容易被忽略，无法主动与消费者进行互动，消费者仍可能因遗忘等主观因素忘记付款。因此，不能有效地提醒消费者付款。
技术实现思路
本申请实施例的目的在于提供一种无人售货方法、设备及系统，以更加有效地提醒消费者付款。具体技术方案如下：第一方面，本申请实施...
【技术保护点】
1.一种无人售货方法，其特征在于，所述方法包括：/n从监控摄像机拍摄的无人货架的场景视频中，获取当前图像帧；/n对所述当前图像帧进行人体检测，获得无人货架的当前场景中，是否存在人物对象的检测结果；/n如果检测结果为存在人物对象，则输出付款的语音提示。/n
【技术特征摘要】
1.一种无人售货方法，其特征在于，所述方法包括：
从监控摄像机拍摄的无人货架的场景视频中，获取当前图像帧；
对所述当前图像帧进行人体检测，获得无人货架的当前场景中，是否存在人物对象的检测结果；
如果检测结果为存在人物对象，则输出付款的语音提示。
2.根据权利要求1所述的方法，其特征在于，所述从监控摄像机拍摄的无人货架的场景视频中，获取当前图像帧，包括：
按照预设周期，从监控摄像机拍摄的无人货架的场景视频中，获取当前图像帧；
或者，在通过光敏传感器或红外传感器或接近传感器监测到第一预设区域出现移动物体时，从监控摄像机拍摄的无人货架的场景视频中，获取当前图像帧；所述第一预设区域为所述人物对象在无人货架处购物的区域。
3.根据权利要求2所述的方法，其特征在于，所述如果检测结果为存在人物对象，则输出付款的语音提示，包括：
如果检测结果为存在人物对象，则在预设时长后输出付款的语音提示；所述预设时长大于所述预设周期；
在检测出所述检测结果为存在人物对象之后，所述方法还包括：
记录所述人物对象的检测到次数；
判断所述人物对象的检测到次数是否达到预设检测到阈值；
如果达到，则执行所述在预设时长后，输出提示付款的语音提示的步骤；
如果未达到，则返回执行按照预设周期，从监控摄像机拍摄的无人货架的场景视频中，获取当前图像帧的步骤。
4.根据权利要求3所述的方法，其特征在于，在检测出所述检测结果为不存在人物对象的步骤之后，所述方法还包括：
将所述人物对象的检测到次数清零。
5.根据权利要求1所述的方法，其特征在于，所述对所述当前图像帧进行人体检测，获得无人货架的当前场景中，是否存在人物对象的检测结果，包括：
将所述当前图像帧输入预设的目标检测模型；所述预设的目标检测模型为预先利用多个存在人物对象的无人货架的样本场景图像训练得到的；
获得所述预设的目标检测模型输出的无人货架的当前场景中，是否存在人物对象的检测结果。
6.根据权利要求5所述的方法，其特征在于，在所述将所述当前图像帧输入预设的目标检测模型的步骤之后，所述方法还包括：
获得预设的目标检测模型输出的目标框；
在检测出所述检测结果为存在人物对象后，所述方法还包括：
判断包含人物对象的目标框的尺寸是否满足预设尺寸条件；
如果满足，则执行输出提示付款的语音提示的步骤；
如果不满足，则返回从监控摄像机拍摄的无人货架的场景视频中，获取当前图像帧的步骤。
7.根据权利要求5所述的方法，其特征在于，所述预设的目标检测模型，采用如下步骤训练获得：
将收集的多个存在人物对象的无人货架的样本场景图像，输入当前目标检测模型，得到每个样本场景图像对应的预测对象及每个预测对象是否属于人物对象的预测类别置信度；所述当前目标检测模型初次使用时为预设初始目标检测模型；
根据得到的多个预测对象、每个预测对象的预测类别置信度以及预设代价函数，判断所述当前目标检测模型是否收敛；其中，所述预设代价函数为基于每个样本场景图像中预先标注的对象及每个对象是否属于人物对象的类别信息确定的；
如果收敛，则将所述当前目标检测模型确定为预设的目标检测模型；
如果不收敛，则利用预设的梯度函数，采用随机梯度下降法调整所述当前目标检测模型的模型参数，得到新的目标检测模型；
将所述当前目标检测模型更新为所得到的新的目标检测模型；
返回将收集的多个存在人物对象的无人货架的样本场景图像，输入当前目标检测模型的步骤。
8.根据权利要求1所述的方法，其特征在于，在检测到人物对象之后，输出付款的语音提示之前，所述方法还包括：
检测所述人物对象是否取走货物；
如果检测结果为取走货物，则执行输出付款的语音提示的步骤。
9.根据权利要求8所述的方法，其特征在于，所述检测所述人物对象是否取走货物，包括：
在预设时长后，获取所述场景视频中所述当前图像帧之后的多个图像帧，保存为取物备用模态图像；
在预设时长后，根据保存多个图像帧为取物备用模态图像的时间点，从多个取物备用模态图像中，选择保存时间点为中间时间点的取物备用模态图像，作为取物第一模态图像；
将多个取物备用模态图像，按照保存时间点相邻的两个为一组，逐组输入预设的光流算法，得到分别与每组取物备用模态图像对应的多个光流图，作为取物第二模态图像；
将所述取物第一模态图像和所述取物第二模态图像，输入第一预设双流网络模型，得到所述人物对象是否取走货物的检测结果；所述第一预设双流网络模型为预先利用多个所包含的人物对象存在取物行为的样本取物第一模态图像和样本取物第二模态图像训练得到的；
或者，监测到第二预设区域出现移动货物的信号时，检测到所述人物对象取走货物；所述第二预设区域为所述无人货架的货物拿取区域。
10.根据权利要求3所述的方法，其特征在于，在所述在预设时长之后，在输出提示付款的语音提示的步骤之前，所述方法还包括：
检测所述人物对象是否付款；
如果检测结果为未付款，则执行所述输出提示付款的语音提示的步骤。
11.根据权利要求10所述的方法，其特征在于，在检测出所述检测结果为存在人物对象的步骤之后，所述方法还包括：
保存当前图像帧为付款备用模态图像；
所述在预设时长后，检测所述人物对象是否付款，包括：
在预设时长后，根据保存当前图像帧为付款备用模态图像的时间点，从多个付款备用模态图像中，选择保存时间点为中间时间点的付款备用模态图像，作为付款第一模态图像；
将多个付款备用模态图像，按照保存时间点相邻的两个为一组，逐组输入预设的光流算法，得到分别与每组付款备用模态图像对应的多个光流图，作为付款第二模态图像；
将所述付款第一模态图像和所述付款第二模态图像，输入第二预设双流网络模型，得到所述人物对象是否存在付款行为的检测结果；所述第二预设双流网络模型为预先利用多个所包含的人物对象存在付款行为的样本付款第一模态图像和样本付款第二模态图像训练得到的。
12.根据权利要求11所述的方法，其特征在于，所述第二预设双流网络模型包括：用于识别付款第一模态图像属于是否付款的第一卷积分类网络，用于识别付款第二模态图像属于是否付款的第二卷积分类网络；
所述将所述付款第一模态图像和所述付款第二模态图像，输入第二预设双流网络模型，得到所述人物对象是否付款的检测结果，包括：
将所述付款第一模态图像输入所述第一卷积分类网络，得到所述付款第一模态图像属于是否付款的付款第一置信度；
将所述付款第二模态图像输入所述第二卷积分类网络，得到所述付款第二模态图像属于是否付款的付款第二置信度；
将所述付款第一置信度和所述付款第二置信度，输入预设平均算法，得到所述付款模态图像中人物对象属于是否付款的付款置信度；
判断所述付款置信度是否满足预设付款置信度条件；
如果满足，则检测结果为所述人物对象付款。
13.根据权利要求12所述的方法，其特征在于，所述第二预设双流网络模型，采用如下步骤训练获得：
将收集的多个所包含的人物对象存在付款行为的样本付款第一模态图像和样本付款第二模态图像，输入当前双流网络模型，得到每个样本付款模态图像对应的属于是否付款的预测第一付款置信度和预测第二付款置信度；所述当前双流网络模型初次使用时为预设初始双流网络模型；
根据得到的预测第一付款置信度、预测第二付款置信度以及预设代价函数，判断所述当前双流网络模型是否收敛；其中，所述预设代价函数为基于每个样本模态图像中预先标注的属于是否付款的类别信息确定的；
如果收敛，则将所述当前双流网络模型确定为第二预设双流网络模型；
如果不收敛，则利用预设的梯度函数，采用随机梯度下降法调整所述当前双流网络...
【专利技术属性】
技术研发人员：周纪强，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。