货架取物侦测系统及方法技术方案

本发明专利技术有关于一种货架取物侦测系统及方法，是根据设置于场景中的深度感测器以侦测感测范围，再透过侦测子模块及分析子模块以记录外部置货架上的货品在置货架边缘的设定感测范围内被拿取或归位的次数，并透过数据库子系统储存，且本发明专利技术可进一步利用所取得的货品存取数据以分析置货架被存取的热门区域，作为物流管理及销售策略的参考。

【技术实现步骤摘要】
货架取物侦测系统及方法
本专利技术有关于一种侦测系统及方法，特别是一种按照影像深度和变化追踪判断置货架上的货品是否被取用的货架取物侦测系统及方法。
技术介绍
随着大数据分析的技术及应用愈趋热门，消费者行为与商品热销程度的关连分析利用大数据的研究方法亦越来越受到重视，商品曝光程度、周边商品、甚至是陈列位置均可能影响商品的销售，故如何搜集商品受消费者关注程度的量化数据，并提供商家进行货架存取次数与商品热销程度关连的有效分析是为一种有高度需求的技术。在先前技术中，需透过人工盘点再作事后统计方式才能取得商品销售信息，然而此种作法耗工且耗时极其不符合经济效益，而在近代的技术中，则若干方式可透过无线射频技术等方式附加电子卷标于商品上，并根据电子卷标来判断商品离开货架与否，或是再配合一维条形码与POS(PointofSale)机等等设备进行整体的仓储物流管理，然而，此种技术中，无线射频电子卷标需部署于每个商品上，这个设置过程亦耗费人工且电力因素造成的讯号问题可能造成电子卷标无法被正确侦测与接收，另外，使用POS(PointofSale)机进行仓储物流管理所取得之信息则仅能得知商品销售程度，并未考虑商品的受关注程度，例如消费者可能先将商品拿起观看或丢入推车，但最终仍因某些因素没有进行购买，这些信息对于销售亦有极大帮助。由此可见，上述先前技术仍存在若干思考不周之处，亟需进行改良。
技术实现思路
本专利技术提出一种货架取物侦测系统及方法，是根据场景中的深度感测以计算外部货品在置货架边的感测范围被拿取或归位的次数，且可进一步分析置货架被存取的热区以作为后续物流管理及销售的参考。本专利技术的系统包含一深度感测装置，设置于外部置货架的相对上方且以包含部分外部置货架与外部置货架外侧部分环境的范围为感测范围的感测装置，该深度感测装置主要是透过影像摄录方式进行感测。本专利技术更包含一侦测子系统，该侦测子系统是与该深度感测装置链接并接收来自该深度感测装置所侦测感测范围内的感测影像，该侦测子系统可将感测影像按照深度分离出前景与背景，并利用于判断是否有外部对象进入或离开感测范围以及外部对象在感测范围内的影像变化，其中，该侦测子系统更包含一影像取像模块，用以接收来自该深度感测装置所侦测感测范围内包含色彩或深度的感测影像，以及一前后景分离模块，用以将该影像取像模块接收的感测影像依据深度以分离出前景以及背景，该侦测子系统更包含一对象侦测模块，在感测范围内追踪并判断是否有一或多个外部对象进入或离开感测范围的前景。本专利技术更有一分析子系统，用以图量化深度以透过边缘侦测算法在感测范围内划分出多个虚拟边界，该分析子系统是追踪且纪录外部对象在感测范围内的各该虚拟边界的进出位置、进出深度、进出次数以及进出前后的影像变化以判断外部置货架上的货物进出的相关信息。其中，该分析子系统细分更包含一场景分析模块，用以根据该深度感测装置所侦测感测范围内的感测影像来解析外部置货架的部署情形，并再根据外部置货架的部署情形透过一种边缘侦测算法以在感测范围内距外部置货架的取物侧外的一定距离处以规划出多个虚拟边界，各该虚拟边界即可被简单理解为用以判断是否取物行为的边界线。该分析子系统更包含一对象追踪模块，用以追踪外部对象(即消费者或是推车等对象)在感测范围内的移动并赋予外部对象各自的标识符(给予标识符之目标可包含外部货品等)。该分析子系统透过一越线取物分析模块以前述各该虚拟边界为基准，判断外部对象与外部置货架间的相互关系以及是否越过各该虚拟边界并据以记录外部置货架上的各种外部货品是否被消费者存取，以及记录外部货品被存取的次数。该分析子系统包含一数据分析模块，该数据分析模块依据该越线取物分析模块得出货品是否被存取及被存取的次数等信息作为材料分析，其目的在找出外部置货架被存取的区间以及被存取最频繁的热区等，即可大略推估在外部置货架的部署上，是否有哪些区间或货架受关注的价值较高。该分析子系统更包含一对象相似度比对模块，用以依该越线取物分析模块判断外部对象进出各该虚拟边界前后所显示影像之间的变化，并解析其相似度以判断被取或放回的货品的种类，以提升辨识准确率。而本专利技术的货架取物侦测系统具有一数据库子系统，用以储存该分析子系统所追踪前述的外部对象以及外部货品在感测范围内的各该虚拟边界进出的位置、深度、次数以及进出前后的影像变化所产生的相关信息，更详细来说，该数据库子系统储存外部货品在感测范围内的各该虚拟边界进出的取物次数、归物次数、取物区间、归物区间，或是外部对象进入各该虚拟边界的次数、外部对象离开各该虚拟边界的次数、外部对象停留在感测范围内的关注时间等。而本专利技术的货架取物侦测系统及方法，即是应用于量贩卖场、零售店、书店、精品店等案场，利用深度感测装置取得场景的俯视场景深度信息，实时侦测置货架被存取的确切位置或阶层，并藉由深度、色彩、形状、纹理或区域性特征等多种图像特征组合判断消费者是否有取物行为并记录商品受关注时间，且可藉由预先设定或透过影像辨识方式得知消费者拿取的物品的品项，或更可将相关信息推播至货架附近的电子显示器，让消费者可获得产品成分、使用等相关讯息，抑或是可以推荐周边/关联/相似产品给消费者的系统及其使用方法。附图说明图1为本专利技术的货架取物侦测系统架构实施图；图2为本专利技术的货架部署影像实施例示意图；图3为本专利技术的货架取物侦测方法步骤流程图；图4本专利技术的背景深度影像示意图；图5本专利技术的货架部署前感测线的规划示意图；图6本专利技术的追踪并付予标识符示意图；图7本专利技术的物件相似度比对示意图；图8本专利技术的置货架存取热门区域的分布示意图。附图标记说明100商品置货架200深度感测器300侦测子系统310影像取像模块320前后景分离模块330对象侦测模块400分析子系统410场景分析模块420对象追踪模块430越线取物分析模块440数据分析模块450对象相似度比对模块500数据库子系统510越线次数数据520取物次数数据530取物位置数据540货架区间数据550关注时间数据S301～S308步骤流程具体实施方式以下将以实施例结合图式对本专利技术进行进一步说明，首先请参照图1，是为本专利技术的系统架构实施图，各子系统以及外部组件将分述如下：商品置货架100，用以陈列商品用，商品置货架其取物端的动静是为深度感测器侦测的主要标的。深度感测器200，用以自上方获取彩色影像或场景深度等信息，其可设置于货架上方或采吸顶方式安装于案场的天花板。侦测子系统300，其是用于根据深度感测器200截取的影像，以透过影像深度在感测范围内建立前景背景的差异，并据此对在前景活动的对象进行侦测。分析子系统400，是用于将侦测子系统300侦测的影像进行场景分析、前景物件追踪、取物分析判断或置货架存取热区分析等运算。数据库子系统500，是用于较长时间储存前述分析子系统400得来的侦测及运算数据数据，当数据达定量时即可开始提供分析子系统进行热区分析等运算。总的来说，本专利技术的深度感测器200安装于商品置货架100上方或是当商品置货架100上方无支架固定时可采用吸顶式安装于案场的天花板上，深度感测器200是采俯视角度向下拍摄画面，深度感测器200则连结至后端的侦测子系统300，侦测子系统300透过影像取像模块310从深度感测器200取得彩色影像与场景本文档来自技高网...

【技术保护点】
一种货架取物侦测系统，其特征在于，包含：一深度感测装置，该深度感测装置是设置于外部置货架的相对上方且以包含部分外部置货架与外部置货架外侧部分环境的范围为感测范围的感测装置；一侦测子系统，该侦测子系统是与该深度感测装置链接并接收来自该深度感测装置所侦测感测范围内的感测影像，该侦测子系统将感测影像依据深度分离出前景与背景，并利用于判断是否有外部对象进入或离开感测范围以及外部对象在感测范围内的影像变化；一分析子系统，是用以图量化深度以透过边缘侦测算法以在感测范围内划分出多个虚拟边界，该分析子系统是追踪且纪录外部对象在感测范围内的各该虚拟边界的进出位置、进出深度、进出次数以及进出前后的影像变化以判断外部置货架上的货物进出的相关信息；以及一数据库子系统，是用以储存该分析子系统所追踪前述的外部对象在感测范围内的各该虚拟边界进出的位置、深度、次数以及进出前后的影像变化所产生的相关信息。

【技术特征摘要】
2016.05.18 TW 1051152611.一种货架取物侦测系统，其特征在于，包含：一深度感测装置，该深度感测装置是设置于外部置货架的相对上方且以包含部分外部置货架与外部置货架外侧部分环境的范围为感测范围的感测装置；一侦测子系统，该侦测子系统是与该深度感测装置链接并接收来自该深度感测装置所侦测感测范围内的感测影像，该侦测子系统将感测影像依据深度分离出前景与背景，并利用于判断是否有外部对象进入或离开感测范围以及外部对象在感测范围内的影像变化；一分析子系统，是用以图量化深度以透过边缘侦测算法以在感测范围内划分出多个虚拟边界，该分析子系统是追踪且纪录外部对象在感测范围内的各该虚拟边界的进出位置、进出深度、进出次数以及进出前后的影像变化以判断外部置货架上的货物进出的相关信息；以及一数据库子系统，是用以储存该分析子系统所追踪前述的外部对象在感测范围内的各该虚拟边界进出的位置、深度、次数以及进出前后的影像变化所产生的相关信息。2.根据权利要求1所述的货架取物侦测系统，其特征在于，该侦测子系统更包含：一影像取像模块，用以接收来自该深度感测装置所侦测感测范围内包含色彩或深度的感测影像；一前后景分离模块，用以将该影像取像模块接收的感测影像依据深度以分离出前景以及背景；以及一对象侦测模块，在感测范围内追踪并判断是否有一或多个外部对象进入或离开感测范围的前景。3.根据权利要求1所述的货架取物侦测系统，其特征在于，该分析子系统更包含：一场景分析模块，用以根据该深度感测装置所侦测感测范围内的感测影像以分析外部置货架的部署，并根据外部置货架的部署和边缘侦测算法在感测范围内划分出多个虚拟边界；一对象追踪模块，用以追踪外部对象在感测范围内的移动并赋予外部对象各自的标识符；一越线取物分析模块，根据该场景分析模块规划的各该虚拟边界为基准的进出行程以判断外部置货架上的货品是否被存取及被存取的次数；一数据分析模块，依据该越线取物分析模块得出货品是否被存取及被存取的次数信息以解析出外部置货架被存取的区间以及被存取频繁的热区；以及一对象相似度比对模块，依该越线取物分析模块所解析的各货品显示影像变化之间的相似度为基准以比对判断货品种类。4.根据权利要求1所述的货架取物侦测系统，其特征在于，该数据库子系统是用以储存该分析子系统所追踪的外部货品在感测范围内的各该虚拟边界进出的取物次数、归物次数、取物区间、归物区间，或是外部对象进入各该虚拟边界的次数、外部对象离开各该虚拟边界的次数、外部对象停留在感测范围内的关注时间。5.一种货架取物侦测方法，其特征在于，包含下列步骤：货架部署场景侦测步骤，此步骤是设...

【专利技术属性】
技术研发人员：周逸凡，柳恒崧，
申请(专利权)人：中华电信股份有限公司，
类型：发明
国别省市：中国台湾,71