物品建模数据产生方法及物品建模数据产生装置制造方法及图纸

一种物品建模数据产生方法及物品建模数据产生装置，物品建模数据产生方法包括：取得关联于平台的平台影像、多个第一物品影像以及多个第二物品影像，其中此些第一物品影像对应多个不同视角，而此些第二物品影像对应此些视角，以及根据此些第一物品影像与此些第二物品影像的至少一者以及平台影像执行影像合成处理以产生合成影像，合成影像包含分别对应此些视角之中的至少多个的多个相邻或部份重叠的影像区域，此些影像区域包括第一影像区域及第二影像区域，第一影像区域包括此些第一物品影像之一或此些第二物品影像之一，第二影像区域包括此些第一物品影像之一或此些第二物品影像之一。像之一。像之一。

【技术实现步骤摘要】
物品建模数据产生方法及物品建模数据产生装置


[0001]本专利技术涉及一种物品建模数据的产生方法以及产生装置。

技术介绍

[0002]近年来机器学习演算法崛起，一种应用方式是应用机器学习演算法建立商品模型，并通过机器学习所建立的商品模型辨识货架上的商品，以实现无人商店。而若要建立高辨识率的商品模型，提供给机器学习演算法的建模数据应包含足够的商品特征，且多种商品在货架上的排列方式可能有多种组合，因此，对物品的建模方法成为目前的发展趋势之一。

技术实现思路

[0003]本专利技术提供一种物品建模数据产生方法及物品建模数据产生装置，所产生的合成影像可用于模拟不同物品于平台上相邻或重叠的实际情况，机器学习演算法依据合成影像所产生的物品模型，将具有较高的辨识率。
[0004]根据本专利技术的一实施例，提供一种物品建模数据产生方法，包括：取得关联于平台的平台影像；取得设置于平台的第一物品的多个第一物品影像，其中该些第一物品影像对应于多个不同视角；取得设置于平台上的第二物品的多个第二物品影像，其中该些第二物品影像对应于该些不同视角；以及依据该些第一物品影像与该些第二物品影像中的至少一者以及该平台影像执行影像合成处理以产生合成影像，合成影像包含分别对应该些不同视角之中的至少多个的多个相邻或部份重叠的影像区域，此些影像区域包括第一影像区域及第二影像区域，第一影像区域包括此些第一物品影像之一或此些第二物品影像之一，第二影像区域包括此些第一物品影像之一或此些第二物品影像之一。
[0005]依据本专利技术的一实施例，提供一种物品建模数据产生装置，包括平台、至少一摄影机以及管理主机。平台用以供第一物品以及第二物品放置。至少一摄影机设于平台的上方且至少一摄影机电性连接于管理主机。管理主机用以驱动至少一摄影机拍摄平台、第一物品以及第二物品以取得平台影像、多个第一物品影像以及多个第二物品影像，其中该些第一物品影像对应于多个不同视角，而该些第二物品影像对应该些视角。管理主机更用以根据该些第一物品影像与该些第二物品影像中的至少一者以及该平台影像执行影像合成处理以产生合成影像，合成影像包含分别对应该些不同视角之中的至少多个的多个相邻或部份重叠的影像区域，此些影像区域包括第一影像区域及第二影像区域，第一影像区域包括此些第一物品影像之一或此些第二物品影像之一，第二影像区域包括此些第一物品影像之一或此些第二物品影像之一。
[0006]本专利技术实施例的物品建模数据产生方法以及物品建模数据产生装置，通过影像合成处理所产生的合成影像用于模拟多种不同物品于平台上彼此相邻或部分重叠的实际情况，可减少对物品建模所需花费的时间。再者，机器学习演算法依据合成影像所产生的物品模型，具有较高的辨识率，可应用于无人商店的商品辨识。
[0007]以下结合附图和具体实施例对本专利技术进行详细描述，但不作为对本专利技术的限定。
附图说明
[0008]图1为本专利技术一实施例的物品建模数据产生装置的示意图；
[0009]图2为本专利技术一实施例的物品建模数据产生装置的示意图；
[0010]图3为本专利技术一实施例的物品建模数据产生方法的流程图；
[0011]图4为本专利技术一实施例的关连于平台的平台影像的示意图；
[0012]图5为本专利技术一实施例的设置第一物品于平台上的示意图；
[0013]图6为本专利技术一实施例的设置第二物品于平台上的示意图；
[0014]图7A及图7B为图3的影像合成处理的一实施例的详细步骤流程图；
[0015]图8A绘示多个第一物品影像的一实施例的示意图；
[0016]图8B绘示多个第二物品影像的一实施例的示意图；
[0017]图9绘示第一次执行图7A的步骤S172的一实施例的示意图；
[0018]图10绘示第二次执行图7A的步骤S172的一实施例的示意图；
[0019]图11绘示第三次执行图7A的步骤S172的一实施例的示意图；
[0020]图12绘示第四次执行图7A的步骤S172的一实施例的示意图；
[0021]图13绘示本专利技术另一实施例的物品建模数据产生方法的流程图；
[0022]图14为基于合成影像的物品建模的提框率与单物品建模的提框率的比较图。
[0023]其中，附图标记
[0024]1 平台
[0025]2 机架
[0026]3 摄影机
[0027]4 管理主机
[0028]T 平台影像
[0029]T1、T2、T3、T4 顶点
[0030]A 第一物品
[0031]B 第二物品
[0032]E1 第一行方向
[0033]E2 第二行方向
[0034]E3 第三行方向
[0035]P1～P9 第一物品影像
[0036]Q1～Q9 第二物品影像
[0037]L1、L2、L3、L4 长度
[0038]W1、W2、W3、W4 宽度
[0039]C1 第一中心点
[0040]C2 第二中心点
[0041]C3 第三中心点
[0042]C4 第四中心点
具体实施方式
[0043]下面结合附图对本专利技术的结构原理和工作原理作具体的描述：
[0044]应用机器学习演算法建立商品模型时，以无人超商为例，可根据商品在不同视角上的影像以获得商品特征，若要取得商品在多个不同视角上的影像，一种方式是通过摄影机多次拍摄分别放置于货架上的不同位置的商品。此外，在实际情况下，货架上常有多个商品，所以建模数据若是包含关于多个商品彼此重叠或相邻的影像数据，可以建立具有较高辨识率的商品模型。若要取得多个商品彼此重叠或相邻的影像数据，一种方式是依照多种排列方式将商品摆设于货架后，再通过摄影机拍摄，由于多种商品在货架上的排列方式有多种组合，不易将商品的所有排列方式加以实现。以下将阐述本专利技术所提供的物品建模数据产生装置及物品建模数据产生方法的实施例。
[0045]图1为本专利技术一实施例的物品建模数据产生装置的示意图，如图1所示，物品建模数据产生装置包括平台1、多个机架2、多台摄影机3及管理主机4。该些机架2以阵列形式固定于位于平台1上方，例如可固定于天花板或连接于平台的顶棚，而该些摄影机3分别固定于该些机架2。该些摄影机3通过无线通讯方式或有线通讯方式与管理主机4电性连接。管理主机4包含有处理器、记忆装置及通讯装置，管理主机4通过通讯装置与该些摄影机3通讯连接以便接收来自该些摄影机3的影像数据，处理器可执行后续图3、图7A
‑
7B及/或本案实施例的方法或步骤，而记忆装置可储存影像数据。该些摄影机3的镜头都沿着同一方向朝向平台1，例如皆朝向下方，详细的说，朝向实质上垂直于平台的方向；在一实施例中，摄影机3为广角摄影机。在一实施例中，可在平台1上放置物品。在一实施例中，摄影机3在下而物品在上，或是摄影机在左而物品在右，本揭露并不对此限制。
[0046]图2为本专利技术一实施例的物品建模数据产生装置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物品建模数据产生方法，其特征在于，包括：取得关联于平台的平台影像；取得设置于该平台的第一物品的多个第一物品影像，其中该些第一物品影像分别对应多个不同视角；取得设置于该平台上的第二物品的多个第二物品影像，该些第二物品影像分别对应该些不同视角；以及根据该些第一物品影像与该些第二物品影像中的至少一者以及该平台影像执行影像合成处理以产生合成影像，该合成影像包括分别对应该些不同视角之中的至少多个相邻或部份重叠的影像区域，该些影像区域包括第一影像区域及第二影像区域，该第一影像区域包括该些第一物品影像之一或该些第二物品影像之一，该第二影像区域包括该些第一物品影像之一或该些第二物品影像之一。2.根据权利要求1所述的物品建模数据产生方法，其特征在于，取得设置于该平台的该第一物品的该些第一物品影像包括：设置该第一物品于该平台上；取得多个第一初始影像，每一初始影像包括该第一物品及该平台的影像；以及依据该平台影像对该些第一初始影像进行去背景处理以产生该些第一物品影像。3.根据权利要求2所述的物品建模数据产生方法，其特征在于，该些第一初始影像系通过多台摄影机一次拍摄而取得，且该些摄影机的多个镜头沿着同一方向朝向该平台。4.根据权利要求2所述的物品建模数据产生方法，其特征在于，该第一物品依序放置于该平台的多个位置，该些第一初始影像通过单台摄影机拍摄对应于该平台的该些位置的该第一物品而取得。5.根据权利要求1所述的物品建模数据产生方法，其特征在于，更包括取得设置于该平台的第三物品至第N物品的多个第三物品影像至多个第N物品影像，其中该些第三物品影像至该些第N物品影像分别对应该些不同视角，其中N为大于或等于三的正整数，其中根据该些第一物品影像至该些第N物品影像中的至少一者以及该平台影像执行该影像合成处理以产生该合成影像包括：依序根据多个不同行方向、依序根据多个不同列方向、由上至下、由下至上、由左至右、由右至左、先由上至下换行后再由下至上、先由下至上换行后再由上至下、先由左至右换列后再由右至左、先由右至左换列后再由左至右、由内至外的螺旋状、由外至内的螺旋状或随机方式选择对应该些不同视角的该些第一物品影像的至少一者至该些第N物品影像的至少一者重叠于该平台影像。6.根据权利要求1所述的物品建模数据产生方法，其特征在于，更包括取得设置于该平台的第三物品至第N物品的多个第三物品影像至多个第N物品影像，其中该些第三物品影像至该些第N物品影像分别对应该些不同视角，其中根据该些第一物品影像至该些第N物品影像中的至少一者以及该平台影像执行该影像合成处理以产生该合成影像包括：从该些第一物品影像至该些第N物品影像之中选择对应第j个行方向上的第k个位置的其中一者作为第j个行方向上的第k个选取影像，其中参数j的初始值为1以及参数k的初始值为1；以及将该第j个行方向上的第k个选取影像重叠于该平台影像，该第j个行方向上的第k个选
取影像重叠于该平台影像后具有第一中心点。7.根据权利要求6所述的物品建模数据产生方法，其特征在于，更包括：对该第j个行方向上的第k个选取影像进行旋转、平移、调整亮度或调整出现率。8.根据权利要求6所述的物品建模数据产生方法，其特征在于，根据该些第一物品影像至该些第N物品影像中的至少一者以及该平台影像以产生该合成影像更包括：从该些第一物品影像至该些第N物品影像之中选择对应第j个行方向上的第k+1个位置的其中一者作为第j个行方向上的第k+1个选取影像；依据该第j个行方向上的第k个选取影像的宽度以及该第j个行方向上的第k+1个选取影像的宽度预估该第j个行方向上的第k+1个选取影像重叠于该平台影像后的第二中心点；以及判断该第j个行方向上的第k+1个选取影像的该第一中心点是否位于该平台影像的范围之外。9.根据权利要求8所述的物品建模数据产生方法，其特征在于，根据该些第一物品影像至该些第N物品影像中的至少一者以...

【专利技术属性】
技术研发人员：林昶宏，萧柏宣，林冠荣，卢佑齐，
申请(专利权)人：财团法人工业技术研究院，
类型：发明
国别省市：