信息处理系统、信息处理装置以及信息处理方法制造方法及图纸

信息处理系统(10)包括拍摄部(14)以及控制部。拍摄部(14)通过拍摄生成图像。控制部基于图像进行图像中所包含的物体的推定。控制部能够通过对图像的识别处理来推定物体以及物体的类别。控制部在识别处理中，在物体的推定失败的情况下，基于所推定的物体的类别生成与物体相关的指示。物体相关的指示。物体相关的指示。

【技术实现步骤摘要】
【国外来华专利技术】信息处理系统、信息处理装置以及信息处理方法
[0001]本申请要求2020年6月18日在日本专利申请的特愿2020
‑
10563的优先权，在此引入该在先申请的全部内容作为参照。


[0002]本专利技术涉及信息处理系统、信息处理装置以及信息处理方法。

技术介绍

[0003]期待基于拍摄的图像来识别出任意的物体是何物。例如，已知有在商店等的收银机终端中，通过将由照相机拍摄的商品与已拍摄的处理商品进行比较，来确定由照相机拍摄的商品的技术。另外，提出了一种商品识别装置，其在相对于由照相机拍摄的商品存在多个类似度之差较小的处理商品的情况下，通知可以对多个处理商品的差异进行判别的物体方向(参照专利文献1)。
[0004]现有技术文献
[0005]专利文献
[0006]专利文献1：日本特开2018
‑
097883号

技术实现思路

[0007]为了解决上述的各问题，第一方面所涉及的信息处理系统包括：
[0008]拍摄部，其通过拍摄生成图像；以及
[0009]控制部，其基于所述图像进行该图像中所包含的物体的推定，
[0010]所述控制部能够通过对所述图像的识别处理来推定物体以及该物体的类别，
[0011]所述控制部在所述识别处理中该物体的推定失败的情况下，基于所推定的所述物体的类别，生成与该物体相关的指示。
[0012]第二方面所涉及的信息处理装置包括：
[0013]获取部，其从拍摄部获取图像；以及，r/>[0014]控制部，其基于所述图像进行该图像中所包含的物体的推定，
[0015]所述控制部能通过对所述图像的识别处理来推定该图像内的物体以及该物体的类别，
[0016]所述控制部在所述识别处理中该物体的推定失败的情况下，基于所推定的所述物体的类别，生成与该物体相关的指示。
[0017]第三方面所涉及的信息处理方法，其中，
[0018]使拍摄部通过拍摄生成图像，
[0019]在能够推定所述图像内的物体以及该物体的类别的识别处理中该物体的推定失败的情况下，基于所推定的所述物体的类别，生成与该物体相关的指示。
附图说明
[0020]图1是表示包含本实施方式所涉及的信息处理系统的结算系统的整体结构的结构图。
[0021]图2是表示图1的信息处理系统的整体结构的外观图。
[0022]图3是表示图2的信息处理装置的概略结构的功能框图。
[0023]图4是用于说明图3的控制部所执行的物体推定处理的流程图。
具体实施方式
[0024]以下，参照附图对应用了本公开的信息处理系统的实施方式进行说明。
[0025]如图1所示，包含本公开的一实施方式所涉及的信息处理系统10的结算系统11构成为包括至少一个信息处理系统10以及服务器12。在本实施方式中，结算系统11包括多个信息处理系统10。
[0026]在本实施方式中，信息处理系统10包含在收银机终端中。信息处理系统10对购买者放置在收银机终端上的商品进行拍摄。信息处理系统10对拍摄的图像进行物体识别，推定图像中所包含的物体是店铺中的哪个商品。图像中的物体是指在图像内所描绘的物体。信息处理系统10通过网络13向服务器12通知所载置的全部商品的推定结果。服务器12基于推定结果计算出请求金额。服务器12将请求金额通知给信息处理系统10。信息处理系统10向购买者提示请求金额，并请求支付购买金额。
[0027]如图2所示，信息处理系统10构成为包括拍摄部14以及信息处理装置15。另外，信息处理系统10也可以构成为还包括显示装置16、载置台17以及支承柱18。
[0028]拍摄部14以能够拍摄载置台17的整个范围的方式被固定。例如，拍摄部14被固定在从载置台17的侧面延伸的支承柱18上。拍摄部14例如以能够拍摄载置台17的整个上表面us且光轴与该上表面us垂直的方式被固定。拍摄部14以任意的帧速率连续地进行拍摄，生成图像信号。
[0029]显示装置16是以往公知的任意的显示器。显示装置16显示与从信息处理装置15发送的图像信号相当的图像。另外，如后所述，显示装置16可以作为触摸屏发挥作用。
[0030]如图3所示，信息处理装置15构成为包括通信部19(获取部)、输入部20、存储部21以及控制部22。在本实施方式中，信息处理装置15构成为与拍摄部14以及显示装置16不同的装置，但例如也可以与拍摄部14、载置台17、支承柱18以及显示装置16中的至少任一个一体地构成。
[0031]通信部19例如包括经由包含有线或无线而构成的通信线路与拍摄部14进行通信的通信模块。通信部19从拍摄部14接收、换言之获取图像作为信号。通信部19包括经由通信线与显示装置16进行通信的通信模块。通信部19将要显示的图像作为图像信号向显示装置16发送。通信部19可以从显示装置16接收与在显示面上检测到接触的位置相当的位置信号。通信部19包括经由网络13与服务器12进行通信的通信模块。通信部19向服务器12发送后述的与确定的识别结果相当的结果信息。通信部19可以从服务器12接收与请求金额相当的金额信息。
[0032]输入部20包括检测用户输入的一个以上的接口。输入部20可以包括例如物理键、电容键以及与显示装置16一体地设置的触摸屏。在本实施方式中，输入部20为触摸屏。
[0033]存储部21例如包括RAM(Random Access Memory，随机存取存储器)以及ROM(Read Only Memory，只读存储器)等任意的存储设备。存储部21存储使控制部22发挥作用的多种程序以及控制部22所使用的多种信息。
[0034]控制部22包括一个以上的处理器以及存储器。处理器可以包括通过读取特定的程序来执行特定的功能的通用处理器以及专用于特定的处理的专用处理器。专用处理器可以包括专用集成电路(ASIC；Application Specific Integrated Circuit)。处理器可以包括可编程逻辑器件(PLD；Programmable Logic Device)。PLD可以包括现场可编程门阵列(FPGA；Field
‑
Programmable Gate Array)。控制部22也可以是一个或多个处理器协作的SoC(System
‑
on
‑
a
‑
Chip：片上系统)以及SiP(System In a Package：单封装系统)中的任一个。
[0035]控制部22进行图像中所包含的物体的推定。以下详细地说明控制部22对物体的推定。控制部22通过对通信部19所获取的图像进行识别处理，能够推定图像中所包含的各物体以及该各物体的类别。控制部22通过该识别处理，能够推定图像中所包含的各物体的状态以及包围框这样的围绕单一物体的边界框。以下详细地说明控制部22对物体、类别、状态以及边界框的推定。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种信息处理系统，其中，包括：拍摄部，其通过拍摄生成图像；以及控制部，其基于所述图像进行该图像中所包含的物体的推定，所述控制部能够通过对所述图像的识别处理来推定物体以及该物体的类别，所述控制部在所述识别处理中该物体的推定失败的情况下，基于所推定的所述物体的类别，来生成与该物体相关的指示。2.根据权利要求1所述的信息处理系统，其中，所述控制部能够通过所述识别处理来推定物体的状态，在所述识别处理中该物体的推定失败的情况下，基于所推定的所述物体的状态，来生成与所述物体相关的指示。3.根据权利要求2所述的信息处理系统，其中，所述物体的状态包括在所述图像中的该物体的方向。4.根据权利要求3所述的信息处理系统，其中，与所述物体相关的指示建议以所推定的所述物体的方向为基准来变更姿势。5.根据权利要求1至4中任一项所述的信息处理系统，其中，与所述物体相关的指示建议将姿势变更为与所述类别对应的确定的方向。6.根据权利要求1至5中任一项所述的信息处理系统，其中，所述控制部能够通过对所述图像的所述识别处理，针对所述图像中所包含的多个物体分别推定物体以及该物体的类别。7.根据权利要求1至6中任一项所述的信息处理系统，其中，所述控制部作为特征点推定部、边界推定部、类别推定部、状态推定部、物体推定部...

【专利技术属性】
技术研发人员：金在喆，田口贤佑，戴晓艳，
申请(专利权)人：京瓷株式会社，
类型：发明
国别省市：