服务器装置、终端装置以及信息处理方法制造方法及图纸

以往，无法进行使用了拍摄的照片的信息的推荐。本发明专利技术能够通过终端装置与服务器装置，进行使用了拍摄的照片的信息的推荐，所述终端装置具备：终端发送部，将照片发送至服务器装置；终端接收部，接收推荐信息；以及终端输出部，输出推荐信息；所述服务器装置具备：图像接收部，从终端装置接收照片；对象物信息取得部，通过对照片进行的图像识别处理，识别一个以上的各对象物，取得识别一个以上的各对象物的对象物识别符，并取得包含各对象物识别符的一个以上的对象物信息；提示信息取得部，使用取得的一个以上的对象物信息，取得推荐给用户的推荐信息；以及提示信息发送部，将推荐信息发送至终端装置。

Server device, terminal device and information processing method

In the past, it was impossible to recommend information using photographs taken. The invention can recommend information using photographs through terminal device and server device, which includes: terminal sending unit, sending photos to server device; terminal receiving unit, receiving recommendation information; and terminal output unit, outputting recommendation information; the server device has: image receiving unit, receiving photos from terminal device; The object information acquisition unit recognizes more than one object through image recognition processing of photographs, obtains object object object identifiers for identifying more than one object, and obtains more than one object information containing object identifiers; the prompt information acquisition unit obtains recommendation letters to users by using more than one object information obtained. The recommendation information is sent to the terminal device by the information transmission unit.

【技术实现步骤摘要】
【国外来华专利技术】服务器装置、终端装置以及信息处理方法
本专利技术涉及识别图像中的对象物并使用该识别结果提示信息的服务器装置等。
技术介绍
以往，存在用户检索所需的商品的方法技术。另外，以往存在一种能够在组合于第一商品中的第二商品的检索中反应出第一商品的提供方的意向的搭配方法(例如，参照专利文献1)。进一步，以往存在输入图像并检索与该图像相似的图像的技术(例如，参照非专利文献1)。在先技术文献专利文献专利文献1：日本特开2016-33708号公报(第1页、第1图等)非专利文献非专利文献1：“Google图像检索”、[online]、[2016年6月6日检索]、互联网[URL：https://www.google.co.jp/imghp]
技术实现思路
专利技术所要解决的技术问题然而，使用以往技术检索用户所需的商品时，例如需要将使用字符串与文字等来表达的关键词发送至检索引擎，或者参照商品信息提供方设定的商品分类信息等来筛选分类，找到所需商品。另外，在以往技术的专利文献1中，通过电商交易，接收商品的购入指示等的字符串信息，使用该字符串信息，取得推荐的信息(搭配处理的结果)，并发送至用户终端。另外，在以往技术的非专利文献1中，仅检索与输入的图像相似的图像。也就是说，在以往技术中，无法检索用户不知道名称或无法用语言表达的商品等的信息。另外，在以往技术中，无法通过照片等的图像来确定商品信息或者进行与该商品相关的推荐。因此，本专利技术的目的在于对接收到的图像进行图像识别，使用该识别结果取得并提示信息。在本专利技术中，例如以接收的图像中显示有用户所需商品本身或者显示有用于查找相关的其他商品的原始的商品等为前提。而且，本专利技术所涉及的技术例如为能够识别显示在照片等的图像上的对象物是什么，来提示作为该实体的商品信息或者进行购入的技术，或者为基于显示在照片等的图像上的对象物的信息提示技术。用于解决技术问题的方案本申请的第一项专利技术的信息系统为具备服务器装置与终端装置的信息系统，终端装置具备：终端存储部，存储包含一个或者两个以上的对象物的图像；终端发送部，将图像发送至服务器装置；终端接收部，接收提示信息，所述提示信息为提示给用户的信息，且为与商品相关的信息；以及终端输出部，输出提示信息，服务器装置具备：图像接收部，从终端装置接收图像；对象物信息取得部，通过对图像接收部接收到的图像进行的图像识别处理，识别一个以上的各对象物，取得识别一个以上的各对象物的对象物识别符，并取得包含各对象物识别符的一个以上的对象物信息；提示信息取得部，使用对象物信息取得部取得的一个以上的对象物信息，取得与通过该一个以上的对象物信息中的一个对象物信息所包含的一个对象物识别符识别出的对象物存在关联、且与该对象物不同种类的对象物的对象物信息，以作为提示信息；以及提示信息发送部，将提示信息发送至终端装置。根据该结构，能够进行使用了拍摄的图像等的信息的提示。另外，相对于第一项专利技术，本申请的第二项专利技术的信息系统为具备如下的服务器装置的信息系统：即该服务器装置的提示信息取得部还取得与通过一个对象物识别符识别出的对象物相同的对象物的对象物信息，或者与通过一个对象物识别符识别出的对象物相同种类的对象物的对象物信息，以作为提示信息。根据该结构，能够进行使用了拍摄的图像等的信息的提示。另外，相对于第一项或者第二项专利技术，本申请的第三项专利技术的信息系统为如下的信息系统：服务器装置进一步具备对象物信息发送部，所述对象物信息发送部发送对象物信息取得部取得的一个以上的对象物信息，终端装置进一步具备：终端接收部，从服务器装置接收一个以上的对象物信息；终端输出部，输出图像与一个以上的对象物信息所具有的一个以上的对象物识别符；以及终端受理部，受理用户对终端输出部输出的一个以上的对象物识别符进行的操作，终端发送部将与终端受理部受理的操作相关的操作信息发送至服务器装置，服务器装置进一步具备操作信息接收部，所述操作信息接收部从终端装置接收操作信息，提示信息取得部使用操作信息接收部接收到的操作信息，取得提示给用户的提示信息。根据该结构，能够一边与用户对话，一边进行使用了拍摄的图像等的信息的提示。另外，相对于第一项至第三项专利技术中的任意一项专利技术，本申请的第四项专利技术的信息系统为如下的信息系统：操作信息具有用户对终端输出部输出的一个以上的对象物识别符所选择的一个对象物识别符，提示信息取得部使用通过一个对象物识别符识别出的对象物的对象物信息取得提示信息。根据该结构，能够一边与用户对话，一边进行使用了拍摄的图像等的适当的信息的提示。另外，相对于第四项专利技术，本申请的第五项专利技术的信息系统为如下的信息系统：提示信息取得部取得与通过一个对象物识别符识别出的对象物存在关联、且与该对象物不同种类的对象物的对象物信息，以作为提示信息，或者取得与通过一个对象物识别符识别出的对象物相同的对象物的对象物信息、或与通过所述一个对象物识别符识别出的对象物相同种类的对象物的对象物信息，以作为提示信息。根据该结构，能够一边与用户对话，一边进行使用了拍摄的图像等的适当的信息的提示。另外，相对于第一项至第五项专利技术中的任意一项专利技术，本申请的第六项专利技术的信息系统为如下的算法不同的信息系统：图像接收部与图像一并接收作为图像以外的信息的附加信息，提示信息取得部根据附加信息取得提示信息。根据该结构，能够一边与用户对话，一边进行使用了拍摄的图像等的极适当的信息的提示。另外，相对于第六项专利技术，本申请的第七项专利技术的信息系统为如下的信息系统：附加信息包含与拍摄图像的摄像机相关的摄像机信息。根据该结构，能够一边与用户对话，一边进行使用了拍摄的图像等的极适当的信息的提示。另外，相对于第七项专利技术，本申请的第八项专利技术的信息系统为如下的信息系统：提示信息取得部在摄像机信息为表示自拍模式的信息的情况下，取得与通过一个对象物识别符识别出的对象物不同种类的对象物的对象物信息，以作为提示信息，在摄像机信息为表示非自拍模式的模式的信息的情况下，取得与通过一个对象物识别符识别出的对象物相同或相同种类的对象物的对象物信息，以作为提示信息。根据该结构，能够一边与用户对话，一边进行使用了拍摄的图像等的极适当的信息的提示。另外，相对于第一项至第八项专利技术中的任意一项专利技术，本申请的第九项专利技术的信息系统为如下的信息系统：对象物信息取得部相对于接收部接收到的图像，通过使用了被称为深度学习的深层学习的图像识别处理，识别两个以上的各对象物，取得识别两个以上的各对象物的对象物识别符，并取得包含各对象物识别符的两个以上的对象物信息。另外，相对于第一项至第九项专利技术中的任意一项专利技术，本申请的第十项专利技术的信息系统为如下的信息系统：终端受理部受理用户对终端输出部输出的提示信息进行的选择，终端发送部将与终端受理部受理的用户的选择相关的购入信息发送至服务器装置，服务器装置进一步具备：购入信息接收部，从终端装置接收购入信息；以及结算处理部，进行使用购入信息的结算处理。根据该结构，能够进行使用了拍摄的图像等的信息的提示，能够辅助用户购入商品等。专利技术的效果根据本专利技术的信息系统，能够适当地进行使用了图像等的信息的提示。附图说明图1是第一实施方式中的信息系统A的概念图。图2是该信息系统A的框图。图3是对该终端装置1的动作进行说明的流程图。图4是对该服本文档来自技高网...

【技术保护点】
1.一种服务器装置，构成具备服务器装置与终端装置的信息系统，其中，所述终端装置具备：终端存储部，存储包含两个以上的对象物的图像；终端发送部，将所述图像发送至所述服务器装置；终端接收部，从所述服务器装置接收两个以上的对象物信息；终端输出部，输出所述图像、与所述两个以上的对象物信息所具有的两个以上的对象物识别符；以及终端受理部，受理用户对所述终端输出部输出的两个以上的对象物识别符中的一个以上的对象物识别符进行的操作，所述终端发送部将操作信息发送至所述服务器装置，所述操作信息具有用户对所述终端输出部输出的两个以上的对象物识别符所选择的至少一个对象物识别符，所述终端接收部与所述操作信息的发送相应地接收提示信息，所述提示信息为提示给用户的信息，且为与商品相关的信息，所述终端输出部输出所述提示信息，所述服务器装置具备：图像接收部，从所述终端装置接收所述图像；对象物信息取得部，通过对所述图像接收部接收到的图像进行的图像识别处理，识别所述两个以上的各对象物，取得识别所述两个以上的各对象物的对象物识别符，并取得包含该各对象物识别符的两个以上的对象物信息；对象物信息发送部，发送所述对象物信息取得部取得的两个以上的对象物信息；操作信息接收部，在所述两个以上的对象物信息发送之后，从所述终端装置接收所述操作信息；提示信息取得部，使用所述操作信息接收部接收到的操作信息，取得提示给用户的提示信息；以及提示信息发送部，将所述提示信息发送至所述终端装置。...

【技术特征摘要】
【国外来华专利技术】2016.06.24 JP 2016-1250991.一种服务器装置，构成具备服务器装置与终端装置的信息系统，其中，所述终端装置具备：终端存储部，存储包含两个以上的对象物的图像；终端发送部，将所述图像发送至所述服务器装置；终端接收部，从所述服务器装置接收两个以上的对象物信息；终端输出部，输出所述图像、与所述两个以上的对象物信息所具有的两个以上的对象物识别符；以及终端受理部，受理用户对所述终端输出部输出的两个以上的对象物识别符中的一个以上的对象物识别符进行的操作，所述终端发送部将操作信息发送至所述服务器装置，所述操作信息具有用户对所述终端输出部输出的两个以上的对象物识别符所选择的至少一个对象物识别符，所述终端接收部与所述操作信息的发送相应地接收提示信息，所述提示信息为提示给用户的信息，且为与商品相关的信息，所述终端输出部输出所述提示信息，所述服务器装置具备：图像接收部，从所述终端装置接收所述图像；对象物信息取得部，通过对所述图像接收部接收到的图像进行的图像识别处理，识别所述两个以上的各对象物，取得识别所述两个以上的各对象物的对象物识别符，并取得包含该各对象物识别符的两个以上的对象物信息；对象物信息发送部，发送所述对象物信息取得部取得的两个以上的对象物信息；操作信息接收部，在所述两个以上的对象物信息发送之后，从所述终端装置接收所述操作信息；提示信息取得部，使用所述操作信息接收部接收到的操作信息，取得提示给用户的提示信息；以及提示信息发送部，将所述提示信息发送至所述终端装置。2.根据权利要求1所述的服务器装置，其中，所述对象物信息发送部发送的对象物信息所具有的对象物识别符能够受理选择操作，所述终端输出部输出所述图像与两个以上的对象物识别符，所述终端受理部受理用户对所述终端输出部输出的两个以上的对象物识别符中的一个以上的对象物识别符进行的选择操作。3.根据权利要求2所述的服务器装置，其中，所述对象物信息取得部还取得表示所述图像中的两个以上的各对象物的相对位置的位置信息，并取得包含识别所述两个以上的各对象物的对象物识别符与位置信息的两个以上的对象物信息，所述终端输出部使用与各对象物识别符相对应的位置信息，确定输出对象物识别符的位置，在该确定的位置输出两个以上的各对象物识别符。4.根据权利要求1所述的服务器装置，其中，所述图像接收部与所述图像一并接收作为图像以外的信息的附加信息，所述提示信息取得部根据所述附加信息，取得与通过所述一个对象物识别符识别出的对象物不同种类的对象物的对象物信息，以作为提示信息，或者取得与通过所述一个对象物识别符识别出的对象物相同或相同种类的对象物的对象物信息，以作为提示信息。5.根据权利要求1所述的服务器装置，其中，所述图像接收部与所述图像一并接收作为图像以外的信息的附加信息，所述提示信息取得部根据所述附加信息，通过不同的算法取得提示信息，所述附加信息包含与拍摄所述图像的摄像机相关的摄像机信息。6.根据权利要求5所述的服务器装置，其中，所述提示信息取得部在所述摄像机信息为表示自拍模式的信息的情况下，取得与通过所述一个对象物识别符识别出的对象物不同种类的对象物的对象物信息，以作为提示信息；在所述摄像机信息为表示非自拍模式的模式的信息的情况下，取得与通过所述一个对象物识别符识别出的对象物相同或相同种类的对象物的对象物信息，以作为提示信息。7.根据权利要求1所述的服务器装置，其中，所述对象物信息取得部相对于所述图像接收部接收到的图像，通过使用了深层学习的图像识别处理，识别所述两个以上的各对象物，取得识别所述两个以上的各对象物的对象物识别符，并取得包含该各对象物识别符的两个以上的对象物信息。8.根据权利要求1所述的服务器装置，其中，所述...

【专利技术属性】
技术研发人员：吉井伸一郎，
申请(专利权)人：塞吉尼亚株式会社，
类型：发明
国别省市：日本,JP