注释赋予方法、注释赋予系统以及存储有程序的记录介质技术方案

本公开提供注释赋予方法、注释赋予系统以及存储有程序的记录介质。对鱼眼图像的注释赋予方法包括：取得鱼眼图像，生成将鱼眼图像进行透视投影变换而得到的变换图像，向处理者提示变换图像，从处理者受理与向变换图像赋予的注释有关的注释信息的输入，将所输入的注释信息所含的变换图像中的注释的坐标信息变换为鱼眼图像中的坐标，记录变换后的注释信息来作为鱼眼图像中的注释信息。由此，使得鱼眼图像上的注释赋予变得简便。

Annotations give methods, annotations to the system, and a recording medium that stores programs

The present public provides annotations to give methods, annotations to the system, and a recording medium that stores programs. The fisheye image annotation methods are given including: fisheye image, generating fisheye image projection transformation obtained by transform image transform image processing to the tip, and to accept the relevant to transform image annotated annotation information from the input information processing, the coordinate transform of the input image contains notes the information in the notes for the coordinates of the fisheye image in the record transformed annotation information as the annotation information in the fisheye image. Thus, the annotation on the fish eye image is made easy.

【技术实现步骤摘要】
注释赋予方法、注释赋予系统以及存储有程序的记录介质
本公开涉及针对鱼眼图像的注释赋予方法等。
技术介绍
在用于进行机器学习的学习数据的构建等中，为了识别图像数据而向图像数据赋予标签等注释。例如，专利文献1公开了对图像数据进行标记(labeling)的技术。现有技术文献专利文献专利文献1：日本特开2013-161295号公报
技术实现思路
专利技术要解决的问题注释被赋予到图像所含的人物、物等对象物。赋予注释的图像数据，有时使用经由鱼眼透镜拍摄到的图像数据。由鱼眼透镜拍摄到的图像成为同心圆状的图像。由此，对于由鱼眼透镜拍摄到的图像内的对象物，会指向以从同心圆的中心开始的辐射方向为基准的方向，因此，会以各种各样的朝向而存在。因此，在上述图像上，划定应赋予注释的对象物的区域的处理会很费功夫。于是，本公开提供使由鱼眼透镜拍摄到的图像即鱼眼图像上的注释赋予变得简便的注释赋予方法、注释赋予系统以及程序。用于解决问题的技术方案本公开的一个方式的注释赋予方法是对鱼眼图像的注释赋予方法，包括：取得鱼眼图像，生成将鱼眼图像进行透视投影变换而得到的变换图像，向处理者提示变换图像，从处理者受理与向变换图像赋予的注释有关的注释信息的输入，将所输入的注释信息所含的变换图像中的注释的坐标信息变换为鱼眼图像中的坐标，记录变换后的所述注释信息来作为鱼眼图像中的注释信息。本公开的一个方式的注释赋予系统是对鱼眼图像的注释赋予系统，具备：取得部，其取得第一数据保存部所保存的鱼眼图像；图像变换部，其生成将鱼眼图像进行透视投影变换而得到的变换图像；提示部，其向处理者的装置发送变换图像；接受部，其从处理者的装置接受与在处理者的装置向变换图像赋予的注释有关的注释信息；坐标变换部，其将注释信息所含的变换图像中的注释的坐标信息变换为鱼眼图像中的坐标；以及记录部，其将变换后的注释信息作为鱼眼图像中的注释信息记录于第二数据保存部。本公开的一个方式的记录介质是记录有程序的计算机能读取的非暂时性记录介质，所述程序在由计算机执行时，使所述计算机执行包含以下的方法：取得鱼眼图像，生成将鱼眼图像进行透视投影变换而得到的变换图像，向处理者的装置提示变换图像，从处理者的装置受理与向变换图像赋予的注释有关的注释信息的输入，将所输入的注释信息所含的变换图像中的注释的坐标信息变换为鱼眼图像中的坐标，记录变换后的注释信息来作为鱼眼图像中的注释信息。专利技术的效果根据本公开的注释赋予方法等，能够使鱼眼图像上的注释的赋予变得简便。附图说明图1是示出由安装于室内的顶棚的全方位摄像机拍摄到的室内拍摄图像的一例的图。图2是示出对图1的拍摄图像进行透视投影变换后的一例的变换图像的图。图3是示出图1的拍摄图像与图2的变换图像之间的对应关系的图。图4是示出实施方式的注释赋予系统100的概略结构的框图。图5是示出实施方式的注释赋予系统100的工作的流程的流程图。图6是示出向由作为全方位摄像机的车载摄像头拍摄到的停车场的鱼眼图像赋予的注释的图。图7是示出向对图6的鱼眼图像进行透视投影变换后的全景图像赋予的与图6相同的注释的图。图8是示出注释赋予系统100的变形例1的工作的流程的流程图。标号的说明10注释中继装置；11控制部(取得部、提示部、接受部、记录部、通知部)；14图像变换部；15坐标变换部；20服务器装置；24变换前图像数据存储部(第一数据保存部)；26注释数据存储部(第二数据保存部)；30注释赋予装置(处理者的装置)；100注释赋予系统。具体实施方式专利技术人的见解本公开的专利技术人们、也即是本专利技术人们，为了提高图像中以人物为代表的对象物的识别以及检测的精度，对使用深度学习(DeepLearning)等神经网络的技术进行了研究。深度学习中的对象物的识别会需要大量的学习用图像数据。并且，在学习用图像数据中，要针对对象物赋予也即是注释包含对象物的内容、位置、区域等的信息作为注释信息。此外，通常在注释中，对于在图像上包围对象物等的对象物的区域的设定，通过人向图像输入来实施该设定。本专利技术人们研究了采用从数字动态图像截取的数字图像数据作为进行注释的大量的图像数据。尤其是，本专利技术人们为了获得大量的图像数据而研究了采用监视摄像头、车载摄像头等长时间拍摄动态图像的拍摄装置的动态图像。对于监视摄像头以及车载摄像头，存在为了使得能够进行大范围的区域的拍摄而使用全方位摄像头的情况。全方位摄像头是具备如鱼眼透镜、圆锥反射镜、多棱锥反射镜、球面反射镜或双曲面反射镜那样的光学系统并且能够使用它们同时进行360°的全方位拍摄的摄像头。例如，图1示出具备鱼眼透镜的全方位摄像机的拍摄图像的一例。此外，图1示出安装于室内的顶棚的全方位摄像机的室内的拍摄图像的一例。另外，鱼眼透镜是指采用非中心投影方式的投影方式的透镜。图1的圆形状的拍摄图像A形成同心圆状的图像，拍摄对象物失以沿着以拍摄图像A的中心Ac为中心的圆周的方式发生真成。全方位摄像机将鱼眼透镜朝向下方配置，从上方朝向下方对室内进行拍摄，但是，例如在拍摄图像A内，站立于相同地板上的人分别映现为从中心Ac朝向半径向外侧呈放射状横倾。注释的处理这在向拍摄图像A赋予其中的人C1的注释的情况下，在显示拍摄图像A的未图示的计算机的显示装置等画面上，设定人C1的区域。此时，一般地，为了使得区域的设定容易并且使得区域的位置以及范围的确定容易，使用包围人C1整体并且各边沿着水平方向或铅垂方向的矩形框D1，设定人C1的区域。此外，上述水平方向是沿着画面向侧方穿过计算机的显示装置等的画面的方向，是图1的X轴方向。上述铅垂方向是沿着计算机的显示装置等的画面并且与上述水平方向垂直的方向，是图1的Y轴。另外，人C1、矩形框D1等的位置，既可以通过将图1的X轴以及Y轴作为坐标轴的正交坐标系表示，也可以通过使用以中心Ac为原点的矢径的长度以及角度的极坐标系来表示。由于矩形框D1的各边的方向与人C1的直立方向也即是身高方向倾斜地交叉，因此，矩形框D1也包含较多的人C1以外的区域。因此，若将矩形框D1内的区域用于基于计算机的图像数据的识别，则有可能发生图像数据内的人未被识别为人、以及图像数据内的人以外的要素被识别为人的情形。因此，本专利技术人们研究了在使用矩形框设定人等对象物的区域的情况下，也能够减少对象物以外的要素被包含于矩形框的情形的技术。于是，本专利技术人们发现了通过对拍摄图像A进行透视投影变换，能够大致使拍摄图像A内的要素的朝向一致，例如，能够使站立在相同地板上的人以及物的竖立方向大致与铅垂方向也即是大致与Y轴方向一致。作为对拍摄图像A进行透视投影变换的结果的变换图像B示于图2。图2是示出将图1的拍摄图像A进行透视投影变换后的一例的变换图像B的图。参照图2，在全景图像状的变换图像B中，包含人C1在内的多个人、架子E的纵支柱、门F的纵框等，在大致铅垂方向上竖立。因此，能够设定成包围人C1的矩形框D2沿着人C1延伸，减少在其内侧包含的人C1以外的要素。另外，针对图2的变换图像B，在变换图像B的长方向侧方设定X1轴，在沿着变换图像B且与X1轴垂直的方向上设定Y1轴，从而设定将X1轴以及Y1轴作为坐标轴的正交坐标系。并且，使矩形框D2的各边沿着X1轴或Y1轴，矩形框D2能够容易地形成。在此，对从拍摄图像A向变换图像B的透本文档来自技高网...

【技术保护点】
一种注释赋予方法，是对鱼眼图像的注释赋予方法，包括：取得鱼眼图像，生成将所述鱼眼图像进行透视投影变换而得到的变换图像，向处理者提示所述变换图像，从所述处理者受理与向所述变换图像赋予的注释有关的注释信息的输入，将所输入的所述注释信息所含的所述变换图像中的注释的坐标信息变换为所述鱼眼图像中的坐标，记录变换后的所述注释信息来作为所述鱼眼图像中的注释信息。

【技术特征摘要】
2016.08.04 JP 2016-154059;2017.04.28 JP 2017-090611.一种注释赋予方法，是对鱼眼图像的注释赋予方法，包括：取得鱼眼图像，生成将所述鱼眼图像进行透视投影变换而得到的变换图像，向处理者提示所述变换图像，从所述处理者受理与向所述变换图像赋予的注释有关的注释信息的输入，将所输入的所述注释信息所含的所述变换图像中的注释的坐标信息变换为所述鱼眼图像中的坐标，记录变换后的所述注释信息来作为所述鱼眼图像中的注释信息。2.根据权利要求1所述的注释赋予方法，从所述处理者受理选择所述鱼眼图像以及所述变换图像中要提示的图像的输入，向所述处理者提示所选择的图像，从所述处理者受理与向所述所选择的图像赋予的注释有关的注释信息的输入，在所述所选择的图像是所述变换图像的情况下，将所输入的所述注释信息所含的所述变换图像中的注释的坐标信息变换为所述鱼眼图像中的坐标，记录变换后的所述注释信息来作为所述鱼眼图像中的注释信息，在所述所选择的图像是所述鱼眼图像的情况下，记录所输入的所述注释信息来作为所述鱼眼图像中的注释信息。3.根据权利要求2所述的注释赋予方法，在从所述处理者受理了与向所述变换图像赋予的注释有关的注释信息的输入时，在所输入的所述注释信息包含所述变换图像的第一区域的情况下，取代所述变换图像而将所述鱼眼图像提示给所述处理者，在从所述处理者受理了与向所述鱼眼图像赋予的注释有关的注释信息的输入时，在所输入的所述注释信息包含所述鱼眼图像的第二区域的情况下，向所述处理者提示警告或所述注释的近似区域。4.根据权利要求3所述的注释赋予方法，所述第一区域是在所述鱼眼图像映现、但在所述变换图像不映现的区域，所述第二区域是所述鱼眼图像中不映现的区域。5.根据权利要求1～4中任一项所述的注释赋予方法，所述变换图像是通过将所述鱼眼图像进行全景展开的变换而得到的全景图像。6.一种注释赋予系统，是对鱼眼图像的注释赋予系统，具备：取得部，其取得第一数据保存部所保存的鱼眼图像；图像变换部，其生成将所述鱼眼图像进行透视投影变换而得到的变换图像；提示部，其向处理者的装置发送所述变换图像；接受部，其从所述处理者的装置接受与在所述处理者的装置向所述变换图像赋予的注释有关的注释信息；坐标变换部，其将所述注释信息所含的所述变换图像中的注释的坐标信息变换为所述鱼眼图像中的坐标；以及记录部，其将变换后的所述注释信息作为所述鱼眼图像中的注释信息记录于...

【专利技术属性】
技术研发人员：谷川彻，庄田幸惠，渕上哲司，
申请(专利权)人：松下电器美国知识产权公司，
类型：发明
国别省市：美国,US