图像生成装置以及图像生成方法制造方法及图纸

图像生成装置具备处理电路和记录至少一个计算拍摄图像的存储器，所述计算拍摄图像是光场图像、压缩感知图像和编码拍摄图像中的某一种，所述处理电路，(a1)使用识别器，识别所述至少一个计算拍摄图像中的物体的位置，(a2)使用所述至少一个计算拍摄图像，生成叠加有强调所述物体位置的显示的显示图像，(a3)输出所述显示图像。

Image Generating Device and Image Generating Method

The image generating device has a processing circuit and a memory for recording at least one computed photographic image, which is one of the light field images, compressed sensing images and coded photographic images. The processing circuit, (a1) identifies the position of the object in the computed photographic image using the recognizer, (a2) calculates the photographic image using at least one of the computed photographic images. To generate a display image superimposed with a display emphasizing the position of the object, (a3) to output the display image.

【技术实现步骤摘要】
【国外来华专利技术】图像生成装置以及图像生成方法
本公开涉及图像生成装置以及图像生成方法。
技术介绍
在自动驾驶的车辆以及机器人中，识别周围的物体、认知环境的技术很重要。近年来，为了识别物体，被称作深度学习(DeepLearning)的技术引人关注。深度学习是指使用多层构造的神经网络的机器学习。通过使用利用大量的学习数据构建而成的多层构造的神经网络，与以往方法相比，能够实现更高精度的识别性能。在物体识别中，图像信息特别有效。在非专利文献1中，公开了一种通过以图像信息作为输入的深度学习来大幅提高以往的物体识别能力的方法。另外，为了高精度地识别，需要输入图像是高分辨率。在低分辨率图像的情况下，例如远方的被拍摄对象不具有足够的分辨率，会导致识别性能下降。另一方面，在非专利文献2中公开了一种除了图像信息以外还使用通过三维测距仪取得的进深信息来进一步提高神经网络的识别能力的方法。如果使用进深信息，则能够分离附近和远方的被拍摄对象。因此，通过使用进深信息，即使对于远方的被拍摄对象也能够提升识别性能。另外，为了一边拍摄低分辨率的图像一边复原高分辨率的图像，例如已知有如非专利文献3公开的被称为压缩感知(sensing)的方法。现有技术文献非专利文献1：A.Krizhevsky、I.Sutskever以及G.E.Hinton著，“ImageNetClassicationwithDeepConvolutionalNeuralNetworks”、NIPS'12Proceedingsofthe25thInternationalConferenceonNeuralInformationProcessingSystems，2012年，P.1097-1105非专利文献2：AndreasEitel等著，“MultimodalDeepLearningforRobustRGB-DObjectRecognition”，2015IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems(IROS)，2015年非专利文献3：Y.Oike以及A.E.Gamal著，“A256×256CMOSImageSensorwithΔΣ－BasedSingle-ShotCompressedSensing”，2012IEEEInternationalSolid-StateCircuitsConference(ISSCC)Dig.ofTech.Papers，2012年，P.386-387非专利文献4：M.SalmanAsif、AliAyremlou、AshokVeeraraghavan、RichardBaraniuk以及AswinSankaranarayanan著，“FlatCam：ReplacingLenseswithMasksandComputation”，InternationalConferenceonComputerVisionWorkshop(ICCVW)，2015年，P.663-666非专利文献5：YusukeNakamura、TakeshiShimano、KazuyukiTajima、MayuSao以及TakuHoshizawa著，“LenslessLight－fieldImagingwithFresnelZoneAperture”，3rdInternationalWorkshoponImageSensorsandImagingSystems(IWISS2016)ITE-IST2016-51，2016年，no.40，P.7－8非专利文献6：MichaelWakin、JasonLaska、MarcoDuarte、DrorBaron、ShriramSarvotham、DharmpalTakhar、KevinKellyand以及RichardBaraniuk著，“AnArchitectureforCompressiveImaging”，2006IEEEInternationalConferenceonImageProcessing(ICIP)，2006年非专利文献7：RudinL.I.、OsherS.J.以及FatemiE.著，“Nonlineartotalvariationbasednoiseremovalalgorithms”，PhysicaD，1992年，vol.60，P.259－268非专利文献8：ShunsukeOno以及IsaoYamada著，“DecorrelatedVectorialTotalVariation”，2014IEEEConferenceonComputerVisionandPatternRecognition(CVPR)，2014年非专利文献9：J.Ma著，“ImprovedIterativeCurveletThresholdingforCompressedSensingandMeasurement”，IEEETransactionsonInstrumentation&Measurement，2011年，vol.60，no.1，P.126-136非专利文献10：M.Aharon、M.Elad以及A.M.Bruckstein著，“K－SVD：AnAlgorithmforDesigningOvercompleteDictionariesforSparseRepresentation”，IEEETransactionsonImageProcessing，2006年，vol.54，no.11，P.4311-4322非专利文献11：ManyaV.Afonso、JoseM.Bioucas-Dias以及MarioA.T.Figueiredo，“FastImageRecoveryUsingVariableSplittingandConstrainedOptimization”，IEEETransactionsonImageProcessing，2010年，VOL.19，NO.9，P.2345-2356
技术实现思路
但是，为了取得高分辨率的图像信息，需要使用高价的摄像头，存在物体的识别系统自身价格较高的问题。另外，使用进深信息的高精度的识别系统存在为了取得进深信息而需要高价的三维测距仪的问题。而且，还存在压缩感知的用于复原高清晰度图像的计算成本庞大、实时的高清晰度的图像复原较为困难的问题。基于如上所述的理由，存在如下问题：在车辆的自动驾驶、机器人以及周边监视系统等使用识别系统的情况下，在后续阶段进行的驾驶控制等处理中会产生延迟。本公开提供一种可提高使用图像的物体识别处理速度的图像生成装置以及图像生成方法。本公开的一技术方案的图像生成装置，其具备：处理电路；以及存储器，其记录至少一个计算拍摄图像，所述计算拍摄图像是光场图像、压缩感知图像和编码拍摄图像中的某一种，所述处理电路，(a1)使用识别器，识别所述至少一个计算拍摄图像中的物体的位置，(a2)使用所述至少一个计算拍摄图像，生成叠加有强调所述物体位置的显示的显示图像，(a3)输出所述显示图像。本公开的一技术方案的图像生成方法，包括：(b1)从存储器取得作为光场图像、压缩感知图像和编码拍摄图像中的某一种的至少一个计算拍摄图像，(b2本文档来自技高网...

【技术保护点】
1.一种图像生成装置，其具备：处理电路；以及存储器，其记录至少一个计算拍摄图像，所述计算拍摄图像是光场图像、压缩感知图像和编码拍摄图像中的某一种，所述处理电路，(a1)使用识别器，识别所述至少一个计算拍摄图像中的物体的位置，(a2)使用所述至少一个计算拍摄图像，生成叠加有强调所述物体位置的显示的显示图像，(a3)输出所述显示图像。

【技术特征摘要】
【国外来华专利技术】2017.09.12 JP 2017-1752341.一种图像生成装置，其具备：处理电路；以及存储器，其记录至少一个计算拍摄图像，所述计算拍摄图像是光场图像、压缩感知图像和编码拍摄图像中的某一种，所述处理电路，(a1)使用识别器，识别所述至少一个计算拍摄图像中的物体的位置，(a2)使用所述至少一个计算拍摄图像，生成叠加有强调所述物体位置的显示的显示图像，(a3)输出所述显示图像。2.根据权利要求1所述的图像生成装置，所述处理电路，进一步，(a4)复原所述至少一个计算拍摄图像，生成复原图像，在所述(a2)中，在识别出所述计算拍摄图像中的物体的位置之后，使用最近被复原的所述复原图像来生成叠加有强调所述物体位置的显示的显示图像。3.根据权利要求2所述的图像生成装置，所述处理电路在相同的时间开始所述(a1)的处理和所述(a4)的处理。4.根据权利要求1所述的图像生成装置，所述处理电路，进一步，(a4)复原所述至少一个计算拍摄图像，生成复原图像，在所述(a2)中，生成在所述复原图像上叠加有强调所述物体位置的显示的显示图像，所述处理电路的所述(a1)的处理比所述(a4)的处理快。5.根据权利要求1所述的图像生成装置，所述至少一个计算拍摄图像包含第1图像和第2图像，以所述第1图像、所述第2图像的顺序按时间拍摄，所述处理电路，在所述(a1)中，识别所述第1图像中包含的物体的位置，然后识别所述第2图像中包含的物体的位置，进一步，(a4)复原所述第1图像来生成第1复原图像，然后复原所述第2图像来生成第2复原图像，在所述(a2)中，在识别出所述第2图像的物体的位置之后，在第1预定时间内生成了所述第1复原图像并且未生成所述第2复原图像的情况下，取得所述第1图像被拍摄的第1拍摄时间和所述第2图像被拍摄的第2拍摄时间，计算所述第1拍摄时间与所述第2拍摄时间的时间差，在所述时间差为第1阈值以下的情况下，生成在所述第1复原图像上叠加有所述第2图像的物体的位置的显示图像，在所述时间差大于第1阈值的情况下，不在所述第1复原图像上叠加所述第2图像的物体的位置，使所述第1复原图像为所述显示图像。6.根据权利要求5所述的图像生成装置，拍摄所述计算拍摄图像的拍摄部配置于移动体，所述处理电路，从所述拍摄部取得所述计算拍摄图像并记录在所述存储器中，在所述(a2)中，当识别出所述第1图像的物体的位置时，在生成了所述第1复原图像并且未生成所述第2复原图像的情况下，取得拍摄所述第1图像以及所述第2图像时的所述移动体的移动速度，基于所述移动速度来设定所述第1预定时间。7.根据权利要求6所述的图像生成装置，所述处理电路，在所述移动速度小于第2阈值的情况下，不变更所述第1预定时间，在所述移动速度为所述第2阈值以上的情况下，基于所述移动速度缩短所述第1预定时间。8.根据权利要求1～7中任一项所述的图像生成装置，拍摄所述计算拍摄图像的拍摄部配置于移动体，所述处理电路，从所述拍摄部取得所述计算拍摄图像并记录在所述存储器中，取得所述移动体的移动速度，在所述(a2)中，在所述移动速度为第3阈值以下的情况下，使用所述一个计算拍摄图像，生成叠加有强调所述物体位置的显示的显示图像，在所述移动速度大于第3阈值的情况下，生成所述物体的位置未被强调显示的基于所述一个计算拍摄图像的图像作为显示图像。9.根据权利要求1～8中任一项所述的图像生成装置，所述处理电路，进一步，(a5)在所述至少一个计算拍摄图像中，生成与所述识别出的物体的位置对应的复原部分图像，在所述(a2)中，生成在所述至少一个计算拍摄图像上叠加有所述复原部分图像的所述显示图像。10.一种图像生成方法，包括：(b1)从存储器取得作为光场图像、压缩感知图像和编码拍摄图像中的某一种的至少一个计算拍摄图像，(b2)使用识别器，识别所述至少一个计算拍摄图像中的物体的位置，(b3)使用所述至少一个计算拍摄图像，生成叠加有强调所述物体位置的显示的显示图像，(b4)输出所述显示图像，所述(b1)～(b4)中的至少1项由处理器执行。11.根据权利要求10所述的图像生成方法，还包括：(b5)复原所述至少一个计算拍摄图像，生成复原图像，在所述(b3)中，在识别出所述计算拍摄图像中的物体的位置之后，使用最近被复原的所述复原图像来生成叠加有强调所述物体位置的显示的显示图像。12.根据权利要求11所述的图像生成方法，在相同的时间开始所述(b2)的处理和所述(b5)的处理。13.根据权利要求10所述的图像生成方法，还包括：(b5)复原所述至少一个计算拍摄图像...

【专利技术属性】
技术研发人员：佐藤智，齐藤雅彦，吾妻健夫，登一生，若井信彦，
申请(专利权)人：松下知识产权经营株式会社，
类型：发明
国别省市：日本,JP