图像处理装置、图像处理系统以及图像处理方法制造方法及图纸

本发明专利技术涉及图像处理装置、图像处理系统以及图像处理方法，其目的在于，在用多台摄像装置跟踪跟踪对象时能够跨越不同摄像装置进行跟踪。本发明专利技术提供的图像处理装置包括，取得部，用于从多台摄像装置各自拍摄的影像数据中取得帧；检测部，用于从所述取得部取得的所述帧中检测跟踪对象；以及，决定部，用于在所述检测部在所述多台摄像装置之中两台以上摄像装置各自拍摄的所述帧中均检测到所述跟踪对象时，决定用所述两台以上摄像装置之中的任意一台摄像装置作为该跟踪对象的跟踪处理的对象。

Image processing device, image processing system and image processing method

The invention relates to an image processing device, an image processing system and an image processing method, which aims to track the tracking objects across a variety of camera devices when tracking objects with a plurality of camera devices. The image processing device provided by the present invention includes a acquisition unit for obtaining frames from the image data each photographed by a plurality of camera devices for detecting a tracking object in the frame obtained from the acquisition unit, and a determination unit for two or more units in the plurality of cameras in the detection unit. When all the tracked objects are detected in each of the described frames taken by the device, it is decided that any one of the camera devices in the two or more cameras is used as an object for tracking the tracking object.

【技术实现步骤摘要】
图像处理装置、图像处理系统以及图像处理方法
本专利技术涉及图像处理装置、图像处理系统以及图像处理方法。
技术介绍
目前，将人和物体的移动可视化的方法逐渐推广，例如用“动线”来表达在工厂内运行的运送车和现场作业的工人、以及在商业设施内来回走动的顾客等。如何获得动线有以下各种技术方案，如利用无线LAN(LocalAreaNetwork)的位置信息、在跟踪对象上安装超声发送器并用接收机来确定位置、以及设置信标并用智能手机接收信标发送的ID来补充位置等。但是，利用上述各种技术进行跟踪的前提条件为，跟踪对象物需要持有无线LAN或超声波发射器等终端。对此，目前还存在不持任何终端的动线获取方法，该方法用图像处理技术来跟踪相机拍摄的视频中的跟踪对象，确定跟踪对象的位置。专利文献1(JP特开2016-042306号公报)公开了一种轨迹描绘装置，该装置利用图像处理技术来跟踪图像中的跟踪对象以获得动线，其中具有，用于读取拍摄跟踪对象而获得的视频图像的帧的帧读取部、用于在帧读取部读取的帧中设定跟踪对象的跟踪对象区域的跟踪对象区域设定部、用于在帧读取部读取的多个帧之间跟踪跟踪对象区域的跟踪部、用于根据跟踪部的跟踪结果来描绘跟踪对象的动作轨迹的描绘部、以及用于在显示装置上显示描绘部所描绘的动作轨迹的显示控制部。但是，专利文献1记载的技术方案中，如果需要在较大范围内获得动线，仅用一个摄像机会因障碍物遮挡跟踪对象或受视角范围的限制而无法拍到跟踪对象，因此，必须设置多个照相机。在这种情况下，便会发生当其中一台摄像机跟踪的跟踪对象出现在另一个摄像机中时，无法跨越不同摄像机继续跟踪的问题。专利
技术实现思路
鉴于上述问题，本专利技术提供图像处理装置、图像处理系统以及图像处理方法，其目的在于在用多台摄像装置跟踪跟踪对象时能够跨越不同摄像装置进行跟踪。为了解决上述问题，达到上述目的，本专利技术提供一种图像处理装置，其特征在于其中包括，取得部，用于从多台摄像装置各自拍摄的影像数据中取得帧；检测部，用于从所述取得部取得的所述帧中检测跟踪对象；以及，决定部，用于在所述检测部在所述多台摄像装置之中两台以上摄像装置各自拍摄的所述帧中均检测到所述跟踪对象时，决定用所述两台以上摄像装置之中的任意一台摄像装置作为该跟踪对象的跟踪处理的对象。本专利技术的效果在于能够在用多台摄像装置跟踪跟踪对象时跨越不同摄像装置进行跟踪。附图说明图1是第一实施方式涉及的图像处理系统的一例整体结构的示意图。图2是生产现场内设置第一实施方式涉及的图像处理系统的多个摄像装置的状况的一例示意图。图3是第一实施方式涉及的信息处理装置的一例硬件模块结构图。图4是第一实施方式涉及的信息处理装置的一例功能模块结构图。图5是第一实施方式涉及的信息处理装置的一例注册处理流程图。图6是第一实施方式涉及的信息处理装置的显示部上显示的跟踪画面上的一例影像的显示状态的示意图。图7是第一实施方式涉及的信息处理装置中注册跟踪对象颜色的操作的示意图。图8是第一实施方式涉及的信息处理装置的显示部显示的跟踪画面上一例显示所有摄像装置的影像的状态的示意图。图9是一例在某个摄像装置的影像的帧中检测到跟踪对象时的示意图。图10是某个摄像装置的影像的帧中检测到的跟踪对象移动到帧的端部的状态的示意图。图11是在某个摄像装置的影像的帧中检测到的跟踪对象从帧中消失的状态的示意图。图12是某个摄像装置的影像帧中消失的跟踪对象被在另一个摄像装置的影像的帧中检测到的状态的示意图。图13是跟踪在另一个摄像装置的影像图像的帧中检测到的跟踪对象的状态的示意图。图14是在跟踪在另一个摄像装置的影像图像的帧中检测到的跟踪对象时，在更加另一摄像装置的影像图像的帧中检测到跟踪对象的状态的示意图。图15是用来描述在两台摄像装置的影像的帧中检测到的跟踪对象之中决定跟踪其中的哪一个的动作的示意图。图16是第一实施方式的信息处理装置的一例跟踪处理流程图。图17是第二实施方式涉及的信息处理装置的一例功能模块结构图。图18是在某个摄像装置的影像的帧中检测到跟踪对象时的一例示意图。图19是在某个摄像装置的影像的帧中检测到的跟踪对象移动到捕获窗的状态的示意图。图20是在某个摄像装置的影像的帧中检测到的跟踪对象从帧中消失状态的示意图。图21是在某个摄像装置的影像的帧中消失的跟踪对象被在另一个摄像装置的影像的帧中检测到的状态的示意图。图22是在某个摄像装置的影像的帧中检测到的跟踪对象到达捕获窗之前的移动状态的示意图。图23是在某个摄像装置的影像的帧中检测到的跟踪对象到达捕获窗之前消失的状态的示意图。图24是在某个摄像装置的影响的帧中检测到的跟踪对象在捕获窗外消失的状态的示意图。图25是在某个摄像装置的影像的帧的捕获窗外消失的跟踪对象在其他摄像装置的影像的帧中检测到的状态的示意图。图26是第二实施方式涉及的信息处理装置的一例跟踪处理流程图。具体实施方式以下参考附图，详细描述本专利技术涉及的图像处理装置、图像处理系统、图像处理方法和计算机程序的实施方式。以下的实施方式对本专利技术没有限制，以下的实施方式的构成要素包括对本领域技术人员来说不需要创造性劳动便能够获得的要素、实质上相同的要素、以及属于所谓均等范围的要素。进而，在不脱离以下实施方式宗旨的范围内允许省略、替换、变更和组合实施方式的各项要素。<第一实施方式>图像处理系统的整体结构图1是第一实施方式涉及的图像处理系统的一例整体结构的示意图。以下参考图1描述本实施方式的图像处理系统1的整体结构。如图1所示，本实施方式的图像处理系统1包括摄像装置2a至2d、信息处理装置3、集线器4。摄像装置2a至2d是把来自被摄体的光转换为电信号，用以拍摄被摄体，并生成多帧(图像数据)构成的动画(例如，10[FPS]、25[FPS]等)，即影像数据的摄像机。例如，用摄像装置2a至2d拍摄正在操作产品的生产设备或生产线等的操作者，生成影像数据。在不需要区分各摄像装置2a至2d称呼或者统称时，仅称为摄像装置2。另外，图1所示的图像处理系统1具有四台摄像装置2，但本专利技术并不限定于此，也可以具有与此不同数量的摄像装置2。信息处理装置3是具有图像处理装置功能的PC(PersonalComputer:个人计算机)或工作站等，其根据摄像装置2所拍摄的图像数据执行图像处理。信息处理装置3连接生产设备等外设10，能够按照例如现场总线规格进行通信。集线器4是用于将摄像装置2a至2d与信息处理装置3连接且对应以太网(注册商标)规格的集线装置。集线器4，例如在对应以太网规格时，摄像装置2a至2d与信息处理装置3按照TCP(TransmissionControlProtocol)/IP(InternetProtocol)等的协议进行数据通信。在这种情况下，摄像装置2a至2d以及信息处理装置3具有用于按照TCP/IP协议进行通信的MAC(MediaAccessControl)地址、且被赋予个人IP地址等IP地址。另外，图1所示的集线器4显示了基于TCP/IP协议通信中继的例子，但本专利技术不限于此，也可以采用以下方式，如信息处理装置3一方设有VGA(VideoGraphicsArray)端子或USB(UniversalSerialBus)端口，而多个摄像装置2本文档来自技高网...

【技术保护点】
一种图像处理装置，其中包括，取得部，用于从多台摄像装置各自拍摄的影像数据中取得帧；检测部，用于从所述取得部取得的所述帧中检测跟踪对象；以及，决定部，用于在所述检测部在所述多台摄像装置之中的两台以上摄像装置各自拍摄的所述帧中均检测到所述跟踪对象时，决定用所述两台以上摄像装置之中的一台摄像装置作为该跟踪对象的跟踪处理的对象。

【技术特征摘要】
2016.10.28 JP 2016-2122111.一种图像处理装置，其中包括，取得部，用于从多台摄像装置各自拍摄的影像数据中取得帧；检测部，用于从所述取得部取得的所述帧中检测跟踪对象；以及，决定部，用于在所述检测部在所述多台摄像装置之中的两台以上摄像装置各自拍摄的所述帧中均检测到所述跟踪对象时，决定用所述两台以上摄像装置之中的一台摄像装置作为该跟踪对象的跟踪处理的对象。2.根据权利要求1所述的图像处理装置，其中，所述决定部根据所述检测部检测到的所述跟踪对象的各个所述帧中所述跟踪对象的面积以及移动量中至少其中一方，决定所述两台以上摄像装置之中的一台摄像装置为所述跟踪处理的对象。3.根据权利要求2所述的图像处理装置，其中，所述决定部根据所述跟踪对象的所述移动量与所述面积之比，决定所述两台以上摄像装置之中的一台摄像装置为所述跟踪处理的对象。4.根据权利要求1所述的图像处理装置，其中，所述决定部将所述两台以上摄像装置之中最初被所述检测部在所述帧中检测到所述跟踪对象的摄像装置定为所述跟踪处理的对象。5.根据权利要求1至4中任意一项所述的图像处理装置，其中，进一步具备管理部，该管理部用于将所述检测部从成为跟踪处理的对象的所述摄像装置拍摄的所述帧中检测到的所述跟踪对象的位置信息保存到存储装置中。6.根据权利要求5所述的图像处理装置，其中，设从成为跟踪处理的对象的所述摄像装置拍摄的帧为第一帧，并设该第一帧之前的帧为第二帧，当所述检测部未能从所述第一帧中检测到所述跟踪对象时，所述管理部将曾经检测到所述跟踪对象的所述第二帧中的跟踪对象的位置信息，作为所述第一帧中的所述跟踪对象的位置信息，保存到所述存储装置中。7.根据权利要求5所述的图像处理装置，其中，在显示成为所述跟踪处理的对象的所述摄像装置拍摄的所述帧的显示装置的规定显示区域中，当所述检测部在外围部分的规定区域即捕获窗内检测到所述跟踪对象消失时，所述管理部不将该跟踪对象在所述帧中的位置信息保存到所述存储装置中。8.根据权利要求5所述的图像处理装置，其中，在显示成为...

【专利技术属性】
技术研发人员：大村庆二，小元翔太郎，山名纪，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本,JP