数据处理装置、数据处理方法以及程序制造方法及图纸

数据接收部(102)接收从多个测量设备发送的数据(101)，时刻判断部(103)根据数据(101)的日期时刻(111)判别管理时刻，记录生成部(105)将在规定的受理时间期间内接收到的相同的管理时刻的数据保存到相同的记录中，在受理时间的结束时间点存在属于相同的管理时刻的未到数据的情况下，在规定的等待时间期间内等待未到数据的到达，由此，即使数据的到达稍微延迟，也能够将延迟到达的数据保存到相同的记录中，因此能够抑制缺损数据发生频度。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种输入附加有时刻信息的周期性地产生的多个数据并基于时刻信息将多个数据分类后保存到数据库的技术。更具体地说，涉及一种输入表示周期性地进行测量的多个测量设备中的测量结果的多个数据并基于时刻信息将多个数据分类后保存到数据库的技术。
技术介绍
一般在电力传感器、温度传感器等测量设备中以固定的周期进行测量，输出表示测量结果的数据。从测量设备输出的数据的数据结构由进行了测量的“日期时刻”、能够唯一地识别该测量设备的“设备ID”以及测量出的“测量值”构成。作为将该数据以数据库的表来进行管理的方法，以往最普遍的是以上述形式直接保存在表中。即使想要从以这种形式蓄积的数据库例如为了监视等的用途一并提取同一时刻的全部数据，附加在数据本身的时刻根据测量设备而散乱，难以将同一时刻测量出的数据进行比较。另外，在以往的管理方式中，针对每个时刻将各设备的数据全部保存在列方向中，因此例如在求出温度与电力之间的相关等的情况下需要复杂的处理。针对以上问题，以对按固定周期测量出的传感器数据在时间序列上进行比较为目的，在专利文献I中公开了如下技术生成以时刻划分的记录，在与数据的时刻近似的时刻的记录中保存数据，将具有相互相同的时刻或近似的时刻的多个数据保存在一个记录中。专利文献I :日本特开2008-301071号公报
技术实现思路
专利技术要解决的问题在上述专利文献I的技术中，将假设为同一时刻测量出的数据保存在一个记录中，能够例如将安装在多个人的加速度传感器的数据作为时间序列数据进行比较。在该技术中进行如下处理关于接收到的数据，作为具有“日期时刻”、“传感器标识符”、“测量值”的记录，按到达顺序保存在表中，对从传感器发送的数据进行等待时间控制的同时关于在同一时刻获取的数据，重新保存在一个记录中。在专利文献I的技术中，在将收集到的数据按到达顺序写入表中后将假设为同一时刻测量出的数据重新保存在同一记录中，因此在搜索数据的情况等下有可能发生时间的延迟。另外，即使假定专利文献I的记录保存方式的执行是在从数据接收到蓄积(数据向表的保存)为止的期间执行，在由于网络的混杂等而发生了数据的到达延迟的情况下，也存在无法将延迟的数据与假设为同一时刻测量出的数据(未延迟的数据)一起保存在相同的表中的问题。本专利技术鉴于上述问题，其主要目的在于实现如下方式在接收周期性地发送的数据并在将记录追加到表之前将接收到的数据保存到对应的时刻的记录中的方式中，即使在数据的到达上发生了延迟的情况下也能够将延迟到达的数据与假设为同一时刻测量出的数据一起保存在相同的表中。用于解决问题的方案本专利技术所涉及的数据处理装置根据规定的步长的管理时刻来管理记录，其特征在于，具有数据接收部，接收附加有表示时刻的时间戳并以规定的周期发送的数据；时刻判断部，在每次通过所述数据接收部接收到数据时，判断与附加在接收到的数据的时间戳的时刻对应的管理时刻，将接收到的数据划分到该管理时刻；记录生成部，随着时间的经过而更新作为记录生成的对象的记录对象管理时刻，将在划分到当前的记录对象管理时刻的数据从所述时刻判断部的输入的开始起规定的受理时间的期间从所述时刻判断部输入的划分到当前的记录对象管理时刻的数据进行排列来生成记录，在划分到当前的记录对象管理时刻的数据中存在在所述受理时间的结束时间点仍未输入的未到数据的情况下，在规定的等待时间期间等待所述未到数据的输入，将直到所述等待时间结束为止所输入的未到数据追加到所述记录来完成所述记录的生成，在所述等待时间的结束时间点存在未输入的未到数据的情况下，将表示该未到数据的存在的值追加到所述记录来完成所述记录的生成；以及表追加部，将完成了由所述记录生成部进行的生成的记录追加到规定的表。专利技术的效果根据本专利技术，在受理时间结束时存在未到数据的情况下，在等待时间期间内等待未到数据的输入，将直到等待时间结束为止所输入的数据也追加到相同的管理时刻的记录中来完成记录的生成，因此即使数据的到达稍微延迟，也能够将延迟到达的数据保存到记录中，能够抑制缺损数据发生频度。附图说明图I是表不实施方式I图2是表实施方式I图3是表实施方式I图4是表实施方式I图5是说明实施方式I图6是表实施方式I图7是表实施方式I图8是表实施方式I图9是表实施方式I图10是表实施方式图11是说明实施方式图12是表实施方式所涉及的系统结构例的图。所涉及的数据库服务器装置的结构例的图。所涉及的数据的结构例的图。所涉及的数据库服务器装置的动作的概要的流程图。所涉及的记录的管理时刻的计算方法的图。所涉及的数据向记录的保存过程的具体例的图。所涉及的完整记录的例的图。所涉及的不完整记录的例的图。所涉及的写入判断处理的流程图。I所涉及的结构信息的例的图。I所涉及的结构信息的各要素的图。I所涉及的传感器数据的总计例的图。图13是表示实施方式I所涉及的传感器数据的总计例的图。图14是表示实施方式I所涉及的收集周期不同的两种数据间的关系的图。图15是表示实施方式I所涉及的收集周期不同的两种数据间的关系的图。图16是表示实施方式I所涉及的等待时间控制方式的处理流程的流程图。图17是表示实施方式I所涉及的等待时间控制方式的处理流程的流程图。图18是表示实施方式I所涉及的等待时间控制方式的处理流程的流程图。图19是表示实施方式I所涉及的记录生成部的处理流程的流程图。图20是表示实施方式I所涉及的记录生成部的处理流程的流程图。 图21是表示实施方式I所涉及的数据库服务器装置的硬件结构例的图。(附图标记说明)100 :数据库服务器装置；101 :数据；102 :数据接收部；103 :时刻判断部；104 :结构信息管理部；105 :记录生成部；106 :写入处理部；107 :写入判断部；108 :等待时间控制部；109 :表存储部；110 :结构信息存储部；201 :测量设备；202 :收集服务器装置；204 :网络；205 :网络。具体实施例方式实施方式I.在本实施方式中，说明如下的数据管理技术将从以电力传感器、温度传感器等为代表的各种测量设备接收到的数据写入表中，能够无问题地执行数据的搜索/总计。更具体地说，说明如下技术在向表写入记录前以时刻为基准判断与各数据对应的记录并将各数据保存到对应的记录的方式中，在即使发生了数据的到达延迟的情况下也尽可能地使记录向表的写入处理延迟来等待数据的到达，由此能够实时地生成记录，抑制记录内的数据缺损。另外，在本实施方式中，说明如下技术通过减少定期地到达的数据向记录的写入次数来防止性能的降低，并且在由于数据的延迟而在记录中发生了缺损的情况下也在延迟的数据到达时将该数据追加到表中，由此避免数据的废弃。此外，下面说明适用于环境IT系统的数据实时加载功能中的记录生成方式，但是本实施方式所涉及的记录生成方式并不限定于向环境IT系统的应用。能够适用于对来自定期地进行测量的测量设备的数据进行收集和管理的所有系统。图I是表示本实施方式所涉及的环境IT系统的整体结构例的图。使用图I说明数据的整体流程。本实施方式所涉及的环境IT系统包括多个测量设备201，其周期性地进行测量，周期性地发送表示测量值的数据；收集服务器装置202，其收集测量设备201所发送的数据；以及数据库服务器装置100，其将收集服务器装置202所收集到的数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种数据处理装置，根据规定的步长的管理时刻来管理记录，其特征在于，具有数据接收部，接收附加有表示时刻的时间戳并以规定的周期发送的数据；时刻判断部，在每次通过所述数据接收部接收到数据时，判断与附加在接收到的数据的时间戳的时刻对应的管理时刻，将接收到的数据划分到该管理时刻；记录生成部，随着时间的经过而更新作为记录生成的对象的记录对象管理时刻，将在划分到当前的记录对象管理时刻的数据从所述时刻判断部的输入的开始起规定的受理时间的期间从所述时刻判断部输入的划分到当前的记录对象管理时刻的数据进行排列来生成记录，在划分到当前的记录对象管理时刻的数据中存在在所述受理时间的结束时间点仍未输入的未到数据的情况下，在规定的等待时间期间等待所述未到数据的输入，将直到所述等待时间结束为止所输入的未到数据追加到所述记录来完成所述记录的生成，在所述等待时间的结束时间点存在未输入的未到数据的情况下，将表不该未到数据的存在的值追加到所述记录来完成所述记录的生成；以及表追加部，将完成了由所述记录生成部进行的生成的记录追加到规定的表。2.根据权利要求I所述的数据处理装置，其特征在于，所述记录生成部在从所述时刻判断部延迟输入了划分到过去的记录对象管理时刻的数据的情况下，生成延迟输入的延迟数据的记录，在存在划分到与所述延迟数据相同的管理时刻的仍未输入的未到数据的情况下，在规定的等待时间期间等待所述未到数据的输入，将直到所述等待时间结束为止所输入的未到数据追加到所述记录来完成所述记录的生成，在所述等待时间的结束时间点存在未输入的未到数据的情况下，将表示该未到数据的存在的值追加到所述记录来完成所述记录的生成，所述表追加部将完成了由所述记录生成部进行的生成的描述有所述延迟数据的记录追加到所述表。3.根据权利要求I或2所述的数据处理装置，其特征在于，所述记录生成部在存在所述未到数据的情况下，在所述受理时间的结束时间点决定是否等待所述未到数据的输入，在等待所述未到数据的输入的情况下，在所述等待时间的期间等待所述未到数据的输入，在不等待所述未到数据的输入的情况下，在所述受理时间的结束时间点将表示所述未到数据的存在的值追加到所述记录。4.根据权利要求3所述的数据处理装置，其特征在于，所述数据接收部接收从多个数据发送装置按规定的周期发送的数据，所述数据处理装置还具有延迟状况监视部，该延迟状况监视部针对每个数据发送装置监视数据接收时的延迟状况，所述记录生成部在存在所述未到数据的情况下，基于所述延迟状况监视部对所述未到数据的发送源的数据发送装置的监视结果，决定是否等待所述未到数据的输入。5.根据权利要求4所述的数据处理装置，其特征在于，所述延迟状况监视部针对每个数据发送装置对连续地延迟于适当接收定时接收数据的次数进行计数来作为连续延迟次数，所述记录生成部在所述未到数据的发送源的数据发送装置的连续延迟次数为规定的阈值以内的情况下等待所述未到数据的输入，在所述未到数据的发送源的数据发送装置的连续延迟次数超过所述阈值的情况下不等待所述未到数据的输入。6.根据权利要求4或5所述的数据处理装置，其特征在于，所述延迟状况监视部针对每个数据发送装置在规定的监视期间内对延迟于适当接收定时而接收数据的次数进行计数来作为延迟发生次数，所述记录生成部在所述未到数据的发送源的数据发送装置的延迟发生次数为规定的阈值以内的情况下等待所述未到数据的输入，在所述未到数据的发送源的数据发送装置的延迟发生次数超过所述阈值的情况下不等待所述未到数据的输入。7.根据权利要求4 6中的任一项所述的数据处理装置，其特征在于，所述延迟状况监视部针对每个数据发送装置在每次延迟于适当接收定时接收到数据时测量从适当接收定时起延迟的延迟时间，计算测量得到的延迟时间的在规定的监视期间中的平均值，所述记录生成部在所述未到数据的发送源的数据发送装置的延迟时间的平均值为规定的阈值以内的情况下等待所述未到数据的输入，在所述未到数据的发送源的数据发送装置的延迟时间的平均值...

【专利技术属性】
技术研发人员：平井规郎，郡光则，
申请(专利权)人：三菱电机株式会社，
类型：
国别省市：