信息蓄积装置、数据处理系统及程序制造方法及图纸

对于由设备(30)生成的数据，在按照生成了该数据的时刻顺序到达的情况下，按照数据到达的顺序向实际数据记录部(12b)进行追记(写入)，并且将追记至该实际数据记录部(12b)的数据被生成的时刻、数据大小以及实际数据文件中的追记位置，作为索引信息追记至具有与记录了该数据的实际数据文件对应的文件名的索引文件(12a)。

【技术实现步骤摘要】
【国外来华专利技术】信息蓄积装置、数据处理系统及程序
本专利技术涉及一种能够高速地读写IoT数据的信息蓄积装置、数据处理系统及程序。
技术介绍
近年来，在将能够取得各种数据的传感器等各种设备连接于网络而构成的系统中，对所述设备生成的数据进行了灵活运用的IoT(InternetOfThings)正在受到关注。在使用了IoT的系统中，从各种设备持续地或者定期地取得数据，因此，需要能够高速地对随时间经过而依次生成的大量数据进行写入/读出的数据库。另外，在使用了IoT的领域中，大量地使用各种设备取得各种数据的情况较多，因此要求所使用的设备是廉价的。因此，大多难以利用具有大容量存储器的昂贵的设备。另一方面，作为写入随时间经过而依次生成的数据的数据库，以往利用了PostgreSQL等追记型数据库(例如，参照非专利文献1)。在一部分追记型数据库中，在数据向盘写入时，有时进行索引创建等处理。这里，索引是指以更快地对写入文件的数据进行检索或者提取的方式制作的检索数据。通常，如果针对从应用请求了写入的数据而生成的索引的数量、种类增加，则与该索引的数量、种类相应地索引的生成、索引数据的写入成为整个写入处理的开销(overhead)。另外，由于数据的大小不限于固定长度，因此如果在数据的写入时不进行特别的处理而进行追记，则在读出时需要数据的线性搜索的运算量O(n)，存在与数据的增加相应地读出速度变慢的问题(例如，参照非专利文献2)。数据写入时的索引生成等处理提高数据的读出速度，但在面向IoT的数据库中，为了确保写入速度，希望尽可能减小数据写入时的处理负荷。非专利文献1：赤間浩樹，etal.”追記·参照型データ管理システムの設計と評価，”情報処理学会論文誌49.2(2008)：749-764.非专利文献2：大駒誠一，西村恕彦，and昆野誠司，”情報検索特集号：ファイルの蓄積と探索，”情報処理7.6(1966).
技术实现思路
作为IoT数据的特性，存在如下特征，即，对于随时间经过而由设备依次生成的数据，只要没有在通过网络等期间改变顺序，则以该生成的顺序到达数据库。另外，在IoT中，对时刻进行指定而从数据库读出需要的数据的情况较多，因此要求基于时刻的检索以及读出处理高速的数据库。特别地，由于参照最近时刻的最新值的应用程序较多，因此最新值的读出速度为高速也很重要。这样，在使用了IoT的领域中，要求如下的数据库，即，能够将由所述设备随时间经过而依次生成、并按照所生成的时刻顺序到达的数据高速地写入数据库，并且通过日期、时刻等信息(特定的时刻、时刻范围以及最近的时刻)的指定而高速地检索、读出数据。如上所述，在现有技术中，使用了通过使数据库的存储区域上具有索引而进行读出的高速化的方法，但索引的大小和检索性能存在折衷关系。并且，由于IoT所使用的数据量庞大，因此索引当然变得庞大。因此，存在难以进行节省存储器的处理的课题。并且，作为次要课题，IoT有时在共通的数据库中处理所述设备生成的数据和与其相比数据量大的图像、动画等媒体数据，但这些数据因数据大小、特性的差异而存在难以通过共通的结构进行蓄积的问题。本专利技术是鉴于上述课题而提出的，其目的在于提供一种信息蓄积装置、数据处理系统以及程序，第一，通过将写入时的处理限定在最小限度，能够节省存储器并且高速地读写数据，第二，能够在共通的数据库中高速地对设备生成的数据和图像等媒体数据进行读写。本专利技术所涉及的信息蓄积装置具有：索引记录部，其记录索引文件，该索引文件包含索引信息，该索引信息是包含生成了数据的时刻和记录该数据的位置信息在内的数据串，分别按照生成了所述数据的时刻顺序配置，所述索引文件设为与所述生成的数据的时刻相应的文件名；实际数据记录部，其对在所述索引信息所记述的所述位置信息中写入所述数据的实际数据文件进行记录，该实际数据文件具有文件名，该文件名具有能够以第1计算量与所述索引文件的文件名唯一且相互关联的规则；写入处理部，其将所述数据写入所述实际数据文件，将在该实际数据文件中写入了数据的位置信息以及生成了所述数据的时刻作为索引信息写入所述索引文件；以及读出处理部，如果基于时刻指定了作为读出对象的数据，则该读出处理部基于包含与该时刻对应的文件名在内的所述索引文件内的索引信息，从所述实际数据文件读出数据。根据本专利技术，第一，通过将写入时的处理限定在最小限度，能够节省存储器并且高速地读写数据，第二，能够在共通的数据库中高速地对设备生成的数据和图像等媒体数据进行读写。附图说明图1是表示具有实施方式的信息蓄积装置10的数据处理系统的图。图2是表示在所述信息蓄积装置10的外部配置了数据记录部12的情况的图。图3是表示将在所述信息蓄积装置10所设置的索引记录部12a中储存的n个索引文件(1～n，n：自然数)作为一个例子的图。图4是表示在所述信息蓄积装置10所设置的实际数据记录部12b中储存的n个实际数据(1～n，n：自然数)的图。图5是表示在所述实际数据记录部12b中储存了BLOB数据的情况下的n个实际数据(1～n、n：自然数)的图。图6A是表示在所述信息蓄积装置10的写入处理中使用的处理步骤(初始化处理)的流程图。图6B是表示在所述信息蓄积装置10的写入处理中使用的处理步骤(子程序)的流程图。图6C是表示在所述信息蓄积装置10的写入处理中使用的处理步骤(子程序)的流程图。图7是表示所述信息蓄积装置10的数据d的写入处理的流程图。图8A是表示在所述信息蓄积装置10的数据d的读出处理中使用的处理步骤(子程序)的流程图。图8B是表示在所述信息蓄积装置10的数据d的读出处理中使用的处理步骤(子程序)的流程图。图8C是表示在所述信息蓄积装置10的数据d的读出处理中使用的处理步骤(子程序)的流程图。图9是表示写入所述实际数据记录部12b的数据d的读出处理的流程图。图10A是表示用于执行所述信息蓄积装置10的所述数据d的读出处理的处理步骤(子程序)的流程图。图10B是表示用于执行所述信息蓄积装置10的所述数据d的读出处理的处理步骤(子程序)的流程图。图11是表示对写入所述实际数据记录部12b的数据d进行读出的处理的流程图。具体实施方式下面，参照附图说明本专利技术的实施方式所涉及的信息蓄积装置、数据处理系统以及程序。图1是表示具有实施方式的信息蓄积装置10的数据处理系统的结构的功能框图。所述数据处理系统包含信息蓄积装置10、消息代理20、设备30(传感器)(30a～30c)、Web服务器40以及应用程序50(50a～50c)而构成。设备(传感器)30(30a～30c)相当于数据生成装置，该数据生成装置具有生成持续地或者定期地测量出的各种数据d和测量该数据d的时刻t、发送给消息代理20的功能。下面，将设备(传感器)30简称为设备30。在本实施方式中，利用将从该本文档来自技高网...

【技术保护点】
1.一种信息蓄积装置，其具有：/n索引记录部，其记录索引文件，该索引文件包含索引信息，该索引信息是包含生成了数据的时刻和记录该数据的位置信息在内的数据串，且分别按照生成了所述数据的时刻顺序配置，所述索引文件设为与所述生成的数据的时刻相应的文件名；/n实际数据记录部，其对在所述索引信息所记述的所述位置信息中写入所述数据的实际数据文件进行记录，该实际数据文件具有文件名，该文件名具有能够以第1计算量与所述索引文件的文件名唯一且相互关联的规则；/n写入处理部，其将所述数据写入所述实际数据文件，将在该实际数据文件中写入了数据的位置信息、以及生成了所述数据的时刻，作为索引信息写入所述索引文件；以及/n读出处理部，如果基于时刻指定了作为读出对象的数据，则该读出处理部基于包含与该时刻对应的文件名在内的所述索引文件内的索引信息，从所述实际数据文件读出数据。/n

【技术特征摘要】
【国外来华专利技术】20171109 JP 2017-2166481.一种信息蓄积装置，其具有：
索引记录部，其记录索引文件，该索引文件包含索引信息，该索引信息是包含生成了数据的时刻和记录该数据的位置信息在内的数据串，且分别按照生成了所述数据的时刻顺序配置，所述索引文件设为与所述生成的数据的时刻相应的文件名；
实际数据记录部，其对在所述索引信息所记述的所述位置信息中写入所述数据的实际数据文件进行记录，该实际数据文件具有文件名，该文件名具有能够以第1计算量与所述索引文件的文件名唯一且相互关联的规则；
写入处理部，其将所述数据写入所述实际数据文件，将在该实际数据文件中写入了数据的位置信息、以及生成了所述数据的时刻，作为索引信息写入所述索引文件；以及
读出处理部，如果基于时刻指定了作为读出对象的数据，则该读出处理部基于包含与该时刻对应的文件名在内的所述索引文件内的索引信息，从所述实际数据文件读出数据。


2.根据权利要求1所述的信息蓄积装置，其中，
作为包含生成了所述数据的时刻和记录该数据的位置信息在内的数据串的索引信息，是固定长度的数据串。


3.根据权利要求1或2所述的信息蓄积装置，其中，
所述写入处理部按照生成的数据的时刻顺序将该数据追记至所述实际数据文件。


4.根据权利要求1或2所述的信息蓄积装置，其中，
作为在生成了成为向所述实际数据文件的写入对象的数据的时刻是比所述索引文件的开头行所记述的所述索引信息包含的时刻早的时刻的情况下进行的处理，
所述写入处理部进行下述处理：
索引文件检索，基于生成了所述数据的时刻，检索应插入所述索引信息的索引文件；
索引信息插入行检索，检索在通过所述索引文件检索而检索出的索引文件中插入索引信息的行，该索引信息包含生成了成为所述写入对象的数据的时刻；以及
索引信息插入，将所述数据写入实际数据文件，将包含生成了该写入的数据的时刻以及写入该数据的位置信息在内的索引信息插入至通过所述索引信息插入行检索而检索出的索引文件内的应插入的行，其中，该实际数据文件具有能够以所述第1计算量与通过所述索引文件检索而检索出的索引文件的文件名唯一且相互关联的规则的文件名。


5.根据权利要求1或2所述的信息蓄积装置，其中，
作为在生成了成为向所述实际数据文件的写入对象的数据的时刻是比在所述索引文件的开头行所记述的所述索引信息包含的时刻新的时刻的情况下进行的处理，
所述写入处理部进行下述处理：
索引信息插入行检索，基于生成了所述数据的时刻，检索在所述索引文件中插入索引信息的行，该索引信息包含生成了成为所述写入对象的数据的时刻；以及
索引信息插入，将所述数据写入实际数据文件，将包含生成了该写入的数据的时刻以及写入该数据的位置信息在内的索引信息插入至所述索引文件内的应插入的行，其中，该实际数据文件具有能够以所述第1计算量与通过所述索引文件检索而检索出的索引文件的文件名唯一且相互关联的规则的文件名。


6.根据权利要求1所述的信息蓄积装置，其中，
所述读出处理部进行下述处理：
文件判断，如果分别指定...

【专利技术属性】
技术研发人员：柏木启一郎，石井久治，吉田由唯，藤野知之，
申请(专利权)人：日本电信电话株式会社，
类型：发明
国别省市：日本;JP