数据协作系统和数据收集系统技术方案

本发明专利技术提供数据协作系统和数据收集系统。该数据协作系统包括：数据收集系统，将信息系统所保持的结构化数据和非结构化数据中的至少一方的数据作为文件进行收集；以及数据存储系统，存储由数据收集系统收集的多个信息系统所保持的数据，该数据协作系统的特征在于，数据存储系统具备转换由数据收集系统收集的数据的数据转换系统，数据收集系统按照特定的处理单位划分相同的业务的数据，并指示数据转换系统开始并行处理。

【技术实现步骤摘要】
数据协作系统和数据收集系统
本专利技术涉及收集并存储多个信息系统所保持的数据的数据协作系统和数据收集系统。
技术介绍
以往，已知一种收集并存储多个信息系统所保持的数据的数据协作系统。但是，在以往的数据协作系统中，存在难以使大量的数据高速协作的问题。
技术实现思路
本专利技术的目的在于提供一种能够使大量的数据高速协作的数据协作系统和数据收集系统。本专利技术的数据协作系统包括：数据收集系统，将信息系统所保持的结构化数据和非结构化数据中的至少一方的数据作为文件进行收集；以及数据存储系统，存储由所述数据收集系统收集的多个所述信息系统所保持的数据，所述数据协作系统的特征在于，所述数据存储系统具备数据转换系统，该数据转换系统转换由所述数据收集系统收集的数据，所述数据收集系统按照特定的处理单位划分相同的业务的数据，并指示所述数据转换系统开始并行处理。本专利技术的数据收集系统是数据协作系统的所述数据收集系统，所述数据协作系统包括：数据收集系统，将信息系统所保持的结构化数据和非结构化数据中的至少一方的数据作为文件进行收集；以及数据存储系统，存储由所述数据收集系统收集的多个所述信息系统所保持的数据，所述数据收集系统的特征在于，所述数据存储系统具备数据转换系统，该数据转换系统转换由所述数据收集系统收集的数据，所述数据收集系统按照特定的处理单位划分相同的业务的数据，并指示所述数据转换系统开始并行处理。本专利技术的数据协作系统和数据收集系统能够使大量的数据高速协作。附图说明<br>图1是本专利技术的一个实施方式所涉及的系统的框图。图2是图1所示的数据存储系统所具备的管线的框图。图3是图1所示的管线协调器的框图。图4是表示通过POST接口收集信息系统所保持的数据并发送至管线的情况下的图1所示的系统的动作的流程的一例的图。图5是向管线发送文件的情况下的图4所示的POST接口的动作的流程图。图6是表示通过GET接口收集信息系统所保持的数据并交给管线的情况下的图1所示的系统的动作的流程的一例的图。图7是表示由POST代理收集信息系统所保持的数据并发送至管线的情况下的图1所示的系统的动作的流程的一例的图。图8是向管线发送文件的情况下的图7所示的POST代理的动作的流程图。图9是表示由GET代理收集信息系统所保持的数据并交给管线的情况下的图1所示的系统的动作的流程的一例的图。图10是数据存储系统存储数据的情况下的图1所示的数据协作系统的动作的一部分的时序图。图11是图10所示的动作的后续动作的时序图。图12是图10所示的遮蔽处理中的遮蔽处理部的动作的流程图。图13是表示在图12所示的动作中使用的数据管理表的一例的图。图14是遮蔽处理部对数据的处理失败的情况下的图1所示的数据协作系统的动作的时序图。图15是应用程序部要求存储于数据存储系统的特定的信息系统的数据的更新的情况下的图1所示的数据协作系统的动作的时序图。图16是根据特定的信息系统的结构的变更来变更自身的结构的情况下的图1所示的数据协作系统的动作的流程图。具体实施方式以下，使用附图对本专利技术的实施方式进行说明。首先，对本专利技术的一个实施方式的系统的结构进行说明。图1是本实施方式所涉及的系统10的框图。如图1所示，系统10具备产生数据的数据源部20以及使由数据源部20产生的数据协作的数据协作系统30。数据源部20具备产生数据的信息系统21。信息系统21具备保存信息系统21的结构和设定的结构管理服务器21a。数据源部20除了信息系统21以外，还可以具备至少一个信息系统。作为信息系统的例子，存在对MFP(MultifunctionPeripheral，多功能外围设备)、打印专用机等图像形成装置进行远程管理的远程管理系统等的IoT(InternetofThings，物联网)系统、以及ERP(EnterpriseResourcePlanning，企业资源规划)、生产管理系统等的公司内系统。信息系统分别可以由1台计算机构成，也可以由多台计算机构成。信息系统可以保持结构化数据的文件。信息系统也可以保存非结构化数据的文件。信息系统可以保持结构化数据的数据库。数据源部20具备作为数据收集系统的POST接口22，所述POST接口22取得信息系统所保持的结构化数据或非结构化数据的文件，并将所取得的文件发送至数据协作系统30的后述的管线。数据源部20除了POST接口22以外，还可以具备至少1个与POST接口22相同结构的POST接口。POST接口也可以由计算机构成，该计算机构成POST接口自身取得文件的信息系统。另外，POST接口也是数据协作系统30的结构。数据源部20具备作为数据收集系统的POST代理23，所述POST代理23从信息系统所保持的结构化数据的数据库取得结构化数据，并将所取得的结构化数据发送至数据协作系统30的后述的管线。数据源部20除了POST代理23以外，还可以具备至少1个与POST代理23相同结构的POST代理。POST代理可以由计算机构成，该计算机构成POST代理自身取得结构化数据的信息系统。另外，POST代理也是数据协作系统30的结构。数据源部20具备作为数据收集系统的GET目标代理24，所述GET目标代理24基于信息系统所保持的数据，生成协作用的结构化数据。数据源部20除了GET目标代理24以外，还可以具备至少1个与GET目标代理24相同结构的GET目标代理。GET目标代理可以由计算机构成，该计算机构成保持成为协作用的结构化数据的生成源的数据的信息系统。另外，GET目标代理也是数据协作系统30的结构。数据协作系统30具备：存储由数据源部20产生的数据的数据存储系统40；利用存储于数据存储系统40的数据的应用程序部50；以及执行针对数据存储系统40和应用程序部50的各种控制的控制服务部60。数据存储系统40具备存储由数据源部20产生的数据的管线41。数据存储系统40除了管线41以外，还可以具备至少一个管线。信息系统中的数据的结构存在针对每个信息系统而不同的可能性，因此，数据存储系统40基本上针对每个信息系统具备管线。管线分别可以由1台计算机构成，也可以由多台计算机构成。图2是数据存储系统40所具备的管线70的框图。如图2所示，管线70包括：一级存储器71，具备存储从POST接口、POST代理、后述的GET接口或后述的GET代理接收到的数据的存储区域；作为数据转换系统的遮蔽处理部72，对存储于一级存储器71的数据中的与信息系统的用户的个人信息等隐私相关的数据执行作为数据转换处理的遮蔽处理；数据转送处理部73，执行将由遮蔽处理部72执行了遮蔽处理的数据向后述的大数据分析部44(参照图1。)转送的数据转送处理；以及二级存储器74，具备存储向大数据分析部44转送用的数据的存储区域。另外，设置一级存储器71的理由是因为在数据的处理中，例如在遮蔽处理的工序和数据转送处理的工序本文档来自技高网...

【技术保护点】
1.一种数据协作系统，包括：/n数据收集系统，将信息系统所保持的结构化数据和非结构化数据中的至少一方的数据作为文件进行收集；以及/n数据存储系统，存储由所述数据收集系统收集的多个所述信息系统所保持的数据，/n所述数据协作系统的特征在于，/n所述数据存储系统具备转换由所述数据收集系统收集的数据的数据转换系统，/n所述数据收集系统按照特定的处理单位划分相同的业务的数据，并指示所述数据转换系统开始并行处理。/n

【技术特征摘要】
20200228 JP 2020-0344131.一种数据协作系统，包括：
数据收集系统，将信息系统所保持的结构化数据和非结构化数据中的至少一方的数据作为文件进行收集；以及
数据存储系统，存储由所述数据收集系统收集的多个所述信息系统所保持的数据，
所述数据协作系统的特征在于，
所述数据存储系统具备转换由所述数据收集系统收集的数据的数据转换系统，
所述数据收集系统按照特定的处理单位划分相同的业务的数据，并指示所述数据转换系统开始并行处理。


2.根据权利要求1所述的数据协作系统，其特征在于，
所述数据收集系统在每特定的单位时间交给后续处理的所述文件的数量超过特定的数量的情况下，指示所述数据转换系统进行并行处理。


3.根据权利要求1所述的数据协...

【专利技术属性】
技术研发人员：中岛孝记，
申请(专利权)人：京瓷办公信息系统株式会社，
类型：发明
国别省市：日本;JP