一种数据采集方法、装置及系统制造方法及图纸

本发明专利技术公开了一种数据采集方法，包括：数据抽取线程从对应的业务数据库中抽取原始数据；利用数据清洗线程进行筛选过滤，利用数据加工线程对类型进行转换，利用数据封装线程封装成对应的XML文件；可见，获取业务数据库中的原始数据时，可通过与该业务数据库对应的数据抽取线程获取原始数据，从而增加了数据采集装置的横向扩展性；并且，本方案中通过单独的数据清洗线程、数据加工线程和数据封装线程对原始数据进行处理，这样在每个线程处理数据时，可通过调整线程数量参数控制线程的启停，从而增加了线程启停的灵活性，提高采集效率；本发明专利技术实施例还公开了一种数据采集装置及系统，同样能实现上述技术效果。

Data collection method, device and system

The invention discloses a method of data acquisition, including: data extraction thread extraction raw data from the corresponding business database; filtered by data cleaning thread, the type conversion data processing thread, the thread package data encapsulated into the corresponding XML file; visible, to obtain the original data in the business database. To obtain the raw data through the data extraction thread corresponds to the business database, thus increasing the lateral expansion of data acquisition device; and the program through data cleaning, data processing thread separate threads and thread data encapsulation of the data, so that each thread to handle the data, by adjusting the number of threads parameter control thread start and stop, thereby increasing the thread start and stop flexibility, improve the collection efficiency; The embodiment of the invention also discloses a data acquisition device and a system, and the technical effect can also be realized.

【技术实现步骤摘要】
一种数据采集方法、装置及系统
本专利技术涉及数据采集
，更具体地说，涉及一种数据采集方法、装置及系统。
技术介绍
随着医疗云的普及，从海量分散医疗机构数据中挖据有价值的数据，可用来协助社区及基层卫生机构的初级医生对患者作出准确的诊断和用药决策；通过对各个社区居民的医疗数据进行汇总及统计分析，可实现对流行病、慢性病的自动筛查、趋势分析和爆发预警，为公共卫生机构制定防治干预计划和行动提供有力的依据和参考。因此，如何快速的获取患者的症状、生命体征、检验检测结果、医疗影像、诊断、处方、医嘱、手术、住院和账单等全周期数据，实现对终端数据的快速采集，为后续得大数据处理工作提供支撑，是本领域技术人员需要解决的问题。
技术实现思路
本专利技术的目的在于提供一种数据采集方法、装置及系统，以实现从业务数据库中快速获取数据，为后续得大数据处理工作提供支撑。为实现上述目的，本专利技术实施例提供了如下技术方案：一种数据采集方法，包括：通过数据抽取线程从对应的业务数据库中抽取原始数据；利用数据清洗线程对所述原始数据进行筛选过滤，生成第一处理数据；利用数据加工线程对所述第一处理数据的类型进行转换，生成第二处理数据；利用数据封装线程将所述第二处理数据封装成对应的XML文件；其中，所述数据抽取线程、所述数据清洗线程、所述数据加工线程和所述数据封装线程的线程数量参数均为可自定义的线程数量参数。其中，所述通过数据抽取线程从对应的业务数据库中抽取原始数据之前，还包括：接收用户输入的线程数量参数修改指令；利用所述线程数量参数修改指令，对所述数据抽取线程、所述数据清洗线程、所述数据加工线程和所述数据封装线程中至少一者的线程数量参数进行调整。其中，所述通过数据抽取线程从对应的业务数据库中抽取原始数据之后，还包括：检测所述原始数据的第一数据属性；根据所述第一数据属性调整所述数据清洗线程的线程数量参数。其中，所述利用数据清洗线程对所述原始数据进行筛选过滤，生成第一处理数据之后，还包括：检测所述第一处理数据的第二数据属性；根据所述第二数据属性调整所述数据加工线程的线程数量参数。其中，所述利用数据加工线程对所述第一处理数据的类型进行转换，生成第二处理数据之后，还包括：检测所述第二处理数据的第三数据属性；根据所述第三数据属性调整所述数据封装线程的线程数量参数。其中，所述将利用数据封装线程将所述第二处理数据封装成对应的XML文件之后，还包括：根据所述XML文件的优先级信息，确定与所述XML文件对应的目标业务队列；将所述XML文件存入所述目标业务队列；通过与所述XML文件对应的数据解析线程解析所述目标业务队列中的XML文件，并存入数据库。一种数据采集装置，包括：数据抽取模块，用于通过数据抽取线程从对应的业务数据库中抽取原始数据；数据清洗模块，用于利用数据清洗线程对所述原始数据进行筛选过滤，生成第一处理数据；数据加工模块，用于利用数据加工线程对所述第一处理数据的类型进行转换，生成第二处理数据；数据封装模块，用于利用数据封装线程将所述第二处理数据封装成对应的XML文件；其中，所述数据抽取线程、所述数据清洗线程、所述数据加工线程和所述数据封装线程的线程数量参数均为可自定义的线程数量参数。其中，还包括：接收模块，用于接收用户输入的线程数量参数修改指令；第一线程数量参数调整模块，用于利用所述线程数量参数修改指令，对所述数据抽取线程、所述数据清洗线程、所述数据加工线程和所述数据封装线程中至少一者的线程数量参数进行调整。其中，还包括：检测模块，用于通过数据抽取线程从对应的业务数据库中抽取原始数据之后，检测所述原始数据的第一数据属性；第二线程数量参数调整模块，用于根据所述第一数据属性调整所述数据清洗线程的线程数量参数。一种数据采集系统，包括上述数据采集装置，还包括：数据中转装置，用于根据所述XML文件的优先级信息，确定与所述XML文件对应的目标业务队列，并将所述XML文件存入所述目标业务队列；数据解析装置，用于通过与所述XML文件对应的数据解析线程解析所述目标业务队列中的XML文件，并存入数据库。通过以上方案可知，本专利技术实施例提供的一种数据采集方法，包括：通过数据抽取线程从对应的业务数据库中抽取原始数据；利用数据清洗线程对所述原始数据进行筛选过滤，生成第一处理数据；利用数据加工线程对所述第一处理数据的类型进行转换，生成第二处理数据；利用数据封装线程将所述第二处理数据封装成对应的XML文件；其中，所述数据抽取线程、所述数据清洗线程、所述数据加工线程和所述数据封装线程的线程数量参数均为可自定义的线程数量参数；可见，在本实施例中，获取业务数据库中的原始数据时，可通过与该业务数据库对应的数据抽取线程获取原始数据，从而增加了数据采集装置的横向扩展性；并且，本方案中通过单独的数据清洗线程、数据加工线程和数据封装线程对原始数据进行处理，这样在每个线程处理数据时，可通过调整线程数量参数控制线程的启停，从而增加了线程启停的灵活性，提高采集效率；本专利技术实施例还公开了一种数据采集装置及系统，同样能实现上述技术效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例公开的一种数据采集方法流程示意图；图2为本专利技术实施例公开的一种数据采集系统结构示意图；图3为本专利技术实施例公开的一种数据采集装置结构示意图；图4为本专利技术实施例公开的另一种数据采集装置系统示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例公开了一种数据采集方法、装置及系统，以实现从业务数据库中快速获取数据，为后续得大数据处理工作提供支撑。参见图1，本专利技术实施例提供的一种数据采集方法，包括：S101、通过数据抽取线程从对应的业务数据库中抽取原始数据；具体的，参见图2为本实施例公开的数据采集系统结构示意图；本方案中的每个数据抽取线程与每个业务数据库相对应，即：数据抽取线程1与业务数据库1相对应，数据抽取线程2与业务数据库2相对应……数据抽取线程N与业务数据库N相对应；由于每个业务数据库对应的数据抽取线程都是单独的线程，因此，若需要从某个业务数据库中抽取大量数据时，则可以通过设置与该业务数据库对应的数据抽取线程的线程数量参数，通过启动更多的数据抽取线程，实现更快的数据抽取，减少数据抽取时间。S102、利用数据清洗线程对所述原始数据进行筛选过滤，生成第一处理数据；具体的，参见图2，在本实施例中的数据清洗线程与业务数据库相对应，即：数据清洗线程1、数据抽取线程1与业务数据库1相对应，数据清洗线程2、数据抽取线程2与业务数据库2相对应……数据清洗线程3、数据抽取线程N与业务数据库N相对应；也就是说，每个业务数据库都有其单独的数据清洗线程，这样在需要快速处理该业务数据库对应的数据时，或者本文档来自技高网...

【技术保护点】
一种数据采集方法，其特征在于，包括：通过数据抽取线程从对应的业务数据库中抽取原始数据；利用数据清洗线程对所述原始数据进行筛选过滤，生成第一处理数据；利用数据加工线程对所述第一处理数据的类型进行转换，生成第二处理数据；利用数据封装线程将所述第二处理数据封装成对应的XML文件；其中，所述数据抽取线程、所述数据清洗线程、所述数据加工线程和所述数据封装线程的线程数量参数均为可自定义的线程数量参数。

【技术特征摘要】
1.一种数据采集方法，其特征在于，包括：通过数据抽取线程从对应的业务数据库中抽取原始数据；利用数据清洗线程对所述原始数据进行筛选过滤，生成第一处理数据；利用数据加工线程对所述第一处理数据的类型进行转换，生成第二处理数据；利用数据封装线程将所述第二处理数据封装成对应的XML文件；其中，所述数据抽取线程、所述数据清洗线程、所述数据加工线程和所述数据封装线程的线程数量参数均为可自定义的线程数量参数。2.根据权利要求1所述的数据采集方法，其特征在于，所述通过数据抽取线程从对应的业务数据库中抽取原始数据之前，还包括：接收用户输入的线程数量参数修改指令；利用所述线程数量参数修改指令，对所述数据抽取线程、所述数据清洗线程、所述数据加工线程和所述数据封装线程中至少一者的线程数量参数进行调整。3.根据权利要求1所述的数据采集方法，其特征在于，所述通过数据抽取线程从对应的业务数据库中抽取原始数据之后，还包括：检测所述原始数据的第一数据属性；根据所述第一数据属性调整所述数据清洗线程的线程数量参数。4.根据权利要求3所述的数据采集方法，其特征在于，所述利用数据清洗线程对所述原始数据进行筛选过滤，生成第一处理数据之后，还包括：检测所述第一处理数据的第二数据属性；根据所述第二数据属性调整所述数据加工线程的线程数量参数。5.根据权利要求4所述的数据采集方法，其特征在于，所述利用数据加工线程对所述第一处理数据的类型进行转换，生成第二处理数据之后，还包括：检测所述第二处理数据的第三数据属性；根据所述第三数据属性调整所述数据封装线程的线程数量参数。6.根据权利要求1-5中任意一项所述的数据采集方法，其特征在于，所述将利用数据封装线程将所述第二处理数据封装成对应的XML文件之后，还包括：根据所述XML文件的...

【专利技术属性】
技术研发人员：刘鹏科，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41