一种数据采集方法、装置、客户端及系统制造方法及图纸

本发明专利技术公开一种数据采集方法、装置、客户端及系统，应用于临床源数据采集，包括：向服务器端发送采集临床源数据的请求，并接收服务器端返回的允许进行临床源数据采集的响应；所述服务器端为医院生产系统；利用第一数目MAP在预先设置时间并行从所述服务器端采集临床源数据；所述第一数目根据预先设置时间确定；利用第二数目MAP并行将采集的临床源数据进行分块预处理；所述第二数目由采集的临床源数据的数据量确定；将预处理后的数据转换为预定格式的目标数据。能够对医院生产系统保存的大量临床数据进行整合。

A data acquisition method, device, client and system

The invention discloses a data acquisition method, a device, a client and a system, which is applied to the data collection of clinical sources, including: sending the request for collecting clinical source data to the server side and receiving the response of the clinical source data collection returned by the server side; the service device is the hospital production system; first, the use of the hospital production system is used. The number MAP collects the clinical source data from the server side in parallel at the predetermined time; the first number is determined according to the pre setting time; the collected clinical source data is preprocessed with the second number of MAP parallel; the second number is determined by the data amount of the collected clinical source data; the number of pre processed data is determined. The target data is converted to a predetermined format. It can integrate a large number of clinical data stored in hospital production system.

【技术实现步骤摘要】
一种数据采集方法、装置、客户端及系统
本专利技术涉及数据处理
，尤其涉及一种数据采集方法、装置、客户端及系统。
技术介绍
医院生产系统保存有患者在医院进行疾病诊断时的临床数据。临床数据包括：医嘱数据、病历数据、检验数据、心电数据、超声数据以及病理数据等等。医院生产系统保存的临床数据的数据量很大，但是，现有技术并没有对这些临床数据进行整合，因此，这些临床数据并不能为医生进行疾病诊断提供有效的辅助支持。
技术实现思路
为了解决现有技术中存在的以上技术问题，本专利技术提供一种数据采集方法、装置、客户端及系统，能够对医院生产系统保存的大量临床数据进行整合。本专利技术提供一种数据采集方法，应用于临床源数据采集，包括：向服务器端发送采集临床源数据的请求，并接收服务器端返回的允许进行临床源数据采集的响应；所述服务器端为医院生产系统；利用第一数目MAP在预先设置时间并行从所述服务器端采集临床源数据；所述第一数目根据预先设置时间确定；利用第二数目MAP并行将采集的临床源数据进行分块预处理；所述第二数目由采集的临床源数据的数据量确定；将预处理后的数据转换为预定格式的目标数据。优选地，利用第一数目MAP在预先设置时间并行从所述服务器端采集临床源数据，具体包括：根据所述预先设置时间对应的数据集数目确定所述第一数目；所述预先设置时间不同对应的数据集数目不同；根据所述数据集数目和所述第一数目随机为每个MAP分配相应的数据集；所述每个MAP根据分配的相应数据集从所述服务器端采集临床源数据。优选地，利用第二数目MAP并行将采集的临床源数据进行分块预处理，具体包括：根据所述采集的临床源数据的数据量确定所述第二数目；将所述采集的临床源数据分割为所述第二数目个源数据块；一个所述源数据块对应一个MAP；每个MAP将对应的源数据块中的临床源数据进行排序，并利用所述MAP对应的MAP-Reduce模型中的Reduce对所有MAP处理后的数据进行合并。优选地，所述将预处理后的数据转换为预定格式的目标数据，具体包括：将预处理后的数据中的字段转换为预定义编码规则的字段，将转换后的字段按照预定顺序生成目标数据；根据患者的ID将所述目标数据中同一ID患者的多条目标数据合并为一条目标数据。优选地，还包括：为每个患者的所述目标数据生成对应的唯一编码，将所述唯一编码与患者的ID形成映射；根据所述唯一编码保存每个患者的所述目标数据。优选地，还包括：保存所述采集的临床源数据作为备份数据。本专利技术还提供一种数据采集装置，应用于临床源数据采集，包括：请求单元，用于向服务器端发送采集临床源数据的请求，并接收服务器端返回的允许进行临床源数据采集的响应；所述服务器端为医院生产系统；采集单元，用于利用第一数目MAP在预先设置时间并行从所述服务器端采集临床源数据；所述第一数目根据预先设置时间确定；预处理单元，用于利用第二数目MAP并行将采集的临床源数据进行分块预处理；所述第二数目由采集的临床源数据确定；转换单元，用于将预处理后的数据转换为预定格式的目标数据。优选地，所述采集单元包括：第一数目确定子单元，用于根据所述预先设置时间对应的数据集数目确定所述第一数目；所述预先设置时间不同对应的数据集数目不同；随机分配子单元，用于根据所述数据集数目和所述第一数目随机为每个MAP分配相应的数据集；MAP采集子单元，用于所述每个MAP根据分配的相应数据集从所述服务器端采集临床源数据。优选地，所述预处理单元包括：第二数目确定子单元，用于根据所述采集的临床源数据的数据量确定所述第二数目；分割子单元，用于将所述采集的临床源数据分割为所述第二数目个源数据块；一个所述源数据块对应一个MAP；MAP处理子单元，用于每个MAP将对应的源数据块中的临床源数据进行排序，并利用所述MAP对应的MAP-Reduce模型中的Reduce对所有MAP处理后的数据进行合并。优选地，所述转换单元包括：生成子单元，用于将预处理后的数据中的字段转换为预定义编码规则的字段，将转换后的字段按照预定顺序生成目标数据；合并子单元，用于根据患者的ID将所述目标数据中同一ID患者的多条目标数据合并为一条目标数据。优选地，还包括：唯一编码生成单元，用于为每个患者的所述目标数据生成对应的唯一编码，将所述唯一编码与患者的ID形成映射；保存单元，用于根据所述唯一编码保存每个患者的所述目标数据。优选地，所述保存单元，还用于保存所述采集的临床源数据作为备份数据。本专利技术还提供一种客户端，用于采集临床源数据，向服务器端发送采集临床源数据的请求，并接收服务器端返回的允许进行临床源数据采集的响应；所述服务器端为医院生产系统；利用第一数目MAP在预先设置时间并行从所述服务器端采集临床源数据；所述第一数目根据预先设置时间确定；利用第二数目MAP并行将采集的临床源数据进行分块预处理；所述第二数目由采集的临床源数据的数据量确定；将预处理后的数据转换为预定格式的目标数据。本专利技术还提供一种临床源数据采集系统，包括：客户端和服务器端；所述客户端，用于向服务器端发送采集临床源数据的请求；所述服务器端，用于产生所述临床源数据，并接收服务器端返回的允许进行临床源数据采集的响应；所述服务器端为医院生产系统；所述客户端，还用于利用第一数目MAP在预先设置时间并行从所述服务器端采集临床源数据；所述第一数目根据预先设置时间确定；利用第二数目MAP并行将采集的临床源数据进行分块预处理；所述第二数目由采集的临床源数据的数据量确定；将预处理后的数据转换为预定格式的目标数据。本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：向服务器端发送采集临床源数据的请求，并接收服务器端返回的允许进行临床源数据采集的响应；所述服务器端为医院生产系统；利用第一数目MAP在预先设置时间并行从所述服务器端采集临床源数据；所述第一数目根据预先设置时间确定；利用第二数目MAP并行将采集的临床源数据进行分块预处理；所述第二数目由采集的临床源数据的数据量确定；将预处理后的数据转换为预定格式的目标数据。与现有技术相比，本专利技术至少具有以下优点：首先，向服务器端发送采集临床源数据的请求，并接收服务器端返回的允许进行临床源数据采集的响应；所述服务器端为医院生产系统；其次，利用第一数目MAP在预先设置时间并行从所述服务器端采集临床源数据；所述第一数目根据预先设置时间确定；然后，利用第二数目MAP并行将采集的临床源数据进行分块预处理；所述第二数目MAP由采集的临床源数据确定；最后，将预处理后的数据转换为预定格式的目标数据。由于本专利技术实施例提供的数据采集方法在数据采集阶段利用多个MAP同时从医院生产系统采集临床源数据，对采集到的临床源数据进行预处理时也是利用多个MAP同时进行预处理，因此，有效提高了数据采集和数据预处理的效率。并且，转换后获得的目标数据对医院生产系统的临床源数据进行了整合，因此，可以对整合后的目标数据进行统一分析，从而为医生进行疾病诊断提供有效的辅助支持。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性本文档来自技高网...

【技术保护点】
一种数据采集方法，其特征在于，应用于临床源数据采集，包括：向服务器端发送采集临床源数据的请求，并接收服务器端返回的允许进行临床源数据采集的响应；所述服务器端为医院生产系统；利用第一数目MAP在预先设置时间并行从所述服务器端采集临床源数据；所述第一数目根据预先设置时间确定；利用第二数目MAP并行将采集的临床源数据进行分块预处理；所述第二数目由采集的临床源数据的数据量确定；将预处理后的数据转换为预定格式的目标数据。

【技术特征摘要】
1.一种数据采集方法，其特征在于，应用于临床源数据采集，包括：向服务器端发送采集临床源数据的请求，并接收服务器端返回的允许进行临床源数据采集的响应；所述服务器端为医院生产系统；利用第一数目MAP在预先设置时间并行从所述服务器端采集临床源数据；所述第一数目根据预先设置时间确定；利用第二数目MAP并行将采集的临床源数据进行分块预处理；所述第二数目由采集的临床源数据的数据量确定；将预处理后的数据转换为预定格式的目标数据。2.根据权利要求1所述的数据采集方法，其特征在于，利用第一数目MAP在预先设置时间并行从所述服务器端采集临床源数据，具体包括：根据所述预先设置时间对应的数据集数目确定所述第一数目；所述预先设置时间不同对应的数据集数目不同；根据所述数据集数目和所述第一数目随机为每个MAP分配相应的数据集；所述每个MAP根据分配的相应数据集从所述服务器端采集临床源数据。3.根据权利要求1或2所述的数据采集方法，其特征在于，利用第二数目MAP并行将采集的临床源数据进行分块预处理，具体包括：根据所述采集的临床源数据的数据量确定所述第二数目；将所述采集的临床源数据分割为所述第二数目个源数据块；一个所述源数据块对应一个MAP；每个MAP将对应的源数据块中的临床源数据进行排序，并利用所述MAP对应的MAP-Reduce模型中的Reduce对所有MAP处理后的数据进行合并。4.根据权利要求1所述的数据采集方法，其特征在于，所述将预处理后的数据转换为预定格式的目标数据，具体包括：将预处理后的数据中的字段转换为预定义编码规则的字段，将转换后的字段按照预定顺序生成目标数据；根据患者的ID将所述目标数据中同一ID患者的多条目标数据合并为一条目标数据。5.根据权利要求1或4所述的数据采集方法，其特征在于，还包括：为每个患者的所述目标数据生成对应的唯一编码，将所述唯一编码与患者的ID形成映射；根据所述唯一编码保存每个患者的所述目标数据。6.根据权利要求1或4所述的数据采集方法，其特征在于，还包括：保存所述采集的临床源数据作为备份数据...

【专利技术属性】
技术研发人员：栗伟，张宁宁，赵大哲，孟勤，任福龙，苗苗，
申请(专利权)人：东软集团股份有限公司，东北大学，
类型：发明
国别省市：辽宁,21