数据处理方法、装置、设备、介质及程序产品制造方法及图纸

本公开提供了一种数据处理方法、装置、设备、介质及程序产品，涉及自然语言处理和云计算等人工智能领域。该方法的一实施方式包括：响应于接收到数据处理请求，获取待处理数据对应的配置文件，其中，数据处理请求用于指示根据配置文件对待处理数据进行处理；对配置文件进行解析，得到解析结果；根据解析结果的数据处理措施，对待处理数据进行处理。对待处理数据进行处理。对待处理数据进行处理。

【技术实现步骤摘要】
数据处理方法、装置、设备、介质及程序产品


[0001]本公开涉及计算机领域，具体涉及自然语言处理和云计算等人工智能领域，尤其涉及一种数据处理方法、装置、设备、介质及程序产品。

技术介绍

[0002]随着互联网的快速发展，多数机构也已采用计算机进行业务处理。但由于各家机构所用的计算机平台不同，导致数据的版本，统计方式，存储介质，资源分配，数据关系等都各有不同，例如，医疗机构、电网机构、网络机构等。下面以医疗机构为例，现在大数据普及至医疗行业，医疗相关的产业顺应大数据发展，许多医疗机构开始对待处理数据结构化归档。由于医疗机构数据存储方式的不同，导致医疗机构与医疗机构，医疗机构与监管机构对接逻辑复杂，单套逻辑对应单监管实例，开发成本高，重复性工作大，灵活性差，加之现行医疗机构数量大，短时间内处理难度高，数据多样性高，处理后维护技术难度大。
[0003]目前，待处理数据处理目前普遍采用以下方案解决：(1)根据医疗机构实际情况制定处理开发方案，需要处理的医疗单据顺序开发，每条处理逻辑或医疗单据都是相对独立的一套系统，对于同一家医疗机构的同一套数据版本，可实现数据处理。(2)利用数据库存储过程来定制处理方案，需要处理的医疗单据通过编写相应的存储过程进行处理，对于不同医疗机构的同一套数据版本，可达到拷贝粘贴存储过程达到快速数据处理。(3)采用数据库的查询，将处理需要的元数据使用结构化查询语言(Structural Query Language，SQL)获取后通过开发处理程序进行处理，针对同一套数据库的数据结构，可使用一套程序进行数据处理。

技术实现思路

[0004]本公开实施例提出了一种数据处理方法、装置、设备、介质及程序产品。
[0005]第一方面，本公开实施例提出了一种数据处理方法，包括：响应于接收到数据处理请求，获取待处理数据对应的配置文件，其中，数据处理请求用于指示根据配置文件对待处理数据进行处理；对配置文件进行解析，得到解析结果；根据解析结果的数据处理措施，对待处理数据进行处理。
[0006]第二方面，本公开实施例提出了一种数据处理装置，包括：数据获取模块，被配置响应于接收到数据处理请求，获取待处理数据对应的配置文件，其中，数据处理请求用于指示根据配置文件对待处理数据进行处理；结果解析模块，被配置成对配置文件进行解析，得到解析结果；数据处理模块，被配置成根据解析结果的数据处理措施，对待处理数据进行处理。
[0007]第三方面，本公开实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面描述的方法。
[0008]第四方面，本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储
介质，计算机指令用于使计算机执行如第一方面描述的方法。
[0009]第五方面，本公开实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面描述的方法。
[0010]本公开实施例提供的数据处理方法、装置、设备、介质及程序产品，首先在接收到数据处理请求时，获取数据处理请求中待处理数据对应的配置文件，该数据处理请求用于指示根据配置文件对待处理数据进行处理；然后对配置文件进行解析，得到解析结果；最后根据解析结果的数据处理措施，对待处理数据进行处理。可以根据配置文件解析得到的数据处理措施，对待处理数据进行处理；能够基于配置文件解析得到的数据处理措施实现对待处理数据的处理。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0013]图1是本公开可以应用于其中的示例性系统架构图；
[0014]图2是根据本公开的数据处理方法的一个实施例的流程图；
[0015]图3是数据映射、文本结构化和数据清洗组合的一个示意图；
[0016]图4是数据映射、文本结构化和数据清洗组合的一个示意图；
[0017]图5是下钻过程示意图；
[0018]图6是数据映射示意图；
[0019]图7是根据本公开的数据处理方法的一个实施例的流程图；
[0020]图8是根据本公开的数据处理装置的一个实施例的结构示意图；
[0021]图9是用来实现本公开实施例的电子设备的框图。
具体实施方式
[0022]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0023]需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
[0024]图1示出了可以应用本公开的数据处理方法或数据处理装置的实施例的示例性系统架构100。
[0025]如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0026]用户可以使用终端设备101、102、103通过网络104与服务器105交互，例如待处理
数据。终端设备101、102、103上可以安装有各种客户端应用、智能交互应用，例如数据处理应用、数据筛选软件等等。
[0027]终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103时，终端设备可以为与用户通过键盘、触摸板、显示屏、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如PC(Personal Computer，个人计算机)、手机、智能手机、PDA(Personal Digital Assistant，个人数字助手)、可穿戴设备、PPC(Pocket PC，掌上电脑)、平板电脑、智能车机、智能电视、智能音箱、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
[0028]服务器105可以提供各种服务。例如，服务器105可以在接收到终端设备101、102、103发送的数据处理请求时，获取待处理数据对应的配置文件，其中，数据处理请求用于指示根据配本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：响应于接收到数据处理请求，获取待处理数据对应的配置文件，其中，所述数据处理请求用于指示根据所述配置文件对所述待处理数据进行处理；对所述配置文件进行解析，得到解析结果；根据所述解析结果的数据处理措施，对所述待处理数据进行处理。2.根据权利要求1所述的方法，其中，所述根据所述解析结果的数据处理措施，对所述待处理数据进行处理，包括：响应于所述解析结果为目标格式的解析结果，根据所述目标格式的解析结果的数据处理措施，对所述待处理数据进行处理。3.根据权利要求1或2所述的方法，其中，所述根据所述解析结果的数据处理措施，对所述待处理数据进行处理，包括：根据与所述解析结果的数据处理措施对应的预设的函数体系，对所述待处理数据进行处理。4.根据权利要求3所述的方法，其中，所述数据处理措施包括以下至少一项：数据映射、文本结构化、数据清洗；其中，所述数据映射用于将所述待处理数据中的结构化数据映射至目标字段上，所述文本结构化用于提取所述待处理数据中文本数据的关键字和值，组成结构化数据，所述数据清洗用于将所述待处理数据中的非标准化数据进行清洗，得到标准化数据。5.根据权利要求4所述的方法，其中，所述数据映射基于以下步骤确定：根据所述函数体系中的数据抽取函数，在所述配置文件中包括的预设的数据抽取位置处抽取待处理数据；根据所述函数体系中的筛选函数，根据所述待处理数据获取筛选后的数据集；将筛选后的数据集中的待处理数据映射至目标字段上。6.根据权利要求5所述的方法，其中，所述根据所述函数体系中的筛选函数，根据所述待处理数据获取筛选后的数据集，包括：根据所述待处理数据的ID或路径，获取对应的数据源；根据所述函数体系中下钻对应的筛选函数，根据所述配置文件中的字段之间的预设关系从下钻数据源获取筛选后的数据集。7.根据权利要求2所述的方法，其中，所述目标格式为JSON、XML，或YAML。8.根据权利要求1或2所述的方法，其中，所述配置文件的格式为HOCON。9.一种数据处理装置，包括：数据获取模块，被配置响应于接收到数据处理请求，获取待处理数据对应的配置文件，其中，所述数据处理请求用于指示根据所述配置文件对所述待处理数据进行处理；结果解析模块，被配置成对所述配置文件进行解析，得到解析结果；数据处理模块，被配置成根据所述解析结果的数据处理措施，对所述待处理数...

【专利技术属性】
技术研发人员：张瑞，许超，石晓坤，孟迪，吴家林，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：