基于ES的医疗主索引抽取合并方法及系统技术方案

本发明专利技术提供一种基于ES的医疗主索引抽取合并方法及系统，将数据全量抽取到sqlserver中存储，再从sqlserver中抽取数据到elasticsearch中进行抽取合并，完成主索引初始化后，并行进行实时和准实时的增量抽取，并在每次增量抽取后记录当前快照的最后一条数据的数据更新时间，在下一次增量抽取时，以所述数据更新时间为基准并回退一秒后开始增量抽取，以使临界值的数据重复处理一次。本发明专利技术的方案可实现海量数据下的高效查询，并能够增量抽取和自动修复，实现业务解耦，满足数据溯源，解决准实时性压力负载问题。解决准实时性压力负载问题。解决准实时性压力负载问题。

【技术实现步骤摘要】
基于ES的医疗主索引抽取合并方法及系统


[0001]本专利技术属于医疗软件
，涉及医疗主索引，具体涉及一种基于ES的医疗主索引抽取合并方法及系统。

技术介绍

[0002]目前，市面上的医疗主索引管理解决了患者信息主索引。现有技术中，多根据规则，通过单一的数据库中数据对比方式进行主索引合并，如图1所示为现有技术的一种传统新增主索引方法流程，通过主索引配置后进行抽取数据，然后形成主索引，这种方式不能做到通用化和及时性；并且一般具体是单一的数据库数据的字符串匹配处理，这样的方式限制了能处理的规则，缺乏权重处理机制，也不方便进行主索引信息的完善；并且遗漏数据是不可避免的问题，在大量数据的情况下数据查询效率低，且不具备自动修复的能力。

技术实现思路

[0003]为解决上述相关现有技术不足，本专利技术提供一种基于ES的医疗主索引抽取合并方法及系统，实现海量数据下的高效查询，并能够增量抽取和自动修复，实现业务解耦，满足数据溯源，解决准实时性压力负载问题。
[0004]为了实现本专利技术的目的，拟采用以下方案：一种基于ES的医疗主本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ES的医疗主索引抽取合并方法，其特征在于，包括步骤：将第三方医疗数据全量抽取到sqlserver中进行临时存储；根据预先配置的主索引合并规则，从sqlserver中抽取数据到elasticsearch中，并在elasticsearch所创建的索引中预留四个空字段：groupId，ruleId，isMerge，isHead；对elasticsearch进行http的交互请求，将符合所述合并规则的数据分到同一个groupId中，并且对ruleId进行赋值，并将isMerge打上常量值标记以与未合并的数据区分；根据预先配置的主索引选举规则，从当前同一个groupId且isMerged相同的数据里面选择一条作为主索引数据，并对isHead打上常量标记；发送http请求到elasticsearch，修改并添加主索引数据，完成主索引初始化；并行进行实时和准实时的增量抽取，其中，实时抽取是将通过对外暴露的接口获取到的第三方通过http请求传入的数据入库到sqlserver中并同时推送到elasticsearch中进行合并操作，准实时抽取是根据预先配置的抽取频率从sqlserver中抽取增量数据到elasticsearch中进行合并操作；其中，在每次增量抽取后记录当前快照的最后一条数据的数据更新时间，在下一次增量抽取时，以所述数据更新时间为基准并回退一秒后开始增量抽取，以使临界值的数据重复处理一次。2.根据权利要求1所述的基于ES的医疗主索引抽取合并方法，其特征在于，groupId表示合并后同一个组的id字符串，ruleId表示规则的id，isMerge表示是否为合并数据，isHead表示是否为主索引数据。3.根据权利要求1所述的基于ES的医疗主索引抽取合并方法，其特征在于，预先配置的主索引合并规则是指将对预定字段配置为相同值的数据进行合并。4.一种基于ES的医疗主索引抽取合并系统，其特征在于，包括：全量抽取模块，用于将第三方医疗数据全量抽取到sqlserver中进行临时存储；并根据预先配置的主索引合并规则，从sqlserver中抽取数据到elasticsearch中，并在elasticsearch所创建的索引中预留四个空字段：groupI...

【专利技术属性】
技术研发人员：关潇逸，雷雨，黄攀，
申请(专利权)人：成都医星科技有限公司，
类型：发明
国别省市：