一种宽表数据校验方法、装置、设备和存储介质制造方法及图纸

本说明书实施方式提供了一种宽表数据校验方法、装置、设备及存储介质，所述方法包括：根据同一时间窗口，从多个源数据表中分别获取处于所述时间窗口内的源数据，得到多个源数据集，从宽表中获取处于所述时间窗口内的宽表数据，得到宽表数据集；所述时间窗口为滚动时间窗口；根据预设加工规则，将所述多个源数据集中的源数据进行加工处理得到校验数据集；在所述宽表数据集中的宽表数据与所述校验数据集中的校验数据一致的情况下，认定所述宽表数据集中的宽表数据校验成功。本说明书实施方式可以实现在多个源数据表将数据同步至宽表的过程中，针对多个源数据表和宽表之间进行快速数据校验，提高了宽表数据同步的准确性。提高了宽表数据同步的准确性。提高了宽表数据同步的准确性。

【技术实现步骤摘要】
一种宽表数据校验方法、装置、设备和存储介质


[0001]本说明书中实施方式关于计算机
，具体涉及一种数据校验方法、装置、设备和存储介质。

技术介绍

[0002]在医疗领域中，医生常常需要记录病人的各种病体特征数据，这些数据往往包括有多种属性，具有“一词多义”的特点，为了适应病体特征数据复杂多样的属性，可以将病体特征数据等医疗数据的属性数据以实体
‑
属性
‑
值(Entity
‑
Attribute
‑
Value，EAV)数据表进行存储，通过EAV数据表可以动态添加病体特征数据的属性，而不需要改变数据表的结构。
[0003]目前，为了提高数据查询性能和分析能力，常常需要将多个数据表中的数据同步至一个宽表中，在针对将多个数据表中的数据同步至宽表的场景时，对宽表数据的校验通常是为了确保同步过程不出错，而一旦数据同步发生错误，便针对该部分出现错误的数据重新生成同步指令。而在一些情况下，数据传输过程中，可能会出现数据丢失、内容篡改等问题，这些问题可能不会导致同步失败，而实际本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种宽表数据校验方法，其特征在于，所述方法包括：根据同一时间窗口，从多个源数据表中分别获取处于所述时间窗口内的源数据，得到多个源数据集，从宽表中获取处于所述时间窗口内的宽表数据，得到宽表数据集；所述时间窗口为滚动时间窗口；根据预设加工规则，将所述多个源数据集中的源数据进行加工处理得到校验数据集；在所述宽表数据集中的宽表数据与所述校验数据集中的校验数据一致的情况下，认定所述宽表数据集中的宽表数据校验成功。2.根据权利要求1所述的方法，其特征在于，源数据表中的源数据具有对应的关联信息，所述多个源数据表中的源数据通过所述关联信息相关联；所述根据预设加工规则，将所述多个源数据集中的源数据进行加工处理得到校验数据集，包括：根据预设加工规则，分别将所述多个源数据集中的相关联的源数据进行加工处理，得到多个校验数据；所述校验数据集包括所述多个校验数据。3.根据权利要求1所述的方法，其特征在于，所述宽表数据集中的宽表数据具有唯一标识所述宽表数据的标识信息；所述校验数据集中的校验数据具有唯一标识所述校验数据的标识信息；所述在所述宽表数据集中的宽表数据与所述校验数据集中的校验数据一致的情况下，认定所述宽表数据集中的宽表数据校验成功，包括：根据所述宽表数据集中的宽表数据的标识信息和所述校验数据集中的校验数据的标识信息，确定所述宽表数据集中的宽表数据与所述校验数据集中的校验数据是否一致；在所述宽表数据集中的宽表数据与所述校验数据集中的校验数据一致的情况下，认定所述宽表数据集中的宽表数据校验成功。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：在所述宽表数据集中的宽表数据与所述校验数据集中的校验数据不一致的情况下，从所述校验数据集的校验数据中确定出缺失数据，并将当前的时间窗口的开始时间作为下一个时间窗口的开始时间；所述缺失数据为所述宽表数据集在所述校验数据集中的相对补集中的校验数据；持续计算所述缺失数据的缺失次数；所述缺失数据的缺失次数为所述宽表数据集的宽表数据被确定为所述缺失数据的次数；在所述缺失数据的缺失次数达到设定阈值的情况下，将所述缺失数据作为宽表数据添加至所述宽表数据集。5.根据权利要求4所述的方法，其特征在于，所述多个源数据集中的相关联的源数据对应的时间信息相同；所述校验数据对应的时间信息为...

【专利技术属性】
技术研发人员：陈诚，戴橙，王仕凯，
申请(专利权)人：浙江太美医疗科技股份有限公司，
类型：发明
国别省市：