一种电子文档的抽样方法及装置制造方法及图纸

技术编号:29009374 阅读:20 留言:0更新日期:2021-06-26 05:09
本发明专利技术公开了一种电子文档的抽样方法、装置、计算机可读存储介质及电子设备,方法包括:确定样本电子文档集合对应的字段关键词序列;将所述字段关键词序列转化为待抽样电子文档对应的词向量;根据各个所述待抽样电子文档分别对应的词向量,确定至少一个聚类簇;对所述聚类簇中的所述待抽样电子文档进行抽样,确定所述聚类簇对应的电子文档模板。通过本发明专利技术的技术方案,可对电子文档进行电子文档模板的抽样,之后,即可将电子文档中的数据映射到电子文档模板中,从而实现数据的结构化。从而实现数据的结构化。从而实现数据的结构化。

【技术实现步骤摘要】
一种电子文档的抽样方法及装置


[0001]本专利技术涉及数据处理
,尤其涉及一种电子文档的抽样方法及装置。

技术介绍

[0002]数据抽样是指通过某些特殊特征并结合某些算法从大量数据中抽取少量样本,且少量样本能较好的符合数据处理的目的。数据抽样可以通过较少数据,来提高对应工作的针对性及效率。
[0003]医院通过电子病历文档用于记录患者每一次的就诊信息,在国内,不同医院,由于电子病历文档中数据的分布特点及内容设定的差异,不同科室都有可能使用着不同的电子病历文档模板,相同的电子病历文档模板具有相似的数据分布特点及内容设定,不同的电子病历文档模板的电子病历文档数据分布特点及内容设定存在明显差异。
[0004]近年来我国各级医院逐渐采用电子病案管理系统代替传统的手写病历,从而累积了越来越多的医疗电子记录。另一方面,随着以大数据、人工智能为代表的信息技术与医学的深度融合,催生了诸如精准医疗、临床决策支持、医学数据挖掘、疾病风险评估等一系列新的概念和方法。但是,这些新概念、新方法的实现高度依赖巨量的真实、准确、可靠的结构化的诊疗数据。遗憾的是,现实中的病历数据大都是非结构化的。正因为如此,迫切需要对电子病历数据的深度挖掘,从而将电子病历数据映射到相同或者相似的电子病历文档模板上,从而更好的服务于医生及科学研究者开展疾病相关的研究,也可以服务于和医院相关的机构或公司相应的支撑。
[0005]但是,医院的电子病历文档的数量十分庞大的,同时数据质量存在较大差异,为了将电子病历文档中的数据映射到相同或者相似的电子病历文档模板中,从电子病历文档的中抽样出电子病历模板则成为亟待解决的问题。

技术实现思路

[0006]本专利技术提供了一种电子文档的抽样方法、装置、计算机可读存储介质及电子设备,可对电子文档进行电子文档模板的抽样,之后,即可将电子文档中的数据映射到电子文档模板中,从而实现数据的结构化。
[0007]第一方面,本专利技术提供了一种电子文档的抽样方法,包括:
[0008]确定样本电子文档集合对应的字段关键词序列;
[0009]根据所述字段关键词序列,确定待抽样电子文档对应的词向量;
[0010]根据各个所述待抽样电子文档分别对应的词向量,对各个所述待抽样电子文档进行聚类并划分为至少一个聚类簇;
[0011]对所述聚类簇中的所述待抽样电子文档进行抽样,确定所述聚类簇对应的电子文档模板。
[0012]优选地,
[0013]所述确定样本电子文档集合对应的字段关键词序列,包括:
[0014]对样本电子文档集合中的每个样本电子文档进行分句,确定所述样本电子文档集合对应的文本串集合;
[0015]根据预设字段关键词集合,对所述样本电子文档集合对应的文本串集合进行过滤,确定所述样本电子文档集合对应的关键词集合;
[0016]根据所述关键词集合,确定样本电子文档集合对应的字段关键词序列。
[0017]优选地,
[0018]所述根据所述关键词集合,确定样本电子文档集合对应的字段关键词序列,包括:
[0019]针对所述关键词集合中的每个关键词,确定所述关键词在所述样本电子文档集合中的重复次数;
[0020]当所述重复次数满足条件时,将所述重复次数对应的所述关键词确定为字段关键词;
[0021]通过各个所述字段关键词,形成所述字段关键词序列。
[0022]优选地,
[0023]还包括:
[0024]针对所述字段关键词序列中每个所述字段关键词,确定所述字段关键词在所述样本电子文档集合中的词频和逆向文件频率指数;
[0025]根据所述字段关键词对应的词频和逆向文件频率指数,确定所述字段关键词对应的第一权重值;
[0026]则,所述根据所述字段关键词序列,确定待抽样电子文档对应的词向量,包括:
[0027]根据所述字段关键词序列中每个所述字段关键词对应的第一权重值,确定待抽样电子文档对应的词向量。
[0028]优选地,
[0029]所述根据所述字段关键词序列中每个所述字段关键词对应的第一权重值,确定待抽样电子文档对应的词向量,包括:
[0030]若待抽样电子文档中存在所述字段关键词,将所述字段关键词对应的第一权重值确定为所述字段关键词对应的第二权重值;
[0031]若待抽样电子文档中不存在所述字段关键词,将预设值确定为所述字段关键词对应的第二权重值;
[0032]将所述字段关键词序列中每个所述字段关键词对应的第二权重值,转化为所述待抽样电子文档对应的词向量。
[0033]优选地,
[0034]所述根据各个所述待抽样电子文档分别对应的词向量,对各个所述待抽样电子文档进行聚类并划分为至少一个聚类簇,包括:
[0035]对各个所述待抽样电子文档分别对应的词向量进行无监督聚类,确定聚类种类;
[0036]根据所述聚类种类,对各个所述待抽样电子文档进行聚类并划分为至少一个聚类簇。
[0037]优选地,
[0038]所述对各个所述待抽样电子文档分别对应的词向量进行无监督聚类,确定聚类种类,包括:
[0039]对各个所述待抽样电子文档进行无监督聚类,确定聚类种类和聚类误差的曲线;
[0040]根据所述聚类种类和聚类误差的曲线,确定聚类种类。
[0041]第二方面,本专利技术提供了一种电子文档的抽样装置,包括:
[0042]第一集合确定模块,用于确定样本电子文档集合对应的字段关键词序列;
[0043]向量确定模块,用于将所述字段关键词序列转化为待抽样电子文档对应的词向量;
[0044]第二集合确定模块,用于根据各个所述待抽样电子文档分别对应的词向量,确定至少一个聚类簇;
[0045]抽样模块,用于对所述聚类簇中的所述待抽样电子文档进行抽样,确定所述聚类簇对应的电子文档模板。
[0046]第三方面,本专利技术提供了一种计算机可读存储介质,包括执行指令,当电子设备的处理器执行所述执行指令时,所述处理器执行如第一方面中任一所述的方法。
[0047]第四方面,本专利技术提供了一种电子设备,包括处理器以及存储有执行指令的存储器,当所述处理器执行所述存储器存储的所述执行指令时,所述处理器执行如第一方面中任一所述的方法。
[0048]本专利技术提供了一种电子文档的抽样方法、装置、计算机可读存储介质及电子设备,该方法通过确定样本电子文档集合对应的字段关键词序列,基于字段关键词序列,确定待抽样电子文档对应的词向量,根据各个待抽样电子文档分别对应的词向量,对各个所述待抽样电子文档进行聚类并划分为若干个聚类簇,对若干个聚类簇分别进行抽样,从而确定出电子文档模板集合。综上所述,通过本专利技术的技术方案,可对电子文档进行电子文档模板的抽样,之后,即可将电子文档中的数据映射到电子文档模板中,从而实现数据的结构化。
[0049]上述的非惯用的优选方式所具有的进一步效果将在下文中结合具本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种电子文档的抽样方法,其特征在于,包括:确定样本电子文档集合对应的字段关键词序列;根据所述字段关键词序列,确定待抽样电子文档对应的词向量;根据各个所述待抽样电子文档分别对应的词向量,对各个所述待抽样电子文档进行聚类并划分为至少一个聚类簇;对所述聚类簇中的所述待抽样电子文档进行抽样,确定所述聚类簇对应的电子文档模板。2.根据权利要求1所述的方法,其特征在于,所述确定样本电子文档集合对应的字段关键词序列,包括:对样本电子文档集合中的每个样本电子文档进行分句,确定所述样本电子文档集合对应的文本串集合;根据预设字段关键词集合,对所述样本电子文档集合对应的文本串集合进行过滤,确定所述样本电子文档集合对应的关键词集合;根据所述关键词集合,确定样本电子文档集合对应的字段关键词序列。3.根据权利要求2所述的方法,其特征在于,所述根据所述关键词集合,确定样本电子文档集合对应的字段关键词序列,包括:针对所述关键词集合中的每个关键词,确定所述关键词在所述样本电子文档集合中的重复次数;当所述重复次数满足条件时,将所述重复次数对应的所述关键词确定为字段关键词;通过各个所述字段关键词,形成所述字段关键词序列。4.根据权利要求1所述的方法,其特征在于,还包括:针对所述字段关键词序列中每个所述字段关键词,确定所述字段关键词在所述样本电子文档集合中的词频和逆向文件频率指数;根据所述字段关键词对应的词频和逆向文件频率指数,确定所述字段关键词对应的第一权重值;则,所述根据所述字段关键词序列,确定待抽样电子文档对应的词向量,包括:根据所述字段关键词序列中每个所述字段关键词对应的第一权重值,确定待抽样电子文档对应的词向量。5.根据权利要求4所述的方法,其特征在于,所述根据所述字段关键词序列中每个所述字段关键词对应的第一权重值,确定待抽样电子文档对应的...

【专利技术属性】
技术研发人员:杨宝山强晟
申请(专利权)人:医渡云北京技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1