红斑病电子病历病变分类的增量属性约简Spark方法技术

本发明专利技术提供了一种红斑病电子病历病变分类的增量属性约简Spark方法，基于知识粒度的动态变化数据集增量约简算法与处理大数据常用的Spark并行框架相结合，在处理复杂，大规模和动态的数据集方面有着良好的效果，有效提高处理速度，能够进一步提高电子病历属性约简的效率和精度。

【技术实现步骤摘要】
红斑病电子病历病变分类的增量属性约简Spark方法
本专利技术涉及
，尤其涉及一种红斑病电子病历病变分类的增量属性约简Spark方法。
技术介绍
红斑性皮肤病是指以多形红色斑疹为特点的皮肤病。红斑病指的是临床上常见的原发性皮损，大部分炎症性皮肤病都可出现红斑，根据其不同的临床特征，可分为多种类型。红斑种类繁多，按颜色可以分为淡红色、紫红色、暗红色；按范围可呈局限性、弥漫性；按形态可呈斑状、网状、环状、地图状等。红斑病的鉴别诊断在皮肤病学中是一种常见问题，它们都具有红斑和脱屑的临床特征，差异很小，难以区分和诊断。鉴别诊断的另一个困难是，一种疾病可能在开始阶段就显示出另一种疾病的特征，而在随后的阶段可能具有其他特征。科技的发展使得计算机可以参与实际应用中对红斑病进行协助分类，便于医生对其进行诊断，具有重要的意义与价值。但是随着医院规模的不断增大，医院新增的患者信息骤然增多，由于患者信息是动态变化的，因此需要重新计算决策系统以获得新的约简，从而消耗大量的计算时间。显然，普通的约简算法在处理动态决策系统时效率很低，而传统的增量属性约简方法本文档来自技高网...

【技术保护点】
1.红斑病电子病历病变分类的增量属性约简Spark方法，其特征在于，包括以下步骤：/n步骤1、在Spark框架下的主控节点master中，通过Hadoop分布式文件系统HDFS读取红斑病电子病历的数据集合S，约简属性集B以及新增红斑病病历数据集S'，红斑病病历信息的数据集合S和新增红斑病病历数据集S'定义如下：/nS＝{U,CUD,V,f}，其中U＝{x

【技术特征摘要】
1.红斑病电子病历病变分类的增量属性约简Spark方法，其特征在于，包括以下步骤：
步骤1、在Spark框架下的主控节点master中，通过Hadoop分布式文件系统HDFS读取红斑病电子病历的数据集合S，约简属性集B以及新增红斑病病历数据集S'，红斑病病历信息的数据集合S和新增红斑病病历数据集S'定义如下：
S＝{U,CUD,V,f}，其中U＝{x1,x2,...,xN}表示红斑病病历信息中的患者数据，N表示患者数据的总数量；S'＝{U',CUD,V,f}，其中U'＝{x1,x2,...,xM}表示新增红斑病病历信息中的患者数据，M表示新增病历中患者数据的总数量；C表示红斑病病历条件属性的非空有限集；D表示红斑病病历信息决策属性的非空有限集，且CIV＝Ua∈CUDVa,Va是红斑病病历信息属性a的可能情况；f:U×(CUD)→V是一个信息函数，它为每个患者赋予一个信息值，即x∈U,f(x,a)∈Va；
步骤2、根据新增红斑病病历信息决策属性D的不同信息值个数，将新增红斑病病历信息集合S'划分成n个红斑病病历信息子集S'＝{S'1,S'2,...,S'n}，且满足S'i＝{U'i,CUD,V,f}，其中表示子节点i上新增红斑病病历信息中的患者数据，i≠j,i＝1,2,...,n,j＝1,2,...,n，并将原红斑病病历数据集S和划分的新增病历信息子集S'i发送到相应的从节点slavei上；
步骤3、在从节点slavei中，分别计算原红斑病病历数据集对原约简集的划分原红斑病病历数据集对条件属性集的划分新增红斑病病历数据集对原约简集的划分新增红斑病病历数据集对条件属性集的划分
步骤4、在从节点slavei中，分别计算红斑病病历总数据集对原约简集的划分红斑病病历总数据集对条件属性集的划分
步骤5、在从节点slavei中，分别计算新增红斑病病历数据集中条件属性集相对于决策属性的知识粒度是否等于原约简属性集相对于决策属性的知识粒度若相等，则原约简集不变，跳转至步骤7，否则，继续步骤6；
步骤6、在从节点slavei中，分别计算总红斑病病历数据集中条件属性集相对于决策属性的知识粒度是否等于原约简属性集相对于决策属性的知识粒度若不等，则从候选属性集I中挑选属性重要度最大的属性amax添加进红斑病病历约简集，其中I＝(C-B)，即条件属...

【专利技术属性】
技术研发人员：丁卫平，秦廷桢，李铭，孙颖，鞠恒荣，沈鑫杰，潘柏儒，冯志豪，黄嘉爽，程纯，曹金鑫，
申请(专利权)人：南通大学，
类型：发明
国别省市：江苏;32