一种数据识别方法、装置和存储介质制造方法及图纸

本发明专利技术公开了一种数据识别方法、装置和存储介质，其中，方法包括：获取第一表格；根据预设的特征获取策略，确定第一表格的第一列特征向量集合；第一表格包括至少一列；第一列特征向量集合包括至少一列中各列的特征向量；特征向量包括相应列的字符特征；运用预设的识别模型，识别第一列特征向量集合，得到第一分析结果向量；识别模型包括至少一个分类器模型；至少一个分类器模型中每个分类器模型分别用于识别相应类表格；第一分析结果向量包括至少一列中各列对应相应分类器模型的分析结果；根据第一分析结果向量确定第一表格与至少一类表格中各类表格的相似度，根据确定的相似度确定识别结果；识别结果表征第一表格所对应的表格类别。

A data identification method, device and storage medium

【技术实现步骤摘要】
一种数据识别方法、装置和存储介质
本专利技术涉及数据识别技术，尤其涉及一种数据识别方法、装置和计算机可读存储介质。
技术介绍
表格作为组织整理数据的手段，可以包括有多种数据；敏感数据分析技术中包括敏感表格识别。相关技术中对于表格类数据识别主要以关键字内容匹配方案为主，该方案需要用户预先输入待保护的表格文件，采用摘要和关键字匹配技术对表格中特定内容进行记录，分析表格是否命中相同内容。上述方法虽然识别精确度高，但是对于内容发生变化的情况检测能力不佳。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供一种数据识别方法、装置和计算机可读存储介质。为达到上述目的，本专利技术的技术方案是这样实现的：本专利技术实施例提供了一种数据识别方法，所述方法包括：获取第一表格；根据预设的特征获取策略，确定所述第一表格的第一列特征向量集合；所述第一表格包括至少一列；所述第一列特征向量集合包括所述至少一列中各列的特征向量；所述特征向量包括相应列的字符特征；运用预设的识别模型，识别所述第一列特征向量集合，得到第本文档来自技高网...

【技术保护点】
1.一种数据识别方法，其特征在于，所述方法包括：/n获取第一表格；/n根据预设的特征获取策略，确定所述第一表格的第一列特征向量集合；所述第一表格包括至少一列；所述第一列特征向量集合包括所述至少一列中各列的特征向量；所述特征向量包括相应列的字符特征；/n运用预设的识别模型，识别所述第一列特征向量集合，得到第一分析结果向量；所述识别模型包括至少一个分类器模型；所述至少一个分类器模型中每个所述分类器模型分别用于识别相应类表格；所述第一分析结果向量包括至少一列中各列对应相应分类器模型的分析结果；/n根据所述第一分析结果向量确定所述第一表格与至少一类表格中各类表格的相似度，根据确定的相似度确定识别结果；...

【技术特征摘要】
1.一种数据识别方法，其特征在于，所述方法包括：
获取第一表格；
根据预设的特征获取策略，确定所述第一表格的第一列特征向量集合；所述第一表格包括至少一列；所述第一列特征向量集合包括所述至少一列中各列的特征向量；所述特征向量包括相应列的字符特征；
运用预设的识别模型，识别所述第一列特征向量集合，得到第一分析结果向量；所述识别模型包括至少一个分类器模型；所述至少一个分类器模型中每个所述分类器模型分别用于识别相应类表格；所述第一分析结果向量包括至少一列中各列对应相应分类器模型的分析结果；
根据所述第一分析结果向量确定所述第一表格与至少一类表格中各类表格的相似度，根据确定的相似度确定识别结果；所述识别结果表征所述第一表格所对应的表格类别。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：训练至少一个分类器模型；训练分类器模型包括：
获取至少一个样本表格；
根据预设的特征获取策略，确定所述至少一个样本表格中各样本表格对应的样本列特征向量集合；
根据所述各样本表格对应的样本列特征向量集合进行相似列合并，得到训练数据集；
根据所述训练数据集和针对所述训练数据集中各列对应的标签进行训练，得到分类器模型。


3.根据权利要求2所述的方法，其特征在于，所述根据所述各样本表格对应的样本列特征向量集合进行相似列合并，得到训练数据集，包括：
根据所述各样本表格对应的样本列特征向量集合确定至少一列对应的特征向量；
对所述至少一列对应的特征向量进行聚类，得到至少一个簇，作为所述训练数据集；所述至少一个簇中各簇包括至少一列和所述至少一列中各列对应的特征向量。


4.根据权利要求1所述的方法，其特征在于，所述运用预设的识别模型，识别所述第一列特征向量集合，得到第一分析结果向量，包括：
对所述第一列特征向量集合中各列进行相似列合并，得到第二列特征向量集合；
识别所述第二列特征向量集合，得到第一分析结果向量；
所述根据所述第一分析结果向量确定所述第一表格与至少一类表格中各类表格的相似度，包括：
确定第一列相关数目、第二列相关数目和第三列相关数目；所述第一列相关数目表征第一表格的列数目，所述第二列相关数目表征相应类表格的列数目，所述第三列相关数目表征第一表格与相应类表格共性列数目；
确定第一表格中对应的至少一种分类结果中各分类结果对应的第四列相关数目；各分类结果对应各类表格中不同的列类别；所述第四列相关数目表征所述第一表格中分类结果为相应列类别的相似列的数目；
确定相应类表格中与所述分类结果对应的簇所包括的列的数目，作为第五列相关数目；
根据所述第一列相关数目、第二列相关数目、第三列相关数目、第四列相关数目和第五列相关数目，确定所述第一表格与相应类表格的相似度。


5.根据权利要求1或2所述的方法，其特征在于，所述预设的特征获取策略，包括：
确定表格中至少一行对应的至少一列的内容值；
根据所述至少一行对应的至少一列的内容值，提取至少一列的特征向量；所述特征向量包括表格中相应列的字符相关特征；
根据所述至少一列特征向量，得到所述表格对应的列特征向量集合。


6.根据权利要求1或4所述的方法，其特征在于，所述根据确定的相似度确定识别结果，包括：
确定所述第一表格与至少一类表格的相似度；
确定与所述第一表格的相似度超过预设相似度阈值的表格的类别；
对确定的相似度超过预设相似度阈值的表格的类别进行排序，基于排序结果得到识别结果。


7.一种数据识别装置，其特征在于，所述装置包括：获取单元、处理单元和识别单元；其中，
所述获取单元，用于...

【专利技术属性】
技术研发人员：李可，张盼，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：广东;44