验证结构化数据制造技术

技术编号:23164786 阅读:26 留言:0更新日期:2020-01-21 22:36
一种验证结构化数据(200)的方法(700),所述方法包括:接收结构化数据;将结构化数据解构为对应的元素(210);以及获得具有对应的标准元素(260)的标准结构化数据(250)。所述方法还包括将结构化数据的元素与标准结构化数据的标准元素进行比较以识别任何元素差异(440)。对于每个元素差异,所述方法包括:将元素差异与元素比较注册表(164)进行比较;基于启发式或至少一个规则确定元素差异是预期的还是非预期的;以及当元素差异是非预期的时,生成指示结构化数据中存在非预期的元素的信号(172)。

【技术实现步骤摘要】
【国外来华专利技术】验证结构化数据
本公开涉及验证结构化结构。
技术介绍
当结构化数据包括可变元素时,很难确定计算设备上的结构化数据是否包含恶意代码或非预期的代码。例如,每当计算设备启动时,与制造商相关联的计算设备的二进制数据都不可避免地某种程度地改变。因此,在不同时间从同一计算设备获取的结构化数据样本之间或来自与同一制造商相关联的不同计算设备的相同类型的结构化数据样本之间可能存在差异,这并不是数据被不良或恶意代码感染的结果。由于预期结构化数据的某些部分/元素会改变并且因此是容许的,所以仅基于结构化数据样本和创建者/制造商提供的标准结构化数据样本之间的比较来识别差异不是用于识别不良或恶意代码的准确技术。因而,在没有关于结构化数据样本的哪些元素可能与其它对应的样本不同和/或可能随时间变化的信息的情况下,仅基于结构化数据中的所识别的元素差异确定结构化数据样本是否已经损坏可能存在问题。当验证更大量的结构化数据样本——诸如验证从集群中的多个计算设备获取的结构化数据样本——时,这些困难进一步混合。
技术实现思路
本公开的一个方面提供了一种用于验证结构化数据的方法。该方法包括在数据处理硬件处接收结构化数据。该方法还包括由数据处理硬件将结构化数据解构为对应的元素。该方法进一步包括在数据处理硬件处获得具有对应的标准元素的标准结构化数据。该方法还包括由数据处理硬件将结构化数据的元素与标准结构化数据的标准元素进行比较以识别任何元素差异。对于每个元素差异,该方法包括:由数据处理硬件,将元素差异与元素比较注册表进行比较;由数据处理硬件基于启发式或至少一个规则确定元素差异是预期的还是非预期的;以及当元素差异是非预期的时,由数据处理硬件生成指示结构化数据中存在非预期元素的信号。本公开的实施方式可以包括以下可选特征中的一个或多个。在一些示例中,对于每个元素差异,该方法包括将结构化数据的相应的元素与标准结构化数据的相应的标准元素之间的对应的比较存储在元素比较注册表中。可选地,该方法可进一步包括由数据处理硬件统计地分析元素比较注册表以确定指示元素差异是预期还是非预期的至少一个规则。在一些实施方式中,对于结构化数据的每个元素,该方法包括由数据处理硬件确定元素是否包括任何子元素。当元素包括子元素时,该方法包括由数据处理硬件将元素解构为对应的子元素。此处,解构的结构化数据可以包括递归地提取的树结构。该方法还可包括:在数据处理硬件处接收结构化数据类型;以及在数据处理硬件处基于结构化数据类型获得数据结构模板。该方法进一步可包括:由数据处理硬件基于数据结构模板将结构化数据解构为对应的元素;以及由数据处理硬件基于数据结构模板确定元素是否包括任何子元素。在一些配置中,该方法包括基于对相应的元素与相应的标准元素的比较,将结构化数据的每个元素标注为匹配、不同、缺失或外加。当将结构化数据的元素与标准结构化数据的标准元素进行比较时,该方法可包括识别每个元素的哈希或位置。对于每个元素,该方法可包括:基于每个元素的哈希或位置来识别对应的标准元素;以及确定元素的数据相对于对应的标准元素的标准数据是匹配、不同、缺失还是外加。当确定元素差异是预期的还是非预期的时,该方法可包括将相应的元素的标注标记为预期的或非预期的。在一些示例中,结构化数据包括二进制数据。本公开的另一方面提供了一种用于验证结构化数据的系统。该系统包括数据处理硬件和与数据处理硬件通信的存储器硬件。存储器硬件存储指令,该指令在数据处理硬件上执行时使数据处理硬件执行操作。操作包括:接收结构化数据;将结构化数据解构为对应的元素;获得具有对应的标准元素的标准结构化数据;以及将结构化数据的元素与标准结构化数据的标准元素进行比较以识别任何元素差异。对于每个元素差异,操作包括:将元素差异与元素比较注册表进行比较;以及基于启发式或至少一个规则来确定元素差异是预期的还是非预期的。当元素差异是非预期的时,操作包括生成指示结构化数据中存在非预期的元素的信号。本公开的实施方式可以包括以下可选特征中的一个或多个。在一些实施方式中,对于每个元素差异,操作包括将结构化数据的相应的元素与标准结构化数据的相应的标准元素之间的对应的比较存储在元素比较注册表中。操作还可包括统计地分析元素比较注册表以确定指示元素差异是预期还是非预期的至少一个规则。在一些示例中,对于每个元素,操作包括确定元素是否包括任何子元素。当元素包括子元素时,操作包括将元素解构为对应的子元素。解构的结构化数据可以包括递归地提取的树结构。另外或替选地,操作还可包括:接收结构化数据类型;基于结构化数据类型获得数据结构模板;基于数据结构模板将结构化数据解构为对应的元素;以及基于数据结构模板确定元素是否包括任何子元素。在一些配置中,操作包括基于对相应的元素与相应的标准元素的比较,将结构化数据的每个元素标注为匹配、不同、缺失或外加。当将结构化数据的元素与标准结构化数据的标准元素进行比较时,操作可包括识别每个元素的哈希或位置。对于每个元素,操作可进一步包括:基于每个元素的哈希或位置来识别对应的标准元素;以及确定元素的数据相对于相应的标准元素的标准数据是匹配、不同、缺失还是外加。当确定元素差异是预期的或非预期的时,操作可包括将相应的元素的标注标记为预期的或非预期的。在一些示例中,结构化数据包括二进制数据。附图说明图1是用于验证结构化数据的示例系统的示意图。图2是与结构化数据相关联的属性的示意图。图3是图1的系统的解构器的示例组件的示意图。图4是图1的系统的结构化数据比较器的示例组件的示意图。图5A是用于确定结构化数据中的所识别的元素差异是预期的还是非预期的示例分析过程的示意图。图5B和图5C是示例元素比较注册表的示意图。图6是示例计算设备。图7是用于验证结构化数据的示例方法的流程图。各附图中的相同附图标记指示相同元素。具体实施方式本文的实施方式涉及一种验证管道,该验证管道被配置成尤其确定/检测结构化数据是否包括可能损坏实体所操作的集群中的一个或多个工作站的不良或恶意代码。结构化数据可以包括二进制数据,诸如每次工作站重新启动时都会改变的基本输入/输出系统(BIOS)数据。因此,将结构化数据的元素与来自结构化数据的黄金副本(goldencopy)的对应的标准元素进行比较可能不总是提供一对一匹配。虽然这些比较可以揭示元素差异,但是可以对从集群内所有工作站接收的结构化数据中识别出的元素差异进行统计地分析,以便能够自动生成白名单。这些自动生成的白名单可以指定元素差异是预期的,即由于预期发生的改变,还是非预期的,即由于被不良或恶意代码感染。此外,随着更多结构化数据通过管道,可以更新现有的白名单以微调用于确定元素差异是预期还是非预期的验证过程。例如,如果验证管道观测到集群中的大多数结构化数据样本都包含被白名单指定为非预期的对应的元素差异,则验证管道可以更新白名单,使得对应的元素差异实际上是预期的。实施方式还包括当检测到非预期的元素差异的存在时通知集群的操作者(例如,验证设备)。集群本文档来自技高网...

【技术保护点】
1.一种方法(700),包括:/n在数据处理硬件(112)处接收结构化数据(200);/n由所述数据处理硬件(112)将所述结构化数据(200)解构为对应的元素(210);/n在所述数据处理硬件(112)处获得具有对应的标准元素(260)的标准结构化数据(250);/n由所述数据处理硬件(112)将所述结构化数据(200)的所述元素(210)与所述标准结构化数据(250)的所述标准元素(260)进行比较以识别任何元素差异(430);以及/n对于每个元素差异(430):/n由所述数据处理硬件(112)将所述元素差异(430)与元素比较注册表(164)进行比较;/n由所述数据处理硬件(112)基于启发式或至少一个规则确定所述元素差异(430)是预期的还是非预期的;以及/n当所述元素差异(430)是非预期的时,由所述数据处理硬件(112)生成指示所述结构化数据(200)中存在非预期的元素的信号(172)。/n

【技术特征摘要】
【国外来华专利技术】20171023 US 15/790,4531.一种方法(700),包括:
在数据处理硬件(112)处接收结构化数据(200);
由所述数据处理硬件(112)将所述结构化数据(200)解构为对应的元素(210);
在所述数据处理硬件(112)处获得具有对应的标准元素(260)的标准结构化数据(250);
由所述数据处理硬件(112)将所述结构化数据(200)的所述元素(210)与所述标准结构化数据(250)的所述标准元素(260)进行比较以识别任何元素差异(430);以及
对于每个元素差异(430):
由所述数据处理硬件(112)将所述元素差异(430)与元素比较注册表(164)进行比较;
由所述数据处理硬件(112)基于启发式或至少一个规则确定所述元素差异(430)是预期的还是非预期的;以及
当所述元素差异(430)是非预期的时,由所述数据处理硬件(112)生成指示所述结构化数据(200)中存在非预期的元素的信号(172)。


2.根据权利要求1所述的方法(700),进一步包括:对于每个元素差异(430),将所述结构化数据(200)的所述相应的元素与所述标准结构化数据(250)的所述相应的标准元素之间的对应的比较存储在所述元素比较注册表(164)中。


3.根据权利要求1或2所述的方法(700),进一步包括:由所述数据处理硬件(112)统计地分析所述元素比较注册表(164)以确定指示元素差异(430)是预期还是非预期的所述至少一个规则。


4.根据权利要求1-3中的任一项所述的方法(700),进一步包括,对于每个元素(210):
由所述数据处理硬件(112)确定所述元素(210)是否包括任何子元素(220);以及
当所述元素包括子元素(220)时,由所述数据处理硬件(112)将所述元素(210)解构为所述对应的子元素(220)。


5.根据权利要求4所述的方法(700),其中,所解构的结构化数据(200)包括递归地提取的树结构。


6.根据权利要求4或5所述的方法(700),进一步包括:
在所述数据处理硬件(112)处接收结构化数据类型(202c);
在所述数据处理硬件(112)处基于所述结构化数据类型(202c)获得数据结构模板(340);
由所述数据处理硬件(112)基于所述数据结构模板(340)将所述结构化数据(200)解构为对应的元素(210);以及
由所述数据处理硬件(112)基于所述数据结构模板(340)确定所述元素是否包括任何子元素(220)。


7.根据权利要求1-6中的任一项所述的方法(700),进一步包括基于对所述相应的元素(210)与所述相应的标准元素(260)的所述比较,将所述结构化数据(200)的每个元素(210)标注为匹配、不同、缺失或外加。


8.根据权利要求7所述的方法(700),其中,将所述结构化数据(200)的所述元素(210)与所述标准结构化数据(250)的所述标准元素(260)进行比较包括:
识别每个元素(210)的哈希或位置;以及
对于每个元素(210):
基于每个元素(210)的所述哈希或所述位置,识别所述对应的标准元素(260);以及
确定所述元素(210)的数据相对于所述对应的标准元素(260)的标准数据是匹配、不同、缺失还是外加。


9.根据权利要求7或8所述的方法(700),其中,确定所述元素差异(430)是预期的还是非预期的包括将所述相应的元素(210)的所述标注标记为预期的或非预期的。


10.根据权利要求1-9中的任一项所述的方法(700),其中,所述结...

【专利技术属性】
技术研发人员:帕尔特·舒克拉
申请(专利权)人:谷歌有限责任公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1