一种数据处理方法及装置制造方法及图纸
【技术实现步骤摘要】
一种数据处理方法及装置
本专利技术涉及数据分析领域，尤其涉及一种数据处理方法及装置。
技术介绍
传统的计算机大数据分析方式首先是收集数据，然后储存在数据库程序中并且在收到请求后分析数据。这是一个高效的处理方式，但却是一个紧绷的结构，而且通常会造成时间的浪费。而流式计算在实时性方面具有明显优势，因此流式计算对于实时地处理大数据具有重要意义，但流式计算也因为实时性强的特点导致计算的精确度往往较低。因此需要计算目标数据的可信度。在流式计算中，数据会实时流经多个计算部件，每个部件都有可能对数据进行过滤，变换或者统计。然而，在统计计算之前，数据可能因为过滤或者变换而丢失，导致在统计计算时无法根据数据计算可信度，导致数据的可信度的精度降低。
技术实现思路
本专利技术提供的数据处理方法及装置，提供了流式计算中目标数据的可信度精度。本专利技术第一方面提供一种数据处理方法，在获取到数据行以及数据行中的数据时，确定需要计算可信度的目标数据，其中，目标数据指示数据行中的至少一个数据，即目标数据可以为数据行中的其中一个数据，或者通过数据行中的至少一个数据生成，再获取数据行的权重和数据行的数量...
【技术保护点】
一种数据处理方法，其特征在于，包括：获取数据行以及目标数据，所述目标数据指示所述数据行中的至少一个数据；获取所述数据行的权重以及所述至少一个数据的权重；确定所述至少一个数据的数量以及所述数据行的数量；根据所述数据行的数量以及所述数据行的权重确定所述数据行的权重总数，根据所述至少一个数据的数量以及所述至少一个数据的权重确定所述至少一个数据的权重总数；根据所述数据行的权重总数以及所述至少一个数据的权重总数确定所述目标数据的可信度。
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取数据行以及目标数据，所述目标数据指示所述数据行中的至少一个数据；获取所述数据行的权重以及所述至少一个数据的权重；确定所述至少一个数据的数量以及所述数据行的数量；根据所述数据行的数量以及所述数据行的权重确定所述数据行的权重总数，根据所述至少一个数据的数量以及所述至少一个数据的权重确定所述至少一个数据的权重总数；根据所述数据行的权重总数以及所述至少一个数据的权重总数确定所述目标数据的可信度。2.根据权利要求1所述的数据处理方法，其特征在于，所述目标数据指示所述数据行中的第一数据；所述根据所述至少一个数据的数量以及所述至少一个数据的权重确定所述至少一个数据的权重总数包括：根据所述第一数据的数量以及所述第一数据的权重确定所述第一数据的权重总数；所述根据所述数据行的权重总数以及所述至少一个数据的权重总数确定所述目标数据的可信度包括：所述第一数据的权重总数与所述数据行的权重总数之比为所述目标数据的可信度。3.根据权利要求1所述的数据处理方法，其特征在于，所述目标数据通过所述数据行中的至少两个第二数据生成，所述至少两个第二数据属于同一数据行；所述根据所述至少一个数据的数量以及所述至少一个数据的权重确定所述至少一个数据的权重总数包括：根据每个第二数据的数量以及权重，确定所述每个第二数据的权重总数，最低权重总数为所述每个第二数据的权重总数中的最小值；所述根据所述数据行的权重总数以及所述至少一个数据的权重总数确定所述目标数据的可信度包括：所述最低权重总数与所述数据行的权重总数之比为所述目标数据的可信度。4.根据权利要求1所述的数据处理方法，其特征在于，所述目标数据通过所述数据行中的第三数据生成；所述根据所述至少一个数据的数量以及所述至少一个数据的权重确定所述至少一个数据的权重总数包括：根据所述第三数据的数量以及所述第三数据的权重确定所述第三数据的权重总数；所述根据所述数据行的权重总数以及所述至少一个数据的权重总数确定所述目标数据的可信度包括：所述第三数据的权重总数与所述数据行的权重总数之比为所述目标数据的可信度。5.根据权利要求1所述的数据处理方法，其特征在于，所述目标数据通过所述数据行中的至少两个第四数据生成，所述至少两个第四数据属于同一数据行；所述根据所述至少一个数据的数量以及所述至少一个数据的权重确定所述至少一个数据的权重总数包括：根据每个第四数据的数量以及权重，确定所述每个第四数据的权重总数；所述根据所述数据行的权重总数以及所述至少一个数据的权重总数确定所述目标数据的可信度包括：所述每个第四数据的权重总数与所述数据行的权重总数之比为所...
【专利技术属性】
技术研发人员：黄国强，胡斐然，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。