一种数据更新方法及装置制造方法及图纸

本发明专利技术实施例公开了一种数据更新方法及装置，所述方法包括：将分布式存储的各个更新日志信息中具有相同分类标识的对象信息确定为属于同一分类的对象信息，所述更新日志信息包括具有分类标识和更新标识的对象信息，所述分类标识用于标识对象信息所属分类，所述更新标识用于标识对象信息的更新状态；以分类为单位，计算各个分类对应的更新比例，其中，任一分类对应的更新比例为所述分类中已更新的对象信息的数量与所述分类中对象信息总数量的比值；根据所述更新比例确定各个分类的更新顺序，并依据所述更新顺序完成对象信息的更新。

【技术实现步骤摘要】

本专利技术涉及数据处理
，具体涉及一种数据更新方法及装置。
技术介绍
比价购物网站是一种新兴的购物网站，用户可以通过比价购物网站上提供的各个电商网站中商品的商品信息比较选择商品，为用户购物提供价格比较的功能。由于各个电商网站上的商品信息的不断更新，比价购物网站上的商品信息需要与各个电商网站的商品信息保持一致，以便为用户提供准确的商品信息，所以，对比价购物网站上的商品信息的及时更新也是对比价购物网站的主要要求之一。 目前，对比价购物网站上的商品信息的更新方法通常是将事先抓取的电商网站的分类网址均加入更新队列，并对更新队列中的分类网址进行更新。但是，由于上述更新方法没有任何的更新策略，每次更新都是对电商网站中的所有分类网址均进行更新，使得完成一次更新的时间很长，数据更新缓慢，实时性大大的降低。同时，电商网站一般只是部分商品信息更新比较频繁，如果按照传统的更新方法对比价购物网站上的商品信息进行更新，会导致一些并不会经常更新的商品信息占用了大量的带宽和时间。
技术实现思路
本专利技术提供了一种数据更新方法及装置，能够对更新比例较高的分类中的对象信息优先更新，最大程度的保证数据的实时性与准确性。 本专利技术提供了一种数据更新方法，所述方法包括： 将分布式存储的各个更新日志信息中具有相同分类标识的对象信息确定为属于同一分类的对象信息，所述更新日志信息包括具有分类标识和更新标识的对象信息，所述分类标识用于标识对象信息所属分类，所述更新标识用于标识对象信息的更新状态； 以分类为单位，计算各个分类对应的更新比例，其中，任一分类对应的更新比例为所述分类中已更新的对象信息的数量与所述分类中对象信息总数量的比值； 根据所述更新比例确定各个分类的更新顺序，并依据所述更新顺序完成对象信息的更新。 优选地，所述将具有相同分类标识的对象信息确定为属于同一分类的对象信息之后，还包括： 判断各个分类前两次更新的时间间隔是否大于预设时间； 当任一分类前两次更新的时间间隔大于所述预设时间时，对所述分类中的对象信息优先更新。 本专利技术还提供了一种数据更新装置，所述装置包括： 确定模块，用于将分布式存储的各个更新日志信息中具有相同分类标识的对象信息确定为属于同一分类的对象信息，所述更新日志信息包括具有分类标识和更新标识的对象信息，所述分类标识用于标识对象信息所属分类，所述更新标识用于标识对象信息的更新状态； 计算模块，用于以分类为单位，计算各个分类对应的更新比例，其中，任一分类对应的更新比例为所述分类中已更新的对象信息的数量与所述分类中对象信息总数量的比值； 第一更新模块，用于根据所述更新比例确定各个分类的更新顺序，并依据所述更新顺序完成对象信息的更新。 优选地，所述装置还包括： 判断模块，用于判断各个分类前两次更新的时间间隔是否大于预设时间； 第二更新模块，用于当所述判断模块的结果为是时，对所述分类中的对象信息优先更新。 本专利技术首先获取更新日志信息，其次，确定属于同一分类的对象信息，并以分类为单位，确定各个分类对应的更新比例，最后，根据各个分类对应的更新比例的大小确定更新顺序，完成对象信息的更新。由于本实施例对更新比例大的分类优先更新，避免不经常更新的分类长时间占用带宽和时间。 附图说明 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。 图1为本专利技术实施例一提供的数据更新方法流程图； 图2为本专利技术实施例一提供的数据更新方法流程图； 图3为本专利技术实施例二提供的应用于比价购物网站的数据更新方法流程图。 图4为本专利技术实施例三提供的数据更新装置结构图。 具体实施方式 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。 实施例一 参考图1，图1为本实施例提供的数据更新方法流程图，所述方法可以包括： S101：将分布式存储的各个更新日志信息中具有相同分类标识的对象信息确定为属于同一分类的对象信息，所述更新日志信息包括具有分类标识和更新标识的对象信息，所述分类标识用于标识对象信息所属分类，所述更新标识用于标识对象信息的更新状态。 本实施例中，完成更新操作之后保存更新日志信息，在进行下一次更新操作之前，首先确定分布式存储的各个更新日志信息，其中，更新日志信息以分布式的形式被存储，实际应用中，由于数据更新的方法中通常以分类为单位进行更新，所以在进行数据更新之前，首先分布式统计各个更新日志信息中具有相同分类标识的对象信息，并将其确定为属于同一分类的对象信息。其中，分布式存储的更新日志信息中包括对象信息的更新记录，如每个对象信息均具有更新标识，用于标识所述对象信息的更新状态(已更新或未更新)。或者，具有更新标识的对象信息表示已更新，未带有更新标识的对象信息表示未更新。具体的，可以区分已更新和未更新的对象信息的标识方法均属于本实施例的保护范围。 另外，所述更新日志信息中的对象信息均具有分类标识，用于标识所述对象信息所属的分类，也就是说，具有相同分类标识的对象信息属于同一个分类。由于数据更新的方法中均以分类为单位进行更新，所以属于同一个分类的对象信息的更新时间通常是相同的。 由于本实施例预先将更新日志信息分布式存储，所以在利用所述更新日志信息时，可以多线程并行处理更新日志信息，提高了数据更新效率。 S102：以分类为单位，计算各个分类对应的更新比例，其中，任一分类对应的更新比例为所述分类中已更新的对象信息的数量与所述分类中对象信息总数量的比值。 本实施例中，将所本文档来自技高网...

【技术保护点】
一种数据更新方法，其特征在于，所述方法包括：将分布式存储的各个更新日志信息中具有相同分类标识的对象信息确定为属于同一分类的对象信息，所述更新日志信息包括具有分类标识和更新标识的对象信息，所述分类标识用于标识对象信息所属分类，所述更新标识用于标识对象信息的更新状态；以分类为单位，计算各个分类对应的更新比例，其中，任一分类对应的更新比例为所述分类中已更新的对象信息的数量与所述分类中对象信息总数量的比值；根据所述更新比例确定各个分类的更新顺序，并依据所述更新顺序完成对象信息的更新。

【技术特征摘要】
1.一种数据更新方法，其特征在于，所述方法包括：
将分布式存储的各个更新日志信息中具有相同分类标识的对象信息确定
为属于同一分类的对象信息，所述更新日志信息包括具有分类标识和更新标识
的对象信息，所述分类标识用于标识对象信息所属分类，所述更新标识用于标
识对象信息的更新状态；
以分类为单位，计算各个分类对应的更新比例，其中，任一分类对应的更
新比例为所述分类中已更新的对象信息的数量与所述分类中对象信息总数量
的比值；
根据所述更新比例确定各个分类的更新顺序，并依据所述更新顺序完成对
象信息的更新。
2.根据权利要求1所述的方法，其特征在于，所述将具有相同分类标识
的对象信息确定为属于同一分类的对象信息之后，还包括：
判断各个分类前两次更新的时间间隔是否大于预设时间；
当任一分类前两次更新的时间间隔大于所述预设时间时，对所述分类中的
对象信息优先更新。<...

【专利技术属性】
技术研发人员：王振，张海旭，杨威，董霁辉，田列，
申请(专利权)人：北京联时空网络通信设备有限公司，
类型：发明
国别省市：北京;11