一种数据读取方法及装置制造方法及图纸

本发明专利技术实施例公开了一种数据读取方法及装置，涉及电子信息技术领域，能够减少服务器通过数据端口的数据传输量，缓减了写效率受限于端口的问题。本发明专利技术的方法包括：通过数据端口，从第一数据集合中提取参考数据，所提取的参考数据的数据总量小于所述第一数据集合；根据所述配置信息对所述参考数据进行倍化处理，并得到与所述第一数据集合的数据量相同的第二数据集合；发送所述第二数据集合。本发明专利技术适用于快速读取数据。

Data reading method and device

The embodiment of the invention discloses a data reading method and device, and relates to the technical field of electronic information, the server can reduce the amount of data transmission through the data port, reduce the write efficiency is limited to port problems. The method of the invention includes: through the data port, from the reference data set from the first data, the amount of data is less than the first data extracted from the reference data set; according to the configuration information of the reference data processing times, and get second data sets with the first data is the same set; sending the second data set. The invention is suitable for fast data reading.

【技术实现步骤摘要】

本专利技术涉及电子信息
，尤其涉及一种数据读取方法及装置。
技术介绍
随着大数据技术的发展，为了满足数据处理的需要，越来越多的计算中心和数据库都已建设并投入使用，大数据产业出现了爆炸式增长。但是，随着需要处理的数据量不断增多，需要消耗更多的网络资源进行数据读取和数据读取。几乎每一种基于大数据技术的业务场景都需要提取大量数据才能进行后续的运算处理。例如：若计算中心需要利用100PB的数据进行测试，则要在数据库中预先查找并准备100PB的数据，再通过端口从数据源读取到临时存储区域中并通过网络向计算中心传输。但是，设备的端口读写效率限制了数据的读写速度，使得业务处理过程中需要进行很长的时间的数据准备工作。造成了业务处理耗时长，占用存储资源多等问题，从而导致大数据中的业务处理成本一直居高不下。
技术实现思路
本专利技术的实施例提供一种数据读取方法及装置，能够减少服务器通过数据端口的数据传输量，缓减了写效率受限于端口的问题。为达到上述目的，本专利技术的实施例采用如下技术方案：第一方面，本专利技术的实施例提供一种数据读取方法，包括：通过数据端口，从第一数据集合中提取参考数据，所提取的参考数据的数据总量小于所述第一数据集合；根据所述配置信息对所述参考数据进行倍化处理，并得到与所述第一数据集合的数据量相同的第二数据集合；发送所述第二数据集合。结合第一方面，在第一方面的第一种可能的实现方式中，所述第一数据集合的格式包括：所述第一数据集合中的每一条数据，由按照指定顺序排列的内容区域组成；所述配置信息包括：至少一个由相同类型的内容信息组成的信息集合，其中，一个信息集合用于写入至少一个内容区域。结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述对所述参考数据进行倍化处理包括：复制所述参考数据，并得到与所述第一数据集合有相同的数据条数的第三数据集合；获取所述配置信息中的信息集合，并查询得到每一个信息集合与内容区域的对应关系；将所述配置信息中的所有信息集合并写入所述第三数据集合中，得到所述第二数据集合。结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述将所述配置信息中的所有信息集合并写入所述第三数据集合中，得到所述第二数据集合，包括：获取所述配置信息中的第1至N信息集合，N为大于1的正整数；提取第1信息集合中的第1至k条内容信息，并将所述第1至k条内容信息依次写入第三数据集合中的各条数据，其中，对于每一个信息集合：将信息集合中的内容信息，依次写入所述第三数据集合中的各条数据中与信息集合对应的内容区域，k为大于1的正整数；将第1至N信息集合写入所述第三数据集合，完成写入后的所述第三数据集合作为所述第二数据集合。结合第一方面以及第一至三种可能的实现方式，在第四种可能的实现方式中，还包括：向经过倍化处理得到的各条数据写入编号信息；所述发送所述第二数据集合，包括：当所述第二数据集合传输中断时，记录中断前最近一条所传输数据的编号信息；若由所述中断恢复传输，则根据中断前最近一条所传输数据的编号信息开始继续传输所述第二数据集合。结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，包括：任务分配模块选择待执行任务，并将所述待执行任务通知用户配置模块；所述用户配置模块读取所述待执行任务对应的所述配置信息；数据读取模块通过所述数据端口，从所述第一数据集合中提取所述参考数据；数据扩充模块载入所述配置信息和所述参考数据，并根据所述配置信息对所述参考数据进行倍化处理，并得到所述第二数据集合；数据处理模块读取设备信息，并根据所述设备信息确定并发模式，所述并发模式至少包括：用于所述第二数据集合的缓存比例，和/或用于所述第二数据集合的线程；数据发送模块根据所述并发模式发送所述第二数据集合。第二方面，本专利技术的实施例提供一种数据读取装置，包括：读取单元，用于通过数据端口，从第一数据集合中提取参考数据，所提取的参考数据的数据总量小于所述第一数据集合；倍化处理单元，用于根据所述配置信息对所述参考数据进行倍化处理，并得到与所述第一数据集合的数据量相同的第二数据集合；传输单元，用于发送所述第二数据集合。结合第二方面，在第二方面的第一种可能的实现方式中，所述倍化处理单元，用于复制所述参考数据，并得到与所述第一数据集合有相同的数据条数的第三数据集合；并获取所述配置信息中的信息集合，并查询得到每一个信息集合与内容区域的对应关系；并将所述配置信息中的所有信息集合并写入所述第三数据集合中，得到所述第二数据集合；其中，所述第一数据集合的格式包括：所述第一数据集合中的每一条数据，由按照指定顺序排列的内容区域组成；所述配置信息包括：至少一个由相同类型的内容信息组成的信息集合，其中，一个信息集合用于写入至少一个内容区域。结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述倍化处理单元，具体用于获取所述配置信息中的第1至N信息集合，N为大于1的正整数；并提取第1信息集合中的第1至k条内容信息，并将所述第1至k条内容信息依次写入第三数据集合中的各条数据，其中，对于每一个信息集合：将信息集合中的内容信息，依次写入所述第三数据集合中的各条数据中与信息集合对应的内容区域，k为大于1的正整数；将第1至N信息集合写入所述第三数据集合，完成写入后的所述第三数据集合作为所述第二数据集合。结合第二方面以及第一或二种可能的实现方式，在第三种可能的实现方式中，所述倍化处理单元，还用于向经过倍化处理得到的各条数据写入编号信息；所述传输单元，具体用于当所述第二数据集合传输中断时，记录中断前最近一条所传输数据的编号信息；若由所述中断恢复传输，则根据中断前最近一条所传输数据的编号信息开始继续传输所述第二数据集合。本专利技术实施例提供的数据读取方法及装置，服务器能够通过数据端口，读取数据总量小于所需数据的所提取的参考数据，并通过倍化处理获取不少于所需数据的总量的数据。相对于现有技术中通过接口读取数据的传统方式，本专利技术能够减少服务器通过数据端口的数据传输量，缓减了写效率受限于端口的问题，从而减少了业务处理的耗时，并降低大数据中的业务处理成本。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1、2、3、4为本专利技术实施例的运行环境的示意图；图5为本专利技术实施例提供的数据读取方法的流程示意图；图6、7为本专利技术实施例提供的具体实例的流程示意图；图8为本专利技术实施例提供的具体应用场景中的传输过程的示意图；图9为本专利技术实施例提供的数据读取装置的结构示意图。具体实施方式为使本领域技术人员更好地理解本专利技术的技术方案，下面结合附图和具体实施方式对本专利技术作进一步详细描述。下文中将详细描述本专利技术的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。本
技术人员可以理解，除非特意声明，这本文档来自技高网...

【技术保护点】
一种数据读取方法，其特征在于，包括：通过数据端口，从第一数据集合中提取参考数据，所提取的参考数据的数据总量小于所述第一数据集合；根据所述配置信息对所述参考数据进行倍化处理，并得到与所述第一数据集合的数据量相同的第二数据集合；发送所述第二数据集合。

【技术特征摘要】
1.一种数据读取方法，其特征在于，包括：通过数据端口，从第一数据集合中提取参考数据，所提取的参考数据的数据总量小于所述第一数据集合；根据所述配置信息对所述参考数据进行倍化处理，并得到与所述第一数据集合的数据量相同的第二数据集合；发送所述第二数据集合。2.根据权利要求1所述的方法，其特征在于，所述第一数据集合的格式包括：所述第一数据集合中的每一条数据，由按照指定顺序排列的内容区域组成；所述配置信息包括：至少一个由相同类型的内容信息组成的信息集合，其中，一个信息集合用于写入至少一个内容区域。3.根据权利要求2所述的方法，其特征在于，所述对所述参考数据进行倍化处理包括：复制所述参考数据，并得到与所述第一数据集合有相同的数据条数的第三数据集合；获取所述配置信息中的信息集合，并查询得到每一个信息集合与内容区域的对应关系；将所述配置信息中的所有信息集合并写入所述第三数据集合中，得到所述第二数据集合。4.根据权利要求3所述的方法，其特征在于，所述将所述配置信息中的所有信息集合并写入所述第三数据集合中，得到所述第二数据集合，包括：获取所述配置信息中的第1至N信息集合，N为大于1的正整数；提取第1信息集合中的第1至k条内容信息，并将所述第1至k条内容信息依次写入第三数据集合中的各条数据，其中，对于每一个信息集合：将信息集合中
\t的内容信息，依次写入所述第三数据集合中的各条数据中与信息集合对应的内容区域，k为大于1的正整数；将第1至N信息集合写入所述第三数据集合，完成写入后的所述第三数据集合作为所述第二数据集合。5.根据权利要求1-4中任意一项所述的方法，其特征在于，还包括：向经过倍化处理得到的各条数据写入编号信息；所述发送所述第二数据集合，包括：当所述第二数据集合传输中断时，记录中断前最近一条所传输数据的编号信息；若由所述中断恢复传输，则根据中断前最近一条所传输数据的编号信息开始继续传输所述第二数据集合。6.根据权利要求1所述的方法，其特征在于，包括：任务分配模块选择待执行任务，并将所述待执行任务通知用户配置模块；所述用户配置模块读取所述待执行任务对应的所述配置信息；数据读取模块通过所述数据端口，从所述第一数据集合中提取所述参考数据；数据扩充模块载入所...

【专利技术属性】
技术研发人员：王卓伟，
申请(专利权)人：苏宁云商集团股份有限公司，
类型：发明
国别省市：江苏;32