一种数据自适应传输方法、装置及计算机存储介质制造方法及图纸

本发明专利技术公开一种数据自适应传输方法、装置及计算机存储介质，应用于前端设备的方法包括：在确定需要向前端设备对应的目标引擎请求第一预设数量的目标数据时，如果截至当前时刻，从目标引擎获得的目标数据的数量小于第一预设数量情况下，向前端设备对应的目标引擎发送数据请求，其中，数据请求中包括第一预设数量、目标数据请求的起始位置与预设传输条件；接收目标引擎基于数据请求传输的第二预设数量的目标数据，直至从目标引擎中累计获得第一预设数量的目标数据，其中，基第二预设数量小于或等于第一预设数量，第二预设数量的目标数据为目标引擎从起始位置指示的存储空间开始读取的满足预设传输条件的目标数据。

【技术实现步骤摘要】
一种数据自适应传输方法、装置及计算机存储介质
本专利技术涉及电子
，尤其涉及一种数据自适应传输方法、装置及计算机存储介质。
技术介绍
随着互联网技术的不断发展，互联网大数据的趋势日益显著，每一条互联网的业务线都在不断地产生新的数据。如今数据已取代计算成为信息计算的中心，云计算、大数据正在成为一种趋势和潮流。大数据是规模非常巨大和复杂的数据集。在大数据实际应用场景中，往往会出现一个查询出现大量结果，从目标引擎返回给前端设备时，前端处理吃力，很容易出现系统崩溃。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的数据自适应传输方法、装置及计算机存储介质。第一方面，本实施例提供一种数据自适应传输方法，应用于前端设备，所述方法包括：在确定需要向所述前端设备对应的目标引擎请求第一预设数量的目标数据时，如果截至当前时刻，从所述目标引擎获得的目标数据的数量小于所述第一预设数量情况下，向所述前端设备对应的目标引擎发送数据请求，其中，所述数据请求中包括所述第一预设数量、目标数据请求的起始位置与预设传输条件；接收所述目标引擎基于所述数据请求传输的第二预设数量的目标数据，直至从所述目标引擎中累计获得所述第一预设数量的目标数据，其中，所述第二预设数量小于或等于所述第一预设数量，所述第二预设数量的目标数据为所述目标引擎从所述起始位置指示的存储空间开始读取的满足所述预设传输条件的目标数据。可选的，所述方法还包括：如果数据请求为所述前端设备向所述目标引擎发送的与所述第一预设数量的目标数据对应的首次数据请求，基于与所述第一预设数量的目标数据对应的预设参数，确定目标数据请求的起始位置；如果数据请求不是所述前端设备向所述目标引擎发送的与所述第一预设数量的目标数据对应的首次数据请求，确定目标数据请求的起始位置为上一次所述目标引擎发送的断点位置。可选的，所述方法还包括：在获得所述目标引擎发送的结束标识时，确定从所述目标引擎中累计获得所述第一预设数量的目标数据。可选的，所述预设传输条件包括：所述目标引擎单次传输目标数据的数据总量小于第一预设数据量的第一预设条件；或所述目标引擎单次传输一条数据量大于第二预设数据量的目标数据的第二预设条件；或所述目标引擎单次传输的目标数据的数量在预设范围内的第三预设条件。可选的，所述前端设备为前端服务器，所述目标引擎为搜索引擎，所述目标数据为搜索结果，所述第一预设数量为预设页面需要展示的搜索结果的数量。第二方面，本实施例还提供一种数据自适应传输方法，应用于目标引擎，所述方法包括：接收与所述目标引擎对应的前端设备发送的数据请求，其中，所述数据请求中包括所述第一预设数量、目标数据请求的起始位置与预设传输条件，所述目标引擎中存储有所述第一预设数量的目标数据；基于所述数据请求，传输第二预设数量的目标数据至所述前端设备，其中，所述第二预设数量小于或等于所述第一预设数量，所述第二预设数量的目标数据为所述目标引擎从所述起始位置指示的存储空间开始读取的满足所述预设传输条件的目标数据。可选的，所述基于所述数据请求，传输第二预设数量的目标数据至所述前端设备，包括：基于所述第一预设数量的目标数据中每个目标数据的数据量，确定满足所述预设传输条件的第二预设数量的目标数据；传输所述第二预设数量目标数据至所述前端设备。可选的，在所述确定满足所述预设传输条件的第二预设数量的目标数据之后，所述方法还包括：判断所述第二预设数量的目标数据的最后一个目标数据是否为所述第一预设数量的目标数据中的最后一个目标数据；如果是，发送结束标识至所述前端设备，以使得所述前端设备在接收到所述结束标识后，确认获得所述第一预设数量的目标数据，停止向所述目标引擎发送数据请求。可选的，在所述判断所述第二预设数量的目标数据的最后一个目标数据是否为所述第一预设数量的目标数据中的最后一个目标数据之后，所述方法还包括：如果否，确定断点位置，将所述断点位置发送至所述前端设备，以使得所述前端设备在下一次发送数据请求时，将所述断点位置作为下一次数据请求的起始位置，所述目标引擎在下一次反馈目标数据时，从所述断点位置开始读取。可选的，所述预设传输条件包括：所述目标引擎单次传输目标数据的数据总量小于第一预设数据量的第一预设条件；或所述目标引擎单次传输一条数据量大于第二预设数据量的目标数据的第二预设条件；或所述目标引擎单次传输的目标数据的数量在预设范围内的第三预设条件。可选的，所述前端设备为前端服务器，所述目标引擎为搜索引擎，所述目标数据为搜索结果，所述第一预设数量为预设页面需要展示的搜索结果的数量。第三方面，本专利技术实施例还提供一种数据自适应传输装置，应用于前端设备，所述装置包括：数据请求单元，用于在确定需要向所述前端设备对应的目标引擎请求第一预设数量的目标数据时，如果截至当前时刻，从所述目标引擎获得的目标数据的数量小于所述第一预设数量情况下，向所述前端设备对应的目标引擎发送数据请求，其中，所述数据请求中包括所述第一预设数量、目标数据请求的起始位置与预设传输条件；数据接收单元，用于接收所述目标引擎基于所述数据请求传输的第二预设数量的目标数据，直至从所述目标引擎中累计获得所述第一预设数量的目标数据，其中，所述第二预设数量小于或等于所述第一预设数量，所述第二预设数量的目标数据为所述目标引擎从所述起始位置指示的存储空间开始读取的满足所述预设传输条件的目标数据。可选的，所述数据请求单元还用于：如果数据请求为所述前端设备向所述目标引擎发送的与所述第一预设数量的目标数据对应的首次数据请求，基于与所述第一预设数量的目标数据对应的预设参数，确定目标数据请求的起始位置；如果数据请求不是所述前端设备向所述目标引擎发送的与所述第一预设数量的目标数据对应的首次数据请求，确定目标数据请求的起始位置为上一次所述目标引擎发送的断点位置。可选的，所述数据接收单元还用于：在获得所述目标引擎发送的结束标识时，确定从所述目标引擎中累计获得所述第一预设数量的目标数据。可选的，所述预设传输条件包括：所述目标引擎单次传输目标数据的数据总量小于第一预设数据量的第一预设条件；或所述目标引擎单次传输一条数据量大于第二预设数据量的目标数据的第二预设条件；或所述目标引擎单次传输的目标数据的数量在预设范围内的第三预设条件。可选的，所述前端设备为前端服务器，所述目标引擎为搜索引擎，所述目标数据为搜索结果，所述第一预设数量为预设页面需要展示的搜索结果的数量。第四方面，本专利技术实施例还提供一种数据自适应传输装置，应用于目标引擎，所述装置包括：接收单元，用于接收与所述目标引擎对应的前端设备发送的数据请求，其中，所述数据请求中包括所述第一预设数量、目标数据请求的起始位置与预设传输条件，所述目标引擎中存储有所述第一预设数量的目标数据；数据传输单元，用于基于所述数据请求，传输第二预设数量的目标数据至所述前端设备，其中，所述第二预设数量小于或等于所述第一预设数量，所述第二预设数量的目标数据为所述目标引擎从所述起始位置指示的存储空间开始读取的满足所述预设传输条件的目标数据。可选的，所述数据传输单元还用于：基于所述第一预设数量的目标数据中每个目标数据的数据量，确定满足所述预设传输条件的第二预设数量的目标数据；传输所述第二本文档来自技高网...

【技术保护点】
1.一种数据自适应传输方法，其特征在于，应用于前端设备，所述方法包括：在确定需要向所述前端设备对应的目标引擎请求第一预设数量的目标数据时，如果截至当前时刻，从所述目标引擎获得的目标数据的数量小于所述第一预设数量情况下，向所述前端设备对应的目标引擎发送数据请求，其中，所述数据请求中包括所述第一预设数量、目标数据请求的起始位置与预设传输条件；接收所述目标引擎基于所述数据请求传输的第二预设数量的目标数据，直至从所述目标引擎中累计获得所述第一预设数量的目标数据，其中，所述第二预设数量小于或等于所述第一预设数量，所述第二预设数量的目标数据为所述目标引擎从所述起始位置指示的存储空间开始读取的满足所述预设传输条件的目标数据。

【技术特征摘要】
1.一种数据自适应传输方法，其特征在于，应用于前端设备，所述方法包括：在确定需要向所述前端设备对应的目标引擎请求第一预设数量的目标数据时，如果截至当前时刻，从所述目标引擎获得的目标数据的数量小于所述第一预设数量情况下，向所述前端设备对应的目标引擎发送数据请求，其中，所述数据请求中包括所述第一预设数量、目标数据请求的起始位置与预设传输条件；接收所述目标引擎基于所述数据请求传输的第二预设数量的目标数据，直至从所述目标引擎中累计获得所述第一预设数量的目标数据，其中，所述第二预设数量小于或等于所述第一预设数量，所述第二预设数量的目标数据为所述目标引擎从所述起始位置指示的存储空间开始读取的满足所述预设传输条件的目标数据。2.如权利要求1所述的方法，其特征在于，所述方法还包括：如果数据请求为所述前端设备向所述目标引擎发送的与所述第一预设数量的目标数据对应的首次数据请求，基于与所述第一预设数量的目标数据对应的预设参数，确定目标数据请求的起始位置；如果数据请求不是所述前端设备向所述目标引擎发送的与所述第一预设数量的目标数据对应的首次数据请求，确定目标数据请求的起始位置为上一次所述目标引擎发送的断点位置。3.如权利要求1所述的方法，其特征在于，所述方法还包括：在获得所述目标引擎发送的结束标识时，确定从所述目标引擎中累计获得所述第一预设数量的目标数据。4.如权利要求1-3中任一权利要求所述的方法，其特征在于，所述预设传输条件包括：所述目标引擎单次传输目标数据的数据总量小于第一预设数据量的第一预设条件；或所述目标引擎单次传输一条数据量大于第二预设数据量的目标数据的第二预设条件；或所述目标引擎单次传输的目标数据的数量在预设范围内的第三预设条件。5.如权利要求1-3中任一权利要求所述的方法，其特征在于，所述前端设备为前端服务器，所述目标引擎为搜索引擎，所述目标数据为搜索结果，所述第一预设数量为预设页面需要展示的搜索结果的数量。6.一种数据自适应传输方法，其特征在于，应用于目标引擎，所述方法包括：接收与所述目标引擎对应的前端设备发送的数据请求，其中，所述数据请求中包括第一预设数量、目标...

【专利技术属性】
技术研发人员：杨东，王志超，高其林，王肖磊，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11