一种快速的基于互联网的数据收发方法技术

本发明专利技术涉及一种快速的基于互联网的数据收发方法，包括以下步骤：步骤1：获取用户的请求数据，并将保存至Map对象中；步骤2：进行用户权限、数据格式和数据真伪的初步预判；步骤3：根据客户不同请求，向数据源请求数据；步骤4：根据不同的数据源要求使用不同的请求方式，接收到数据源返回的数据后，将直接装载到自定义模型中；步骤5：请求得到正确的响应之后，将获取的数据装载到对应的自定义模型中，接着装载好自定义模型数据后，将对数据做最后一次的封装处理；步骤6：定时任务设置，并从Redis队列取出日志并存储。本发明专利技术避免了在用户高并发访问情况下请求的响应时间过慢，以至于达不到生产要求的问题，本发明专利技术能够得到完全快速的响应。

A fast data transceiver method based on Internet

The invention relates to a fast method of receiving and receiving data based on the Internet, including steps: Step 1: obtain the user's request data and save it to the Map object; step 2: preliminary judgment on user rights, data format and data authenticity; step 3: request data to the data source according to the customer's different requests. Step 4: using different request methods based on different data sources and receiving data returned by the data source, it will be loaded directly into the custom model; step 5: after the request gets the correct response, the acquired data is loaded into the corresponding custom model, and then the custom model data is loaded, then the data will be loaded. Do the last encapsulation of data; step 6: timed task settings, and extract logs from the Redis queue and store them. The invention avoids the problem that the request response time is too slow in the case of high concurrent access to the user, so that the invention can not reach the problem of production requirements, and the invention can get a complete and fast response.

【技术实现步骤摘要】
一种快速的基于互联网的数据收发方法
本专利技术涉及一种数据收发方法，尤其涉及一种快速的基于互联网的数据收发方法，属于大数据

技术介绍
互联网数据收发的最关键技术就是对响应的时间要求非常高，基本上每一次的数据请求到收到数据都需要在300-500ms时间内完成。鉴于这样的高标准要求，一般选择使用基于HTTP请求的方式进行数据的响应，返回的数据格式为JSON类型。JSON数据格式已经成为目前互联网领域最流行的数据传输与交换格式，而HTTP请求方式也是互联网领域数据请求最流行的方法。但是针对大并发的情况采用上述的处理方式，其效率比较低，导致客户得不到畅快的体验。有鉴于上述的缺陷，本设计人，积极加以研究创新，以期创设一种新型结构的快速的基于互联网的数据收发方法，使其更具有产业上的利用价值。
技术实现思路
为解决上述技术问题，本专利技术的目的是提供一种快速的基于互联网的数据收发方法。为实现上述目的，本专利技术采用如下技术方案：一种快速的基于互联网的数据收发方法，包括以下步骤：步骤1：获取用户的请求数据，并将保存至Map对象中；步骤2：进行用户权限、数据格式和数据真伪的初步预判；步骤3：根据客户不同请求，向数据源请求数据；步骤4：根据不同的数据源要求使用不同的请求方式，接收到数据源返回的数据后，将直接装载到自定义模型中；步骤5：请求得到正确的响应之后，将获取的数据装载到对应的自定义模型中，接着装载好自定义模型数据后，将对数据做最后一次的封装处理；步骤6：定时任务设置，并从Redis队列取出日志并存储。再更进一步的，所述的快速的基于互联网的数据收发方法，其中，所述步骤1中在获取用户请求数据之后，会对数据进行数据清洗处理，所述数据清洗包含去除前后不可见字符、空字符串。进一步的，所述的快速的基于互联网的数据收发方法，其中，所述步骤2中初步预判分为两种，一种为符合要求，直接进入步骤3；另一种为不符合要求，则直接返回错误信息，不再进行后续操作，同时将请求数据和错误原因都保存到Rdeis数据库中。再进一步的，所述的快速的基于互联网的数据收发方法，其中，所述步骤3中向数据源请求数据，其中数据源为第三方数据源。更进一步的，所述的快速的基于互联网的数据收发方法，其中，所述步骤4自定义模型为根据业务要求定义的用于返回给用户的数据模型，包含了将返回给用户的JSON数据的所有属性名称。再更进一步的，所述的快速的基于互联网的数据收发方法，其中，所述最后一次的封装处理为将根据不同的数据源返回的数据对应码，生成用于返回给用户的统一返回码，同时将此次操作的日志信息记录到Redis数据库队列中。再更进一步的，所述的快速的基于互联网的数据收发方法，其中，所述步骤6中从Redis队列取出日志并存储，其中存储如关系型数据库MySQL中。再更进一步的，所述的快速的基于互联网的数据收发方法，其特征在于：所述第三方数据源返回的数据有设有若干格式，其中包括JSON和XML两种格式。借由上述方案，本专利技术至少具有以下优点：本专利技术避免了在用户高并发访问情况下请求的响应时间过慢，以至于达不到生产要求的问题，本专利技术能够达到完全快速的响应，使用户能得到高效的体验效果。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，并可依照说明书的内容予以实施，以下以本专利技术的较佳实施例并配合附图详细说明如后。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1是本专利技术的流程图。具体实施方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例如图1所示，一种快速的基于互联网的数据收发方法，包括以下步骤：步骤1：获取用户的请求数据，并将保存至Map对象中；步骤2：进行用户权限、数据格式和数据真伪的初步预判；步骤3：根据客户不同请求，向数据源请求数据；步骤4：根据不同的数据源要求使用不同的请求方式，接收到数据源返回的数据后，将直接装载到自定义模型中；步骤5：请求得到正确的响应之后，将获取的数据装载到对应的自定义模型中，接着装载好自定义模型数据后，将对数据做最后一次的封装处理；步骤6：定时任务设置，并从Redis队列取出日志并存储。本专利技术中所述步骤1中在获取用户请求数据之后，会对数据进行数据清洗处理，所述数据清洗包含去除前后不可见字符、空字符串。本专利技术中所述步骤2中初步预判分为两种，一种为符合要求，直接进入步骤3并按照上述的步骤依次进行操作即可，在这不再做任何详述依照上述的步骤进行操作。另一种为不符合要求，则直接返回错误信息，不再进行后续操作，同时将请求数据和错误原因都保存到Rdeis数据库中。针对步骤2中用户权限初步预判首先做用户权限判断，根据用户请求数据中获取到的APIKey值进行判断，是否与系统中分配给用户的一致，APIKey是经过加密的32位字符串，保证了每个用户都是唯一的。数据格式出不预判，对于不同类型的数据做不同的验证规则判断，例如手机号的字符位数判断、手机号的数字判断、手机号的号段判断和身份证号码的字符位数判断等。数据真伪出不预判，判断包括了判断身份证号码是否真实可用等根据业务实际需要的一些判断规则。本专利技术中所述步骤3中向数据源请求数据，其中数据源为第三方数据源，根据用户请求的不同数据接口，已经数据源方的请求格式要求，系统自动拼接出请求参数，通过HTTP方式请求数据源，并等待第三方数据源返回数据。并且第三方数据源返回的数据有设有若干格式，其中包括JSON和XML两种格式。本专利技术中所述步骤4自定义模型为根据业务要求定义的用于返回给用户的数据模型，包含了将返回给用户的JSON数据的所有属性名称。采用定义模型可以屏蔽不同数据源返回的数据不同而造成的对用户的干扰。如请求的是第三方的数据源，需要做好容错措施，由于HTTP请求的不稳定性，以及网络波动造成的延迟，请求数据丢失等问题，都需要有处理措施。遇到上述问题，可以采取重试机制，或者备用源机制来解决。所述最后一次的封装处理为将根据不同的数据源返回的数据对应码，生成用于返回给用户的统一返回码，同时将此次操作的日志信息记录到Redis数据库队列中。且可以记录本次请求数据源的响应时间、花费的总时间等信息。所述步骤6中从Redis队列取出日志并存储，其中存储如关系型数据库MySQL中。其中，定时任务设置可以根据实际业务调用量可以随时进行调整时间任务，将Redi本文档来自技高网...

【技术保护点】
一种快速的基于互联网的数据收发方法，其特征在于，包括以下步骤：步骤1：获取用户的请求数据，并将保存至Map对象中；步骤2：进行用户权限、数据格式和数据真伪的初步预判；步骤3：根据客户不同请求，向数据源请求数据；步骤4：根据不同的数据源要求使用不同的请求方式，接收到数据源返回的数据后，将直接装载到自定义模型中；步骤5：请求得到正确的响应之后，将获取的数据装载到对应的自定义模型中，接着装载好自定义模型数据后，将对数据做最后一次的封装处理；步骤6：定时任务设置，并从Redis队列取出日志并存储。

【技术特征摘要】
1.一种快速的基于互联网的数据收发方法，其特征在于，包括以下步骤：步骤1：获取用户的请求数据，并将保存至Map对象中；步骤2：进行用户权限、数据格式和数据真伪的初步预判；步骤3：根据客户不同请求，向数据源请求数据；步骤4：根据不同的数据源要求使用不同的请求方式，接收到数据源返回的数据后，将直接装载到自定义模型中；步骤5：请求得到正确的响应之后，将获取的数据装载到对应的自定义模型中，接着装载好自定义模型数据后，将对数据做最后一次的封装处理；步骤6：定时任务设置，并从Redis队列取出日志并存储。2.根据权利要求1所述的快速的基于互联网的数据收发方法，其特征在于：所述步骤1中在获取用户请求数据之后，会对数据进行数据清洗处理，所述数据清洗包含去除前后不可见字符、空字符串。3.根据权利要求1所述的快速的基于互联网的数据收发方法，其特征在于：所述步骤2中初步预判分为两种，一种为符合要求，直接进入步骤3；另一种为不符合要求，则直接返回错误信息，不再进行后续操作，...

【专利技术属性】
技术研发人员：胡宏生，李晓军，侯霄飒，
申请(专利权)人：苏州沃耀数据科技有限公司，
类型：发明
国别省市：江苏,32