数据处理方法、装置及设备制造方法及图纸

本发明专利技术实施例提供一种数据处理方法、装置及设备，方法包括：获取待处理应用的基础数据信息和服务调用链路路由数据，待处理应用包括一个或多个应用容器；根据基础数据信息建立仿真模型，仿真模型中包括多个与应用容器相对应的节点模型；根据仿真模型和服务调用链路路由数据对待处理应用进行处理。通过基础数据信息建立仿真模型，利用仿真模型和服务调用链路路由数据对应用进行处理，实现了在消耗极少资源的情况下，对应用进行大规模的仿真容灾演练，实效性高，仿真演练的成本低，并且可以更高频度的进行仿真容灾演练，保证线上业务的稳定性，从而提高了仿真模型对应用进行处理的准确可靠性。

【技术实现步骤摘要】
数据处理方法、装置及设备
本专利技术涉及互联网
，尤其涉及一种数据处理方法、装置及设备。
技术介绍
目前解决大规模分布式应用集群在故障场景下的可用性验证，通常会根据有预期规划进行容灾演练，提前确定演练涉范围、演练时间、恢复预案等，进行预期内的线上演练。然而，上述的容灾演练虽然是有预期和规划的，但因为线上应用在故障场景下表现的不确定性，通常都会对业务产生不可避免的影响，容易使得业务有损；另外，在演练执行过程中，重点应用的开发人员需要现场值班，人工成本较高；此外，真实线上的故障演练不可能高频执行，这样对线上集群容灾能力的评估就很难做到实际准确，从而降低了可用性验证的实时性和准确性。
技术实现思路
本专利技术实施例提供一种数据处理方法、装置及设备，在对应用程序进行处理时，可以避免对业务产生影响，并且成本较低。第一方面，本专利技术实施例提供一种数据处理方法，包括：获取待处理应用的基础数据信息和服务调用链路路由数据，所述待处理应用包括一个或多个应用容器；根据所述基础数据信息建立仿真模型，所述仿真模型中包括多个与应用容器相对应的节点模型；根据所述仿真模型和所述服务调用链路路由数据对所述待处理应用进行处理。第二方面，本专利技术实施例提供一种数据处理装置，包括：第一获取模块,用于获取待处理应用的基础数据信息和服务调用链路路由数据，所述待处理应用包括一个或多个应用容器；第一处理模块,用于根据所述基础数据信息建立仿真模型，所述仿真模型中包括多个与应用容器相对应的节点模型；处理模块,用于根据所述仿真模型和所述服务调用链路路由数据对所述待处理应用进行处理。第三方面，本专利技术实施例提供一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的一种数据处理方法。第四方面，本专利技术实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第一方面中的一种数据处理方法。通过所获取的基础数据信息建立仿真模型，而后利用仿真模型对服务调用链路路由数据进行分析处理，从而实现了在消耗极少资源的情况下，对待处理应用进行大规模的仿真容灾演练，大幅减少真实容灾演练的人力、机器资源消耗和业务损失，从而有效地降低了处理成本；并且，利用仿真模型对应用进行处理，实效性高，仿真演练的成本低，效率高，可以更高频度的进行仿真容灾演练，更加及时的发现由应用变更或其它原因带来的线上不稳定因素，尽早排除风险，保证线上业务的稳定性；此外，仿真模型中的节点模型与节点模型之间的异步消息通讯机制，使得仿真模型更接近于线上应用的分布式场景，从而可以更准确的还原和模拟各种线上业务场景，从而提高了仿真模型对应用进行处理的准确可靠性。第五方面，本专利技术实施例提供一种数据处理方法，包括：接收处理计算节点发送的信息获取请求；确定与所述信息获取信息相对应的待处理应用的基础数据信息；将所述基础数据信息发送至所述处理计算节点。第六方面，本专利技术实施例提供一种数据处理装置，包括：第一接收模块,用于接收处理计算节点发送的信息获取请求；第一确定模块,用于确定与所述信息获取信息相对应的待处理应用的基础数据信息；第一发送模块,用于将所述基础数据信息发送至所述处理计算节点。第七方面，本专利技术实施例提供一种电子设备，该电子设备包括第一处理器和第一存储器，所述第一存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述第一处理器执行时实现上述第五方面中的数据处理方法。第八方面，本专利技术实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第五方面中的数据处理方法。通过接收处理计算节点发送的信息获取请求，确定与信息获取信息相对应的待处理应用的基础数据信息，并将基础数据信息发送至处理计算节点，有效地保证了处理计算节点可以及时、准确地获取待处理应用的基础数据信息，保证了仿真模型建立的稳定可靠性，进而提高了该处理方法使用的准确性。第九方面，本专利技术实施例提供一种数据通信方法，包括：第一应用节点获取服务调用请求事件消息；将所述服务调用请求事件消息封装为网络事件消息，并将网络事件消息通过网络节点发送至第二应用节点。第十方面，本专利技术实施例提供一种数据通信装置，包括：第二获取模块,用于获取服务调用请求事件消息；第二处理模块,用于将所述服务调用请求事件消息封装为网络事件消息，并将网络事件消息通过网络节点发送至第二应用节点。第十一方面，本专利技术实施例提供一种电子设备，该电子设备包括第一处理器和第一存储器，所述第一存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述第一处理器执行时实现上述第九方面中的数据通信方法。第十二方面，本专利技术实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第九方面中的数据通信方法。第一应用节点通过获取服务调用请求事件消息，将服务调用请求事件消息封装为网络事件消息，并将网络事件消息通过网络节点发送至第二应用节点，从而实现了对第一应用节点和第二应用节点之间的通信链路进行仿真的过程，有效地提高了对第一应用节点可用性处理的准确可靠性，进而保证了该方法的实用性。第十三方面，本专利技术实施例提供一种数据通信方法，包括：接收由网络节点发送的服务调用请求事件消息；根据所述服务调用请求事件消息进行业务处理，获得响应消息；将所述响应消息封装为网络事件响应消息，并将所述网络事件响应消息通过所述网络节点发送至第一应用节点。第十四方面，本专利技术实施例提供一种数据通信装置，包括：第二接收模块,用于接收由网络节点发送的服务调用请求事件消息；第三处理模块,用于根据所述服务调用请求事件消息进行业务处理，获得响应消息；第二发送模块,用于将所述响应消息封装为网络事件响应消息，并将所述网络事件响应消息通过所述网络节点发送至第一应用节点。第十五方面，本专利技术实施例提供一种电子设备，该电子设备包括第一处理器和第一存储器，所述第一存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述第一处理器执行时实现上述第十三方面中的数据通信方法。第十六方面，本专利技术实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第十三方面中的数据通信方法。通过接收由网络节点发送的服务调用请求事件消息，根据服务调用请求事件消息进行业务处理，获得响应消息，将响应消息封装为网络事件响应消息，并将网络事件响应消息通过网络节点发送至第一应用节点，从而实现了对第一应用节点和第二应用节点之间的通信链路进行仿真的过程，有效地提高了对第一应用节点和第二应用节点可用性进行处理的准确可靠性，进而保证了该方法的实用性。第十七方面，本专利技术实施例提本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取待处理应用的基础数据信息和服务调用链路路由数据，所述待处理应用包括一个或多个应用容器；/n根据所述基础数据信息建立仿真模型，所述仿真模型中包括多个与应用容器相对应的节点模型；/n根据所述仿真模型和所述服务调用链路路由数据对所述待处理应用进行处理。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取待处理应用的基础数据信息和服务调用链路路由数据，所述待处理应用包括一个或多个应用容器；
根据所述基础数据信息建立仿真模型，所述仿真模型中包括多个与应用容器相对应的节点模型；
根据所述仿真模型和所述服务调用链路路由数据对所述待处理应用进行处理。


2.根据权利要求1所述的方法，其特征在于，获取待处理应用的基础数据信息，包括：
向用于存储所述基础数据信息的数据缓存服务器发送信息获取请求；
接收所述数据缓存服务器根据信息获取请求发送的所述基础数据信息。


3.根据权利要求1所述的方法，其特征在于，所述基础数据信息包括以下至少之一：
应用服务信息、应用部署信息、网络设备信息、机房IDC信息。


4.根据权利要求1所述的方法，其特征在于，获取待处理应用的服务调用链路路由数据，包括：
向用于存储所述服务调用链路路由数据的数据缓存服务器发送数据获取请求；
接收所述数据缓存服务器根据数据获取请求发送的所述服务调用链路路由数据。


5.根据权利要求1所述的方法，其特征在于，所述仿真模型中的多个节点模型之间采用异步通信方式进行通信。


6.根据权利要求5所述的方法，其特征在于，根据所述基础数据信息建立仿真模型，包括：
获取抽象模型框架；
根据所述基础数据信息确定与所述抽象模型框架相对应的模型属性、模型状态和模型行为；
根据所述模型属性、模型状态、模型行为和所述抽象模型框架建立所述仿真模型。


7.根据权利要求6所述的方法，其特征在于，所述仿真模型包括以下至少之一：
网络节点模型、应用节点模型，其中，所述网络节点模型用于实现两个应用节点模型之间的数据通信。


8.根据权利要求1所述的方法，其特征在于，根据所述仿真模型和所述服务调用链路路由数据对所述待处理应用进行处理，包括：
基于所述仿真模型建立仿真故障场景；
在所述仿真故障场景下，根据所述仿真模型和所述服务调用链路路由数据对所述待处理应用进行处理。


9.根据权利要求8所述的方法，其特征在于，基于所述仿真模型建立仿真故障场景，包括：
获取仿真配置信息；
根据所述仿真配置信息对所述仿真模型中的状态信息进行设置，建立所述仿真故障场景。


10.根据权利要求9所述的方法，其特征在于，所述仿真配置信息包括以下至少之一：
仿真演练范围、故障环境设置信息、白名单配置信息。


11.根据权利要求8所述的方法，其特征在于，根据所述仿真模型和所述服务调用链路路由数据对所述待处理应用进行处理，包括：
将所述服务调用链路路由数据输入所述仿真模型中，获取与所述服务调用链路路由数据相对应的仿真结果；
获取与所述待处理应用相对应的服务调用链路标准数据；
根据所述仿真结果和所述服务调用链路标准数据对所述待处理应用进行处理。


12.根据权利要求11所述的方法，其特征在于，根据所述仿真结果和所述服务调用链路标准数据对所述待处理应用进行处理，包括：
获取所述仿真结果与所述服务调用链路标准数据的匹配度；
若所述匹配度大于或等于预设阈值，则确定所述待处理应用的可用性良好；或者，
若所述匹配度小于预设阈值，则确定所述待处理应用的可用性较差。


13.根据权利要求1-12中任意一项所述的方法，其特征在于，在根据所述仿真模型和所述服务调用链路路由数据对所述待处理应用进行处理之后，所述方法还包括：
根据处理结果生成处理报告。


14.一种数据处理方法，其特征在于，包括：
接收处理计算节点发送的信息获取请求；
确定与所述信息获取信息相对应的待处理应用的基础数据信息；
将所述基础数据信息发送至所述处理计算节点。


15.根据权利要求14所述的方法，其特征在于，在接收处理计算节点发送的信息获取请求之前，所述方法还包括：
通过预设的数据库获取待处理应用的基础数据信息；
对所述待处理应用的基础数据信息进行存储。


16.根据权利要求14所述的方法，其特征在于，所述方法还包括：
接收处理计算节点发送的数据获取请求；
确定与所述数据获取请求相对应的待处理应用的服务调用链路路由数据；
将所述服务调用链路路由数据发送至所述处理计算节点。


17.根据权利要求16所述的方法，其特征在于，在接收处理计算节点发送的数据获取请求之前，所述方法还包括：
通过跟踪日志获取待处理应用的服务调用链路原始数据；
将所述服务调用链路原始数据进行汇聚处理，获得与所述服务调用链路原始数据相对应的服务调用链路路由数据；
对所述待处理应用的服务调用链路路由数据进行存储。


18.根据权利要求14所述的方法，其特征在于，所述方法还包括：
获取并存储与所述待处理应用相对应的服务调用链路标准数据。


19.一种数据通信方法，其特征在于，包括：
第一应用节点获取服务调用请求事件消息；
将所述服务调用请求事件消息封装为网络事件消息，并将网络事件消息通过网络节点发送至第二应用节点。


20.根据权利要求19所述的方法，其特征在于，所述方法还包括：
通过所述网络节点接收由所述第二应用节点发送的网络事件响应消息；
将所述网络事件响应消息拆包处理为相对应的响应消息。


21.根据权利要求19所述的方法，其特征在于，将网络事件消息通过网络节点发送至第二应用节点，包括：
在所述第一应用节点的工作状态为正常状态时，则获取所述服务调用请求事件消息中的服务类型信息；
根据所述服务类型信息调用模拟业务处理方法；
利用所述模拟业务处理方法对所述服务调用请求事件消息处理，获得下游服务调用请求事件消息；
将所述下游服务调用请求事件消息通过网络节点发送至第二应用节点。


22.根据权利要求21所述的方法，其特征在于，在获取所述服务调用请求事件消息中的服务类型信息之后，所述方法还包括：
根据所述服务类型信息向数据缓存服务器发送交互对象请求信息；
接收所述数据缓存服务器根据所述交互对象请求信息所发送的交互对象信息。


23.根据权利要求22所述的方法，其特征在于，所述方法还包括：
根据所述交互对象信息确定用于与所述第一应用节点进行数据交互的第二应用节点。


24.根据权利要求22所述的方法，其特征在于，在接收所述...

【专利技术属性】
技术研发人员：孙岩，谢吉宝，蔡欣，任轩，胡孙健，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY