本公开关于一种数据处理方法、装置、系统、计算机设备和存储介质，所述方法包括：在监听到代理进程对业务进程对应的数据集合文件进行更新的情况下，对更新后的目标数据集合文件进行内存映射，得到所述目标数据集合文件的虚拟内存地址；释放所述业务进程的物理内存中原始数据集合文件中的数据；根据所述目标数据集合文件的虚拟内存地址，将所述目标数据集合文件中的数据写入所述物理内存中。本公开实施例可以降低内存消耗。可以降低内存消耗。可以降低内存消耗。
【技术实现步骤摘要】
数据处理方法、装置、系统、电子设备及存储介质
[0001]本公开涉及数据处理
，特别是涉及一种数据处理方法、装置、系统、电子设备和存储介质。
技术介绍
[0002]进程中涉及数据轮转的时候，进程通常会把更新后的目标数据集合文件中的新数据加载到进程的物理内存后，再把更新前的原始数据集合文件中的旧数据从进程的物理内存中释放掉。这样一来，新数据和旧数据会存在共存瞬间，在共存瞬间二者都消耗物理内存，浪费内存空间，并可能会导致物理内存出现内存消耗尖峰。
[0003]在某些小内存的容器环境下，可能会出现因为内存消耗尖峰，进程被OOM killer(Out Of Memory killer)关闭的情况，会大大降低进程对应的服务的可用性和稳定性。
技术实现思路
[0004]本公开提供一种数据处理方法、装置、系统、电子设备和存储介质，以至少解决相关技术中数据轮转过程中进程存在内存消耗尖峰的问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种数据处理方法，应用于业务进程，包括：
[0006]在监听到代理进程对业务进程对应的数据集合文件进行更新的情况下，对更新后的目标数据集合文件进行内存映射，得到所述目标数据集合文件的虚拟内存地址；
[0007]释放所述业务进程的物理内存中原始数据集合文件中的数据；
[0008]根据所述目标数据集合文件的虚拟内存地址，将所述目标数据集合文件中的数据写入所述物理内存中。
[0009]在一种可能的实现方式中，所述在监听到代理进程对业务进程对应的数据集合文件更新的情况下，对更新后的目标数据集合文件进行内存映射，得到所述目标数据集合文件的虚拟内存地址，包括：
[0010]对链接文件进行监听，所述链接文件用于记录业务进程对应的数据集合文件在磁盘上的磁盘位置；
[0011]在监听到所述链接文件更新的情况下，确定所述业务进程对应的数据集合文件更新，从所述链接文件中获取更新后的目标数据集合文件在磁盘上的第一磁盘位置；
[0012]根据所述第一磁盘位置对所述目标数据集合文件进行内存映射，得到所述目标数据集合文件的虚拟内存地址。
[0013]在一种可能的实现方式中，所述根据所述目标数据集合文件的虚拟内存地址，将所述目标数据集合文件中的数据写入所述物理内存中，包括：
[0014]根据所述目标数据集合文件的虚拟内存地址，对所述目标数据集合文件中的数据进行访问；
[0015]在所述目标数据集合文件中待访问的数据未写入所述物理内存中的情况下，采用缺页中断机制将所述待访问的数据写入所述物理内存中。
[0016]在一种可能的实现方式中，所述在监听到代理进程对业务进程对应的数据集合文件更新的情况下，对更新后的目标数据集合文件进行内存映射，得到所述目标数据集合文件的虚拟内存地址之前，还包括：
[0017]从链接文件中获取原始数据集合文件在磁盘中的第二磁盘位置；
[0018]根据所述第二磁盘位置对所述原始数据集合文件进行内存映射，得到所述原始数据集合文件的虚拟内存地址；
[0019]根据所述原始数据集合文件的虚拟内存地址对所述原始数据集合文件中的数据进行访问；
[0020]在所述原始数据集合文件中待访问的数据未写入所述物理内存的情况下，采用缺页中断机制将所述原始数据集合文件中待访问的数据写入所述物理内存中。
[0021]根据本公开实施例的第二方面，提供一种数据处理方法，应用于代理进程，包括：
[0022]监听数据集合存储区域；
[0023]在监听到所述数据集合存储区域中针对业务进程的数据集合文件更新的情况下，从所述数据集合存储区域读取目标数据集合文件；
[0024]根据所述目标数据集合文件对所述业务进程对应的数据集合文件进行更新，以使所述业务进程在所述数据集合文件更新后，对所述目标数据集合文件进行内存映射，并在释放所述业务进程的物理内存中原始数据集合文件中的数据后，根据通过所述内存映射得到的所述目标数据集合文件的虚拟内存地址，将所述目标数据集合文件中的数据写入所述物理内存中。
[0025]在一种可能的实现方式中，所述根据所述目标数据集合文件对所述业务进程对应的数据集合文件进行更新，包括：
[0026]将所述目标数据集合文件存储在磁盘上，得到所述目标数据集合文件的第一磁盘位置；
[0027]将链接文件中的位置信息更新为所述第一磁盘位置，其中，所述链接文件用于记录所述业务进程对应的数据集合文件在磁盘上的磁盘位置。
[0028]根据本公开实施例的第三方面，提供一种数据处理系统，所述系统包括业务进程和代理进程，其中，
[0029]所述代理进程在监听到数据集合存储区域中针对所述业务进程的数据集合文件更新的情况下，从所述数据集合存储区域获取目标数据集合文件，并根据所述目标数据集合文件对所述业务进程对应的数据集合文件进行更新；
[0030]所述业务进程在确定所述代理进程对所述业务进程对应的数据集合文件进行更新的情况下，对更新后的所述目标数据集合文件进行内存映射，得到所述目标数据集合文件的虚拟内存地址；
[0031]所述业务进程从所述业务进程的物理内存中释放原始数据集合文件的数据后，根据所述目标数据集合文件中的虚拟内存地址，将所述目标数据集合文件中的数据写入所述物理内存中。
[0032]在一种可能的实现方式中，所述代理进程将目标数据集合文件存储在磁盘上，得到所述目标数据集合文件的第一磁盘位置后，将链接文件中的位置信息更新为所述第一磁盘位置，其中，所述链接文件用于记录所述业务进程对应的数据集合文件在磁盘上的磁盘
位置。
[0033]在一种可能的实现方式中，所述业务进程对所述链接文件进行监听，并在监听到所述链接文件更新的情况下，从所述链接文件中获取更新后的所述目标数据集合文件在磁盘上的所述第一磁盘位置，并根据所述第一磁盘位置对所述目标数据集合文件进行内存映射，得到所述目标数据集合文件的虚拟内存地址。
[0034]在一种可能的实现方式中，所述业务进程根据所述目标数据集合文件的虚拟内存地址，对所述目标数据集合文件中的数据进行访问，并在所述目标数据集合文件中待访问的数据未写入所述物理内存中的情况下，采用缺页中断机制将所述待访问的数据写入所述物理内存中。
[0035]在一种可能的实现方式中，所述业务进程从链接文件中获取原始数据集合文件在磁盘中的第二磁盘位置后，根据所述第二磁盘位置对所述原始数据集合文件进行内存映射，得到所述原始数据集合文件的虚拟内存地址；
[0036]所述业务进程根据所述原始数据集合文件的虚拟内存地址对所述原始数据集合文件中的数据进行访问，并在所述原始数据集合文件中待访问的数据未写入所述物理内存的情况下，采用缺页中断机制将所述原始数据集合文件中待访问的数据写入所述物理内存中。
[0037]根据本公开实施例的第四方面，提供一种数据处理装置，应用于业务进程，包括：...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于业务进程，所述方法包括：在监听到代理进程对业务进程对应的数据集合文件进行更新的情况下，对更新后的目标数据集合文件进行内存映射，得到所述目标数据集合文件的虚拟内存地址；释放所述业务进程的物理内存中原始数据集合文件中的数据；根据所述目标数据集合文件的虚拟内存地址，将所述目标数据集合文件中的数据写入所述物理内存中。2.根据权利要求1所述的方法，其特征在于，所述在监听到代理进程对业务进程对应的数据集合文件更新的情况下，对更新后的目标数据集合文件进行内存映射，得到所述目标数据集合文件的虚拟内存地址，包括：对链接文件进行监听，所述链接文件用于记录业务进程对应的数据集合文件在磁盘上的磁盘位置；在监听到所述链接文件更新的情况下，确定所述业务进程对应的数据集合文件更新，从所述链接文件中获取更新后的目标数据集合文件在磁盘上的第一磁盘位置；根据所述第一磁盘位置对所述目标数据集合文件进行内存映射，得到所述目标数据集合文件的虚拟内存地址。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述目标数据集合文件的虚拟内存地址，将所述目标数据集合文件中的数据写入所述物理内存中，包括：根据所述目标数据集合文件的虚拟内存地址，对所述目标数据集合文件中的数据进行访问；在所述目标数据集合文件中待访问的数据未写入所述物理内存中的情况下，采用缺页中断机制将所述待访问的数据写入所述物理内存中。4.一种数据处理方法，其特征在于，应用于代理进程，所述方法包括：监听数据集合存储区域；在监听到所述数据集合存储区域中针对业务进程的数据集合文件更新的情况下，从所述数据集合存储区域读取目标数据集合文件；根据所述目标数据集合文件对所述业务进程对应的数据集合文件进行更新，以使所述业务进程在所述数据集合文件更新后，对所述目标数据集合文件进行内存映射，并在释放所述业务进程的物理内存中原始数据集合文件中的数据后，根据通过所述内存映射得到的所述目标数据集合文件的虚拟内存地址，将所述目标数据集合文件中的数据写入所述物理内存中。5.一种数据处理系统，其特征在于，所述系统包括业务进程和代理进程，其中，所述代理进程在监听到数据集合存储区域中针对所述业务进程的数据集合文件更新的情况下，从所述数据集合存储区域获取目标数据集合文件，并根据所述目标数据集合文件对所述业务进...
【专利技术属性】
技术研发人员：王鹏，翁慈洁，王天舟，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。