数据处理装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例提供了一种数据处理装置、计算机设备及存储介质。该装置包括：发表业务处理模块，用于执行内容发表对应的第一业务逻辑，第一业务逻辑包括前置流程和写数据请求流程，写数据请求流程用于请求数据处理模块对经过处理的待发表内容的数据执行写数据操作；浏览业务处理模块，用于执行内容浏览对应的业务逻辑，该业务逻辑包括加载流程和打包流程，加载流程用于请求数据处理模块对待浏览内容的数据执行读数据操作；数据处理模块，用于根据发表业务处理模块的请求执行写数据操作，根据浏览业务处理模块的请求执行读数据操作。将发表和浏览内容的业务逻辑与对数据库的读写操作隔离，提高服务端稳定性和可靠性。

Data processing device, computer equipment and storage medium

【技术实现步骤摘要】
数据处理装置、计算机设备及存储介质
本专利技术实施例涉及计算机
，尤其涉及一种数据处理装置、计算机设备及存储介质。
技术介绍
在互联网UGC(User-generatedContent，用户生成内容)场景中，用户动作可以被分成发表和浏览两个部分。当用户通过终端的应用程序发表内容，应用程序向服务端发送发表内容的请求，携带需要发表的内容数据，服务端接收到该发表内容的请求后，对存储设备的数据库进行写数据操作，将内容数据写入数据库，以完成内容的发表，并在完成内容发表后向终端应用程序返回响应消息。当用户通过应用程序浏览内容，应用程序向服务端发送浏览内容的请求，服务端接收到该浏览内容的请求后，对存储设备的数据库进行读数据操作，以获取请求对应的内容数据，向应用程序返回响应消息，携带请求对应的内容数据，以便应用程序展示请求的内容供用户浏览。其中，在服务端，通常将读写分离，对读写两种功能进行垂直拆分，划分为读服务和写服务分别进行部署，相应的，对存储设备进行划分，划分为读数据库和写数据库。频繁的业务更新已经成为应用程序的常态，基于上述服务端架构，无论是读服务还是写服务的频繁更新，都会引起存储设备的抖动，进而影响另外一个服务的运行，甚至因为读写服务的相互影响引起雪崩，导致服务端运行故障。
技术实现思路
本专利技术实施例提供一种服务端的数据处理装置、计算机设备及存储介质，以达到提高服务端稳定性、可靠性的目的。第一方面，本专利技术实施例提供一种数据处理装置，包括：发表业务处理模块，用于执行内容发表对应的第一业务逻辑，该内容发表对应的第一业务逻辑包括前置流程和写数据请求流程，前置流程用于对待发表内容的数据进行写数据操作前的处理，写数据请求流程用于请求数据处理模块对经过处理的所述待发表内容的数据执行写数据操作；浏览业务处理模块，用于执行内容浏览对应的业务逻辑，内容浏览对应的业务逻辑包括加载流程和打包流程，加载流程用于请求数据处理模块对待浏览内容的数据执行读数据操作，打包流程用于对待浏览内容的数据进行打包操作；数据处理模块，用于根据发表业务处理模块的请求执行写数据操作，根据浏览业务处理模块的请求执行读数据操作。本专利技术实施例提供的装置，将发表和浏览内容的业务逻辑与数据读写操作隔离，统一由数据处理模块进行数据的读写操作。那么，发表和浏览内容的业务逻辑(读写服务)即使频繁更新，由于不直接进行读写操作，也不会引起存储设备的抖动，因此不会由此造成服务端运行故障，提高了服务端运行的稳定性和可靠性。在此基础上，数据处理模块包括写入数据子模块，读取数据子模块和离线拉取数据子模块；其中，写入数据子模块用于根据发表业务处理模块的请求执行写数据操作；读取数据子模块和离线拉取数据子模块均用于根据浏览业务处理模块的请求执行读数据操作。本专利技术实施例提供的装置，通过将数据处理模块拆分为写入数据子模块、读取数据子模块和离线拉取数据子模块，分别承担数据写入、在线数据读取、离线拉取的职能，从而可以实现数据隔离的业务场景需求，且有助于提高缓存命中率。在上述任意装置实施例的基础上，为实现根据浏览业务处理模块的请求执行读数据操作，数据处理模块可以用于：在本地缓存中查找浏览业务处理模块的请求对应的待浏览内容的数据；若在本地缓存中查找到待浏览内容的数据，从本地缓存中读取待浏览内容的数据，并返回给浏览业务处理模块；若在本地缓存中未查找到待浏览内容的数据，在缓存服务器中查找待浏览内容的数据；若在缓存服务器中查找到待浏览内容的数据，从缓存服务器中读取待浏览内容的数据，并返回给浏览业务处理模块；若在缓存服务器中未查找到待浏览内容的数据，从关系型数据库中查找待浏览内容的数据的元数据，利用该元数据从键值对数据库中查找待浏览内容的数据，并将查找到的待浏览内容的数据返回给浏览业务处理模块。本专利技术实施例提供的装置，采用三级数据存储架构，首先在本地缓存上查找待浏览内容的数据，未找到的情况下继续在缓存服务器中查找，最终在数据库中查找，一方面可以提高数据读取的效率，另一方面也避免对数据库的频繁访问。另外，本专利技术实施例提供的装置中，将关系型数据库与键值对数据库结合，在关系型数据库中仅保存元数据字段作为拉链索引，在键值对数据库中进行数据查找。这种数据库组合方式可以减少数据存储空间，提高数据查找效率。在此基础上，本专利技术实施例提供的装置还可以包括数据验证模块，用于分别从键值对数据库和验证数据库中读取待验证的数据，对分别从键值对数据库和验证数据库中读取的待验证的数据进行比对验证；键值对数据库和验证数据库的存储结构不同。本专利技术实施例提供的装置，全量数据不仅在键值对数据库中保存，还在验证数据库中保存，这两个数据库的存储结构不同，那么，利用数据验证模块分别从这两个数据库中读取待验证的数据，通过数据比对可以实现对键值对数据库的数据验证。在上述任意装置实施例的基础上，上述发表业务处理模块用于采用工作流技术串联执行多个第一业务逻辑。专利技术人在实现本专利技术的过程中发现，可以将发表业务划分为发表、点赞、更新等，这些发表业务的第一业务逻辑基本相同，因此，可以采用工作流技术串联多个第一业务逻辑，从而减少对数据库的读写次数。在上述任意装置实施例的基础上，上述前置流程至少包括参数校验节点和文本检验节点，在文本检验节点，发表业务处理模块用于通过Trie树结构实现文本中的表情字符检测。通过Trie树结构实现文本中的表情字符检测可以降低检测时延，提高检测速度。在上述任意装置实施例的基础上，上述前置流程包括至少一个审核节点，至少一个审核节点为异步处理节点。专利技术人在实现本专利技术的过程中发现，由于现有的前置流程为同步处理流程，即每个节点均需要在前一节点执行完毕后开始执行，导致发表业务耗时较高。更具体的，是其中的审核节点的耗时导致了整体流程的耗时，而审核节点的处理结果只影响业务发表的最终结果，并不影响下一个节点的执行，因此，本专利技术实施例提供的装置，审核节点为异步处理节点，即审核节点的下一个节点不需要等待审核节点的审核结果即可执行，从而降低整体流程的耗时。在上述任意装置实施例的基础上，所述发表业务处理模块还用于执行所述第一业务逻辑后，通过单向发送的方式调用内容发表对应的第二业务逻辑，所述第二业务逻辑用于实现写数据操作成功后的内容发表操作。本专利技术实施例提供的装置，将发表业务服务进一步拆分为第一业务逻辑和第二业务逻辑，其中，第二业务逻辑实现第一业务逻辑对应的写数据操作成功后的内容发表操作。通过这种拆分，可以降低发表业务的时延，优化发表业务服务。第二方面，本专利技术实施例还提供一种计算机设备，包括处理器和存储器；存储器用于存储第一应用程序、第二应用程序和第三应用程序；处理器被配置为执行存储器中存储的第一应用程序，用于执行内容发表对应的第一业务逻辑，内容发表对应的第一业务逻辑包括前置流程和写数据请求流程，前置流程用于对待发表内容的数据进行写数据操作前的处理，写数据请求流程用于请求第三应用程序对经过处理的待发表内容本文档来自技高网...

【技术保护点】
1.一种数据处理装置，用于UGC场景，其特征在于，包括：/n发表业务处理模块，用于执行内容发表对应的第一业务逻辑，所述内容发表对应的第一业务逻辑包括前置流程和写数据请求流程，所述前置流程用于对待发表内容的数据进行写数据操作前的处理，所述写数据请求流程用于请求数据处理模块对经过处理的所述待发表内容的数据执行写数据操作；/n浏览业务处理模块，用于执行内容浏览对应的业务逻辑，所述内容浏览对应的业务逻辑包括加载流程和打包流程，所述加载流程用于请求所述数据处理模块对待浏览内容的数据执行读数据操作，所述打包流程用于对所述待浏览内容的数据进行打包操作；/n数据处理模块，用于根据所述发表业务处理模块的请求执行写数据操作，根据所述浏览业务处理模块的请求执行读数据操作。/n

【技术特征摘要】
1.一种数据处理装置，用于UGC场景，其特征在于，包括：
发表业务处理模块，用于执行内容发表对应的第一业务逻辑，所述内容发表对应的第一业务逻辑包括前置流程和写数据请求流程，所述前置流程用于对待发表内容的数据进行写数据操作前的处理，所述写数据请求流程用于请求数据处理模块对经过处理的所述待发表内容的数据执行写数据操作；
浏览业务处理模块，用于执行内容浏览对应的业务逻辑，所述内容浏览对应的业务逻辑包括加载流程和打包流程，所述加载流程用于请求所述数据处理模块对待浏览内容的数据执行读数据操作，所述打包流程用于对所述待浏览内容的数据进行打包操作；
数据处理模块，用于根据所述发表业务处理模块的请求执行写数据操作，根据所述浏览业务处理模块的请求执行读数据操作。


2.根据权利要求1所述的数据处理装置，其特征在于，所述数据处理模块包括写入数据子模块，读取数据子模块和离线拉取数据子模块；
所述写入数据子模块用于根据所述发表业务处理模块的请求执行写数据操作；
所述读取数据子模块和所述离线拉取数据子模块均用于根据所述浏览业务处理模块的请求执行读数据操作。


3.根据权利要求1所述的数据处理装置，其特征在于，为实现根据所述浏览业务处理模块的请求执行读数据操作，所述数据处理模块用于：
在本地缓存中查找所述浏览业务处理模块的请求对应的所述待浏览内容的数据；若在本地缓存中查找到所述待浏览内容的数据，从所述本地缓存中读取所述待浏览内容的数据，并返回给所述浏览业务处理模块；
若在本地缓存中未查找到所述待浏览内容的数据，在缓存服务器中查找所述待浏览内容的数据；若在所述缓存服务器中查找到所述待浏览内容的数据，从所述缓存服务器中读取所述待浏览内容的数据，并返回给所述浏览业务处理模块；
若在所述缓存服务器中未查找到所述待浏览内容的数据，从关系型数据库中查找所述待浏览内容的数据的元数据，利用所述元数据从键值对数据库中查找所述待浏览内容的数据，并将查找到的所述待浏览内容的数据返回给所述浏览业务处理模块。


4.根据权利要求3所述的数据处理装置，其特征在于，所述装置还包括数据验证模块，用于分别从所述键值对数据库和验证数据库中读取待验证的数据，对分别从所述键值对数据库和所述验证数据库中读取的待验证的数据进行比对验证；所述键值对数据库和所述验证数据库的存储结构不同。


5.根据权利要求1至3任一项所述的数据处理装置，其特征在于，所述发表业务处理模块用于采用工作流技术串联执行多个所述第一业务逻...

【专利技术属性】
技术研发人员：姜磊，周乾，胡剑箫，杨鑫阳，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11