一种数据处理方法及装置、存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法及装置、存储介质，该方法包括：获取应用程序的界面标记图像，所述界面标记图像包括至少一个被标记的区域；利用预设标记检测模型，对所述界面标记图像进行标记识别，得到所述至少一个被标记的区域中每个区域的标记信息；所述预设标记检测模型表征界面标记图像和标记信息的对应关系，所述标记信息表征所述每个区域对应的标记特征；根据预设标记信息和区域类型的对应关系，以及所述标记信息，得到所述每个区域对应的区域类型；根据所述界面标记图像、所述标记信息、所述区域类型和预设程序库，得到所述应用程序的界面显示程序；所述预设程序库表征区域类型对应的区域程序。

【技术实现步骤摘要】
一种数据处理方法及装置、存储介质
本专利技术涉及程序开发技术，尤其涉及一种数据处理方法及装置、存储介质。
技术介绍
在现有安卓应用开发中，由开发人员根据安卓应用程序的页面设计图，手工编写代码以生成安卓应用程序的布局文件，然而，手工编写代码的效率低、人员成本高，并且，由于开发人员的编码能力的不稳定性，代码的可读性和可移植性得不到保证，进而，无法快速生成具有良好的可读性和较高的可移植性的布局文件。
技术实现思路
本专利技术的主要目的在于提出一种数据处理方法及装置、存储介质，提高了界面显示数据的可读性和可移植性。本专利技术的技术方案是这样实现的：本专利技术实施例提供了一种数据处理方法，所述方法包括：获取应用程序的界面标记图像，所述界面标记图像包括至少一个被标记的区域；利用预设标记检测模型，对所述界面标记图像进行标记识别，得到所述至少一个被标记的区域中每个区域的标记信息；所述预设标记检测模型表征界面标记图像和标记信息的对应关系，所述标记信息表征所述每个区域对应的标记特征；根据预设标记信息和区域类型的对应关系，以及所述标记信息，得到所述每个区域对应的区域类型；根据所述界面标记图像、所述标记信息、所述区域类型和预设程序库，得到所述应用程序的界面显示程序；所述预设程序库表征区域类型对应的区域程序。上述方案中，所述至少一个被标记的区域为至少一个被有颜色的标记框所标记的区域；所述标记信息包括标记位置和标记颜色。上述方案中，所述预设标记检测模型包括标记框检测模型和颜色检测模型；所述利用预设标记检测模型，对所述界面标记图像进行标记识别，得到所述至少一个被标记的区域中每个区域的标记信息，包括：利用所述标记框检测模型，对所述界面标记图像进行位置检测，得到所述标记位置；根据所述标记位置、所述界面标记图像和所述颜色检测模型，得到所述标记颜色。上述方案中，所述区域类型为布局类型或控件类型，所述预设标记信息和区域类型的对应关系包括：预设第一标记颜色和控件类型的第一对应关系、以及预设第二标记颜色和布局类型的第二对应关系；所述根据预设标记信息和区域类型的对应关系、以及所述标记信息，得到所述每个区域对应的区域类型，包括：当一个区域的标记颜色与所述第一对应关系中的第一标记颜色匹配时，根据所述标记颜色和所述第一对应关系，得到所述一个区域对应的控件类型；所述一个区域属于所述至少一个被标记的区域；当所述一个区域的标记颜色与所述第二对应关系中的第二标记颜色匹配时，根据所述标记颜色和所述第二对应关系，得到所述一个区域对应的布局类型；进而得到所述每个区域对应的区域类型。上述方案中，所述根据所述界面标记图像、所述标记信息、所述区域类型和预设程序库，得到所述应用程序的界面显示程序，包括：根据所述标记位置、所述区域类型和所述预设程序库，得到所述每个区域的初始界面区域程序；根据所述区域类型、所述标记位置和所述界面标记图像，得到所述每个区域的区域内容；根据所述初始界面区域程序和所述区域内容，得到所述每个区域的界面区域程序；当所述至少一个被标记的区域包括至少两个被标记的区域时，根据所述标记位置，得到所述至少两个被标记的区域对应的包含关系；根据所述包含关系，对所述界面区域程序进行组合，得到所述界面显示程序。上述方案中，所述区域类型为布局类型或控件类型，所述控件类型包括文本控件和图像控件；所述根据所述区域类型、所述标记位置和所述界面标记图像，得到所述每个区域的区域内容，包括：当所述至少一个被标记的区域中一个区域对应的区域类型是所述文本控件时，对所述界面标记图像中所述一个区域的标记位置对应的图像进行文字识别，得到所述一个区域内的区域文字，将所述区域文字作为所述一个区域的区域内容；当所述一个区域对应的区域类型是所述图像控件时，对所述界面标记图像中所述一个区域的标记位置对应的图像进行图像提取，得到所述一个区域内的区域图像，将所述区域图像作为所述一个区域的区域内容；当所述一个区域对应的区域类型是所述布局类型时，对所述界面标记图像中所述一个区域的标记位置对应的图像进行背景识别，得到所述一个区域内的区域背景，将所述区域背景作为所述一个区域的区域内容；进而得到所述每个区域的区域内容。上述方案中，所述标记位置包括所述每个区域对应的标记框的定位点坐标；所述根据所述标记位置，得到所述至少两个被标记的区域对应的包含关系，包括：根据所述至少两个被标记的区域中每两个区域的定位点坐标，确定所述每两个区域对应的子包含关系，进而得到所述包含关系。上述方案中，所述标记框为方框，所述定位点坐标包括所述每个区域对应的方框的左上角坐标和右下角坐标，或者，所述定位点坐标包括所述每个区域对应的方框的左下角坐标和右上角坐标。上述方案中，所述标记框为圆框，所述定位点坐标包括所述每个区域对应的圆框的圆心坐标和半径。上述方案中，所述标记框检测模型包括网格坐标检测模型和置信度计算模型，所述网络坐标检测模型表征子单位网格和预测坐标的对应关系，所述置信度计算模型表征预测坐标和置信度的对应关系；所述利用所述标记框检测模型，对所述界面标记图像进行位置检测，得到所述标记位置，包括：对所述界面标记图像进行网格划分，得到所述界面标记图像对应的至少一个单位网格；将所述至少一个单位网格和所述每个区域进行匹配，得到所述每个区域对应的子单位网格；所述子单位网格属于所述至少一个单位网格；利用所述子单位网格、所述网格坐标检测模型和所述置信度计算模型，对所述每个区域进行位置检测，得到所述标记位置。上述方案中，所述标记框为预设宽度的标记框；所述根据所述标记位置、所述界面标记图像和所述颜色检测模型，得到所述标记颜色，包括：从所述界面标记图像中提取所述标记位置对应的图像，得到所述每个区域的标记区域图像；利用所述颜色检测模型，对所述标记区域图像中符合所述预设宽度的目标区域进行颜色识别，得到所述标记颜色。本专利技术实施例提供了一种数据处理装置，所述装置包括：图像获取单元、标记识别单元、类型确定单元和程序生成单元；其中，所述图像获取单元，用于获取应用程序的界面标记图像，所述界面标记图像包括至少一个被标记的区域；所述标记识别单元，用于利用预设标记检测模型，对所述界面标记图像进行标记识别，得到所述至少一个被标记的区域中每个区域的标记信息；所述预设标记检测模型表征界面标记图像和标记信息的对应关系，所述标记信息表征所述每个区域对应的标记特征；所述类型确定单元，用于根据预设标记信息和区域类型的对应关系，以及所述标记信息，得到所述每个区域对应的区域类型；所述程序生成单元，用于根据所述界面标记图像、所述标记信息、所述区域类型和预设程序库，得到所述应用程序的界面显示程序；所述预设程序库表征区域类型对应的区域程序。上述方案中，所述至少一个被标记的区域为至少一个被有颜本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n获取应用程序的界面标记图像，所述界面标记图像包括至少一个被标记的区域；/n利用预设标记检测模型，对所述界面标记图像进行标记识别，得到所述至少一个被标记的区域中每个区域的标记信息；所述预设标记检测模型表征界面标记图像和标记信息的对应关系，所述标记信息表征所述每个区域对应的标记特征；/n根据预设标记信息和区域类型的对应关系，以及所述标记信息，得到所述每个区域对应的区域类型；/n根据所述界面标记图像、所述标记信息、所述区域类型和预设程序库，得到所述应用程序的界面显示程序；所述预设程序库表征区域类型对应的区域程序。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
获取应用程序的界面标记图像，所述界面标记图像包括至少一个被标记的区域；
利用预设标记检测模型，对所述界面标记图像进行标记识别，得到所述至少一个被标记的区域中每个区域的标记信息；所述预设标记检测模型表征界面标记图像和标记信息的对应关系，所述标记信息表征所述每个区域对应的标记特征；
根据预设标记信息和区域类型的对应关系，以及所述标记信息，得到所述每个区域对应的区域类型；
根据所述界面标记图像、所述标记信息、所述区域类型和预设程序库，得到所述应用程序的界面显示程序；所述预设程序库表征区域类型对应的区域程序。


2.根据权利要求1所述的方法，其特征在于，所述至少一个被标记的区域为至少一个被有颜色的标记框所标记的区域；所述标记信息包括标记位置和标记颜色。


3.根据权利要求2所述的方法，其特征在于，所述预设标记检测模型包括标记框检测模型和颜色检测模型；
所述利用预设标记检测模型，对所述界面标记图像进行标记识别，得到所述至少一个被标记的区域中每个区域的标记信息，包括：
利用所述标记框检测模型，对所述界面标记图像进行位置检测，得到所述标记位置；
根据所述标记位置、所述界面标记图像和所述颜色检测模型，得到所述标记颜色。


4.根据权利要求2所述的方法，其特征在于，所述区域类型为布局类型或控件类型，所述预设标记信息和区域类型的对应关系包括：预设第一标记颜色和控件类型的第一对应关系、以及预设第二标记颜色和布局类型的第二对应关系；
所述根据预设标记信息和区域类型的对应关系、以及所述标记信息，得到所述每个区域对应的区域类型，包括：
当一个区域的标记颜色与所述第一对应关系中的第一标记颜色匹配时，根据所述标记颜色和所述第一对应关系，得到所述一个区域对应的控件类型；所述一个区域属于所述至少一个被标记的区域；
当所述一个区域的标记颜色与所述第二对应关系中的第二标记颜色匹配时，根据所述标记颜色和所述第二对应关系，得到所述一个区域对应的布局类型；进而得到所述每个区域对应的区域类型。


5.根据权利要求2所述的方法，其特征在于，所述根据所述界面标记图像、所述标记信息、所述区域类型和预设程序库，得到所述应用程序的界面显示程序，包括：
根据所述标记位置、所述区域类型和所述预设程序库，得到所述每个区域的初始界面区域程序；
根据所述区域类型、所述标记位置和所述界面标记图像，得到所述每个区域的区域内容；
根据所述初始界面区域程序和所述区域内容，得到所述每个区域的界面区域程序；
当所述至少一个被标记的区域包括至少两个被标记的区域时，根据所述标记位置，得到所述至少两个被标记的区域对应的包含关系；
根据所述包含关系，对所述界面区域程序进行组合，得到所述界面显示程序。


6.根据权利要求5所述的方法，其特征在于，所述区域类型为布局类型或控件类型，所述控件类型包括文本控件和图像控件；
所述根据所述区域类型、所述标记位置和所述界面标记图像，得到所述每个区域的区域内容，包括：
当所述至少一个被标记的区域中一个区域对应的区域类型是所述文本控件时，对所述界面标记图像中所述一个区域的标记位置对应的图像进行文字识别，得到所述一个区域内的区域文字，将所述区域文字作为所述一个区域的区域内容；
当所述一个区域对应的区域类型是所述图像控件时，对所述界面标记图像中所述一个区域的标记位置对应的图像进行图像提取，得到所述一个区域内的区域图像，将所述区域图像作为所述一个区域的区域内容；
当所述一个区域对应的区域类型是所述布局类型时，对所述界面标记图像中所述一个区域的标记位置对应的图像进行背景识别，得到所述一个区域内的区域背景，将所述区域背景作为所述一个区域的区域内容；进而得到所述每个区域的区域内容。


7.根据权利要求5所述的方法，其特征在于，所述标记位置包括所述每个区域对应的标记框的定位点坐标；
所述根据所述标记位置，得到所述至少两个被标记的区域对应的包含关系，包括：
根据所述至少两个被标记的区域中每两个区域的定位点坐标，确定所述每两个区域对应的子包含关系，进而得到所述包含关系。


8.根据权利要求7所述的方法，其特征在于，所述标记框为方框，所述定位点坐标包括所述每个区域对应的方框的左上角坐标和右下角坐标，或者，所述定位点坐标包括所述每个区域对应的方框的左下角坐标和右上角坐标。


9.根据权利要求7所述的方法，其特征在于，所述标记框为圆框，所述定位点坐标包括所述每个区域对应的圆框的圆心坐标和半径。


10.根据权利要求3所述的方法，其特征在于，所述标记框检测模型包括网格坐标检测模型和置信度计算模型，所述网络坐标检测模型表征子单位网格和预测坐标的对应关系，所述置信度计算模型表征预测坐标和置信度的对应关系；
所述利用所述标记框检测模型，对所述界面标记图像进行位置检测，得到所述标记位置，包括：
对所述界面标记图像进行网格划分，得到所述界面标记图像对应的至少一个单位网格；
将所述至少一个单位网格和所述每个区域进行匹配，得到所述每个区域对应的子单位网格；所述子单位网格属于所述至少一个单位网格；
利用所述子单位网格、所述网格坐标检测模型和所述置信度计算模型，对所述每个区域进行位置检测，得到所述标记位置。


11.根据权利要求3所述的方法，其特征在于，所述标记框为预设宽度的标记框；
所述根据所述标记位置、所述界面标记图像和所述颜色检测模型，得到所述标记颜色，包括：
从所述界面标记图像中提取所述标记位置对应的图像，得到所述每个区域的标记区域图像；
利用所述颜色检测模型，对所述标记区域图像中符合所述预设宽度的目标区域进行颜色识别，得到所述标记颜色。


12.一种数据处理装置，其特征在于，所述装置包...

【专利技术属性】
技术研发人员：崔海洋，潘宗涛，王德鑫，
申请(专利权)人：北京海益同展信息科技有限公司，
类型：发明
国别省市：北京;11