界面布局方法、装置及系统制造方法及图纸

本申请适用于人工智能识别技术领域，提供了一种界面布局方法、装置及系统，所述方法包括：第一终端设备接收投屏指令，所述投屏指令用于指示所述第一终端设备向所述第二终端设备投屏；并根据第一界面的界面信息和第二设备信息，生成用于在所述第二终端设备展示的第二界面，所述第一界面为所述第一终端设备展示的界面，所述第二设备信息用于表示所述第二终端设备的屏幕尺寸和屏幕状态，使得第二终端设备可以显示与第二终端设备相匹配的第二界面，用户基于第二终端设备可以方便地对第二界面进行操控，避免了用户无法方便操控投屏的界面的问题，提高了用户基于第二终端设备对第二界面进行操控的便捷性和基于不同终端设备进行操控的一致性。

【技术实现步骤摘要】
界面布局方法、装置及系统
本申请属于人工智能识别
，尤其涉一种界面布局方法、装置及系统。
技术介绍
随着终端设备的不断发展，终端设备在加载应用程序的过程中，不但可以展示应用程序的界面，还可以向其他终端设备投屏该应用程序的界面，以便用户能够通过其他终端设备控制应用程序执行不同的功能，使得用户能够在不同终端设备上体验具有一致操作的无缝连续服务。相关技术中，第一终端设备在加载应用程序的过程中，若检测到用户触发的投屏操作，则可以根据该投屏操作，将应用程序当前展示的界面向投屏操作所指示的第二终端设备进行投屏，则第二终端设备可以展示该应用程序在第一终端设备中所展示的界面。但是，不同终端设备的屏幕大小不同，而且用户对各个终端设备进行操控的方便程度不同，导致将第一终端设备展示的界面投屏到第二终端设备后，用户基于第二终端设备可能无法方便对投屏的界面进行操控。
技术实现思路
本申请实施例提供了一种界面布局方法、装置及系统，可以解决第一终端设备将展示的界面投屏到第二终端设备后，用户基于第二终端设备无法方便对投屏的界面进行操控的问题。第一方面，本申请实施例提供了一种界面布局方法，应用于第一终端设备，所述第一终端设备与第二终端设备连接，所述方法包括：接收投屏指令，所述投屏指令用于指示所述第一终端设备向所述第二终端设备投屏；根据第一界面的界面信息和第二设备信息，生成用于在所述第二终端设备展示的第二界面，所述第一界面为所述第一终端设备展示的界面，所述第二设备信息用于表示所述第二终端设备的屏幕尺寸和屏幕状态。在第一方面的第一种可能的实现方式中，所述根据第一界面的界面信息和第二设备信息，生成用于在所述第二终端设备展示的第二界面，包括：获取所述第一界面的界面信息和所述第二设备信息，所述第一界面的界面信息包括所述第一界面中至少一个界面元素的元素信息，所述元素信息用于表示所述界面元素的名称、类型以及所述界面元素在所述第一界面中的位置；根据至少一个界面元素的所述元素信息，结合预先训练的界面识别模型进行识别，确定界面类别；根据所述界面类别和所述第二设备信息对至少一个所述界面元素进行排布，得到所述第二界面。基于第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述第一界面的界面信息还包括界面属性，所述界面属性用于表示所述第一界面的界面尺寸和界面方向；所述根据至少一个界面元素的所述元素信息，结合预先训练的界面识别模型进行识别，确定界面类别，包括：根据所述界面属性对至少一个所述元素信息进行特征提取，得到界面特征数据；将所述界面特征数据输入所述界面识别模型，通过所述界面识别模型对所述界面特征数据进行识别，得到所述界面识别模型输出的所述界面类别。基于第一方面的第一种可能的实现方式，在第一方面的第三种可能的实现方式中，所述根据所述界面类别和所述第二设备信息对至少一个所述界面元素进行排布，得到所述第二界面，包括：根据所述界面类别，对所述第二设备信息所指示的第二终端设备的显示区域进行划分，得到多个子区域；确定每个所述子区域内排布的界面元素；根据所述第二设备信息所指示的所述显示区域的尺寸和每个所述子区域内排布的界面元素的元素数目，对各个所述子区域内的各个所述界面元素进行调整，得到所述第二界面。基于第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述根据所述第二设备信息所指示的所述显示区域的尺寸和每个所述子区域内排布的界面元素的元素数目，对各个所述子区域内的各个所述界面元素进行调整，得到所述第二界面，包括：确定每个所述子区域内各个所述界面元素的所述元素数目；根据所述显示区域的尺寸、预先设置的排布规则和每个所述子区域对应的元素数目，对每个所述子区域内的每个所述界面元素的大小和方向进行调整，得到调整后的界面元素；对于每个所述子区域，根据所述子区域对应的元素数目，对所述子区域内调整后的界面元素在所述子区域内的位置进行调整，得到所述第二界面。基于第一方面的第一种至第四种任意一种可能的实现方式，在第一方面的第五种可能的实现方式中，在所述根据第一界面的界面信息和第二设备信息，生成用于在所述第二终端设备展示的第二界面之后，所述方法还包括：向所述第二终端设备发送所述第二界面，使得所述第二终端设备展示所述第二界面。基于第一方面的第五种可能的实现方式，在第一方面的第六种可能的实现方式中，在所述向所述第二终端设备发送所述第二界面之后，所述方法还包括：获取反馈信息，所述反馈信息为用户针对所述第二终端设备展示的所述第二界面进行反馈的信息；若所述反馈信息满足预先设置的更新条件，根据所述反馈信息对界面识别模型进行更新。基于第一方面的第一种至第四种任意一种可能的实现方式，在第一方面的第七种可能的实现方式中，在所述根据第一界面的界面信息和第二设备信息，生成用于在所述第二终端设备展示的第二界面之前，所述方法还包括：根据用户触发的提取操作，对所述第一界面中的界面元素进行提取，得到多个所述界面元素；根据用户触发的补充操作，生成多个所述界面元素的元素信息。基于第一方面的第一种至第四种任意一种可能的实现方式，在第一方面的第八种可能的实现方式中，在所述根据第一界面的界面信息和第二设备信息，生成用于在所述第二终端设备展示的第二界面之后，所述方法还包括：记录用户对所述第二界面中至少一个界面元素触发的调整操作；根据所述调整操作对排布规则进行调整。第二方面，本申请实施例提供了一种界面布局装置，应用于第一终端设备，所述第一终端设备与第二终端设备连接，所述装置包括：接收模块，用于接收投屏指令，所述投屏指令用于指示所述第一终端设备向所述第二终端设备投屏；生成模块，用于根据第一界面的界面信息和第二设备信息，生成用于在所述第二终端设备展示的第二界面，所述第一界面为所述第一终端设备展示的界面，所述第二设备信息用于表示所述第二终端设备的屏幕尺寸和屏幕状态。在第二方面的第一种可能的实现方式中，所述生成模块，具体用于获取所述第一界面的界面信息和所述第二设备信息，所述第一界面的界面信息包括所述第一界面中至少一个界面元素的元素信息，所述元素信息用于表示所述界面元素的名称、类型以及所述界面元素在所述第一界面中的位置；根据至少一个界面元素的所述元素信息，结合预先训练的界面识别模型进行识别，确定界面类别；根据所述界面类别和所述第二设备信息对至少一个所述界面元素进行排布，得到所述第二界面。基于第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述第一界面的界面信息还包括界面属性，所述界面属性用于表示所述第一界面的界面尺寸和界面方向；所述生成模块，还具体用于根据所述界面属性对至少一个所述元素信息进行特征提取，得到界面特征数据；将所述界面特征数据输入所述界面识别模型，通过所述界面识别模型对所述界面特征数据进行识本文档来自技高网...

【技术保护点】
1.一种界面布局方法，其特征在于，应用于第一终端设备，所述第一终端设备与第二终端设备连接，所述方法包括：/n接收投屏指令，所述投屏指令用于指示所述第一终端设备向所述第二终端设备投屏；/n根据第一界面的界面信息和第二设备信息，生成用于在所述第二终端设备展示的第二界面，所述第一界面为所述第一终端设备展示的界面，所述第二设备信息用于表示所述第二终端设备的屏幕尺寸和屏幕状态。/n

【技术特征摘要】
1.一种界面布局方法，其特征在于，应用于第一终端设备，所述第一终端设备与第二终端设备连接，所述方法包括：
接收投屏指令，所述投屏指令用于指示所述第一终端设备向所述第二终端设备投屏；
根据第一界面的界面信息和第二设备信息，生成用于在所述第二终端设备展示的第二界面，所述第一界面为所述第一终端设备展示的界面，所述第二设备信息用于表示所述第二终端设备的屏幕尺寸和屏幕状态。


2.如权利要求1所述的界面布局方法，其特征在于，所述根据第一界面的界面信息和第二设备信息，生成用于在所述第二终端设备展示的第二界面，包括：
获取所述第一界面的界面信息和所述第二设备信息，所述第一界面的界面信息包括所述第一界面中至少一个界面元素的元素信息，所述元素信息用于表示所述界面元素的名称、类型以及所述界面元素在所述第一界面中的位置；
根据至少一个界面元素的所述元素信息，结合预先训练的界面识别模型进行识别，确定界面类别；
根据所述界面类别和所述第二设备信息对至少一个所述界面元素进行排布，得到所述第二界面。


3.如权利要求2所述的界面布局方法，其特征在于，所述第一界面的界面信息还包括界面属性，所述界面属性用于表示所述第一界面的界面尺寸和界面方向；
所述根据至少一个界面元素的所述元素信息，结合预先训练的界面识别模型进行识别，确定界面类别，包括：
根据所述界面属性对至少一个所述元素信息进行特征提取，得到界面特征数据；
将所述界面特征数据输入所述界面识别模型，通过所述界面识别模型对所述界面特征数据进行识别，得到所述界面识别模型输出的所述界面类别。


4.如权利要求2所述的界面布局方法，其特征在于，所述根据所述界面类别和所述第二设备信息对至少一个所述界面元素进行排布，得到所述第二界面，包括：
根据所述界面类别，对所述第二设备信息所指示的第二终端设备的显示区域进行划分，得到多个子区域；
确定每个所述子区域内排布的界面元素；
根据所述第二设备信息所指示的所述显示区域的尺寸和每个所述子区域内排布的界面元素的元素数目，对各个所述子区域内的各个所述界面元素进行调整，得到所述第二界面。


5.如权利要求4所述的界面布局方法，其特征在于，所述根据所述第二设备信息所指示的所述显示区域的尺寸和每个所述子区域内排布的界面元素的元素数目，对各个所述子区域内的各个所述界面元素进行调整，得到所述第二界面，包括：
确定每个所述子区域内各个所述界面元素的所述元素数目；
根据所述显示区域的尺寸、预先设置的排布规则和每个所述子区域对应的元素数目，对每个所述子区域内的每个所述界面元素的大小和方向进行调整，得到调整后的界面元素；
对于每个所述子区域，根据所述子区域对应的元素数目，对所述子区域内调整后的界面元素在所述子区域内的位置进行调整，得到所述第二界面。


6.如权利要求1...

【专利技术属性】
技术研发人员：马晓慧，周星辰，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44