屏幕显示的控制方法、系统和电子设备技术方案

本申请涉及屏幕摄像头成像的领域，其具体地公开了一种屏幕显示的控制方法、系统和电子设备。其通过对于深度学习的卷积神经网络的训练，以使得卷积神经网络模型更加关注于图像中的噪声的特征，包括噪声的模式和噪声在图像中的位置分布等，从而基于图像噪声的特征提取来确定适当的屏幕亮度值，并且在本申请中还采用了图像的热力学参数，而不是普通的像素值来进行特征提取和回归，以使得分类的结果更加准确。通过这样的方式，可以根据实际的情况来确定适当的屏幕亮度值，进而使得摄像头拍摄的图像的效果较好。像的效果较好。像的效果较好。

【技术实现步骤摘要】
屏幕显示的控制方法、系统和电子设备


[0001]本申请涉及屏幕摄像头成像的领域，且更为具体地，涉及一种屏幕显示的控制方法、系统和电子设备。

技术介绍

[0002]随着通信技术的发展，安装有摄像头的电子设备的使用更加广泛，而改变摄像头的安装位置可以提高电子设备的屏占比。
[0003]通常情况下，摄像头安装于电子设备的屏幕下方，以较大可能的提高电子设备的屏占比。示例性的，摄像头可以安装在电子设备的屏幕的正下方，这样，其可以采集透过电子设备的屏幕的光线进行成像。但是，在上述摄像头采集图像的过程中，如果电子设备的屏幕为自发光屏幕，且该屏幕处于点亮状态，那么该屏幕点亮所产生的光线可能对摄像头的成像造成干扰，从而导致摄像头拍摄图像的效果较差。因此，为了使得摄像头拍摄更好的图像，期望提供一种屏幕显示的控制方案。

技术实现思路

[0004]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种屏幕显示的控制方法、系统和电子设备，其通过对于深度学习的卷积神经网络的训练，以使得卷积神经网络模型更加关注于图像中的噪声的特征，包括噪声的模式和噪声在图像中的位置分布等，从而基于图像噪声的特征提取来确定适当的屏幕亮度值，并且在本申请中还采用了图像的热力学参数，而不是普通的像素值来进行特征提取和回归，以使得分类的结果更加准确。通过这样的方式，可以根据实际的情况来确定适当的屏幕亮度值，进而使得摄像头拍摄的图像的效果较好。
[0005]根据本申请的一个方面，提供了一种屏幕显示的控制方法，其包括：
[0006]训练阶段，包括：
[0007]获取训练数据，所述训练数据包括由显示屏的各个像素的色温值组成的色温图像和所述显示屏的亮度值；
[0008]使用卷积神经网络从所述色温图像获得色温特征图；
[0009]计算所述色温特征图中各个位置的热功率谱密度以获得功率谱密度特征图，其中，所述热功率谱密度基于所述色温图中各个位置的特征值、普朗克常数、各个像素对应的色波长和玻尔兹曼热力学常数计算而得；
[0010]对所述色温特征图进行全局池化处理以获得全局色温值；
[0011]计算所述全局色温值与所述功率谱密度特征图之间的第一交叉熵损失函数值；
[0012]计算所述亮度值与所述功率谱密度特征图之间的第二交叉熵损失函数值；
[0013]将所述功率谱密度特征图通过分类器以获得分类损失函数值；以及基于所述第一交叉熵损失函数值、所述第二交叉熵损失函数值和所述分类损失函数值的加权和来训练所述卷积神经网络；以及
[0014]推断阶段，包括：
[0015]获取待检测数据，所述待检测数据为由显示屏的各个像素的色温值组成的色温图像；
[0016]将所述色温图像输入经训练阶段训练完成的所述卷积神经网络以获得检测用色温特征图；
[0017]计算所述检测用色温特征图中各个位置的热功率谱密度以获得检测用功率谱密度特征图；
[0018]将所述检测用功率谱密度特征图输入分类器以获得分类结果，所述分类结果用于表示显示屏的亮度值应增大还是应减小；
[0019]基于所述分类结果，控制所述显示屏的亮度值。
[0020]根据本申请的另一方面，提供了一种屏幕显示的控制系统，其包括：
[0021]训练模块，包括：
[0022]训练数据获取单元，用于获取训练数据，所述训练数据包括由显示屏的各个像素的色温值组成的色温图像和所述显示屏的亮度值；
[0023]卷积神经网络处理单元，用于使用卷积神经网络从所述训练数据获取单元获得的所述色温图像获得色温特征图；
[0024]热功率谱密度计算单元，用于计算所述卷积神经网络处理单元获得的所述色温特征图中各个位置的热功率谱密度以获得功率谱密度特征图，其中，所述热功率谱密度基于所述色温图中各个位置的特征值、普朗克常数、各个像素对应的色波长和玻尔兹曼热力学常数计算而得；
[0025]全局池化单元，用于对所述卷积神经网络处理单元获得的所述色温特征图进行全局池化处理以获得全局色温值；
[0026]第一交叉熵损失函数值计算单元，用于计算所述全局池化单元获得的所述全局色温值与所述热功率谱密度计算单元获得的所述功率谱密度特征图之间的第一交叉熵损失函数值；
[0027]第二交叉熵损失函数值计算单元，用于计算所述训练数据获取单元获得的所述亮度值与所述热功率谱密度计算单元获得的所述功率谱密度特征图之间的第二交叉熵损失函数值；
[0028]分类器处理单元，用于将所述热功率谱密度计算单元获得的所述功率谱密度特征图通过分类器以获得分类损失函数值；和
[0029]训练单元，用于基于所述第一交叉熵损失函数值计算单元获得的所述第一交叉熵损失函数值、所述第二交叉熵损失函数值计算单元获得的所述第二交叉熵损失函数值和所述分类器处理单元获得的所述分类损失函数值的加权和来训练所述卷积神经网络；以及
[0030]推断模块，包括：
[0031]待检测数据获取单元，用于获取待检测数据，所述待检测数据为由显示屏的各个像素的色温值组成的色温图像；
[0032]色温特征图生成单元，用于将所述待检测数据获取单元获得的所述色温图像输入经训练阶段训练完成的所述卷积神经网络以获得检测用色温特征图；
[0033]功率谱密度特征图生成单元，用于计算所述色温特征图生成单元获得的所述检测
用色温特征图中各个位置的热功率谱密度以获得检测用功率谱密度特征图；
[0034]分类单元，用于将所述功率谱密度特征图生成单元获得的所述检测用功率谱密度特征图输入分类器以获得分类结果，所述分类结果用于表示显示屏的亮度值应增大还是应减小；以及
[0035]控制单元，用于基于所述分类单元获得的所述分类结果，控制所述显示屏的亮度值。
[0036]根据本申请的又一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的屏幕显示的控制方法。
[0037]根据本申请的再又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的屏幕显示的控制方法。
[0038]根据本申请提供的屏幕显示的控制方法、系统和电子设备，其通过对于深度学习的卷积神经网络的训练，以使得卷积神经网络模型更加关注于图像中的噪声的特征，包括噪声的模式和噪声在图像中的位置分布等，从而基于图像噪声的特征提取来确定适当的屏幕亮度值，并且在本申请中还采用了图像的热力学参数，而不是普通的像素值来进行特征提取和回归，以使得分类的结果更加准确。通过这样的方式，可以根据实际的情况来确定适当的屏幕亮度值，进而使得摄像头拍摄的图像的效果较好。
附图说明
[0039]通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种屏幕显示的控制方法，其特征在于，包括：训练阶段，包括：获取训练数据，所述训练数据包括由显示屏的各个像素的色温值组成的色温图像和所述显示屏的亮度值；使用卷积神经网络从所述色温图像获得色温特征图；计算所述色温特征图中各个位置的热功率谱密度以获得功率谱密度特征图，其中，所述热功率谱密度基于所述色温图中各个位置的特征值、普朗克常数、各个像素对应的色波长和玻尔兹曼热力学常数计算而得；对所述色温特征图进行全局池化处理以获得全局色温值；计算所述全局色温值与所述功率谱密度特征图之间的第一交叉熵损失函数值；计算所述亮度值与所述功率谱密度特征图之间的第二交叉熵损失函数值；将所述功率谱密度特征图通过分类器以获得分类损失函数值；以及基于所述第一交叉熵损失函数值、所述第二交叉熵损失函数值和所述分类损失函数值的加权和来训练所述卷积神经网络；以及推断阶段，包括：获取待检测数据，所述待检测数据为由显示屏的各个像素的色温值组成的色温图像；将所述色温图像输入经训练阶段训练完成的所述卷积神经网络以获得检测用色温特征图；计算所述检测用色温特征图中各个位置的热功率谱密度以获得检测用功率谱密度特征图；将所述检测用功率谱密度特征图输入分类器以获得分类结果，所述分类结果用于表示显示屏的亮度值应增大还是应减小；以及基于所述分类结果，控制所述显示屏的亮度值。2.根据权利要求1所述的屏幕显示的控制方法，其中，使用卷积神经网络从所述色温图像获得色温特征图，包括：所述卷积神经网络以如下公式对所述色温图像进行处理以获得所述色温特征图；所述公式为：f
i
＝tanh(N
i
×
f
i
‑1+B
i
)其中，f
i
‑1为第i层卷积神经网络的输入，f
i
为第i层卷积神经网络的输出，N
i
为第i层卷积神经网络的卷积核，且B
i
为第i层卷积神经网络的偏置向量，tanh(.)表示tanh非线性激活函数。3.根据权利要求2所述的屏幕显示的控制方法，其中，计算所述色温特征图中各个位置的热功率谱密度以获得功率谱密度特征图，包括：以如下公式计算所述色温特征图中各个位置的热功率谱密度以获得功率谱密度特征图；所述公式为：
其中x
i,j
是所述色温特征图中的每个位置的特征值，h是普朗克常数，λ是显示屏上的各个像素对应的色波长，k为玻尔兹曼热力学常数，T
i,j
为各个像素的色温值，且α和β为修正系数，用于分别将αλhx
i,j
和βhx
i,j
/kT
i,j
修正为概率值的表现形式。4.根据权利要求3所述的屏幕显示的控制方法，其中，λ与所述显示屏的各个像素的颜色值对应，α和β作为超参数参与到所述卷积神经网络的训练过程中。5.根据权利要求4所述的屏幕显示的控制方法，其中，对所述色温特征图进行全局池化处理以获得全局色温值，包括：对所述色温特征图进行全局平均值池化处理或全局最大值池化处理以获得所述全局色温值。6.根据权利要求5所述的屏幕显示的控制方法，其中，将所述功率谱密度特征图通过分类器以获得分类损失函数值，包括：使用所述分类器的至少一个全连接层对所述功率谱密度特征图进行全连接编码以获得分类特征向量；将所述分类特征向量输入所述分类器的Softmax分类函数以获得分类结果；以及计算所述分类结果与真实值之间的交叉熵损失函数值作为所述分类损失函数值。7.根据权利要求6所述的屏幕显示的控...

【专利技术属性】
技术研发人员：黄都宪，
申请(专利权)人：上海合圣软件开发有限公司，
类型：发明
国别省市：