【技术实现步骤摘要】
本专利技术涉及机器学习，具体涉及一种模型训练方法、建筑效果图生成方法、电子设备以及计算机可读介质。
技术介绍
1、稳定扩散模型是一个图像生成模型,采用自回归的方式生成图片。其采用负对数似然损失函数,此损失函数不需要鉴别器,可以直接用于自监督训练；使用residualtransformer network变换器网络,可以捕捉图片的长期依赖,生成更连贯的图片；使用高斯噪声z作为条件,通过transformer encoder混合到自回归的历史,生成下一步的预测；采用简单的前馈设计,当前步预测只依赖历史序列,不依赖预见的未来序列,这样可以并行化训练,实现快速的wallclock时间；使用ancestral sampling,先采样z,然后从z开始递归地生成图片像素,这比随机采样由于可以利用图片的连续性,生成的图片更连贯。
2、由于稳定扩散模型是将数据映射到高维空间进行处理，但在处理某个细分的小任务时，只需要在某个子空间范围内就可以解决，因此针对建筑领域的特定任务不需要对稳定扩散模型进行全量参数进行优化，采用低秩适应的方式训练模型即可。低秩是指低本征秩，当对某个子空间参数进行优化时，能够达到全量参数优化的性能的一定水平时，这个子空间参数矩阵的秩即称为对应当前待解决问题的本征秩。低秩适应训练是通过优化密集层在适应过程中变化的秩分解矩阵，间接训练神经网络中的特定的密集层，从而实现仅优化密集层的秩分解矩阵来达到微调效果。其训练结果为低秩适应模型。
3、综上,稳定扩散模型及其采样训练方法简单有效, 低秩适应模型提出了针对
技术实现思路
1、本专利技术旨在一定程度上解决相关技术中的技术问题之一。为此，本专利技术提供了一种模型训练方法，填补了稳定扩散模型和低秩适应模型在建筑\室内\景观\城市设计领域中的空白。
2、为了达到上述目的，本专利技术采用如下技术方案：
3、一种模型训练方法，包括如下步骤：
4、采集：采集建筑图片；
5、预处理：对采集的建筑图片进行打标，打标的标记以及对应的建筑图片形成训练集；
6、训练：基于稳定扩散模型，通过低秩适应的方式进行训练，获得配合稳定扩散模型使用的生成工程图的低秩适应模型；
7、使用：使用经过训练的工程图生成模型生成工程图。
8、可选的，在采集步骤中，采集的建筑图片满足如下条件：
9、长或宽不低于512像素，无噪点，无水印，无过度饱和，无过度曝光，无重复图片，具有概念方案沟通的深度。
10、可选的，所述预处理步骤中，对采集的建筑图片进行打标包括：
11、对建筑图片进行缩放裁剪，缩放裁剪后的建筑图片的分辨率为64倍数，最长边不超过2048像素；
12、对建筑图片中的建筑物标记为对应的建筑物标签，并形成对应的触发词；
13、将建筑图片中除建筑物以外的其他所有元素标记为对应的名称标签；
14、触发词放置于其他所有元素对应名称的标签之前；
15、对建筑物的立面特征或风格进行补充描述，形成对应的特征描述词；
16、可选的，所述训练步骤包括如下子步骤：
17、设定低秩适应模型的超参数；
18、获取训练集的最优学习率；
19、基于训练集的最优学习率设定优化器参数、u型神经网络学习率、文本编码器调整学习率；
20、基于设定的超参数、优化器参数、u型神经网络学习率和文本编码器调整学习率训练低秩适应模型。
21、可选的，设定低秩适应模型的超参数包括：选定稳定扩散大模型，通过修改训练集的文件夹前缀以设定重复次数，输入训练集的路径地址，设定低秩适应模型的分辨率为1024*1024，对应的批次大小为3，启用纵横比分桶并将纵横比分桶最小分辨率设为512像素，纵横比分桶最大分辨率设为2048像素，设定低秩适应模型的保存频率为1，设定最大训练轮次为10，网络维度为128，网络alpha为64，噪声偏移设为0.1，跳过层设为1。
22、可选的，获取训练集的最优学习率包括如下步骤：
23、设定优化器为d-adaptation，同时设置学习率为1，学习率调整方式使用常数，而后开始训练，利用tensorboard观测训练过程，当学习率呈现水平直线时，将y轴数值作为训练集的最优学习率。
24、可选的，设定优化器参数、u型神经网络学习率、学习率调整方式包括：
25、设定优化器为adamw8bit；设置u型神经网络学习率为训练集的最优学习率；设置文本编码器学习率为训练集的最优学习率的一半；
26、或设定优化器为lion；设置u型神经网络学习率为训练集的最优学习率的三分之一；设置文本编码器学习率为训练集的最优学习率的六分之一；
27、学习率调整方式为余弦重启，重启次数为2-4次。
28、可选的，训练低秩适应模型包括如下步骤：
29、加载设定的超参数，设定最大提示词长度，读取训练集并对训练集进行分组；
30、加载选定的稳定扩散大模型、u型神经网络、变分自动编码器以及文本编码器；
31、根据训练集中建筑图片的数量对每一张建筑图片创建相应的缓存潜空间；
32、根据设定的低秩适应模型的超参数构建低秩适应模型，同时创建72个文本编码器和192个u型神经网络模块并启用；
33、计算总学习步数，总学习步数=（建筑图片数量*重复次数*训练轮次）/训练批次；
34、使用分词器将打标后的标记转变为数据形式，由文本编码器进行编码，转换为文本嵌入条件，文本嵌入条件为最大提示词长度加上起始和结束为总长度的768个通道的数据；
35、根据保存频率以及最大训练轮次重复以下训练步骤，以更新u型神经网络模型参数：
36、通过卷积运算对训练集中每一张建筑图片加入随机次数的随机噪声，同时将加入随机噪声的次数作为时间嵌入条件，其中，随机噪声图的数据满足正态高斯分布，数据尺寸和训练集中建筑图片的尺寸相同；
37、添加随机噪声后的建筑图片由变分自动编码器将有像素空间数据转换为潜空间数据后输入缓存潜空间；
38、缓存潜空间中的数据输入u型神经网络以输出预估噪声，预估噪声与时间嵌入条件比较，计算损失函数值；
39、u型神经网络模型经过最大训练轮次的训练后停止训练，保存最终的低秩适应模型。
40、可选的，在训练步骤中，鸟瞰模型的损失函数值在0.07-0.10区间，城市设计模型的损失函数值在0.09-0.14区间，除鸟瞰模型和城市设计模型以外的其他模型的损失函数值在0.06-0.09区间。
41、相对应的，本专利技术还提供了一种建筑效果本文档来自技高网...
【技术保护点】
1.一种模型训练方法，其特征在于，所述模型训练方法包括如下步骤：
2.根据权利要求1所述的模型训练方法，其特征在于，在采集步骤中，采集的建筑图片满足如下条件：
3.根据权利要求1所述的模型训练方法，其特征在于，所述预处理步骤中，对采集的建筑图片进行打标包括：
4.根据权利要求1所述的模型训练方法，其特征在于，所述训练步骤包括如下子步骤：
5.根据权利要求4所述的模型训练方法，其特征在于，设定低秩适应模型的超参数包括：选定稳定扩散大模型，通过修改训练集的文件夹前缀以设定重复次数，输入训练集的路径地址，设定低秩适应模型的分辨率为1024*1024，对应的批次大小为3，启用纵横比分桶并将纵横比分桶最小分辨率设为512像素，纵横比分桶最大分辨率设为2048像素，设定低秩适应模型的保存频率为1，设定最大训练轮次为10，网络维度为128，网络Alpha为64，噪声偏移设为0.1，跳过层设为1。
6.根据权利要求4所述的模型训练方法，其特征在于，获取训练集的最优学习率包括如下步骤：
7.根据权利要求4所述的模型训练方法，其
8.根据权利要求5所述的模型训练方法，其特征在于，训练低秩适应模型包括如下步骤：
9.根据权利要求1所述的模型训练方法，其特征在于，在训练步骤中，鸟瞰模型的损失函数值在0.07-0.10区间，城市设计模型的损失函数值在0.09-0.14区间，除鸟瞰模型和城市设计模型以外的其他模型的损失函数值在0.06-0.09区间。
10.一种建筑效果图生成方法，其特征在于，所述建筑效果图生成方法利用经过权利要求1至9中任意一项所述的模型训练方法训练的低秩适应模型生成建筑效果图，包括如下步骤：
11.一种电子设备，其特征在于，包括：
12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任意一项所述的模型训练方法，或实现根据权利要求10所述的建筑效果图生成方法。
...【技术特征摘要】
1.一种模型训练方法，其特征在于，所述模型训练方法包括如下步骤：
2.根据权利要求1所述的模型训练方法，其特征在于，在采集步骤中，采集的建筑图片满足如下条件：
3.根据权利要求1所述的模型训练方法，其特征在于，所述预处理步骤中，对采集的建筑图片进行打标包括：
4.根据权利要求1所述的模型训练方法，其特征在于，所述训练步骤包括如下子步骤：
5.根据权利要求4所述的模型训练方法，其特征在于，设定低秩适应模型的超参数包括：选定稳定扩散大模型，通过修改训练集的文件夹前缀以设定重复次数，输入训练集的路径地址，设定低秩适应模型的分辨率为1024*1024，对应的批次大小为3，启用纵横比分桶并将纵横比分桶最小分辨率设为512像素，纵横比分桶最大分辨率设为2048像素，设定低秩适应模型的保存频率为1，设定最大训练轮次为10，网络维度为128，网络alpha为64，噪声偏移设为0.1，跳过层设为1。
6.根据权利要求4所述的模型训练方法，其特征在于，获取训练集的...
【专利技术属性】
技术研发人员：裘云丹，陈天驰，徐梁燕，屠昂，夏哲聃，何青松，虞洋，
申请(专利权)人：浙江省建筑设计研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。