stable-diffusion
2024-10-26 14:04
stable diffusion是一种潜在的文本到图像的扩散模型。能够在LAION-5B数据库子集的512x512图像上训练潜在扩散模型。
Stable Diffusion是一种潜在的文本到图像扩散模型。能够在来自LAION-5B数据库子集的 512x512 图像上训练潜在扩散模型。与 Google 的Imagen类似，此模型使用冻结的 CLIP ViT-L/14 文本编码器根据文本提示调节模型。凭借其 860M UNet 和 123M 文本编码器，该模型相对轻量级，可在具有至少 10GB VRAM 的 GPU 上运行。请参阅下面的此部分和模型卡。
可以使用以下命令创建并激活名为的合适的conda环境：ldm
conda env create -f environment.yaml conda activate ldm
您还可以通过运行来更新现有的潜在扩散环境
conda install pytorch torchvision -c pytorch pip install transformers==4.19.2 diffusers invisible-watermark pip install -e .
Stable Diffusion v1 是指模型架构的一种特定配置，该配置使用下采样因子为 8 的自动编码器和 860M UNet 以及 CLIP ViT-L/14 文本编码器作为扩散模型。该模型在 256x256 图像上进行预训练，然后在 512x512 图像上进行微调。
注意：稳定扩散 v1 是一种通用的文本到图像扩散模型，因此反映了其训练数据中存在的偏见和（错误）概念。有关训练过程和数据以及模型预期用途的详细信息，请参阅相应的模型卡。
这些权重可通过CompVis 组织在 Hugging Face获得，其许可证包含特定的基于使用的限制，以防止模型卡中告知的滥用和伤害，但在其他方面仍然是宽松的。虽然许可条款允许商业使用，但我们不建议在没有额外安全机制和考虑的情况下将提供的权重用于服务或产品，因为已知权重存在局限性和偏见，而对通用文本转图像模型的安全和道德部署的研究是一项持续不断的努力。权重是研究成果，应如此对待。
CreativeML OpenRAIL M 许可证是一种Open RAIL M 许可证，改编自BigScience和RAIL Initiative在负责任的 AI 许可领域共同开展的工作。另请参阅有关我们的许可证所基于的BLOOM Open RAIL 许可证的文章。
我们目前提供以下检查点：
sd-v1-1.ckpt： laion2B -en256x256分辨率下 237k 步。laion -high-resolution分辨率下194k 步（来自 LAION-5B 的 170M 个示例，分辨率为）。512x512>= 1024x1024sd-v1-2.ckpt：在laion-aesthetics v2 5+上以sd-v1-1.ckpt. 515k 步骤恢复（laion2B-en 的一个子集，具有估计的美学分数，另外过滤为具有原始大小的图像，以及估计的水印概率。水印估计来自LAION-5B元数据，美学分数是使用LAION-Aesthetics Predictor V2估计的）。512x512> 5.0>= 512x512< 0.5sd-v1-3.ckpt：从sd-v1-2.ckpt. 195k 步骤恢复512x512，在“laion-aesthetics v2 5+”上以分辨率运行，并降低 10% 的文本条件，以改进无分类器指导采样。sd-v1-4.ckptsd-v1-2.ckpt：从“laion-aesthetics v2 5+”分辨率下的 .225k 步骤恢复512x512，并降低 10% 的文本条件以改进无分类器指导采样。
使用不同的无分类器指导尺度（1.5、2.0、3.0、4.0、5.0、6.0、7.0、8.0）和 50 个 PLMS 采样步骤进行的评估显示了检查点的相对改进：
文本生成图像示例：
图像生成图像示例：
输入
输出
