火星电竞

　　火星电竞appEasyPhoto 是一个基于 SD WebUI 的艺术照生成插件。支持低代码操作、自定义风格，让更多开发者灵活地开发自己的风格化艺术照生成应用。

　　最近，基于生成式AI技术批量产出真/像/美的个人写真应用非常受欢迎。同时，随着 Stable Diffusion 领域开源社区的快速发展，社区也涌现了类似 FaceChain 的开源项目，帮助开发者开发个性化的真人写真生成应用。越来越多开发者对这个方向投来关注，希望得到更多灵活的开发方式。

　　作为FaceChain-Inpaint功能的开发团队，我们快速上线了一款基于 SD WebUI 插件生态的个性化写真生成开源插件 EasyPhoto。这款插件允许用户通过上传几张同一个人的照片，快速训练Lora模型，然后结合用户自定义的模板图片，生成 真/像/美的写线

　　使用人脸检测模型对输入的指定模板进行人脸检测(crop & warp)并结合数字分身进行模板替换。

　　采用FaceID和图像质量分数对所有图片进行聚类和评分，筛选非同ID照片。

　　采用人脸检测和主体分割，抠出1筛选后的人脸图片进行人脸检测抠图，并分割去除背景。

　　采用单一标注的方案，对处理后的训练图片进行打标，并使用相关的Lora 训练。

　　训练过程中采用基于FaceID的验证步骤，间隔一定的step保存模型，并最后根据相似度融合模型。

　　我们将从在后续的章节简单介绍涉及到的相关技术的原理，更多细节也欢迎大家参考Repo的代码。(如果你已经对这一技术路线非常熟悉，欢迎直接跳到第三章 EasyPhoto & SDWebUI)

　　StableDiffusion作为Stability-AI开源图像，通常分为SD1.5/SD2.1/SDXL等版本， 是通过对海量的图像文本对进行训练结合文本引导的扩散模型(DiffusionModel)，使用训练后的模型火星电竞app，通过对输入的文字进行特征提取，引导扩散模型在多次的迭代中生成高质量且符合输入语义的图像。感兴趣的同学可以参考 , 下面的图像就是 stablediffusion 官网 贴出来的他们的效果。

　　由提出的通过添加部分训练过的参数，对StableDiffsion模型进行扩展，用于处理一些额外的输入信号，例如骨架图/边缘图/深度图/人体姿态图等等输入，从而完成利用这些额外输入的信号，引导扩散模型生成与信号相关的图像内容。例如我们在官方 可以看到的，使用Canny边缘作为信号，控制输出的小狗。

　　由《LoRA: Low-Rank Adaptation of Large Language Models》 提出的一种基于低秩矩阵的对大参数模型进行少量参数微调训练的方法，广泛引用在各种大模型的下游使用中。AI真人写真需要保证最后生成的图像和我们想要生成的人是相像的，这就需要我们使用Lora 技术，对输入的少量图片，进行一个简单的训练，从而使得我们可以得到一个小的指定人脸(ID)的模型。当然这一技术也可以广泛用于，风格，物品等其他指定形象的Lora模型训练，大家可以在相关网页上寻找自己想要的Lora模型。

　　如何使用尽量少的图片，快速的训练出又真实又相像的人脸Lora模型，是我们能够产出高质量AI写真的关键，网络上也有大量的文章和视频资料为大家介绍如何训练。这里我们介绍一些在这个过程中，我们使用的开源AI模型，用于提升最后人脸Lora训练的效果。

　　SDWebUI []是社区最常用的StableDiffusion开发工具，从年初开源至今，已在Github 拥有100k 的star，我们提到的文图生成/ControlNet/Lora等功能，都被社区开发者贡献到这一工具中，用于大家快速部署一个可以调试的文图生成服务，所以我们也在SDWebUI下实现了EasyPhoto插件，将上述原理提到的 人脸预处理/训练/艺术照生成全部集成到了这一插件中。

　　建议使用 5 到 20 张肖像图片进行训练，最好是半身照片且不要佩戴眼镜（少量可以接受）。

　　1、上传用户图片，训练一个与用户相关的Lora模型；2、选择模板进行预测，获得预测结果。

　　在安装过程中，会自动安装依赖包，这个需要耐心等待一下。安装完需要重启WebUI。

　　此外，我们至少需要三个 Controlnets 用于推理。因此，您需要设置

　　Second Diffusion denoising strength

　　EasyPhoto全部使用来自开源社区的模型和相关技术，旨在探讨StableDiffusion在AIGC X 真人写真领域的技术和相关应用，文章所有涉及的图片仅做演示使用，如有侵权请及时联系我们，也请大家引用时表明转载！！！

　　平台声明：该文观点仅代表作者本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。