今年很火的AI绘画怎么玩

sockstack / 156 / 2023-11-15 00:49:33

<p><span style="color: red; font-size: 18px">ChatGPT 可用网址，仅供交流学习使用，如对您有所帮助，请收藏并推荐给需要的朋友。</span><br><a href="https://ckai.xyz/?sockstack&section=detail" target="__blank">https://ckai.xyz</a><br><br></p> <article class="_2rhmJa"><h1>1.前言</h1>
<p>2022年绝对可以说是AIGC元年，从google搜索的趋势来看，在2022年AI绘画及AI生成艺术的搜索量激增。</p>
<div class="image-package">
<div class="image-container" style="max-width: 700px; max-height: 566px; background-color: transparent;">
<div class="image-container-fill" style="padding-bottom: 52.410000000000004%;"></div>
<div class="image-view" data-width="1080" data-height="566"><img referrerpolicy="no-referrer"  data-original-src="//upload-images.jianshu.io/upload_images/28133381-c600f1142f40c1b0.jpg" data-original-width="1080" data-original-height="566" data-original-format="image/jpeg" data-original-filesize="32052" data-image-index="0" style="cursor: zoom-in;" class="" src="//upload-images.jianshu.io/upload_images/28133381-c600f1142f40c1b0.jpg?imageMogr2/auto-orient/strip%7CimageView2/2/w/1080/format/webp"></div>
</div>
<div class="image-caption">640.jpg</div>
</div>
<p>AI绘画在这一年的爆发一个很重要的原因就是 Stable Diffusion 的开源，这也来不开这几年 Diffusion Model 扩散模型在这几年里的迅猛发展，结合了 OPENAI 已经发展得很成熟的文本语言模型 GPT-3，从文本到图片的生成过程变得更加容易。</p>
<h1>2.GAN(生成对抗网络)的瓶颈</h1>
<p>从14年诞生，到18年的StyleGAN，GAN在图片生成领域获得了长足的发展。就好像自然界的捕食者与被捕食者相互竞争共同进化一样，GAN的原理简单来说就是使用两个神经网络：一个作为生成器、一个作为判别器，生成器生成不同的图像让判别器去判断结果是否合格，二者互相对抗以此训练模型。</p>
<div class="image-package">
<div class="image-container" style="max-width: 700px; max-height: 551px; background-color: transparent;">
<div class="image-container-fill" style="padding-bottom: 51.019999999999996%;"></div>
<div class="image-view" data-width="1080" data-height="551"><img referrerpolicy="no-referrer"  data-original-src="//upload-images.jianshu.io/upload_images/28133381-ccdfbc797d7e17f1.png" data-original-width="1080" data-original-height="551" data-original-format="image/png" data-original-filesize="54663" data-image-index="1" style="cursor: zoom-in;" class="" src="//upload-images.jianshu.io/upload_images/28133381-ccdfbc797d7e17f1.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1080/format/webp"></div>
</div>
<div class="image-caption">640.png</div>
</div>
<p>GAN（生成对抗网络）经过不断发展其有了不错的效果，但有些始终难以克服的问题：生成结果多样性缺乏、模式坍缩（生成器在找到最佳模式后就不再进步了）、训练难度高。这些困难导致 AI 生成艺术一直难以做出实用的产品。</p>
<h1>2.Diffusion Model（扩散模型）的突破</h1>
<p>在 GAN 多年的瓶颈期后，科学家想出了非常神奇的 Diffusion Model（扩散模型）的办法去训练模型：把原图用马尔科夫链将噪点不断地添加到其中，最终成为一个随机噪声图像，然后让训练神经网络把此过程逆转过来，从随机噪声图像逐渐还原成原图，这样神经网络就有了可以说是从无到有生成图片的能力。而文本生成图片就是把描述文本处理后当做噪声不断添加到原图中，这样就可以让神经网络从文本生成图片。</p>
<div class="image-package">
<div class="image-container" style="max-width: 700px; max-height: 156px;">
<div class="image-container-fill" style="padding-bottom: 19.950000000000003%;"></div>
<div class="image-view" data-width="782" data-height="156"><img referrerpolicy="no-referrer"  data-original-src="//upload-images.jianshu.io/upload_images/28133381-39cca8d78b621c22.png" data-original-width="782" data-original-height="156" data-original-format="image/png" data-original-filesize="308364" data-image-index="2" style="cursor: zoom-in;" class="image-loading"></div>
</div>
<div class="image-caption">6401.png</div>
</div>
<p>Diffusion Model（扩散模型）让训练模型变得更加简单，只需大量的图片就行了，其生成图像的质量也能达到很高的水平，并且生成结果能有很大的多样性，这也是新一代 AI 能有难以让人相信的「想象力」的原因。</p>
<p>当然技术也是一直在突破的，英伟达在1月底推出的StyleGAN的升级版StyleGAN-T就有了十分惊艳的进步，在同等算力下相比于Stable Diffusion生成一张图片需要3秒，StyleGAN-T仅需0.1秒。并且在低分辨率图像StyleGAN-T要比Diffusion Model要好，但在高分辨率图像的生成上，还是Diffusion Model的天下。由于StyleGAN-T并没有像Stable Diffusion那样获得广泛的应用，本文还是以介绍Stable DIffusion为主。</p>
<h1>3.Stable Diffusion</h1>
<p>在今年早些时间，AI作画圈经历了 Disco Diffusion、DALL-E2、Midjouney 群雄混战的时代，直到 Stable Diffusion 开源后，才进入一段时间的尘埃落定，作为最强的 AI 作画模型，Stable Diffusion 引起了 AI 社群的狂欢，基本上每天都有新的模型、新的开源库诞生。尤其是在Auto1111的WebUI版本推出后，无论是部署在云端还是本地，使用Stable Diffusion都变成一个非常简单的事情，并且随着社区的不断开发，很多优秀的项目，比如Dreambooth、deforum都作为 Stable Diffusion WEBUI版的一个插件加入进来，使得像微调模型、生成动画等功能都能一站式完成。</p>
<div class="image-package">
<div class="image-container" style="max-width: 700px; max-height: 518px;">
<div class="image-container-fill" style="padding-bottom: 47.96%;"></div>
<div class="image-view" data-width="1080" data-height="518"><img referrerpolicy="no-referrer"  data-original-src="//upload-images.jianshu.io/upload_images/28133381-504a88e7d18996e6.png" data-original-width="1080" data-original-height="518" data-original-format="image/png" data-original-filesize="279139" data-image-index="3" style="cursor: zoom-in;" class="image-loading"></div>
</div>
<div class="image-caption">6402.png</div>
</div>
<h1>4.AI绘画玩法及能力介绍</h1>
<p>下面介绍下目前使用 Stable Diffusion 可以有哪些玩法以及能力</p>
<div class="image-package">
<div class="image-container" style="max-width: 700px; max-height: 930px;">
<div class="image-container-fill" style="padding-bottom: 132.75%;"></div>
<div class="image-view" data-width="916" data-height="1216"><img referrerpolicy="no-referrer"  data-original-src="//upload-images.jianshu.io/upload_images/28133381-f0b63f58ba0b7a76.jpg" data-original-width="916" data-original-height="1216" data-original-format="image/png" data-original-filesize="914452" data-image-index="4" style="cursor: zoom-in;" class="image-loading"></div>
</div>
<div class="image-caption">11.jpg</div>
</div>
<div class="image-package">
<div class="image-container" style="max-width: 700px; max-height: 610px;">
<div class="image-container-fill" style="padding-bottom: 87.02%;"></div>
<div class="image-view" data-width="894" data-height="778"><img referrerpolicy="no-referrer"  data-original-src="//upload-images.jianshu.io/upload_images/28133381-3daf1056c4bb5ef1.jpg" data-original-width="894" data-original-height="778" data-original-format="image/png" data-original-filesize="545115" data-image-index="5" style="cursor: zoom-in;" class="image-loading"></div>
</div>
<div class="image-caption">12.jpg</div>
</div>
<div class="image-package">
<div class="image-container" style="max-width: 700px; max-height: 632px;">
<div class="image-container-fill" style="padding-bottom: 90.16%;"></div>
<div class="image-view" data-width="894" data-height="806"><img referrerpolicy="no-referrer"  data-original-src="//upload-images.jianshu.io/upload_images/28133381-f5a9507196d977d4.jpg" data-original-width="894" data-original-height="806" data-original-format="image/png" data-original-filesize="594671" data-image-index="6" style="cursor: zoom-in;" class="image-loading"></div>
</div>
<div class="image-caption">14.jpg</div>
</div>
<div class="image-package">
<div class="image-container" style="max-width: 700px; max-height: 875px;">
<div class="image-container-fill" style="padding-bottom: 124.94000000000001%;"></div>
<div class="image-view" data-width="890" data-height="1112"><img referrerpolicy="no-referrer"  data-original-src="//upload-images.jianshu.io/upload_images/28133381-84cac1b8b4e03bfd.jpg" data-original-width="890" data-original-height="1112" data-original-format="image/png" data-original-filesize="645876" data-image-index="7" style="cursor: zoom-in;" class="image-loading"></div>
</div>
<div class="image-caption">15.jpg</div>
</div>
<h1>5.目前主要应用情况介绍</h1>
<div class="image-package">
<div class="image-container" style="max-width: 700px; max-height: 778px;">
<div class="image-container-fill" style="padding-bottom: 111.01%;"></div>
<div class="image-view" data-width="890" data-height="988"><img referrerpolicy="no-referrer"  data-original-src="//upload-images.jianshu.io/upload_images/28133381-7bc583d1a73e164f.jpg" data-original-width="890" data-original-height="988" data-original-format="image/png" data-original-filesize="645757" data-image-index="8" style="cursor: zoom-in;" class="image-loading"></div>
</div>
<div class="image-caption">19.jpg</div>
</div>
<div class="image-package">
<div class="image-container" style="max-width: 700px; max-height: 750px;">
<div class="image-container-fill" style="padding-bottom: 107.03%;"></div>
<div class="image-view" data-width="1338" data-height="1432"><img referrerpolicy="no-referrer"  data-original-src="//upload-images.jianshu.io/upload_images/28133381-cd4b9ea3809d9080.jpeg" data-original-width="1338" data-original-height="1432" data-original-format="image/jpeg" data-original-filesize="767082" data-image-index="9" style="cursor: zoom-in;" class="image-loading"></div>
</div>
<div class="image-caption">31529880d6c24b11bc54dde744214084.jpeg</div>
</div>
<h1>6.自己搭一个Stable Diffusion WEBUI服务</h1>
<h2>6.1 云端版本</h2>
<p>这里使用AutoDL提供的云端算力来搭建，也可以使用其他平台比如 Google Colab或者百度飞桨等。</p>
<p>1.首先在AutoDL上注册账号并且租一台 A5000/RTX3090 显卡的云主机。<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.autodl.com%2Fmarket%2Flist" target="_blank">https://www.autodl.com/market/list</a></p>
<p>2.以此主机创建镜像，镜像可在 <a href="https://links.jianshu.com/go?to=http%3A%2F%2Fwww.codewithgpu.com" target="_blank">www.codewithgpu.com</a> 上选择已经打包好的算法镜像。这里以 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.codewithgpu.com%2Fi%2FAUTOMATIC1111%2Fstable-diffusion-webui%2FStable-Diffusion-for-NovelAI" target="_blank">https://www.codewithgpu.com/i/AUTOMATIC1111/stable-diffusion-webui/Stable-Diffusion-for-NovelAI</a> 这个镜像为例，选择后创建。</p>
<div class="image-package">
<div class="image-container" style="max-width: 700px; max-height: 696px;">
<div class="image-container-fill" style="padding-bottom: 64.44%;"></div>
<div class="image-view" data-width="1080" data-height="696"><img referrerpolicy="no-referrer"  data-original-src="//upload-images.jianshu.io/upload_images/28133381-1b2371ccd2dbd6bb.png" data-original-width="1080" data-original-height="696" data-original-format="image/png" data-original-filesize="207366" data-image-index="10" style="cursor: zoom-in;" class="image-loading"></div>
</div>
<div class="image-caption">6403.png</div>
</div>
<p>3.创建后开机并启动JupterLab，</p>
<div class="image-package">
<div class="image-container" style="max-width: 700px; max-height: 89px;">
<div class="image-container-fill" style="padding-bottom: 8.24%;"></div>
<div class="image-view" data-width="1080" data-height="89"><img referrerpolicy="no-referrer"  data-original-src="//upload-images.jianshu.io/upload_images/28133381-842d522c0c7c7141.png" data-original-width="1080" data-original-height="89" data-original-format="image/png" data-original-filesize="35134" data-image-index="11" style="cursor: zoom-in;" class="image-loading"></div>
</div>
<div class="image-caption">6404.png</div>
</div>
<p>运行下面指令启动服务即可。如果遇到系统盘空间不足的情况，也可以将stable-diffusion-webui/文件夹移入数据盘 autodl-tmp再启动。如果遇到启动失败，可以根据你机器的位置配置一下学术资源加速。</p>
<div class="_2Uzcx_">
<button class="VJbwyy" type="button" aria-label="复制代码"><i aria-label="icon: copy" class="anticon anticon-copy"><svg viewbox="64 64 896 896" focusable="false" class="" data-icon="copy" width="1em" height="1em" fill="currentColor" aria-hidden="true"><path d="M832 64H296c-4.4 0-8 3.6-8 8v56c0 4.4 3.6 8 8 8h496v688c0 4.4 3.6 8 8 8h56c4.4 0 8-3.6 8-8V96c0-17.7-14.3-32-32-32zM704 192H192c-17.7 0-32 14.3-32 32v530.7c0 8.5 3.4 16.6 9.4 22.6l173.3 173.3c2.2 2.2 4.7 4 7.4 5.5v1.9h4.2c3.5 1.3 7.2 2 11 2H704c17.7 0 32-14.3 32-32V224c0-17.7-14.3-32-32-32zM350 856.2L263.9 770H350v86.2zM664 888H414V746c0-22.1-17.9-40-40-40H232V264h432v624z"></path></svg></i></button><pre class="line-numbers  language-bash"><code class="  language-bash">cd stable-diffusion-webui/
rm -rf outputs &amp;&amp; ln -s /root/autodl-tmp outputs
python launch.py --disable-safe-unpickle --port=6006 --deepdanbooru
<span aria-hidden="true" class="line-numbers-rows"><span></span><span></span><span></span></span></code></pre>
</div>
<h2>6.2 本地版本</h2>
<p>如果你有一块显卡还不错的电脑，那可以部署在本地，这里介绍下Windows版本的搭建：</p>
<p>1.首先需要安装Python 3.10.6，并且添加环境变量到Path中</p>
<p>2.安装git</p>
<p>3.Clone Stable Diffusion WEBUI 的工程代码到本地</p>
<p>4.将模型文件放置于 models/Stable-Diffusion目录下，相关模型可以去<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fhuggingface.co%2F" target="_blank">https://huggingface.co/</a> 下载</p>
<p>5.运行 webui-user.bat，通过本机电脑ip及7860端口访问服务。</p>
<h1>7.总结</h1>
<p>本文介绍了AI绘画的一些相关的信息，感兴趣的朋友也可以自己把服务部署起来，自己试着学习用DreamBooth或者最新的Lora微调一下大模型。相信在2023年，随着 AIGC 热度的不断提高，我们的工作和生活都会因为 AI 带来巨大的改变。前段时间 ChatGPT的推出给我们带来了巨大的震撼，就好像刚进入互联网时期搜索信息的能力一样，今后学会使用 AI 来辅助我们的工作也将是一个非常重要的能力。</p>
<h1>8.参考资料</h1>
<ol>
<li><p>从起因到争议，在 AI 生成艺术元年聊聊 AI<br>
<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fsspai.com%2Fpost%2F76277" target="_blank">https://sspai.com/post/76277</a></p></li>
<li><p>神经网络学习笔记6——生成式AI绘画背后的的GAN与Diffusion初解<br>
<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fblog.csdn.net%2Fqq_45848817%2Farticle%2Fdetails%2F127808815" target="_blank">https://blog.csdn.net/qq_45848817/article/details/127808815</a></p></li>
<li><p>How diffusion models work: the math from scratch<br>
<a href="https://links.jianshu.com/go?to=https%3A%2F%2Ftheaisummer.com%2Fdiffusion-models%2F" target="_blank">https://theaisummer.com/diffusion-models/</a></p></li>
<li><p>GAN 结构概览<br>
<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fdevelopers.google.com%2Fmachine-learning%2Fgan%2Fgan_structure" target="_blank">https://developers.google.com/machine-learning/gan/gan_structure</a></p></li>
<li><p>The absolute beginners guide to Midjourney – a magical introduction to AI art<br>
<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.entrogames.com%2F2022%2F08%2Fabsolute-beginners-guide-to-midjourney-" target="_blank">https://www.entrogames.com/2022/08/absolute-beginners-guide-to-midjourney-</a>       magical-introduction-to-ai-art/</p></li>
<li><p>The viral AI avatar app Lensa undressed me—without my consent<br>
<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.technologyreview.com%2F2022%2F12%2F12%2F1064751%2Fthe-viral-ai-avatar-app-" target="_blank">https://www.technologyreview.com/2022/12/12/1064751/the-viral-ai-avatar-app-</a>         lensa-undressed-me-without-my-consent/</p></li>
<li><p>instruct-pix2pix<br>
<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fhuggingface.co%2Ftimbrooks%2Finstruct-pix2pix" target="_blank">https://huggingface.co/timbrooks/instruct-pix2pix</a></p></li>
</ol>
<p><strong>文/misotofu</strong></p>
</article>

今年很火的AI绘画怎么玩

作者

sockstack

许可协议

CC BY 4.0

发布于

2023-11-15

修改于

2024-11-13

上一篇：软件：常用 Linux 软件汇总，值得收藏下一篇：Docker安装ElasticSearch