comfyui高清放大工作流搭建及背后逻辑学习笔记!

发布日期:2024-09-19 18:21

来源类型:格隆汇 | 作者:珍妮·奥哈拉

【澳门金牛版正版资料大全免费】【新澳开奖记录今天结果】【2024年新澳门王中王资料】【管家婆最准一肖一码】【新澳彩开奖结果查询】【新奥天天好好彩】【4949澳门免费资料大全特色】【2024今晚澳门特马开什么号】【2024新澳免费资料五不中料】【2O24澳彩管家婆资料传真】
【494949澳门今晚开什么】 【2024新澳免费资料】 【澳门2024正版资料免费看】

积跬步以至千里,从细小处学习以求量变到质变,今天学习comfyui高清放大工作流搭建,还是以学习和识记的态度写这篇文章,供各位有缘人参考或指正!

无论在webui还是在confyui其放大方式大致可分为两种:第一在潜变量空间放大(Image Latent Variable Models),第二在像素空间放大(Pixel Space Upsampling)!

上一篇我们讲过:普通文生图的过程是从empty latent image(空潜在图像)参考模型及提示词——经过ksampler(采样器)在潜在空间加工—并通过vae decode(vae解码)还原到像素空间的过程!

一、潜在空间放大

那么要在潜在空间放大必须在VAE decode之前,在采样器之后,在潜在空间之中,所以我们要在latent连接点之后添加upscale latent节点并设置参数调整图像大小,是否要crop(裁剪),并选择放大算法!

图像经由upscale放大后下一步连接什么?先不急,看一下潜在变量的原理大概是:采集原图像的潜在变量,捕获图像的关键特征,并且生成与原图像类似的新的图像!并且可以对这些图像进行重建(图生图?),降噪(普通放大?),编辑(control net)控制,不知道对不对我猜的?

这里有一句,从潜空间中采样潜变量,并将其输入到生成器网络中,可以生成与原始图像相似的风格的新图像!

所以下一步一定连接的是新的采样器,如下图所示!采样之后这时的图像还处于潜在空间所以用VAE encode进行解码,把图像从潜在空间还原到像素空间!再连接clip文本编码部分,model部分及vae部分即可!如下图所示!

二、使用放大模型在像素空间放大

因为在像素空间放大,所以你必须在ksampler(采样器)之后,通过vae decode解码器把潜在空间还原到像素空间,在这个vae decode上连接放大模型upscale image(using model),在这个upscale image节点中连接model(模型)节点及缩放倍数节点,如图所示!

连接放大模型选择模型和放大倍数后,这个时候要重新对图片采样,就是要连接ksampler,而要采样图片必须在潜空间中,所以这个时候要先连接VAE ENcode (VAE 编码)具体为什么?我问了chatgpe!

在记录一下,VAE ENCODE编码是像素空间➡️到潜空间,VAE decode解码是将图像从潜在空间转化到像素空间!

那么为什么要重新进行采样呢?原因是无论图像在潜在空间放大或者像素空间进行放大都要重新进行采样!所以接下来的连接的是采样器,然后重新解码还原到像素空间!

所以流程如上图所示,一般来说在潜在空间放大图片变化大一点,在像素空间图像变化小一点,另外一点要设置denoise(去噪点强度或叫重绘幅度一般0.5-0.7即可)

最后放两张在像素空间放大的两张照片,从最基本的工作流搭建开始,以求可以快速学习到高级一点的工作流,明天继续!感谢您的收看!

熊大桦:

3秒前:所以流程如上图所示,一般来说在潜在空间放大图片变化大一点,在像素空间图像变化小一点,另外一点要设置denoise(去噪点强度或叫重绘幅度一般0.

安东尼·科隆:

4秒前:),降噪(普通放大?

爱德华·J·克莱尔:

5秒前:二、使用放大模型在像素空间放大因为在像素空间放大,所以你必须在ksampler(采样器)之后,通过vae decode解码器把潜在空间还原到像素空间,在这个vae decode上连接放大模型upscale image(using model),在这个upscale image节点中连接model(模型)节点及缩放倍数节点,如图所示!

奥利维亚·德容格:

3秒前:原因是无论图像在潜在空间放大或者像素空间进行放大都要重新进行采样!