当前位置： 首页 > news >正文

门户网站想要微信登录怎么做,嘉兴网站建设设计制作,潍坊网站制作小程序,网站源码生成目录 一、安装二、擦除功能1. LaMa模型实操实例一#xff1a;去除路人实操实例二#xff1a;去水印实操实例三#xff1a;老照片修复 2. LDM模型3. ZITS模型4. MAT模型5. FcF模型6. Manga模型 三、替换对象功能1. sd1.52. sd23. anything44. realisticVision1.45. 四个模型的… 目录 一、安装二、擦除功能1. LaMa模型实操实例一去除路人实操实例二去水印实操实例三老照片修复 2. LDM模型3. ZITS模型4. MAT模型5. FcF模型6. Manga模型 三、替换对象功能1. sd1.52. sd23. anything44. realisticVision1.45. 四个模型的对比 四、进阶版功能1. Paint By Example2. Stable Diffusion with ControlNet3. Instruct Pix2pix Lama Cleaner是一个免费的、开源的、完全自托管的修复工具里面提供了很多最前沿的AIGC模型。可以使用它从图片中删除任何不需要的物体、缺陷、人物或删除和替换图片上的任何内容。本文章详细介绍了该工具的所有功能并体验了下每个功能的实际效果。 githubhttps://github.com/Sanster/lama-cleaner 官方使用文档https://lama-cleaner-docs.vercel.app/ 一、安装

如果电脑带GPU为了使用GPU首先安装与cuda版本相对应的pytorch比如cuda11.7的

pip install torch1.13.1cu117 torchvision0.14.1 –extra-index-url https://download.pytorch.org/whl/cu117# pip直接安装 pip install lama-cleaner本文安装时版本更新到1.2.4 二、擦除功能 下方擦除功能所需要的模型全部上传至夸克网盘链接https://pan.quark.cn/s/370b455924ab提取码SNrE在github下载失败时可手动网盘下载至规定路径。 找到lama-cleaner.exe的路径C:\Users\zhouying\AppData\Roaming\Python\Python39\Scripts不同电脑路径不同 cd C:\Users\zhouying\AppData\Roaming\Python\Python39\Scriptslama-cleaner –modellama –devicecuda –port8080device如果没有gpu–devicecpu。 该命令会自动下载AI模型到本地也可手动下载big-lama.pt到下图红框中的路径然后浏览器打开http://localhost:8080/就可以使用了。

1. LaMa模型 githubhttps://github.com/saic-mdal/lama paperResolution-robust Large Mask Inpainting with Fourier Convolutions
   lama是默认模型模型196MB性能已经挺不错了。 实操实例一去除路人 实操实例二去水印 涂抹过程中可以长按Ctrl键进行多处涂抹
   实操实例三老照片修复 可以在网页中选择不同的AI模型或在命令行中选择不同模型下方章节这样都会自动下载相应的模型到本地。 2. LDM模型 githubhttps://github.com/CompVis/latent-diffusion paperHigh-Resolution Image Synthesis with Latent Diffusion Models
   lama-cleaner –modelldm –devicecuda –port8080LDM模型手动下载链接diffusion.pt、cond_stage_model_decode.pt、cond_stage_model_encode.pt LDM vs LaMa 可能比LaMa有更好、更多的细节可以通过调整Steps来平衡时间和质量比LaMa慢很多3080 12it/s需要更多的GPU内存512x512 5.8G 3. ZITS模型 githubhttps://github.com/DQiaole/ZITS_inpainting paperIncremental Transformer Structure Enhanced Image Inpainting with Masking Positional Encoding
   lama-cleaner –modelzits –devicecuda –port8080ZITS模型手动下载链接zits-wireframe-0717.pt、zits-edge-line-0717.pt、zits-structure-upsample-0717.pt、zits-inpaint-0717.pt ZITS vs LaMa 擅长在高分辨弱纹理场景中恢复关键的边缘和线框ZITS的Wireframe模块在CPU上会非常慢 4. MAT模型 githubhttps://github.com/fenglinglwb/MAT paperMask-Aware Transformer for Large Hole Image Inpainting
   lama-cleaner –modelmat –devicecuda –port8080MAT模型手动下载链接Places_512_FullData_G.pth 特点MAT可实现大面积像素缺失的补全和提供多样性生成 5. FcF模型 githubhttps://github.com/SHI-Labs/FcF-Inpainting paperKeys to Better Image Inpainting: Structure and Texture Go Hand in Hand
   lama-cleaner –modelfcf –devicecuda –port8080FcF模型手动下载链接places_512_G.pth FcF vs LaMa 能生成更好的结构和纹理仅支持固定大小512x512的输入 6. Manga模型 githubhttps://github.com/msxie92/MangaInpainting paperSeamless Manga Inpainting with Semantics Awareness
   lama-cleaner –modelmanga –devicecuda –port8080Manga模型手动下载链接erika.jit、manga_inpaintor.jit 特点在漫画图像上表现的比LaMa模型效果更好 三、替换对象功能
2. sd1.5 githubhttps://github.com/runwayml/stable-diffusion hugging facehttps://huggingface.co/runwayml/stable-diffusion-inpainting 因为需要访问hugging face所以需要魔法 运行方式一 lama-cleaner –modelsd1.5 –devicecuda –port8080自动下载的文件保存路径为C:\Users\zhouying.cache\huggingface\hub\models–runwayml–stable-diffusion-inpainting。 运行方式二 可以先下载sd-v1-5-inpainting.ckpt到本地然后下面的命令运行 lama-cleaner –modelsd1.5 –devicecuda –port8080 –sd-local-model-path ./sd-v1-5-inpainting.ckpt –local-files-only2. sd2 githubhttps://github.com/Stability-AI/stablediffusion hugging facehttps://huggingface.co/stabilityai/stable-diffusion-2-inpainting lama-cleaner –modelsd2 –devicecuda –port8080下载的文件保存在C:\Users\zhouying.cache\huggingface\hub\models–stabilityai–stable-diffusion-2-inpainting
3. anything4 hugging face https://huggingface.co/andite/anything-v4.0 lama-cleaner –modelanything4 –devicecuda –port8080下载的文件保存在C:\Users\zhouying.cache\huggingface\hub\models–Sanster–anything-4.0-inpainting
4. realisticVision1.4 hugging facehttps://huggingface.co/SG161222/Realistic_Vision_V1.4 lama-cleaner –modelrealisticVision1.4 –devicecuda –port8080下载的文件保存在C:\Users\zhouying.cache\huggingface\hub\models–Sanster–Realistic_Vision_V1.4-inpainting
5. 四个模型的对比 原图 涂抹图中小狗然后prompt输入“a fox sitting on a bench”的输出如下 同时这些模型同样能提供擦除功能只需将prompt填写为“background” 四、进阶版功能
6. Paint By Example 这个模型的输入是一张图片模型会由这个示例图指导生成类似的内容。 githubhttps://github.com/Fantasy-Studio/Paint-by-Example paperPaint by Example: Exemplar-based Image Editing with Diffusion Models lama-cleaner –modelpaint_by_example –devicecuda –port8080下载的文件保存在C:\Users\zhouying.cache\huggingface\hub\models–Fantasy-Studio–Paint-by-Example 2. Stable Diffusion with ControlNet 使用ControlNet可以获得更好的修复效果命令如下 lama-cleaner –modelsd1.5 –sd-controlnet –sd-controlnet-method control_v11p_sd15_inpaint –devicecuda –port8080–model支持的参数有 sd1.5anything4realisticVision1.4 –sd-controlnet-method支持的参数有 control_v11p_sd15_cannycontrol_v11p_sd15_openposecontrol_v11p_sd15_inpaintcontrol_v11f1p_sd15_depth 官方提示这四种方法在应用时都需要适当地调整ControlNet Weight的数值建议canny和openpose从0.4开始调整inpaint和depth从1.0开始调整。 尝试了一下加了个ControlNet也没好多少可能weight值还没调好。 3. Instruct Pix2pix 这个模型可以不用mask而是直接输入prompt githubhttps://github.com/timothybrooks/instruct-pix2pix paperInstructPix2Pix: Learning to Follow Image Editing Instructions lama-cleaner –modelinstruct_pix2pix –devicecuda –port8080拿张图试玩一下效果挺不错的。