스테이블 디퓨전 코랩(webui) 파인튜닝 모델 사용법 with 로라(Lora), 텍스처이버전, 하이퍼네트워크 (AI 그림 stable diffusion 가이드 영상 4편) :: ChatGPT 정리

> English Summary

> English Full Text

 

[ 요약 ]

본 글에서는 파인튜닝 모델 설치 및 적용하는 방법에 대해 이야기합니다.
파인튜닝에 대한 개념적인 설명은 별도 영상에서 다룰 예정이며, 보조작가와 비슷한 역할을 하는 모델을 설치하고 사용 방법을 설명합니다.
이후 텍스트 인버전과 하이퍼네트워크 모델까지 만들어보며 적용 방법과 주의 사항을 소개합니다.
자세한 방법과 설명은 11ai에서 확인할 수 있으며, 모델을 다운로드 받아 적당한 폴더에 저장한 후 스테이블 디퓨저 홈 화면에서 분배하면 생성할 수 있습니다.

 

반응형

 

 

 

How to Use the Stable Diffusion Collab (webui) Fine Tuning Model with Lora, Texture Variations, and Hypernetworks (4 AI Illustrated Stable Diffusion Guide Videos)

https://www.youtube.com/watch?v=U-A0ZA4o2z4 

 

 

 

[ 한글 전체 ]

제 채널에는 스테이블 디퓨저 영상이 있습니다.
이 영상은 모두 입문하는 분들을 대상으로 제작되어 오랫동안 인기를 얻고 있습니다.
그래서 한글 패치 버전을 사용하고 있으며 진도가 빠르지 않습니다.
감사합니다.
안녕하세요, 오늘은 이전 영상에서 말씀드린 파인튜닝 모델 설치 및 적용하는 방법에 대해 이야기하려 합니다.
먼저 파인튜닝에 대한 개념적인 설명은 모델 학습 판을 들어가기 전에 제 미천한 지식으로 영상을 따로 만들어서 다시 이야기할 예정입니다.
먼저, 이전 영상에서 모델은 작가라고 했으며, VA는 색감을 다루는 어시스턴트 역할을 한다고 했습니다.
오늘 다룰 파인튜닝 모델은 보조작가와 비슷한 역할을 한다고 생각하면 됩니다.
작가는 자신이 알고 있고 그리고 싶은 것만 그리는 경향이 있으며, 모델은 그 용량이 크고 몸이 무거워 컨트롤하기 어렵습니다.
그래서 이미지의 세부적인 교정을 쉽게 하기 위해 보조 작가를 고용합니다.
오늘도 11ai에서 그 부분을 자세히 설명하곤 합니다.
영상 하단에 있는 링크를 클릭해서 12ai로 이동해주세요.
그리고 CB ai에서 필터를 사용해 최신 작품이 상위에 나오도록 바꿀 수 있습니다.
각 이미지의 자하는 도구도 확인할 수 있습니다.
보통 로우라, 로라 체크 포인트, 텍스처 인버터, 로라 포인트 등이 있는데, 로라라고 써져 있는 작품들은 파인튜닝 모델도 함께 사용한 이미지입니다.
로라 이미지 중에서는 마코토 신카이 로라인 바코드 스타일 로라가 인기가 많습니다.
이 작품은 nsting 4.5 모델을 사용하면 가장 정확하게 이미지가 재현된다고 합니다.
그럼 이제 시작해보겠습니다.
우선, 우상단의 로라를 다운로드 받고, 모델을 다운 받을 거에요.
ckpt 파일은 여기 있네요.
파일은 버전에서 다운 받겠습니다.
다운로드가 완료됐습니다.
그럼 이제 드라이브로 들어가고요.
저번 영상에서 보셨던 것처럼 스테이블 UI, 그리고 모델, 그 다음에 스태프 디퓨저 폴더에 모델 파일을 모델 파일에 넣을게요.
그리고 로라 폴더에는 방금 다운받은 로라 파일을 업로드할게요.
업로드가 끝났고요.
이제 스테이블 디퓨저 홈 화면에서 이미지를 생성해 볼 거에요.
먼저, 모델을 바꾸시고, 애니스팅 4.5가 있었네요.
카피 제너레이션 데이터를 하신 다음에 프롬프트 입력면에다가 붙여넣기를 하시고 화살표를 눌러왔고 분배를 해주세요.
먼저 로라가 없는 상태로 모델만으로 프롬프트를 입력해서 생성을 해보겠습니다.
인상 착이나 배경이나 서로 닮은 곳이 있는데, 그림체가 다르다는 걸 확연히 느껴지시죠.
그럼 이번에는 로라를 삽입해서 생성해 보겠습니다.
프롬프트 입력면에다가 붙여넣기를 하시고 화살표를 눌러왔고 분배를 해주세요.
그리고 화투표시를 누른 다음에 로라를 눌러서 마코토 신카이 썹스타일 이거네요.
이걸 한 번 눌러주세요.
생성을 눌러주세요.
왼편이 제작자분의 원본 이미지이고요, 오른편이 방금 만든 이미지입니다.
로라를 넣으니까 많이 비슷해졌네요.
똑같이 재현하는 것은 좀 어렵습니다.
왜냐하면, 저번 영상에서도 설명드렸지만, 같은 컴퓨터가 아니면 연산 자체가 달라지거든요.
거기에 우리는 개인PC도 아니라 코랩으로 돌리고 있잖아요.
더 어렵죠.
근데 파이톤이 모델에는 로라만 있는 게 아니고요.
저도 모르는 많은 방식들이 있는데, 그 중에서 간편하게 적용할 수 있는 하이퍼네트워크 모델하고 테스 인버전 하나씩 이미지 만들어 볼게요.
자, 뭐가 좋을까요?
일단, 텍스트 인버전 파일을 다운 받고, 그 다음에 모델을 뭘 쓰는지 한번 봐 볼게요.
데이버레스트 v11이라는 모델을 쓰네요.
이거를 다운 받으면 됩니다.
다운로드가 완료됐어요.
Deliberate 파일은 다른 모델 파일처럼 스테이블 디퓨저 포즈에 넣을 것이고요, 텍스처 인버전 파일은 임베딩 폴더에 넣을 거예요.
업로드가 완료됐네요.
루라떼와 과정은 거의 비슷합니다.
새로 받은 모델을 지정해 주시고, 대리브레이트 그리고 프롬프트 데이터를 카피해 주시고, 그 다음에 붙여 넣어주시고 분배해 주시고, 그 다음에 화투표시 눌러서 텍스트 인버전을 눌러 줘야겠죠?
이번에도 얼추 비슷하지만 다르죠.
우선 색감을 담당하는 VA를 제가 애니메이션 이미지에 어울리는 파일을 써서 식감이 실사 느낌의 이미지에는 잘 안 맞는 것 같고요.
그 외에도 역시 똑같이 재단할 수는 없으니까요.
텍스처 인버전은 이런 식으로 이미지를 만든다는 것만 전달되었으면 좋겠습니다.
마지막으로 하이퍼네트워크 이미지를 만들어 볼게요.
파일을 저장하는 위치만 다를 뿐이지 똑같고요.
이번에는 뭐 간결하게 보여드릴게요.
어차피 마지막에 정리를 해드릴 거니까, 한번에 이해가 안 되신다고 해도 너무 걱정하지 마시고요.
그럼 시작하겠습니다.
[웃음]모델 제작자 분께서 애니메이션 모델로 구동을 시켜도 잘 작동한다고 해서, 로라 돌렸던 모델로 돌려봤는데 애니메이션에 나오는 조각상 같이 나왔네요.
이쯤에서 정리 한번 할게요.
스테이블 디퓨저에는 많은 파인 트윅 모델이 있지만, 그 중에서 로라 텍스처 앰버전 하이퍼네트워크를 해봤고요.
이 파인 튜닝 모델을 적용시키는 파일을 각각 적합한 폴더에 저장해야 합니다.
구분하는 방법은 보통은 제작자 분들이 이름을 지을 때 특징과 모델을 같이 적어놔요.
마치 무협소설의 벼르마 같은 거죠.
무당 마검하면 무당파 출신의 마검의 특징이고, 화산은 군자검 하면 화산파 출신의 배신을 잘하는 인물인 거죠.
하남 삼웅함은 객장에서 마주친 패거리고, 딱 한 번 나오고 그 후에 다시 볼 수 없죠.
아무튼, 그런 식으로, 사이버펑크 로라라고 하면, 로라 모델의 사이버펑크 스타일 그림처럼 나온다라고 생각하시면 되겠죠.
모델 적용하는 방법은 저번 영상에서 설명 드렸으니까 너무 갈게요.
그리고 로라 파일은 화면에 따라서 SD 더블 클릭하고, 스티브 모델에 해당하는 로라 파일을 선택해 저장해야 합니다.
스테이블 디퓨저 홈 화면에서 적당한 모델을 고르고, CB ai에서 생성된 데이터를 복사한 후 프롬프트 창에 입력하고 화살표 버튼을 눌러 분배한 후에 화투패를 누르고 롤업 파일을 누르면 프롬프트 창에서 입력하여 생성할 수 있습니다.
텍스처 인버전이나 하이퍼 네트워크도 파일을 저장하는 위치와 파트 패를 선택하는 것만 다르고, 과정 자체는 동일합니다.
파인튜닝 모델 영상으로 마무리하고, 다음 영상에서는 인터페이스 설명을 다룰 예정입니다.
그리고 확장 프로그램들, 먼저 컨트롤 넷이나 와이드 카드를 다룰 예정이며, 블렌더까지도 다룰지 고민 중입니다.
마지막으로, 모델 학습하는 것까지 다루어 일부가 끝날 예정이지만, 4월은 바쁠 것으로 예상되어 3월까지 마무리하고자 합니다.

 

 

SMALL

[ English Summary ]

In this article, we'll talk about installing and applying a fine-tuning model.
We'll start with a conceptual explanation of fine-tuning, which we'll cover in a separate video, and then show you how to install and use a model that acts similarly to an assistant writer.
We then go on to create text inversion and hypernetwork models, showing you how to apply them and what to look out for.
Detailed instructions and explanations can be found in 11ai, and the models can be created by downloading them, saving them to a suitable folder, and distributing them from the Stable Diffuser home screen.

 

 

 

[ English Full Text ]

I have a series of stable diffuser videos on my channel.
These videos are all aimed at beginners and have been popular for a long time.
So I'm using the Korean patched version and I'm not making much progress.
Thank you.
Hello, today we're going to talk about installing and applying the fine-tuning model that we talked about in the previous video.
First, I'm going to make a separate video to explain the concept of fine-tuning to my limited knowledge before we get into the model learning phase.
First, I mentioned in a previous video that the model is the artist, and the VA is the assistant who handles the coloring.
The fine-tuning model we're going to cover today can be thought of as a similar role to an assistant writer.
The artist tends to draw only what they know and want to draw, and the model is large and heavy and difficult to control.
So they hire an assistant to make it easier to make detailed corrections to the image.
That's what I do today in 11AI.
Please click the link at the bottom of the video to go to 12AI.
And in CB ai, you can use the filters to swap the latest work to the top.
You can also see the self-help tools for each image.
These are usually Low-La, Laura Checkpoint, Texture Inverter, and Laura Point, but the ones labeled Laura are the ones that also use the fine-tuning model.
One of the most popular Laura images is Makoto Shinkai's Lorain Barcode Style Laura.
This artwork is said to be most accurately reproduced using the NSTING 4.5 model.
So let's get started.
First, we're going to download the Laura in the upper right, and then we're going to download the model.
The ckpt file is here.
I'm going to download the file from the version.
And that's it for the download.
So let's go ahead and go into the drive.
I'm going to put the model files in the Stable UI, and then the model, and then the model files in the staff diffuser folder, as you saw in the last video.
And in the Laura folder, I'll upload the Laura file that I just downloaded.
And I'm done uploading.
Now we're going to create an image on the home screen of our Stable Diffuser.
First, we're going to change the model, we've got Animate 4.5.
We're going to go ahead and do our copy generation data and then paste it into the prompt, hit the arrow, and then do the distribution.
Let's start by generating a prompt without Laura, with just the model.
You can see that there's some resemblance between the impression and the background, but they're different.
So let's go ahead and generate this with Laura inserted.
So I'm going to go ahead and paste over to the prompt, and I'm going to hit the arrow, and I'm going to hit distribute.
And then I'm going to go ahead and press Futoboshi, and then I'm going to press Laura, and then I'm going to press Makoto Shinkai Thumbstyle.
Hit this one.
Press create.
On the left is the original image from the creator, and on the right is the image I just created.
Now that I've added Laura, they're a lot more similar.
It's a little bit harder to replicate.
Because, as I explained in the last video, the math is different if you don't use the same computer.
And we're not running it on a personal computer, we're running it on a co-lab.
It's harder.
But Laura isn't the only one in the Python model.
There are a lot of ways that I don't know about, and I'm going to make an image of a hypernetwork model and a test inversion that's easy to apply.
So, what do we need to do?
First, let's download the text inversion file, and then let's see what the model is using.
It's using a model called Devereux v11.
You can download that.
That's downloaded.
I'm going to put the Deliberate file in the Stable Diffuser pose like any other model file, and the texture inversion file in the embedding folder.
The upload is complete.
The process is pretty much the same as for the Lulatte.
You have to specify your new model, copy the surrogate brite and prompt data, paste it in, distribute it, and then hit upvote and hit text inversion, right?
Again, it's kind of similar, but different.
First of all, the VA who is in charge of the color is using a file that I think suits the animated image, so the texture doesn't seem to fit well with the live-action image.
Aside from that, you can't really cut anything exactly the same.
I hope this conveys that texture inversion is a way to create images like this.
Finally, we'll create a hypernetwork image.
It's the same thing, just a different place to store the file.
I'll try to keep things simple this time.
I'm going to clean it up at the end anyway, so don't worry too much if it doesn't make sense the first time.
So let's get started.
[Laughs] The modeler told me that it works well with an animated model, so I went back to the model that Laura ran, and it came out looking like a statue in an animation.
So, let's get this straight.
There are a lot of fine tuning models for the Stable Diffuser, but I used the Laura Texture Amber Hypernetwork.
The files that apply this fine tuning model should each be saved in the appropriate folder.
The way I keep them organized is usually when the creators name them, they put the feature and the model together.
It's like a martial arts novel.
If it's a shaman magical sword, it's a characteristic of a magical sword from the shaman school, and if it's a volcano military sword, it's a character who is good at betrayal from the volcano school.
Hanam Samwoongham is a group of people you meet at a party, and you only see them once, and then you don't see them again.
Anyway, in that way, when you say cyberpunk Laura, you can think of it as a cyberpunk style drawing of the Laura model.
I showed you how to apply the model in the last video, so I won't go too far.
And you'll need to save the Laura file by double-clicking SD, depending on your screen, and selecting the Laura file for the Steve model.
You can generate it by selecting the appropriate model on the Stable Diffuser home screen, copying the data generated by the CB ai, typing it in the prompt window, pressing the arrow buttons to distribute it, pressing fireball, and pressing rollup file.
Texture inversions or hypernetworks are also the same process, just different in terms of where you save the file and which partpath you choose.
We'll wrap up with a video on fine-tuning models, and the next video will cover the interface.
And then extensions, I'm going to cover control net or wide card first, and I'm thinking about covering blender as well.
And then finally, we're going to cover learning the model, which will be partially done, but we're hoping to get it done by March because April is going to be a busy month.