스테이블 디퓨전에서 ControlNet은 텍스트-이미지 변환 모델에 추가적인 조건을 부여하여 더 정교하고 제어된 이미지 생성을 가능하게 하는 신경망 구조입니다. 이 모델은 기존의 생성 모델에 "잠긴" 가중치와 "학습 가능한" 가중치를 결합하여, 원래 모델의 성능을 유지하면서도 새로운 조건을 학습할 수 있도록 설계되었습니다.

주요 특징:

1. 조건부 제어: ControlNet은 텍스트 프롬프트 외에도 추가적인 입력(예: 스케치, 포즈, 외곽선 등)을 기반으로 이미지를 생성할 수 있습니다.
2. 모듈형 설계: 기존 모델의 구조를 변경하지 않고, 추가적인 모듈을 통해 확장 가능.
3. 효율적인 학습: 소규모 데이터셋으로도 학습이 가능하며, 원래 모델의 성능을 손상시키지 않습니다

ControlNet의 openpose 파라미터로 인물의 자세를 추출할수 있다.

스테이블 디퓨전 WebUI에서 ControlNet 설치하기

ControlNet을 설치하려면 ControlNet 본체와 프리 프로세서 모델을 나눠 설치해야 합니다.

우선 WebUI에서 Extensions 탭에서 본체를 다운로드 합니다.

URL에 주소 입력하고 Install을 클릭합니다.

https://github.com/mikubill/sd-webui-controlnet.git

설치가 완료되면 체크 업데이트를 누르고 적용을 시키나서 WebUI를 리스타트 합니다.

그 다음 프리 프로세서 모델을 다운로드 합니다. ControlNet은 여러 베이스 모델별로 다른 모델이 있기 때문에 각자 맞는 버전을 다운받으셔야 됩니다. 여기서 초보자가 착각하는 것 중 하나가 WebUI와 SD 버전 1.5, 2.0, SDXL 등을 구별 못한다는 것인데요. WebUI와 SD 버전은 다른겁니다. WebUI는 단순히 모델을 사용하기 위한 프로그램이 입니다. 메모장, 워드 같은 프로그램을 말하는 거구요. SD버전이 바로 모델 버전입니다. 이 SD 모델이란거는 Stability AI에서 개발한 모델을 말합니다. SD 1.5, SD 2.0, SDXL 등.

아래 링크를 타고 가셔서 프리 프로세서 모델을 다운로드 합니다.

https://huggingface.co/lllyasviel/sd_control_collection/tree/main

diffusers_xl_canny_full.safetensors 를 다운받고

*스테이블 디퓨전 루트 디렉터리/extensions/sd-webui-controlnet/models ←이 위치로 프리 프로세스 모델을 이동시킨다

이제 ControlNet 설치가 완료 되었으므로 각 파라미터를 설명 드리겠습니다.

ControlNet Unit

여기서 편집할 이미지를 업로드 합니다. unit 0 ,unit 1, unit 2 각 각 다른 탭에서 각자 이미지 별로 편집하고 싶을때 사용합니다.

Single Image/Batch/Multi-inputs 

Single Image 이거는 이미지를 한장 한장 업로드 할때 사용합니다.

Batch는 해당 폴더로 경로 지정을 해서 여러 장을 한꺼번에 업로드 처리 합니다

Multi-inputs 이거는 폴더와 상관 없이 여러 이미지를 한꺼번에 다 넣고 처리할때 사용합니다.

Enable 이것을 선택하셔야 Controlnet이 작동합니다.

Low VRAM : VRAM 이 부족할때 사용하며, 그 대신에 속도가 느려집니다.

Pixel Perfect : 프리 프로세서의 해상도를 자동 설정하도록 합니다. 초기 설정이 On으로 되어있습니다.

Allow Preview : 쉽게 말하면 미리보기 기능입니다. 이것을 선택 한 다음 프리 프로세서 모델을 선택하고

                          위에 폭탄그림 아이콘을 클릭하면 미리보기로 생성됩니다.

Effective Region Mask  : 입력 이미지에서 마스크 처리한 부분을 업로드할 때 사용합니다.

Control Type

여기서 프리 프로세서 종류를 선택합니다.

선택을 하시면 아래 프리프로세서와 모델이 자동 설정 됩니다.

Preprocessor/Model

위에 메뉴와 같다 보시면 되고 프리프로세서 모델을 선택할 수 있습니다.

Control Weight 이것은 가중치 설정입니다.

Starting Control Step / Ending Control Step

이것은 0.1,  0.2, 1 등 백분율 단위로 사용합니다.

예를 들어 Starting을 0.1로 하고 Ending을 0.2로 설정하면

ControlNet이 10%에서 생성 시작했다가 20%에서 종료합니다.

Control Mode

프롬프트의 압력의 밸런스를 적용합니다.

나의 생성 이미지 프롬프트를 중시할것이냐 아니면 ControlNet 기능을 중시할것이냐 그걸 말하는 겁니다.

Resize Mode

이건 img2img 탭에서 사용하는 파라미터와 같은 것인데 

쉽게 설명하면

단지 이미지 사이즈를 변경할것이냐 아니면 사이즈를 변경하면 상실하는 부분이나 이미지가 커질때 어떻게 처리할것이냐

그것을 선택하는 겁니다. 단지 사이즈를 바꾼다. 사이즈 바뀐 부분은 짤리거나 새로 생성한다. 줄이면 줄인다. 늘릴때는 새로운 이미지가 생성되거나 하는 겁니다.

자 ControlNet 부분에서 설치하고 설명까지 마치었습니다.

다음 포스팅은 프리 프로세서를 적용했을때 이게 뭔지 한번 적용해 보겠습니다. 감사합니다

아래는 제가 언급한 젬마3 모델 정보들을 보기 쉽게 정리한 표입니다:

자 그럼 일단, Hugging Face  홈페이지에 가봅시다.

저는 GPU가 8GB라 저사양이므로  Gemma3-12B가 적합할 것으로 보이네요.

모델 사용하는 방법은 엄청 쉽습니다. 오픈소스이기 때문에

이제 뭐 설치하고 그럴필요도 없어요.

GPT4ALL 프로그램을 사용하면 마우스 클릭만으로 바로 사용할 수 있습니다.

아래 링크로 GPT4ALL 설치링크 걸어놨습니다. 별거 없습니다.

2025.03.13 - [오픈소스 모델] - GPT4ALL 모든 오픈소스 AI 모델을 무제한으로 사용할 수 있는 프로그램을 소개합니다.

링크 타고 들어가셔서 원하시는 버전 링크를 복사하기 하세요.

그 다음 GPT4ALL을 실행하고 모델 검색합니다.

hugging face에서 복사한 모델 링크를 붙여넣기 하시면 됩니다. 간단하죠. 그리고 다운받고 실행만 하면 끝입니다.

얼마나 편합니까

여러가지가 주욱 나오네요. 아무거나 해봅시다. 저는 밑에 f16 지원에 21.9GB 선택했습니다.

용량 크고 제 PC가 똥컴이라 다운받는라 시간 좀 걸렸습니다.

자, 설치 다됬네요. 모델 선택하고 바로 돌려봅시다.

여기서 잠깐,

모델은 기본적으로 입력 방법이나 프롬프트가 정해져 있고요, 그리고 제가 빼먹은 게 하나 있는데 꼭 라이선스를 확인하세요.

입력 방법을 알아보는데는 copilot이 좋습니다. 

copilot 한테 가서 물어봅시다.

그냥 편하게 입력하면 된다는 거 같습니다.

그러면 영문으로 번역기 돌려가면서 원하시대로 입력해 봅시다.

엉?! 그런데 에러가 나네요.

아마도 지원 형식이 다른것 같네요.

다른 시도를 해볼께요.

...................................................................................................................................................................................

모델 형식이 달라서 시도 해봐야 소용 없는 일이었네요.음....

그렇다면 파이썬으로 실행 시킬수 밖에 없네요.;;;

포기할 순 없다...!

또 다른 방법을 시도해 보겠습니다.

cmd, gemma3 위치에서 명령어 실행 :

역시 구글이네요. 이건 말만 오픈소스지 파일 변환 해놓고 api로 접근 허가 받아서 파일 변환 시킨 다음에

하게끔 되있네요. 정말 거지 같네요. 안 쓰겠습니다 저는....

오늘 뉴스에 좋다고 나왔길래 알려 드릴려고 기쁨 마음에 포스팅 하면서 저도 해봤는데 

이 모델 아무리 좋아도 안쓰겠습니다.

좋게 포스팅하려고 시작했다가 욕만 먹게 됬네요.

차라리 메이드 인 차이나 deep seek 오픈소스가 100배 낫네요.

읽어 주셔서 감사합니다.

2025.03.13 - [오픈소스 모델] - GPT4ALL 모든 오픈소스 AI 모델을 무제한으로 사용할 수 있는 프로그램을 소개합니다.

오픈소스 GPT4ALL 설치 방법은 위에 링크로 걸어 놓았습니다.

gpt4all을 사용하여 오픈소스 모델인 DeepSeek-R1-LIama-8B를 가지고 일반인이 모르는 매우 상세한

주가 분석도 가능한 것으로 여겨집니다.

언넝 가서 LS머트리얼즈 분석을 요청해야겠습니다. 저는 이만...

GPT4All: 로컬에서 공개된 모든 오픈소스 모델을 쉽게 사용할 수 있다. 단, 라이센스를 반드시 확인하자.

1. GPT4All이란?

GPT4All 개요

GPT4All은 로컬에서 실행 가능한 오픈소스 AI 모델로, 인터넷 연결 없이 개인 컴퓨터에서 AI 챗봇을 사용할 수 있도록 설계되었습니다. OpenAI의 GPT 모델과 유사하지만, 완전히 무료이며 개인정보 보호가 뛰어나다는 장점이 있습니다.

• 무료 & 오픈소스: 누구나 다운로드하고 사용할 수 있습니다.
• 로컬 실행 가능: 인터넷 없이도 AI와 대화할 수 있습니다.
• 다양한 AI 모델 지원: LLaMA, Mistral, GPT-J 등 여러 모델을 실행할 수 있습니다.
• 프라이버시 보호: 모든 데이터가 로컬에서 처리되므로 개인 정보 보호에 강점이 있습니다.

2. GPT4All 설치 방법

(1) 시스템 요구 사항

GPT4All은 CPU 또는 GPU에서 실행할 수 있으며, 원활한 실행을 위해 다음과 같은 시스템 사양이 권장됩니다.

• 운영체제: Windows, macOS, Linux
• RAM: 최소 8GB (권장 16GB 이상)
• CPU: 4코어 이상 (AMD Ryzen 또는 Intel i5/i7 추천)
• GPU (선택 사항): NVIDIA GPU (CUDA 지원 시 속도 향상)

(2) GPT4All 다운로드 및 설치

① 공식 사이트 접속

GPT4All 공식 홈페이지

② 최신 버전 다운로드

운영체제에 맞는 설치 파일을 다운로드합니다.

• Windows: .exe 파일 다운로드
• macOS: .dmg 파일 다운로드
• Linux: .AppImage 파일 다운로드

③ 설치 실행

다운로드한 파일을 실행하고 설치 마법사 안내에 따라 진행하면 쉽게 설치할 수 있습니다.

④ AI 모델 다운로드

설치 후 처음 실행하면 사용할 AI 모델을 선택하여 다운로드해야 합니다.
추천 모델:

• Mistral 7B: 가장 최신의 강력한 AI 모델
• LLaMA 2 13B: 정교한 언어 이해 능력 제공
• GPT-J: 가벼우면서도 강력한 성능

3. GPT4All 사용법

(1) 기본 사용법

1. GPT4All 프로그램을 실행합니다.
2. 채팅창에서 AI와 자유롭게 대화합니다.
3. 프롬프트를 입력하면 AI가 답변을 생성합니다.
4. 필요한 경우 모델을 변경하여 다양한 답변 스타일을 테스트할 수 있습니다.

(2) 고급 기능 활용

프롬프트 엔지니어링: 원하는 답변을 유도하는 질문을 입력합니다.
API 활용: GPT4All을 Python에서 사용하려면 gpt4all 패키지를 설치하여 API로 호출할 수 있습니다.
AI 모델 변경: 여러 모델을 다운로드하여 비교하며 사용할 수 있습니다.
로컬 데이터 학습: 개인 문서를 로드하여 AI가 맞춤형 응답을 제공하도록 설정할 수 있습니다.

4. GPT4All을 활용한 다양한 사용 사례

 개인 비서로 활용

• 일정 관리
• 이메일 초안 작성
• 메모 및 아이디어 정리

 코딩 도우미

• Python, JavaScript, C++ 등의 코드 설명
• 오류 디버깅 도움
• 알고리즘 문제 해결

 콘텐츠 제작 지원

• 블로그 글쓰기 보조
• 마케팅 문구 생성
• 번역 및 요약 기능 활용

 오프라인 AI 챗봇

• 인터넷 없이 AI 챗봇 활용 가능
• 회사 내부 문서 분석 및 자동 응답 시스템 구축

5. FAQ (자주 묻는 질문)

Q1. GPT4All이 ChatGPT보다 좋은가요?

 ChatGPT는 클라우드 기반으로 최신 데이터를 제공하지만, GPT4All은 로컬에서 실행되므로 보안과 개인정보 보호가 뛰어납니다.

Q2. 무료인가요?

 네, 완전 무료이며 오픈소스입니다.

Q3. 한글 지원이 되나요?

 기본적으로 영어에 최적화되어 있지만, Mistral 7B 모델 등을 사용하면 한글도 원활하게 지원됩니다.

Q4. 속도가 느린데 어떻게 해결할 수 있나요?

 GPU 가속을 사용하거나 더 가벼운 모델을 선택하면 속도가 개선됩니다.

프롬프트 예시 1: 따뜻하고 자연스러운 이미지

프롬프트 예시 2: 실내에서 포근한 모습

프롬프트 예시 3: 초상화 스타일

네거티브 프롬프트

팁:

1. Resolution: 512x512에서 시작하고, 업스케일 기능으로 1024x1024 이상의 해상도로 업그레이드하세요.
2. Sampler: Euler_a 또는 DPM++과 같은 샘플러를 사용해 균형 잡힌 결과를 얻으세요.
3. Steps: 40~50 범위로 설정해 디테일을 살립니다.
4. CFG Scale: 7~10 범위로 조정하여 결과를 제어합니다.

Provides download links organized by Stable Diffusion model series

Stable Diffusion 1.x Series

Stable Diffusion 1.4: Released on August 22, 2022, as the first official version.

Stable Diffusion 1.5: Released on October 20, 2022, as an improved model of version 1.4.

Stable Diffusion 2.x Series

Stable Diffusion 2.0: Released on November 24, 2022, supporting a resolution of 768x768 and using the OpenCLIP-ViT/H text encoder. This version includes a depth-guided model for structure-preserving img2img and form condition synthesis.

Stable Diffusion 2.1: Released on December 7, 2022, supporting resolutions of 512x512 and 768x768. This model was fine-tuned with less restrictive NSFW filtering of the LAION-5B dataset.

Stable unCLIP 2.1: Released on March 24, 2023, supporting image transformation and mixing tasks based on CLIP ViT-L and ViT-H image embeddings.

Stable Diffusion 3.x Series

Stable Diffusion 3.0: Released in June 2024, as the first model in the 3.x series. This model was improved based on community feedback.

Stable Diffusion 3.5: Released on October 22, 2024, as the latest version, including multiple variant models.

Stable Diffusion 3.5 Large: The most powerful model with 8.1 billion parameters, suitable for professional use cases at a resolution of 1 megapixel.

Stable Diffusion 3.5 Large Turbo: A distilled version of the 3.5 Large model, generating high-quality images in 4 steps, making it faster.

Stable Diffusion 3.5 Medium: A model with 2.5 billion parameters, capable of running on consumer hardware and generating images at resolutions between 0.25 and 2 megapixels.

Stable Diffusion 1.x Series Base Models

Stable Diffusion 2.x Series Base Models

Stable Diffusion 3.x Series Base Models

.

Additional Models

The issue here is that you're trying to install a package named torchsde (not torchesde) with version 0.2.5, but the PyPI repository only has versions up to 0.2.6 available.

Here are some possible solutions:

1. Update your pip: Make sure you have the latest version of pip installed by running: pip install --upgrade pip Then try installing again with the same command.
2. Install a different version: Try installing the package with a specific version that is available on PyPI, like this: pip install torchsde==0.2.6 (if you don't need exactly 0.2.5)
3. Check for typos: Double-check your spelling and make sure it's indeed torchsde, not torchesde.
4. Try a different package name: If the above steps fail, try searching PyPI to see if there is another package with a similar name that you might be looking for.
5. Check dependencies: If none of the above works, it's possible that your project has unmet dependencies or conflicts between packages. Try running pip install -r requirements.txt (if you have a requirements.txt file) to ensure all required packages are installed.

To resolve this issue, try one of these solutions and see if they help!