海賊ラビィ

【AnimateDiff】AIアニメ作成方法（R-18男の娘での作例含む） (Pixiv Fanbox)

Published:

2023-08-26 08:50:04

Edited:

2023-09-04 14:21:43

Imported:

2024-03

Videos

a2.mp4

Downloads

Download a2.mp4

Content

1. はじめに

この記事では、プロンプト（＋その他設定）から、数秒程度のAIアニメを作ることを目標とします。

その際には、AnimateDiff（推奨PCスペック：VRAM12GB以上）と呼ばれる技術を使用します。

AnimateDiffは、旧来の方式（例えば、img2imgのLoopback）よりも滑らかで一貫性を感じられるアニメを生成できる技術とされています。

私の肌感覚としても、その通りだと思います。

AnimateDiffを使用するのに、WebUIから使用する方法（①sd-webui-animatediff）と専用ツール（②animatediff-cli-prompt-travel）から使用する方法の二つを試しました。

前者の方が簡単に実行でき、後者の方がより詳細な設定で実行できています。

これらについて、この記事では解説の対象としています。

ただ、先に生成例を挙げておきます。

文章でお伝えしても、実際にどのようなものができるのかイメージしづらいと思いますので。

2.生成例

①sd-webui-animatediff　※2秒。16フレーム。R-18モザイク処理あり。

# 設定例

otoko no ko, pink hair, twintails, brown eyes, (<規制ワード1> <規制ワード2>:1.2),

completely nude, small penis, testicls, OTOCOW, cowgirl position, cowgirl, boy on top, sex, anal, yaoi, multiple boys, multiple penises, pov, from below, ejaculating while penetrated,

wooden wall, on bed

Negative prompt: (worst quality, low quality:1.4), monochrome, zombie, (interlocked fingers), (hetero, pussy, vaginal, vagina, cameltoe, breasts, covering:1.4)

※AnimateDiffの設定

Motion module: mm_sd_v14.ckpt

Enable AnimateDiff: ON

# 設定例

otoko no ko, pink hair, twintails, (<規制ワード1> <規制ワード2>:1.2),

completely nude, small penis, testicls, OTOMISS, missionary, anal, yaoi, sex, 2boys, multiple boys, multiple penises, pov, ejaculating while penetrated, ejaculation, cum in ass,

red curtains, on bed

Negative prompt: (worst quality, low quality:1.4), monochrome, zombie, (interlocked fingers), (hetero, pussy, vaginal, vagina, cameltoe, breasts, covering:1.4)

※AnimateDiffの設定は同上。

# 設定例

otoko no ko, pink hair, twintails, (<規制ワード1> <規制ワード2>:1.2),

completely (nude), large penis, testicls, flat chest, OTOCOW, cowgirl position, cowgirl, boy on top, sex, anal, yaoi, 2boys, multiple penises, pov, cum in ass, ejaculating while penetrated, cumdrip, open mouth

Negative prompt: (worst quality, low quality:1.4), monochrome, zombie, (interlocked fingers), (hetero, pussy, vaginal, vagina, cameltoe, breasts, covering:1.4)

※AnimateDiffの設定は同上。

# 設定例

otoko no ko, pink hair, twintails, (<規制ワード1> <規制ワード2>:1.2),

completely (nude), small penis, testicls, OTOSQUAT, squatting, from behind, spread legs, facing viewer, after anal, cum in ass, ass focus, spread anus, bukkake, excessive cum, cumdrip, heavy breathing, wooden floor

Negative prompt: (worst quality, low quality:1.4), monochrome, zombie, (interlocked fingers), (hetero, pussy, vaginal, vagina, cameltoe, breasts, covering:1.4)

※AnimateDiffの設定は同上。

②animatediff-cli-prompt-travel　※8秒。96フレーム。SFWにする。

# 設定例（prompt.json）

{

"name": "bridget1",

"path": "models\\sd\\sakushimixFinished_sakushimixFinal.safetensors",

"motion_module": "models\\motion-module\\mm_sd_v14.ckpt",

"compile": false,

"seed": [

26317386622175,

221760436561500,

221761814737900

"scheduler": "k_dpmpp_sde",

"steps": 30,

"guidance_scale": 20.0,

"clip_skip": 2,

"n_prompt": [

"(worst quality, low quality:1.4), monochrome, zombie, (interlocked fingers), (hetero, pussy, vaginal, vagina, cameltoe, breasts, covering:1.4)"

"prompt_map": {

"0": "Bridget, blonde hair, jacket, skirt, bike shorts under skirt, emerald green eyes, hood, fingerless gloves, solo, yo-yo, standing, (bulge:1.4), from below, upskirt, cowboy shot, desert, sand, blue sky, wind",

"24": "Bridget, blonde hair, jacket, skirt, bike shorts under skirt, emerald green eyes, hood, fingerless gloves, solo, fighting stance, yo-yo, cowboy shot, straight-on, desert, sand, blue sky, wind",

"48": "Bridget, blonde hair, jacket, skirt, bike shorts under skirt, emerald green eyes, hood, fingerless gloves, solo, running, yo-yo, cowboy shot, from above, desert, sand, blue sky, wind",

"72": "Bridget, blonde hair, jacket, skirt, bike shorts under skirt, emerald green eyes, hood, fingerless gloves, solo, smile face, yo-yo, close-up, desert, sand, blue sky, wind"

"lora_map": {

"lora/Bridget-10.safetensors": 1.0

"controlnet_map": {},

"upscale_config": {},

"result": {}

}

# 実行コマンド例

C:\Users\{ユーザー名}\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.10_{固有文字列}\LocalCache\local-packages\Python310\Scripts\animatediff.exe generate -c config/prompts/prompt.json -W 512 -H 512 -L 96 -C 12

※W:横幅、H:縦幅、L:全フレーム数、C:1秒あたりのフレーム数

3.前提条件

■StableDiffusionモデル

(frame embed)

■LoRAモデル

(frame embed)

上記のものに加えて、下記のツールを使用しています。

①sd-webui-animatediff　←StableDiffusionWebUIの拡張機能

(frame embed)

　※Readmeに記載がありますが、別途モデルをダウンロードして配置する必要があります。

(frame embed)

　※この記事で使用しているのは「mm_sd_v14.ckpt」です。

　※配置場所は、「{StableDiffusionWebUIのインストールフォルダ}\stable-diffusion-webui\extensions\sd-webui-animatediff\model」になります。

②animatediff-cli-prompt-travel　←専用ツール

(frame embed)

4.解説

①sd-webui-animatediff

通常の拡張機能のインストールと同様の方法でインストールできます。（Extensions >> Install from URL >> URL for extension's git repository「https://github.com/s9roll7/animatediff-cli-prompt-travel」 >> Install）

　※別途モデルのダウンロードは必要です。

あとは、txt2img画面にて、AnimateDiff欄の設定をします。

Motion moduleは現時点（2023/08/26）でv15が存在しています。

ただ、そちらは動作幅が小さくなる印象です。

そのため、この記事ではv14を使用しています。

また、Number of framesやFrames per secondは変更可能ですが、最小構成としてはこのぐらいの塩梅が良いと思います。

Display loop numberは、動画のループ数（0 = 無限ループ）で、私は初期値から変えていません。

あとは、普段の画像生成と同様にプロンプト等を設定し、Generateボタンを押します。（推奨Sampling method: DPM++ SDE KarrasまたはDDIM）

②animatediff-cli-prompt-travel

AnimateDiffをコマンドベースで操作するツール「animatediff-cli」のフォーク版です。プロンプトを途中から変えたり、ControlNetを使用したりできます。

「コマンドベース」の意味が分からない場合は、このツールの使用はオススメできません。

このツールは、一定以上のITリテラシー（例：JSONファイルの操作）を必要とします。

よりユーザーフレンドリーなツールや拡張機能が出てくると思いますので、そちらを使用されるのがオススメです。

#インストールコマンド例

git clone https://github.com/s9roll7/animatediff-cli-prompt-travel

cd animatediff-cli-prompt-travel

python -m venv venv

venv\Scripts\activate.bat

python -m pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

python -m pip install -e .

python -m pip install xformers

　※WarningでPathの追加を要求されるので、その通りにする。

インストール後の使い方は、基本的にReadmeの通りです。

ただ、dataフォルダ以下にStableDiffusionモデルやLoRAモデルやControlNet用画像データなどを配置しておきます。この時、LoRAモデル用のフォルダなどはないようですが、自由なフォルダ名で作って良いようです。（後工程で生成条件の設定ファイル｛例：prompt.json｝を作成する時に、各モデルのファイルパスを入力します）