生成aiで漫画の描くtipsをまとめました。実は普通にお絵描きもしますので、そのあたりの目線で(このサイトはグラフィックソフトのノウハウのみ)。
目次
生成aiで漫画の描き方!Stable Diffusionとクリスタ
作業工程はだいたいこんな感じがよさそうですね。
- ネームはクリスタで描く(人間担当)
- キャラデザをする(クリスタやPhotoshopで描く。描ける人は自分で描いた方がよい気がする、人間担当推し)
- 表情、ポーズのバリエーション作成(Stable Diffusion ControlNet?、商用利用は?AI担当)
- 背景(AI担当、手直し人間)
- エフェクト(AI担当、手直し人間)
- クリスタコラージュしていく、漫画っぽく調整(人間担当)
ネームやキャラデザを自分でやらないともはや全外注したようなイメージになりますね。さすがに自分の作品とはいいがたいですよね。著作権的を主張するためにキャラデザまでは自分でやった方がよい気がします。
1、2は自分でやりたいですね。というか1番楽しい部分なのでAIにまかせるのは大変もったいない。chatgptにストーリーをかかせるなんてクリエイターならやりたくないはず。仕上げも作品に責任を持つという意味で自分でやりたいですね。
この工程でいけば漫画家アシスタントはいなくてもひとりでもできそうです。
何はもとあれクリスタは最低限ないとはじまりません。漫画用はクリスタEXです。買い切り版とサブスク版がありますけど、買い切り版はそのバージョンをずっと使えるため入手しておきましょう。自動色塗り機能もあります。
生成aiで漫画の描き方!StableDiffusion(ControlNet、SDXL)
StableDiffusionのすごさ
852話さんという方は絵も描けるうえ、AIもお詳しいみたいなので、いろいろ参考にさせてもらいました。
イラストレーターや背景デザイナーの仕事が奪われるみたいな話もありますが、今度、AIも使える絵師はそれなりに重宝されていく気がしますね、ひとつの生き残り方として。やっぱり絵の知識がある人はちょっと仕上がりが違うのですよね。もしくは漫画家デビューもいいかもしれません。
特に中身のないAI漫画
— 852話(hakoniwa) (@8co28) February 19, 2023
4枚作るのに1時間 pic.twitter.com/Qg7ipkrzyy
クリスタと併用している人も多いですね。
AI
— 852話(hakoniwa) (@8co28) February 19, 2023
絵をグレスケや白黒の漫画風にすることもできる。グレスケで出した絵をトーン化するのも面白い。 pic.twitter.com/3QsOg4iAQ8
AI漫画を書くときも自キャラLora登録非常に有効かもしれない。加筆前提なら装飾品なしの髪色とか長さ、目の色や大まかな服装などのベースモデルでいい と思う 多分。
— 852話(hakoniwa) (@8co28) February 15, 2023
ControlNetやばすぎ
— らけしで (@lakeside529) February 14, 2023
控えめに言って革命でしょこんなの
⬅️入力ポーズ(クリスタの3Dデッサン人形)
出力画像➡️#AIイラスト pic.twitter.com/UcG82UW9eb
AIで背景を作るテスト
— Rootport🧬 (@rootport) April 8, 2023
①クリスタの3DCG
②クリスタで線画化
③ControlNetに取り込んでtxt2imgその1
④ControlNetに取り込んでtxt2imgその2#AIart #StableDiffusion #AI呪文研究部 pic.twitter.com/E4Sp94wdey
クリスタに無料で入ってる教室あるじゃないですか。
— 井上純一(希有馬屋)『逆資本論』発売中 (@KEUMAYA) March 27, 2023
それをAI絵の新しい技術「ControlNet」に下絵として入力するんですよ。
するとですね……#AIイラスト pic.twitter.com/3WEJf5m2ew
クリスタではカラーと白黒の漫画を描けます。クリスタは必須という気がしますね。
AIとクリスタのハンドスキャナーは相性がよさそう
生成AIは手が苦手分野とよく言われて、クリスタのハンドスキャナーと相性がよさそうです。
で、この修正後の絵を、ControlNet-Tileにかけてやります。そうすると、下手な修正部分を吸収しながら精細度を上げてくれます。このように、修正技術がそれほどなくとも問題なくなる点も、Tileの強みの一つですね。そういうお話でした。#AIArt #AIイラスト pic.twitter.com/uCLQrIBCk5
— リールク-san (@liruk) May 20, 2023
クリスタ2.0のカメラで撮影した手を3Dデッサン人形に反映する「ハンドスキャナー」試してみたらなかなか面白かった動画#clipstudio pic.twitter.com/CvdzCvRL1X
— らびまる🐰 (@rabimaru_t) March 14, 2023
漫画を動かす
漫画を動かすこともできますね。
AI gif
— 852話(hakoniwa) (@8co28) March 23, 2023
週刊漫画の紙に載ってる絵が動いてるっぽくて良い pic.twitter.com/i2aw0z41cp
StableDiffusion ControlNetに漫画のAI担当はつとまるか!?
能力的にはつとまる気がしましたね。
ただ、ライセンスが怪しいですね。StableDiffusionの拡張機能ControlNetにOpen Poseが使われているものがあってそれは性能がよさそうなんですよね。
OpenPoseの商用利用は高い!?他のライセンスは?
少し調べたのですけど使えませんね。個人には高すぎます
OpenPoseとか商用ライセンス$25,000/yearらしいけど買う企業あるのだろうか
— Katsunori Ohnishi (@0hnishi) September 19, 2017
ソース元はこちらです。
The non-exclusive commercial license requires a non-refundable $25,000 USDannualroyalty.
https://cmu.flintbox.com/technologies/b820c21d-8443-4aa2-a49f-8919d93a8740
GitHubをみると派生物はあるようです。淡い嫌いを抱く人もいるでしょう。
TensorBoyさんはOpenPoseを論文から自身で実装し、訓練も実施してモデルパラメータも独自のものを公開しています
https://github.com/YutaroOgawa/pytorch_advanced/issues/169
派生物もちょっと作り方によってはまずそうな気もします。
ControlNetの学習にOpenPoseが使われてると思いますが、OpenPoseの規約に派生物も商用利用不可と書かれてるので、ControlNetのOpenPoseモデルも商用利用不可になると思います。https://t.co/oMELI7JtQu
— Yuya Hanai (@hanasaan_) February 15, 2023
DERIVATIVES: You may create derivatives of or make modifications to the Software, however, You agree that all and any such derivatives and modifications will be owned by Licensor and become a part of the Software licensed to You under this Agreement. You may only use such derivatives and modifications for your own noncommercial internal research purposes, and you may not otherwise use, distribute or copy such derivatives and modifications in violation of this Agreement.
https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/LICENSE
派生物作ってもいいけど、商用利用できんぞ、と言っていますね…(´・ω・`)。
…微妙な提案力ですね、カーネギーメロン大学ののCenter for Technology Transfer and Enterprise Creationは…。
有料でもいいですけど大手法人しか手に入らない状況はよくないからです。GPT君みたくしてもらえるとありがたいのですが。
AIにきくとこんな感じ。
ControlNetは、Stable Diffusionで広く使用されているポーズ認識機能を提供しています。この機能はApache-2.0ライセンス(商用利用可能)で提供されています1. ただし、現在のところ、ライセンス料に関する明確な回答は得られていません。
BingAI
【全体公開記事】ChilloutMixのパーミッションが変更され、マージモデルであるAbyssOrangeMix3も商用利用が禁止となっています。あらためて使用モデルのライセンスを確認しましょう~~という記事を書きました。
— 賢木イオ@スタジオ真榊 (@studiomasakaki) February 24, 2023
【注意喚起】使用モデルのライセンスを再確認しよう!https://t.co/ZmpOQGZLOK pic.twitter.com/0koEWNJrIW
個人的にもう少し様子をみようと。
個人的に思うのは、クリスタ3.0がControlNetみたいなポーズ機能がついてくれれば楽なんですけどね~。漫画のソフトですでに3D機能もありますので。需要もあるかと。
クリスタ3.0がライセンスや著作権をクリアにした形で Stable DiffusionのControlNetみたいなポーズ機能がついてくれれば楽ですかね
— 個人開発作家 neru (@neruplan) November 19, 2023
漫画ソフトですでに3D機能もあり需要もあるかと。もしくはAbobeか
絵師はベース絵は自分で描きたいはずなのでバリエーションの機能がほしいかなと。特にゲームや漫画
クリスタに頑張ってほしいです。とりあえず、クリスタでネームを描く作業ははじめられますね。
(追記)…と、いっていたら、無料のグラフィックソフトで有名なkritaきていましたね。日本ではあまり有名じゃないかもだけど海外のアーティストがよく使っているのをみます。krita-ai-diffusionがという拡張がでているようです。
AI assisted live painting with @Krita_Painting frontend and #ComfyUI backend via LCM and this boss krita extension: https://t.co/HqYks0uHK8 pic.twitter.com/zQ9xd0sRVP
— David Marx || digthatdata.bsky.social (@DigThatData) November 17, 2023
StableDiffusion 自体は商用利用できる?ライセンスは?
StableDiffusion自体は悪意のある使い方をしない限り、商用利用できるようです。
The user owns the rights to their generated output images, and is free to use them commercially.
https://stablediffusion.gitbook.io/overview/stable-diffusion-overview/license
StableDiffusion ControlNetの開発者は?
スタンフォード大学の中の人のようですね。GitHubはこちらです。
author={Lvmin Zhang and Anyi Rao and Maneesh Agrawala},
https://github.com/lllyasviel/ControlNet
論文はこちらです。
Lvmin Zhang, Anyi Rao, and Maneesh Agrawala
https://arxiv.org/pdf/2302.05543.pdf
Stanford University
生成AIで漫画の描き方!Stable DiffusionとAdobe Photoshopの比較
Stable DiffusionとAdobe Photoshopはのっている機能が違います。
- Stable Diffusion(生成AI、落書きをリアル、自キャラの学習、ポーズづけ)
- Adobe Photoshop(生成塗りつぶしで構図を変更できる、足りないところを補うのが得意)
そのため、Stable DiffusionとAdobe Photoshopはどちらかというより併用していくものという気がしています
Stable Diffusionで出力された画像をPhotoshop βで編集してみた。Stable DiffusionのOutpainting Mk2より早いし、生成塗りつぶし最高やん。
— ニキヒロシ | Esaris Works, Inc. (@_hniki) July 25, 2023
元画像:https://t.co/ZRkfJ9iMs1 pic.twitter.com/p35WBXnta4
- 個人的にはベース絵はクリスタで自分で描く
- 表情とポーズ、バリエーションはAIにまかせる
- 構図を修正したいときなどはフォトショの生成AI
がいいのではないかという気がしています。
あと、生成AIは1枚絵になってしまいますけど、建物などを分離して位置をずらしたいときがあります。その際、photoshopの切り抜きツールと生成塗りつぶしが大活躍するでしょう。
Photoshopは980円から契約できます。
AI絵師も絵の勉強をしないとダメ!?
うーん、結局しないといいものが作れない気がしているんですよね。
今後、自分でも絵が描けるAI絵師が活躍するとなっていく気がします。
やっぱり絵画やイラストの知識はないと、一定以上のクオリティはでない気がしますね。簡単な絵ならAIで何度も生成するより、自分で描いたり作ったりした方が早いとなります。またAIのおかしなところもちょこちょととなおせます。味付けもして最後に自分らしくできます。
絵師じゃない人は、パルミーで絵を勉強すれば絵師になれますよ!
コメント