Stable Diffuson＋3DCGによる究極のキャラ固定！AIの弱点を補う方法とは！？Nobel AI Anything v4.5

「自作のキャラクターを崩さないで、様々なポーズや差分を画像生成AIで出力したい」

これは、自分メディア作りやゲーム作りをするクリエイターにとっての大きな希望です。

現状のAIにおいて、この単純な要望がなぜ難しいのか？
それには、ひとつとても大きな問題があるからです。

画像生成AIはオリジナルデザインの衣装や装飾品を描くことができない

最近の画像生成AI、主にStable Diffusionは、学習先がたくさんある一般的な概念に関してとても上手に描写できるようになりました。

しかしながら、学習データがないオリジナルのキャラクターに関してはデザインの細部が潰れてしまう欠点を克服できていません。

そして自作のオリジナルキャラクターなら独自のデザインがほぼ絶対にある、という大きな問題があります。

image to imageによって、自作キャラの絵をAIにリファインしてもらおうとしても、独自デザイン部分は再現されないんです。

例えばこのブログのオリキャラ、京坂ゆうりさんは一見するとシンプルなキャラですが…
少しSFチックなボタンやファスナー部分のデザインが、AI出力では確実に潰れてしまいます。

↑こんな感じでボタン部分のデザインが潰れてしまいます。

DreamBoothやLoRAと言った最新鋭の学習も試したのですが、多様性のためにストレングスを緩めたら、独自デザイン部分は破綻してしまいました。

そこで僕が行きついたのが3DCGを使ったキャラ固定の方法です。

オリキャラの3DCGをimg2imgでイラストに変換！

実は僕少し前から3DCGを勉強してて、ようやくキャラクターが完成したんですよ！

とは言え、3DCGを始めて半年の初心者なのでクオリティは高くないです。
途中であまりの大変さに止めようか迷ったこともあり、とにかく完成を優先させましたw

3DCGを自作、もしくはVroidで作ったキャラクターにはひとつ欠点があります。
それは3DCGっぽさ…不気味の谷と言うか、なんか不自然で硬い印象になつてしまうことです。

↑当ブログヒロインの夢咲あんなちゃんも3D化しました！

3DCGを極めれば違和感の無いイラスト調にもできうるのですが…その難易度はめちゃくちゃ高いです。
少なくとも僕が半年ほどやってみた感想としては、片手間では無理だなと感じましたね。

そこで…“3DCGは適当に作る、もしくはVroidでお手軽に作って、それをimg2imgで画像生成AIに読み込ませる”
というシステムが強いんじゃないかな？と結論に至った訳です。

これならAI出力で潰れてしまう細部だけを3DCGから切り出して、置き換えてやることでイラスト調のオリキャラが完成します！

↑M2 iPad ProのDraw Thingsアプリ環境がお手軽でお気に入りなんです。

こんな感じで3DCGにポーズをとらせて、img2imgで読み込ませます。

生成された画像を見てください。
3DCG特有の不自然さが消えて、イラスト調の雰囲気になっています！

しかし前述のように、ボタン、ファスナー、リボン部分のデザインが潰れてしまっています。

3DCGから崩れた部分だけ置き換えて完成させる

ここで、元の3DCGの画像から潰れた部分のみを移植します！

こんな感じですね。
今回の場合、img2imgのストレングス値を8%で行ったので位置のズレはほぼありません。

置き換えたのがこちらです。
どうですか？いい感じじゃないですか？

よく見ると置き換えた細部は3DCGっぽさが残るのですが、全体の印象ではほとんど違和感は感じませんよね。

このシステムなら、3DCGさえあればオリキャラの様々なポーズや差分をイラスト調で量産していくことが可能です！

2022 Apple 11インチiPad Pro (Wi-Fi, 128GB) – スペースグレイ (第4世代)

まさに夢のシステム！
と言いたいところなんですが、そこそこ手間がかかってしまうところが欠点ではあります…。
まぁ僕の場合、絵を描くのが超遅筆なのでこのシステムの方が遥かに速く完成させられるのは間違いないです。

3DCGを学ぶと言うのは敷居が高いのですが…安心しください。
Vroidという3Dキャラ作成サービスを使えば誰でも簡単に3Dキャラを作ることができますよ！

人気の関連ページ！

スポンサーリンク

 - お絵描き・クリエイト 3DCG, イラストAI, やり方解説