AI畫圖實例：如何用Stable Diffusion創(chuàng)作游戲場景？|滾動
自打生成型AI技術(shù)一面世，游戲圈的無數(shù)雙眼睛立刻就盯上了AI畫圖技術(shù)中所蘊含的無窮潛力。目前，各家大廠都在加緊對AI畫圖技術(shù)進行試驗，試圖快速將AI畫圖融入游戲開發(fā)管線之中。來自民間愛好者的努力也不容忽視。在各大技術(shù)論壇，如今隨處都可找到來自愛好者和大神們分享的AI畫圖應用實例和教學。
GameLook近期瀏覽AI畫圖案例時，發(fā)現(xiàn)了一名開發(fā)者發(fā)表的兩則技術(shù)博客。這位名叫Syn的開發(fā)者正在開發(fā)一款名為《Tales of Syn》的等距視角獨立游戲，且一直在嘗試將AI工具融入開發(fā)流程。在Syn的努力之下，他已經(jīng)實現(xiàn)了利用Stable Diffusion生成的圖像制作游戲的地圖。
GameLook摘取了開發(fā)者Syn分享的兩則技術(shù)案例進行了編譯：
(資料圖片)
案例一：利用谷歌地圖圖像制作風格化游戲地圖
第一個案例較為簡單，主要展示了利用DreamBooth訓練Stable Diffusion模型的方法。
Syn首先使用了一系列鏡頭預設，從谷歌地球的航拍圖像中獲取了一系列近似于等距視角的城市景觀圖片，并制作成8張分辨率512*512的圖片文件。
隨后，他利用Dreambooth和1.5版本的Stable Diffusion，在一張RTX 3090Ti顯卡上進行訓練。采用3000步和默認的1e-06參數(shù)進行學習。學習效果相當不錯。盡管由于源文件分辨率的原因，圖片的細節(jié)較為雜亂和模糊，但AI成功復現(xiàn)了等距視角和城市的景觀。
隨后，他利用WebUI Automatic1111，嘗試對輸入的文字prompt和權(quán)重比例進行調(diào)整，并輸入了不同的風格指令，成功制作出不同藝術(shù)風格的等距視角圖片文件。
案例二：從AI畫圖到地圖關(guān)卡——完整工作流
相較案例一，案例二則更加復雜。Syn展示了多工具協(xié)同之下，從Stable Diffusion圖片生成到最終偽3D關(guān)卡文件的開發(fā)全流程。Syn展示了最終的制作成果。盡管生成自2D圖像，但最終結(jié)果已經(jīng)頗有3D的神韻。
Syn利用下圖所示的文字Prompt，輸出了一系列賽博朋克未來風格的圖片。
進入WebUI Automatic1111，利用按照不同的CFG Scale和步數(shù)進行了實驗性生成。
將圖片送入Photoshop進行編輯，并利用Stable Diffusion插件Alpaca對圖片進行了拓展。
清理圖片背景，使用img2img對圖片進行兩倍分辨率渲染，獲得更多細節(jié)。
完整的圖片文件分辨率為2048*2048，同樣使用Alpaca插件進行分區(qū)生成并進行組合式合成。對于接縫處的圖像需要進行多次解析才能取得比較順滑的視覺效果。
Syn希望去除這張圖片中的燈光，并利用自定義的Unity著色器進行燈光設置。為達到這一目的，他利用Boosting Monocular Depth的MiDaS和LeRes生成該圖片的深度圖。
利用Substance Designer工具的Height to Normal World Units節(jié)點生成普通映射圖，再使用Normal Blend節(jié)點將普通映射圖和深度圖進行結(jié)合，最后使用Photoshop進行上色處理。
處理結(jié)果不算完美，但很接近一個3D場景該有的光照效果，并可在Unity中進行調(diào)整。
Syn嘗試了Normal Mapping Shadows的手法，在2D場景中實現(xiàn)光照和陰影效果。最終的效果不算很理想，但Syn后續(xù)可能會將其進行進一步實驗并使用在3D角色身上。
標簽：
