08AI的視聽應用——

繪畫、視頻與音頻生成011本章目標了解AI繪畫的發展歷史理解Diffusion的繪畫原理理解StableDiffusion的繪畫原理2/45重點重點認識AI繪畫3/452022年8月，美國科羅拉多州的藝術博覽會上，作品《太空歌劇院》獲得了數字藝術類比賽的大獎。它并非由畫家創作，而是由某游戲公司39歲的負責人艾倫借助

AI繪畫工具Midjourney完成出自AI畫師的《太空歌劇院》4/45宇宙歌劇文本生成圖像請輸入文本提示詞：AI畫師AI畫師有很多......AI繪畫的工作流程5/45MidjourneyDALL·EStableDiffusionImagen文本、圖像模型訓練宇宙歌劇新文本輸入圖像生成AI繪畫的的其他應用6/45千帆大模型平臺構建的超能畫布實現人物圖像聯想圖賓根照片轉換為梵高的星夜風格圖像風格轉換圖像聯想AI繪畫的的其他應用7/45智能摳圖一鍵改圖軟件修復的圖像圖像修復圖像修改AI繪畫對行業的影響AI繪畫應用到各行各業8/45品牌設計建筑設計王老吉AI生成國風定制款包裝AI生成扎哈·哈迪德手稿的建筑弱者的替代者，強者的支撐者

AI繪畫的發展史9/45AI繪畫早期探索20世紀70-90年代10/45ARRON計算機繪畫程序和哈羅德·科恩ARRON在1992年創作的作品劃時代意義的貓臉識別2012年11/45Google的吳恩達和杰夫·迪恩使用1.6萬個CPU，用YouTube上1000萬幅隨機的圖像，經過3天的訓練，得到了一個當時世界上最大的深度學習網絡模型模型形成的“貓臉”概念GAN的橫空出世2014年12/45加拿大蒙特利爾大學伊恩·古德費洛等人提出了GAN什么是GAN13/45生成器(偽造者)，試圖創建看起來真實的數據判別器(偵探)，從真實集或者G中獲取數據并標記差異隨機噪聲原始真實數據集區分真實與偽造偽造大師目標目標GAN的原理14/45生成器是一個神經網絡，接收一個隨機噪點，并將隨機噪點轉換成一幅圖像判別器則是另一個神經網絡，它的任務是判斷圖像是真實的還是生成的生成器根據判別器的反饋來優化自己，目標是讓判別器更難以區分真實圖像和生成圖像判別器用真實圖像和生成圖像對自身進行訓練，目標是能夠區分開兩種圖像GAN模型的擴展應用15/45StackGAN利用文字內容生成的鳥類圖像利用PGGAN生成的高清“名人形象”利用CycleGAN完成的斑馬和馬的圖案轉換Diffusion的產生GAN模型的局限16/45產生低質量或無意義圖像分辨率較低模仿而非創新訓練需同時動態平衡生成器和判別器，過程不穩定，可能崩潰或無法收斂判別器判斷的是生成圖像與提供圖像是否為同一類別早期版本Diffusion(擴散模型)的工作過程17/45墨水擴散的過程Diffusion模型生成圖像的過程（反復降噪）Diffusion模型訓練的過程（隨機添加噪聲）高密度低密度Diffusion模型的訓練構建數據集訓練噪聲預測器18/45AI的圖像生成任務是將隨機生成的向量（噪聲）映射為與訓練圖像相似的圖像

將隨機生成的向量（噪聲）映射為與訓練圖像相似的圖像AI圖像生成任務對純噪聲圖像的去噪過程Diffusion模型任務轉換訓練圖像生成圖像目標構建數據集前向擴散19/45從一幅清晰的圖像出發隨機生成一些噪聲添加到圖像中最終達到一種完全噪聲化的狀態使其變得模糊構建數據集20/45每一個添加噪聲的序列都可以被視為一個訓練樣本噪聲預測器U-Net訓練數據集訓練噪聲預測器21/45噪聲預測器U-Net接收一幅含有噪聲的圖像和對應時間步（示噪聲強度）訓練預測輸入圖像中的噪聲向量根據預測的噪聲向量，從輸入圖像中逐步去除噪聲還原清晰圖像逐步去噪噪聲預測器的訓練過程22/45Diffusion模型噪聲預測器特性23/45前向擴散反向生成近似版本盡可能還原訓練數據的分布特征訓練的目標不是特定的圖像，而是符合一定規律、反映真實世界的特征分布海水人鳥Diffusion模型的應用與發展24/45MidjourneyDALL·EStableDiffusion基于Diffusion的三大應用模型DALL·E25/45Transformer架構2021年初OpenAI發布DALL·E1一個牛油果形狀的皮包理解文本和圖像間的聯系120億參數的龐大模型離散VAE圖像編碼被稱為“圖像版的GPT-3”用CLIP模型對比學習DALL·E26/452022年4月OpenAI發布DALL·E2Diffusion擴散模型圖像質量提升4倍文本理解與圖像關聯更精準新增圖像編輯功能（擴展、填充、變體等）DALL·E2比DALL·E1的進步圖像質量的提升生成原始圖像的變體引入DALL·EDALL·E2的擴展繪畫或外部填充功能27/45生成少女在廚房中的全新場景《戴珍珠耳環的少女》創造性擴展DALL·E2023年9月OpenAI發布DALL·E328/45沿用DALL·E2的基本架構提示優化清晰度可選標準與高清兩種。接受多種尺寸生產圖像多風格DALL·E2生成的圖像DALL·E3生成的圖像DALL·E3比DALL·E2的進步功能增強Midjourney2022年3月DavidHolz首次推出公開測試版29/45MidJourney的名字源自于我國古代莊子提出的“中道”思想你知道嗎？出色的藝術表現力和獨特的美學風格版本特點

V1初始版本，圖像質量和連貫性尚可，但風格一致性較低，生成的圖像相對較為基礎

V2引入上采樣和變體功能，創意和顏色方面有提升，相比V1更加豐富多樣

V3提升了圖像質量，引入了“風格化”和“質量”參數V4采用新代碼庫和AI架構，能生成更加逼真圖像，風格一致性高

V5包含子版本。提升圖像真實感與美觀度，無限擴展圖像

V6目前子版本，提高文本準確性，支持長提示詞，推出個性化模型V1V2V3V4V5不同版本的Midjourney生成的罌粟花V6StableDiffusion2022年8月由CompVis、StabilityAI和LAION聯合推出30/45潛空間處理方法高維空間包含大量冗余信息，增加計算復雜度，可能導致模型過擬合低維空間數據噪聲少，訓練出的模型泛化能力強像素空間原圖像數據壓縮圖像數據空間比8:1生成時間-10秒潛空間基于Diffusion模型基于Transformer架構其他改進......StableDiffusion2023年7月SDXL模型發布31/4525億以上參數增加圖像精修模型圖像質量更高多個主體人物錯亂局部結構錯亂直接輸出帶文字的圖片StableDiffusion之前的模型SDXL模型StableDiffusion2023年底SDXLTurbo模型發布32/45實時生成圖像Howfastisyourmodel......當你輸入了anorange......當你輸入了anorangefluffy......當你輸入了anorangefluffycat......當你輸入了anorangefluffycat，eatingapieceofcheese......StableDiffusion應用示例

文生圖-使用StableDiffusion生成第一張圖片33/45教師演示操作步驟天空沙灘白云StableDiffusion應用示例

圖生圖-在第一張圖片上增加海盜船34/45教師演示操作步驟海盜船StableDiffusion繪畫原理35/45問題StableDiffusion模型如何實現圖像生成？36/45文生圖圖生圖StableDiffusion模型的構成三大核心組件37/45文本編碼器圖像信息生成器圖像解碼器（翻譯官）（工匠）（畫家）文本編碼器解析用戶輸入的提示詞將提示詞轉化為高維向量表示38/45文本編碼器天空，沙灘，白云0.3-0.20.50.40.8...0.10.2-0.80.2-0.3...0.20.6-0.30.10.7...天空沙灘白云文本描述高維向量語義和語法等特征（翻譯官）人類語言語義指令CLIP模型圖像信息生成器將輸入信息逐步處理和轉換為圖像數據39/45圖像數據高維向量（畫家）噪聲高維向量語義指令U-Net神經網絡Schedulet調度算法涂抹調整草圖半成品圖像數據圖像解碼器接收來自圖像信息生成器的處理后的信息矩陣將信息矩陣轉換為可視化的圖像40/45（工匠）圖像數據草圖半成品藝術成品圖像實戰訓練—新的AI生圖工具體驗任務描述利用多種AI工具實現圖像生成，例如：網易云課堂：/artWorks/painting即夢：/ai-tool/home可靈：/任務要求生成一張自己喜歡的動物圖片生成一張自己喜歡的城市的圖片生成一個自己喜歡的景色或者景物的圖片完成時間：15分鐘41/34總結42/45213AI繪畫早期探索劃時代意義的貓臉識別GAN的橫空