“螞蟻呀嘿”火爆全網(wǎng),各式各樣的制作教程也隨之而來。其中,最方便的莫過于用PaddleGAN(百度飛槳的生成對(duì)抗網(wǎng)絡(luò)工具套件)來實(shí)現(xiàn)。它不僅完全免費(fèi),還省去了下載Avatarify(最新消息,該App已被下架)和加速器等多個(gè)軟件的麻煩,讓你無需下載和頻繁切換,三步就能生成自己的“螞蟻呀嘿”小視頻。
接下來就給大家介紹兩種制作方法,并揭秘背后的核心技術(shù)原理。
第一種:“小白版”教程
首先,大家可以點(diǎn)擊下方鏈接,進(jìn)入AI Studio(人工智能學(xué)習(xí)與實(shí)訓(xùn)社區(qū))中的【天下第一AI武道會(huì)-Deepfake換臉】項(xiàng)目,“基礎(chǔ)版”或“高級(jí)版”兩種運(yùn)行環(huán)境皆可:
https://aistudio.baidu.com/aistudio/projectdetail/1189026
第二步是備好素材:一張?jiān)磮D片和一個(gè)驅(qū)動(dòng)視頻。源圖片就是你想讓他唱歌的照片,只保留人物脖子以上部分,尺寸要求256*256,圖片文件名改為【01. png】。驅(qū)動(dòng)視頻則是單人唱著“螞蟻呀嘿”的小視頻,可以從網(wǎng)上直接搜索下載,視頻文件名改為【02. mp4】。(注意png和mp4都是小寫)
第三步上傳圖片和視頻,并點(diǎn)擊“運(yùn)行全部”,然后靜候幾分鐘即可。待頁(yè)面左側(cè)出現(xiàn)名為“export. mp4”的文件,即為運(yùn)行成功,專屬于你的“螞蟻呀嘿”就這樣出爐啦。
(第一步:在AI Studio中搜索并運(yùn)行項(xiàng)目)
(第二步:備好一張?jiān)磮D片和一個(gè)驅(qū)動(dòng)視頻)
(第三步:上傳素材并運(yùn)行全部)
第二種:“進(jìn)階版”教程
因?yàn)橛行┩瑢W(xué)不只想做“螞蟻呀嘿”,還想自己錄制面部動(dòng)作,生成任意題材的花樣視頻,甚至是開發(fā)Avatarify這樣的App或小程序,走上“致富之路”,而這通過飛槳也都能實(shí)現(xiàn)。
飛槳已將螞蟻呀嘿的核心技術(shù)開源于PaddleGAN套件中,在AI Studio平臺(tái)實(shí)現(xiàn)了完整的在線項(xiàng)目【PaddleGAN表情動(dòng)作遷移進(jìn)階版】,大家可以根據(jù)需要,使用AI Studio的免費(fèi)算力,實(shí)現(xiàn)更多腦洞大開的動(dòng)作遷移效果!
https://aistudio.baidu.com/aistudio/projectdetail/1586056
進(jìn)階版制作起來同樣分為三步,并都是在AI Studio平臺(tái)上實(shí)現(xiàn),這里繼續(xù)以“螞蟻呀嘿”為例進(jìn)行介紹。首先,大家可以下載PaddleGAN代碼。
!git clone https://gitee.com/PaddlePaddle/PaddleGAN
!pip install -r requirments.txt
接下來,使用表情遷移命令。
命令:
!export PYTHONPATH=$PYTHONPATH:/home/aistudio/work/PaddleGAN && python -u tools/first-order-demo.py –driving_video ~/fullbody.MP4 –source_image ~/禿頭喬哥.png –relative –adapt_scale
只需在如下命令中的driving_video參數(shù)和source_image參數(shù)分別換成自己的視頻(藍(lán)色部分)和照片路徑(黃色部分),即可運(yùn)行得到“螞蟻呀嘿”小視頻。
driving_video: 驅(qū)動(dòng)視頻,模型將學(xué)習(xí)視頻中人物的面部表情
source_image:源圖片,模型將驅(qū)動(dòng)視頻中的人物表情遷移至源圖片的人物上
這個(gè)視頻目前還沒有配樂,所以還需要第三步,為視頻配上聲音。
運(yùn)行以下命令即可生成最終的“螞蟻呀嘿”專屬視頻啦(本例中的視頻文件名為export.mp4)!
videoclip_1 = VideoFileClip(“/home/aistudio/fullbody.MP4”)
videoclip_2 = VideoFileClip(“./output/result.mp4”)
audio_1 = videoclip_1.audio
videoclip_3 = videoclip_2.set_audio(audio_1)
videoclip_3.write_videofile(“./output/export.mp4″, audio_codec=”aac”)
(生成效果圖)
“螞蟻呀嘿”視頻的核心技術(shù)是動(dòng)作遷移算法First Order Motion,它的功能是將人物A的臉部動(dòng)作搬移到人物B身上,讓人物B的臉演繹人物A的表情。
First Order Motion算法的結(jié)構(gòu)圖如下:
簡(jiǎn)單來說,F(xiàn)irst Order Motion能夠通過自監(jiān)督的方式學(xué)習(xí)到圖像中的關(guān)鍵點(diǎn)。不需要提前知道目標(biāo)的一些信息,比如骨架等就可以實(shí)現(xiàn)動(dòng)作遷移。
PaddleGAN的表情遷移能力靈活支持各類不同表情的面部遷移,不僅是“螞蟻呀嘿”,其他魔性動(dòng)作也都能制作。除此之外,PaddleGAN這個(gè)免費(fèi)開源的寶藏套件還包含數(shù)十種能力,包括唇形合成(對(duì)嘴型)、視頻/照片修復(fù)(上色、超分、插幀)、人臉動(dòng)漫化、照片動(dòng)漫化等等。能實(shí)現(xiàn)讓“蒙娜麗莎”播新聞、修復(fù)百年前的老照片、或是將普通的風(fēng)景照“二次元化”等各種神操作,一個(gè)比一個(gè)厲害!
(唇形合成)
(老照片修復(fù))
(照片動(dòng)漫化)
如果你也想不下載App就能做魔性視頻,或是有更多、更大的腦洞想要實(shí)現(xiàn),指路百度AI Studio親自試試吧!