AI驚艷世界的10個瞬間： 10個生成式對抗系統的最佳應用

編者按：本文來自微信公眾號「矽谷密探」（ID：guigudiyixian），36氪經授權發布。

說起「教授」計算機如何完成人類工作，生成式對抗系統（GAN）是現有最有效的手段之一。雖然人們一直被告知「競爭可以激發出更好的表現」，但是只有在有了生成式對抗系統之後這一「從競爭中學習」的邏輯才被發展到了造福產業生產的高度。

具體來說，生成式對抗系統是由不同的AI實體彼此競爭，以達到更好地解決自己任務的目的。想象一下，如果有一個惡意軟體程序和一個安保機器人程序同時對抗，彼此都毫不放鬆的想要在對方的制約下更好的完成自己的職責。那麼在這個過程中，他們雙方都可以將自己的任務（入侵VS保護）完成的越來越好。

生成式對抗系統最初是由蒙特利爾大學的 Ian Goodfellow 首先創造出來。而最近，它已經向人們顯示出了「無監督學習」的強大威力。

那麼究竟生成式對抗系統是如何工作的呢？

每個生成式對抗系統都有兩個相互競爭的神經網路。其中一個將噪音錄入並且生成樣本（生成器）。而另一網路則能夠分辨正常的實驗數據和從生成器獲得的樣本（分辨器）。這兩個網路在進行一個持續的遊戲，生成器會一直學習如何能夠成功欺騙分辨器，而分辨器則能逐步增強自己分辨兩種數據的能力。這兩個系統同時接受長期的訓練，終於在百萬次的「對抗」之後，生成器生成的樣本已經和真實的數據幾乎沒有差異。

簡單來說，生成器就是一個造假者不斷想要製造虛假的資料，而分辨器則是警察，其職責就是將虛假的資料分辨出來。因為整個過程都是被現有計算機器自動化執行的，生成式對抗系統已經可以實現許多令人驚嘆的任務。而以下就是至今為止生成式對抗系統最為驚艷世界的應用。

1. 當機器有了想象力

谷歌的Deep Dream可以製造出有著幻覺效果的圖像

Google Brain的研究者已經找到了可以從視覺上展現他們的精神網路，Google Net，如何看待事物本質的方法。而通過這種方法，生成式對抗系統製造出了可以被稱為有著迷幻效果圖像。

其實，這些如夢似幻的圖片，是一個給圖片分類的功能刻意過度處理圖像時產生的副產品。而在這個過程中涉及到的主要系統就是Deep Dream。

Deep Dream究竟是如何工作的呢？你首先要給他一個圖像，然後他會主動去尋找他在之前訓練中學會的認識的一切。神經網路可能會發現一些類似於一隻狗，一個房子這一類的意象。而Google Deep Dream就可能強化這些被認出來的事物。

打個比方，如果現有的認知網路在你輸入一個圖像時會認為「看，這個圖像有40%的可能是一隻狗」，那麼，下一次，它會在自動完善後說：「看，這有60%的可能性是一隻狗。」這個過程會一直持續到被輸入的圖片可以被轉化成在神經系統看來完全就是一隻狗或者其他事物為止。並且，在這樣不斷轉化被分類的圖像的過程中，系統創造了看起來超脫塵世的迷幻圖像。

Google的Deep Dream以這樣的方式逆轉了我們傳統認識中，輸入一個圖形就會生成一個對應輸出結果的固定思維。如今，每個輸入的圖像都會被認知系統不斷改進，直到它可以完全的理解並進行最佳分類。

2.讓機器模仿人類

通過生成式對抗系統模仿學習的過程

一群AI研究人員希望能夠用不同的方式去建構能自學的人工智慧，而不是沿用傳統的建立在獎勵機制上的方法。

他們給了人工智慧一套真實的展示數據作為輸入指令，而根據這套數據，人工智慧就可以學習並且嘗試模仿同樣的動作。

在這個模型中，Jonathan Ho和Stefano Ermon展示了一種全新的模仿學習的方法。在標準的強化學習系統中，人們總是要設計一個獎勵功能來向人工智慧描述他們應該做出怎樣的行為。然而，在實際操作中，這會需要昂貴的「實驗-糾錯「的過程來將保證細節的正確。但是，在模仿學習的設定下，人工智慧可以直接向樣本的展示如何去學習，從而完全消除了去設計一個獎勵功能的需要。

3.指馬為斑馬，變冬為夏

圖像到圖像的生成

通過已有的圖像來生成新的圖像是生成系統的一個非常有趣的應用。在試驗中，研究者們已經可以改變視頻中的動物，或者圖片中的季節。

這一任務的目標是學習如何通過一整套圖像對（image pair）去充分認識輸入與輸出的圖像的聯繫與區別。然而，在多數情況中，成對的訓練數據並不好找。而解決這一問題的方法就是使用兩個完全相對的映像，一方的輸出圖像被設定成正好是對方的輸入圖像。以這樣的方法，人們得以用非常少量的數據讓人工智慧認識到兩個圖像的真實聯繫（無監督學習）。

4. 將簡略素描變成豐滿畫作

通過輪廓生成圖像

逼真的圖像處理是一項艱巨的任務，因為它需要人工智慧通過一個被用戶設定的角度去豐富圖像的表現，但同時他也要能夠確保最終輸出的逼真效果。這著實需要相當高超的技巧。而一個藝術家可能需要數年的持續訓練才可以達到這樣的程度。

研究此項技術的人工智慧研究人員之前一直是如何做的呢？他們創造了一個模型。當人們給這個模型一個物體的輪廓時，他可以成功認出這個物體，然後基於輪廓生成一個逼真的實際圖像。

然而，在近期的一篇論文中，一位作者提議使用Generative Adversarial Neural Network（生成式對立神經網路）來使人工智慧可以直接通過自然圖像背後的數據進行學習。這樣的模型自動調節了輸出圖像的編輯，使其儘可能逼真。同時，這樣的處理可在約束優化的條件下實現近乎於實時的執行。這項技術如果可以進一步發展，那我們可以期待，未來，人工智慧可以將人們的草稿變成新的圖形，又或者是將一幅固定圖像改變地與目標圖像無限接近。

5. 看字畫圖

從字到圖的自動合成

根據文本自動合成逼真圖片的技術令人嚮往。最近，深度卷積生成式對抗網路已經可以識別某些特定種類的文章然後生成非常引人注目的圖片，例如面龐，唱片封面和房間內部裝飾。

這個模型被同時包含文本和他們相應圖片的樣本數據餵養著。當人們提供了任何一個事物的描述時，這個模型就會開始自動生成對應的圖像。

在這一技術中，從文本到圖像的合成其實基於兩個步驟：首先，人工智慧需要學習並識別文本中展現出重要視覺細節的部分，然後，通過這些特定的特點來合成一個足以欺騙人類的逼真圖像。

6. 讓電腦因為好奇而學習

好奇會是深層神經網路持續探索的真實動因

在現實社會中，人工主體可以收到的外部獎勵基本不存在。而一個被動的程序是無法主動進化並學習的。因此，好奇心能夠作為一個內在獎勵的信號幫助人工主體去探索他的周圍環境並且學習之後對其有用的技能——積極的學習者一定比那些被動懶惰的人表現得好得多。

在這樣一個模型里，好奇心其實是每當AI預測到自己的未來行動時就會發出錯誤預警。

這樣的機器人程序也可以同時通過程序員建造的獎勵系統來幫助他學習。

如果我們將人工主體想象成一個幼兒。一個沒有父母監督的孩子非常可能會忍不住去觸碰發燙的鍋，隨即領悟到這個東西這麼燙讓我這麼疼，所以之後我一定不能夠再碰了。好奇心驅使他去探索，而獎勵機制可以告訴他這件事情是好是壞。

這樣一個「好奇心」驅動的學習是基於以下幾點判斷建造的：

1）極少的外部獎勵會使得好奇心與外界環境接觸並達成目標的慾望極具減弱

2）比起沒有外部獎勵的探索，好奇心驅動的人工主體可以在學習時更加有效率

3）對於未知情景進行概括，可以使人工主體將它們之前有過的經歷和知識轉化為面對新環境的智慧，而不是兩眼一抹黑地從頭開始學習

這一方法也可以在以下兩個遊戲環境中來檢驗：VizDoom和超級瑪麗兄弟。

7. AI設計遊戲

使用生成式對抗系統來設計遊戲的用戶界面

想想如果我們可以生成令人信服的視頻遊戲的圖像界面，那麼我們就可以複製粘貼這些界面的一些元素然後為我所用。

這一技術的目標是生成一組風格統一的遊戲圖像。為了達到這個目的，這個程序需要集結不同遊戲的一系列圖像。然後， 通過已有圖像的各個部分來生成新的獨特的圖形，作為新遊戲的背景界面。

8. 預測視頻中下一步會發生什麼

基於場景動態特性生成視頻

理解物體的運動趨勢和場景動態特性是計算機視覺的核心問題。為了實現視頻識別和視頻生成，我們需要一個場景轉換的模型。然而，製造這樣一個動態模型太有挑戰性，畢竟物體和場景都有無數種改變的方向。

而這樣看似不可能的任務被一個分割了前景和背景的模型實現了。這個模型強調了背景的固定性，從而將神經網路的大部分精力集中在了學習前景物體的移動方向上。同時，這些場景也被分門別類地分割開來，使得人工主體對於前景物體移動方向的預測更為準確。

9. 生成逼真的人工臉

神經識別人聯繫統

「Neural Faces」是一種可以生成人工（而不是真實的）人臉的一款人工智慧技術。他的基礎就是由Facebook 的AI團隊開發的深度卷積生成式對抗網路。

這個AI團隊，使用包含了100個0到1之間的實數的Z向矢量來生成一幅圖像。之後，這個生成器就可以逐步學習人類圖像的分佈。它可以逐步學會如何生成可以矇混分辨器的新臉，而分辨器也同時在分辨生成臉和真實人臉上越來越熟練。

10. 改變照片中的面部表情和特徵

使用生成式對抗網路的向量運算

在一次實驗中，研究人員通過一系列的樣本圖像就已經可以成功生成人臉的各種表情。比如說，他可以把一張沒有笑的臉變成微笑的，在臉上添加裝飾品，或者強調面部的一些特徵。

這一功能的基礎方法，是將圖像的每一列以 X 向矢量代表，然後通過 X 的平均數來生成 Y 向矢量的中位數。之後，在 Y 向矢量上進行例如添加和減少的算術運算，從而形成一個新的 Z 向矢量，即新圖像。將 Z 向矢量輸入生成器從而生成上面最右邊的結果圖。

我們可以自信的進行其他的屬性操作，例如放大縮小，轉換方向等等。為了達到這樣的目的，我們需要將看向左邊和右邊的人臉的圖像樣本平均為一個人臉的左右向矢量。然後，通過加入對應著圖像矢量的軸的「插值「，我們就可以成功地對這些人臉進行這些更高級的改變了。

結論

我們現在還處於生成式對抗網路發展的初期。以上的這些例子，雖然現在看起來已經頗為令人鼓舞，但是這仍然非常基本。對於我們工程師來說，它給予了我們一個訓練 Neural Nets 來完成任何複雜的人類任務的光明路徑。它也同時可以證明創造力已經不是一個只有人類才有的特徵了。