的广州建网站的公司,网站建设dw 什么软件,手机模板的网站哪个好,做网站公司牛鼻子Auto-encoder#xff08;自编码器#xff09;
1 基本概念 自编码就和之前的cycle GAN的概念很像#xff0c;假設你有非常大量的圖片#xff0c;在 Auto-Encoder 裡面你有兩個 Network#xff0c;一個叫做 Encoder#xff0c;一個叫做 Decoder#xff0c;他們就是兩個 N…Auto-encoder自编码器
1 基本概念 自编码就和之前的cycle GAN的概念很像假設你有非常大量的圖片在 Auto-Encoder 裡面你有兩個 Network一個叫做 Encoder一個叫做 Decoder他們就是兩個 Network Encoder 把一張圖片讀進來它把這張圖片變成一個向量 Encoder 它可能是很多層的 CNN把一張圖片讀進來它的輸出是一個向量接下來這個向量會變成 Decoder 的輸入Decoder 會產生一張圖片所以 Decoder 的 Network 的架構可能會像是 GAN 裡面的 Generator吃一个向量輸出一張圖片不管是 Encoder 還是 Decoder反正就是多層的 Network那現在訓練的目標是什麼訓練的目標是希望Encoder 的輸入跟 Decoder 的輸出越接近越好。 中间的这个vector這個 Encoder 的輸出有時候我們叫它 Embedding那有的人叫它 Representation有的人叫它 Code因為 Encoder 是一個編碼嘛那其實指的都是同一件事情 那這個 Auto-Encoder 的技術要怎麼用呢怎麼把 Train 的 Auto-Encoder用在 Downstream 的任務裡面呢
常見的用法就是原來的圖片你也可以把它看作是一個很長的向量但這個向量太長了 不好處理那怎麼辦呢你把這個圖片丟到 Encoder 以後輸出另外一個向量這個向量你會讓它比較短比如說只有 10 維 只有 100 維那你拿這個新的向量來做你接下來的任務
而 Encoder 做的事情是把本來很高維度的東西轉成低維度的東西把高維度的東西轉成低維度的東西又叫做 Dimension Reduction 那 Auto-Encoder 到底好在哪裡當我們把一個高維度的圖片變成一個低維度的向量的時候到底帶來什麼樣的幫助 Auto-Encoder 這件事情它要做的是把一張圖片壓縮又還原回來 但是還原這件事情為什麼能成功呢
能夠做到這件事情是因為對於影像來說並不是所有 3×3 的矩陣都是圖片圖片的變化其實是有限的你隨便 Sample 一個 Random 的 Noise隨便 Sample 一個矩陣出來它通常都不是你會看到的圖片。高维空间有冗余的信息流形空间 變化也許只有兩種類型那你就可以說看到這種類型对角线我就左邊這個維度是 1 右邊是 0看到這種類型左下角就左邊這個維度是 0右邊這個維度是 1
而 Encoder 做的事情就是化繁為簡,本來比較複雜的東西它只是表面上比較複雜,事實上它的變化其實是有限的
如果我們可以把複雜的圖片用比較簡單的方法來表示它那我們就只需要比較少的訓練資料在下游的任務裡面我們可能就只需要比較少的訓練資料就可以讓機器學到我們本來要它學的事情這個就是 Auto-Encoder 的概念 那 Auto-Encoder它從來都不是一個新的想法它真的是非常非常地有歷史HintonDeep Learning 之父 在 06 年的 Science 的 Paper 裡面就有提到 Auto-Encoder 這個概念只是那個時候用的 Network跟今天用的 Network當然還是有很多不一樣的地方。
那 Auto-Encoder 還有一個常見的變形叫做 De-Noising 的 Auto-Encoder 我們把原來要輸進去給 Encoder 的圖片加上一些雜訊。所以你會發現說現在 Encoder 跟 Decoder除了還原原來的圖片這個任務以外它還多了一個任務這個任務是什麼這個任務就是它必須要自己學會把雜訊去掉。 但是如果你看今天的 BERT 的話其實你也可以把它看作就是一個De-Noising 的 Auto-Encoder輸入我們會加 Masking那些 Masking 其實就是 NoiseBERT 的模型就是 Encoder它的輸出就是 Embedding接下來有一個 Linear 的模型就是 DecoderDecoder 要做的事情就是還原原來的句子也就是把填空題被蓋住的地方把它還原回來。
有同學可能會問說為什麼這個 Decoder 一定要 Linear 的呢它不一定要是 Linear它可以不是 Linear
2 临结变声器与更多应用 除了 Aauto-Encoder可以用來做當Downstream的任務以外我還想跟大家分享一下Auto-Encoder 其他有意思的應用
Feature 的 Disentanglement 是什麼意思呢什麼是 Disentangle 呢Disentangle 的意思就是把一堆本來糾纏在一起的東西把它解開。
Code 裡面啊有很多的資訊包含圖片裡面所有的資訊舉例來說圖片裡面有什麼樣的東西啊圖片的色澤紋理啊等等Aauto-Encoder 這個概念也不是只能用在影像上 一篇文章丟到 Encoder 裡面變成向量這個向量通過 Decoder 會變回原來的文章那這個向量裡面有什麼它可能包含文章裡面文句的句法的資訊也包含了語意的資訊但是這些資訊是全部糾纏在一個向量裡面我們並不知道一個向量的哪些維代表了哪些資訊 而 Feature Disentangle 想要做到的事情就是我們有沒有可能想辦法在 Train 一個 Aauto-Encoder 的時候同時有辦法知道這個 Embedding的哪些維度代表了哪些資訊呢
那製作 Feature Disentangle有什麼樣的應用呢這邊舉一個語音上的應用這個應用叫做 Voice Conversion 那只是過去在做這個 Voice Conversion 的時候啊我們需要成對的聲音訊號也就是假設你要把 A 的聲音轉成 B 的聲音你必須把 A 跟 B 都找來 今天有了 Feature Disentangle 的技術以後也許我們期待機器可以做到就給它 A 的聲音 給它 B 的聲音A 跟 B 不需要唸同樣的句子甚至不需要講同樣的語言機器也有可能學會把 A 的聲音轉成 B 的聲音 我們做了 Feature Disentangle 的技術所以我們知道在 Encoder 的輸出裡面哪些維度代表了語音的內容哪些維度代表了語者的特徵接下來我們就可以做語音的轉換 也可以反过来做 那其實在影像上在 NLP 上也都可以有類似的應用所以可以想想看Feature Disentangle 可以做什麼樣的事情 那下一個要跟大家講的應用叫做 Discrete Latent Representation 到目前為止我們都假設這個 Embedding它就是一個向量就是一串數字它是 Real Numbers那它可不可以是別的東西呢
舉例來說它可不可以是 Binary那 Binary 有什麼好處呢Binary 的好處也許是說每一個維度它就代表了某種特徵的有或者是沒有
甚至有沒有可能這個向量強迫它一定要是 One-Hot 呢 也許可以做到 unSupervised 的分類
舉例來說假設你有一大堆的手寫數字辨識你有 0 到 9 的圖片 Train 一個這樣子的 Auto-Encoder然後強迫中間的這個 Code 啊一定要是 One-Hot Vector那你這個 Code 正好設個 10 維所以這 10 維就有 10 種可能的 One-Hot 的 Code也許每一種 One-Hot 的 Code正好就對應到一個數字也說不定。
所以今天如果用 One-Hot 的 Vector來當做你的 Embedding 的話也許就可以做到在完全沒有Label Data 的情況下讓機器自動學會分類。
Discrete 的 Representation 的這個技術裡面啊其中最知名的就是 VQVAE 去算個相似度,那你發現這件事情啊其實跟 Self-attention 有點像 vector就是queryvector1-vector5就是key同时也是value
這樣做的好處也就是說這邊 Decoder 的輸入一定是這邊這個 Codebook裡面的向量的其中一個假設你 Codebook 裡面有 32 個向量那你 Decoder 的輸入就只有 32 種可能你等於就是讓你的這個 Embedding它是離散的它沒有無窮無盡的可能它只有 32 種可能而已
那其實像這樣子的技術啊如果你拿它 把它用在語音上你就是一段聲音訊號輸進來通過 Encoder 以後產生一個向量接下來呢你去計算這個相似度把最像的那個向量拿出來丟給 Decoder再輸出一樣的聲音訊號這個時候你會發現說你的 Codebook 啊可能可以學到最基本的發音部位 這個最基本的發音單位啊又叫做 Phonetic 那如果你不知道 Phonetic 是什麼的話你就把它想成是 KK 音標這個 Codebook 裡面每一個 Vector它就對應到某一個發音就對應到 KK 音標裡面的某一個符號。
那其實還有更多瘋狂的想法Representation 一定要是向量嗎能不能是別的東西舉例來說它能不能是一段文字 我們現在可不可以不要用向量來當做 Embedding我們可不可以說我們的 Embedding就是一串文字呢如果把 Embedding 變成一串文字有什麼好處呢也許這串文字就是文章的摘要因為你想想看把一篇文章丟到 Encoder 的裡面它輸出一串文字而這串文字可以通過 Decoder 還原回原來的文章那代表說這段文字是這篇文章的精華
不過啊 輸入一串文字 輸出一串文字所以 Encoder 跟 Decoder顯然都必須要是一個 Seq2seq 的 Model比如說 Transformer 而這個 Auto-Encoder 大家訓練的時候不需要標註的資料因為訓練 Auto-Encoder只需要蒐集大量沒有標註的資料
讓機器自動學會做unSupervised 的 Summarization但是真的有這麼容易嗎 實際上這樣 Train 起來以後發現是行不通的為什麼因為這兩個 Encoder 跟 Decoder 之間會發明自己的暗號啊所以它會產生一段文字那這段文字是你看不懂的文字這 Decoder 可以看得懂它還原得了原來的文章但是人看不懂所以它根本就不是一段摘要。
所以怎麼辦呢再用 GAN 的概念加上一個 DiscriminatorDiscriminator 看過人寫的句子所以它知道人寫的句子長什麼樣子 這個 Network 要怎麼 Train 啊這個 encoder的 Output 是一串文字那這個文字要怎麼接給 Discriminator 跟這個 Decoder 呢告訴你看到你沒辦法 Train 的問題就用 RL 硬做這樣這邊就是 RL 硬做就結束了這樣子
以下是真正 Network 輸出的結果啦你給它讀一篇文章然後它就用 Aauto-Encoder 的方法拿 300 萬篇文章做訓練以後 當然很多時候它也是會犯錯的 所以這個例子只是想要告訴你說我們確實有可能拿一段文字來當做 Embedding。
其實還有更狂的我還看過有拿 Tree Structure當做 Embedding 好 接下來啊還有 Aauto-Encoder 更多的應用 Aauto-Encoder 還可以拿來做些什麼事情呢舉例來說我們剛才用的都是 Encoder那其實 Decoder 也有作用你把 Decoder 拿出來這不就是一個 Generator 嗎 所以 Decoder你可以把它當做一個 Generator 來使用你可以從一個已知的 Distribution比如說 Gaussian DistributionSample 一個向量丟給 Decoder看看它能不能夠輸出一張圖。
事實上在我們之前在講這個 Generative Model 的時候其實有提到說除了 GAN 以外還有另外兩種 Generative 的 Model其中一個就叫做 VAEVariarional 的 Auto-Encoder它其實就是把 Aauto-Encoder 的 Decoder 拿出來當做 Generator 來用那實際上它還有做一些其他的事情啊至於它實際上做了什麼其他的事情就留給大家自己研究所以 Auto-Encoder Train 完以後 也順便得到了一個 Decoder。
Aauto-Encoder 可以拿來做壓縮,我們今天知道說你在做圖片,我們圖片如果太大的話也會有一些壓縮的方法比如說 JPEG 的壓縮,而 Aauto-Encoder 也可以拿來做壓縮你完全可以把 Encoder 的輸出當做是一個壓縮的結果 它是那種 lossy 的壓縮所謂 lossy 的壓縮就是它會失真因為在 Train Aauto-Encoder 的時候你沒有辦法 Train 到說輸入的圖片跟輸出的圖片100% 完全一模一樣啦它還是會有一些差距的
那接下來就是我們在作業裡面要使用的技術在作業裡面我們會拿 Aauto-Encoder來做 Anomaly 的 Detection異常檢測 Anomaly 這個詞啊有很多不同的其他的稱呼 OutlierNoveltyExceptions但其實指的都是同樣的事情
但是所謂的相似這件事啊其實並沒有非常明確的定義它是見仁見智的會根據你的應用情境而有所不同 所以我們並不會說某一個東西它一定就是 Normal一定就是 Anomaly它是正常或異常取決於你的訓練資料長什麼樣子 它可以來做詐欺偵測 假設你的訓練資料裡面有一大堆信用卡的交易紀錄那我們可以想像說多數信用卡的交易都是正常的那你拿這些正常的信用卡訓練的交易紀錄來訓練一個異常檢測的模型那有一筆新的交易紀錄進來你就可以讓機器幫你判斷說這筆紀錄算是正常的 還是異常的
或者是它可以拿來做網路的這個侵入偵測舉例來說你有很多連線的紀錄資料那你相信多數人連到你的網站的時候他的行為都是正常的多數人都是好人你蒐集到一大堆正常的連線的紀錄那接下來有一筆新的連線進來你可以根據過去正常的連線訓練出一個異常檢測的模型看看新的連線它是正常的連線 還是異常的連線它是有攻擊性的 還是正常的連線
或者是它在醫學上也可能有應用你蒐集到一大堆正常細胞的資料拿來訓練一個異常檢測的模型那也許看到一個新的細胞它可以知道這個細胞有沒有突變
那講到這邊有人可能會想說Anomaly Detection 異常檢測的問題 我們能不能夠把它當做二元分類的問題來看啊你說你要做詐欺偵測你就蒐集一大堆正常的信用卡紀錄一堆詐欺的信用卡紀錄訓練一個 Binary 的 Classifier就結束啦就這樣子不是嗎
但是這種異常檢測的問題它的難點正在就在蒐資料上面通常你比較有辦法蒐集到正常的資料你比較不容易蒐集到異常的資料 所以在這一種異常檢測的問題裡面我們往往假設我們有一大堆正常的資料但我們幾乎沒有異常的資料所以它不是一個一般的分類的問題這種分類的問題又叫做 One Class 的分類問題就是我們只有一個類別的資料那你怎麼訓練一個模型
因為你想你要訓練一個分類器你得有兩個類別的資料你才能訓練分類器啊如果只有一個類別的資料那我們可以訓練什麼東西這個時候就是 Aauto-Encoder可以派得上用場的時候了
舉例來說假設我們現在想要做一個系統這個系統是要偵測說一張圖片它是不是真人的人臉 那因為在訓練的時候有看過這樣的照片所以它可以順利地被還原回來。不過反過來說假設有一張照片是訓練的時候沒有看過的 舉例來說不是真人是一個動畫的人物 這是訓練的時候沒有看過的照片那你的 Decoder就很難把它還原回來如果你計算輸入跟輸出的差異發現差異非常地大那就代表說現在輸入給 Encoder 的這張照片可能是一個異常的狀況 那這個異常檢測啊其實也是另外一門學問那我們課堂上就沒有時間講了異常檢測不是只能用 Auto-Encoder 這個技術Auto-Encoder 這個技術只是眾多可能方法裡面的其中一個
