DLI 講師筆記:深度學習基礎
身為 NVIDIA DLI 認證講師,把深度學習基礎課的講義整理成筆記:從 Von Neumann 架構的限制、專家系統為何失靈講起,說明資料量與算力怎麼把深度學習推上台面,適合第一次接觸的人建立整體骨架。
15 篇 · 模型原理與學習筆記
深度學習是本站橫跨最久的標籤:從 2023 年鐵人賽的生成模型原理(VAE、GAN、Pixel RNN、Flow、Diffusion、Transformer、NeRF、CLIP),到膠囊網路的技術白皮書、影像重建的 SwinIR,再到近年的 NVIDIA 課程與學習筆記。
這個聚落適合當作「理解模型怎麼運作」的補充教材 —— 特別是對已經會操作工具、但想補上理論基礎的人。
身為 NVIDIA DLI 認證講師,把深度學習基礎課的講義整理成筆記:從 Von Neumann 架構的限制、專家系統為何失靈講起,說明資料量與算力怎麼把深度學習推上台面,適合第一次接觸的人建立整體骨架。
為期半年的 AIGO 潛力新星盃結束,第一次參賽就拿下最佳獎項。這篇回顧參賽歷程與題目怎麼拆解,以及 Cursor 這個 AI 輔助開發工具在其中扮演的角色,還有頒獎與 Demo 發表會的心得。
受邀到台灣人工智慧協會短講,談生成式 AI 的開源工具與技術架構。這篇把當天內容整理成清單:圖像、文字、影音三類開源工具包,模型從 SD 到 Flux 的演進脈絡,以及這幾年的發展時間軸。
從辛頓的訪談與 AI 四巨頭的觀點出發,回答一個很多人想問的問題:現在開始自學 AI 還來得及嗎?這篇整理新手該從哪裡切入、論文該怎麼讀與實作,以及這些大神思考方式帶來的啟發。
NVIDIA DLI 擴散模型課程的完整筆記:從 U-Net 與轉置卷積的發展講起,拆解 DDPM 的擴散與反向擴散、模型架構的幾種優化方式、無分類器引導,以及 CLIP 在其中扮演的角色。
SwinIR 是把模糊圖放大的重建演算法,它把卷積神經網路與 Swin Transformer 的長處結合在一起。這篇說明它的架構怎麼運作、為何效果比傳統超解析度好,以及實際使用的限制。
一份關於 Capsule Network 的技術白皮書:從 PCB 光學檢測的極限談起,說明傳統 CNN 在瑕疵檢測上為何卡關,再一路講到膠囊網路的架構、多階段改良(CapsNet+ 到後續變體)與實測成效。
CLIP 是把文字與圖像接在一起的關鍵:它會自動分類影像、用 prompt 標記,而且具備 zero-shot 能力。這篇講它的概念從何而來、演算法怎麼做到跨模態,以及能拿來做什麼。
NeRF 是一種用神經網路記住一個場景的建模方法:把場景表示成神經輻射場,就能從沒拍過的角度合成畫面。這篇說明它的演算法怎麼運作,以及它跟傳統建模比起來的特色。
Transformer 是這幾年深度學習最大的分水嶺。這篇從它是 seq2seq 模型講起,說明 Attention 與自編碼器架構怎麼結合,再回顧近年模型演進,理解它為何成了通用骨幹。
系列走到核心:DDPM 到底是什麼。這篇講清楚前向的擴散過程怎麼把高斯雜訊一層層加進圖片,反向過程又怎麼從純雜訊一步步還原出一張圖,以及背後的演算法與近期發展。
Normalizing Flow 是生成模型裡相對小眾的一支。這篇談它的架構怎麼做到可逆轉換、有哪些常見的 Flow 種類,以及在什麼情況下會選它而不是 GAN 或 Diffusion。
Pixel RNN 的做法很直白:把圖像當成一串像素,用已知的像素去預測下一個相鄰像素。這篇從 RNN 的基本結構講起,說明 Pixel RNN 的架構與生成方式,再和其他生成模型比較優劣。
生成對抗網路(GAN)由生成器與判別器互相對抗來訓練,效果驚人但參數極難調。這篇從 GAN 的基本原理講起,梳理它一路演進出的幾個關鍵變體,也會說明訓練時常見的失敗模式與調整方向。
要講 VAE 之前,得先講 AE。這篇先回顧自編碼器的原理與稀疏、去噪等幾種常見變體,再帶到變分自編碼器的數學原理,說明它如何用潛在變數的機率分佈生成新的樣本。