深度學習

教材模組

教學目標

●課程模組整體教學目標:

讓學生熟悉深度學習技術與相關應用。

●子模組一:卷積神經網路 (Convolutional Neural Networks)

教學目標:

1. 介紹卷積神經網路基本原理,培養學生觀念與實作能力。

2. 透過作業,讓同學實作並視覺化神經網路中間層所擷取到的特徵。

3. 透過作業,讓同學了解不同filter size、stride所造成的影響。

●子模組二:自編碼器 (Autoencoders)

教學目標:

1.介紹自編碼器基本原理,培養學生觀念與實作能力。

2.透過作業,讓同學了解不同種類的自編碼器。

3.透過作業,讓學生實作重構MNIST-M資料集的自編碼器並觀察結果。

教材模組

課程大綱

 

●子模組一:卷積神經網路 (Convolutional Neural Networks)

課程大綱:

1.  Introduction

2. Convolution Operation

3. Pooling

4.  Variants of Basic Convolution Function

5.  Structured Output

6. Data Types

7. Efficient Convolution Algorithms

8. Random or Unsupervised Features

9. Neuroscientific Basis for Convolutional Networks

實驗: Convolutional Neural Network

實驗內容說明:

Use CIFAR-10 Dataset and build a convolutional neural network to do multi-class classification

In this problem, you will construct a Convolutional Neural Network (CNN) for image recognition using CIFAR-10 dataset. The CIFAR-10 dataset consists of 60,000  color images in 10 classes, with 6,000 images per class. There are 50,000 training images and 10,000 test images

(a)   Implement a CNN for image recognition using CIFAR-10. Analyze the effect of different settings including stride size and filter size. You should show the learning curve of training set and the final test error rate.

(b)   Show some of feature maps in hidden layers

 

●子模組二:自編碼器 (Autoencoders)

課程大綱:

1. Introduction

2. Undercomplete Autoencoders

3. Representational Power, Layer Size and Depth

4. Stochastic Encoders and Decoders

5.  Denosing Autoencoders

6.  Learning Manifolds with Autoencoders

7.  Predictive Sparse Decomposition

8. Applications of Autoencoders

實驗: Autoencoder

實驗內容說明:
Use MNIST-M Dataset and build an autoencoder to observe the learning curve and the generated samples

(a)  Please build an autoencoder to reconstruct mnist-m dataset, and show the reconstruction loss during training stage

(b)  Please refer to the “adversarial autoencoder”(AAE), implement an AAE and use t-SNE dimension reduction method to plot the encoding of training data

可分享教材模組內容說明 授課教材投影片8份共627頁。實驗內容2份。

實驗一:Convolutional Neural Network

實驗二:Autoencoder

所需實作平台配備與經費需求預估(以模組教學實作所需基本軟、硬體平台作估算) 使用桌上型電腦、筆記型電腦,或者如參考規格之server (供8~12人使用):

伺服器價格: 100,000元

可參考配置如下表

硬體 規格 數量 價錢
伺服器(Server) CPU:Inteli9-7900 1 32,000元
GPU: Nvidia GTX 1080Ti 11GB 1 28,000元
MB:X299 1 15,000元
RAM:DDR4(2400)16GB 4 16,000元
HDD:SATA3 2TB 1 3,000元
Power:1000W 1 6,000元
合計 100,000元
聯盟/示範教學實驗室可提供之訓練與技術支援(含可提供之實驗示範影片) ●示範教學實驗室及聯盟網址:http://miiot.nctu.edu.tw/

● 一日之工作坊/培訓課程:

1. 講授”深度學習基本介紹” (配合本課程上課使用之投影片)。

2.帶領學員實作深度學習開發環境建置與維護,以及實驗課程操作。

聯絡窗口 蔡知融 (03) 571-2121 #54632    jimtsai23@gmail.com

呂昱穎    (03) 571-2121 #54632    kevinlumail@gmail.com

【示範教材】[2018]DL_HW2

【示範教材】Deep Sequential Learning