KUBIG 2023-2 활동 블로그

# ABSTRACT Sequence transduction model은 encoder와 decoder를 포함하는 복잡한 RNN이나 CNN 구조에 기초한다. 가장 성능이 좋은 모델은 attention 메커니즘을 통해 encoder와 decoder를 연결한다. 논문에서는 RNN과 CNN을 배제하고 오직 attention 메커니즘을 기반으로하는 단순하지만 새로운 네트워크 구조를 제안한다. 두 가지 기계 번역 과제를 대상으로 실험한 결과 이 Transformer 모델이 품질이 우수하며 처리성도 높아 학습에 훨씬 적은 시간이 소요된다. Transformer는 대규모 또는 제한된 소규모 학습 데이터 기반의 영어 구문 분석 과제에서도 높은 성능을 보이며 다른 과제들 또한 일반화가 가능하다. 1. INTRODUCTIO..

2023 Summer Session/DL 2023. 8. 19. 19:01

Abstract 해당 논문에서는, 다양한 유형의 RNN을 비교한다. 특히 LSTM과 GRU와 같이 gate를 활용하는 메커니즘 구현에 초점을 맞춰 구현을 진행하게 되고, polyponic muis modeling과 speech signal modeling을 통해 평가를 진행한다. 해당 실험을 통해, tanh를 활용한 전통적인 방법보다 advanced recurrent unit를 활용하는 것에서 훨씬 좋은 성능을 보이는 것을 입증시켰으며, GRU와 LSTM에 대한 비교가 가능하다는 것을 확인하였다. 1. Introduction RNN은 입출력의 길이가 가변적인 경우에 유망한 결과를 보인다. 입력, 출력이 가변적이라는 의미는 '번역' 과정을 떠올리면 이해가 수월하다. 하지만 vanilla RNN으로는 거의 ..

2023 Summer Session/DL 2023. 8. 9. 23:29

LONG SHORT TERM MEMORY # ABSTRACT 기존 vanilla RNN은 Time Interval이 긴 데이터 정보 저장의 한계점이 있었고 이는 주로 Error back propagation (역전파과정)에서 기울기 소실이 발생하기 때문이었다. 이에 본 논문은 이를 해결할 수 있는 efficient-gradient-based model인 LSTM을 제안한다. LSTM에서는 특정 정보가 Gradient에 약 1000번의 time step 이상의 interval에도 정보를 소실하지 않고 효과적으로 정보를 전달할 수 있다. 후반부에서는 인위적으로 만들어낸 다양한 패턴들에 대해서 LSTM을 적용시켜 RTRL, BPTT, Recurrent Cascade-Correlation, Elman nets,..

2023 Summer Session/DL 2023. 8. 9. 22:50

Going Deeper with convolutions(GoogLeNet이라고 많이 알려져 있는 network의 원 논문) # ABSTRACT 본 논문에서는 2014 ILSVRC 대회에서 classification(분류)와 detection(감지)를 위한 새로운 기술의 설정을 담당을 제안한 Inception이란 이름의 CNN(convolutional neural network) Architecture을 소개한다. 이 Architecture의 주요 특징은 네트워크 내부에서의 계산 활용도 향상이다. 컴퓨터의 자원 사용을 일정하게 유지하면서 네트워크의 depth와 width(깊이와 폭)을 늘릴 수 있게 세밀하게 설게되었고, 성능을 최적화하기 위해 architectural decision을 Hebbian 원칙과..

2023 Summer Session/DL 2023. 8. 8. 12:09

Abstract 깊은 neural network일수록 훈련이 어렵다는 단점을 보완하기 위해 residual learning framework를 제안한다. 이를 이용해 이전보다 더 깊은 Network를 가능하게 하며 훈련이 더 쉬워지게 하고, classification뿐만 아니라 detection, segmentation 등 다른 비전분야에서도 높은 성능을 보인다는 장점을 제시한다. 1. Introduction image classification과 backpropagation등은 이미지 분류에 큰 돌파구로 역할을 하며 여러 feature, level 등을 분류하게 되었다. 이 과정에서 layer의 depth에 관련해 더 많은 레이어를 쌓을수록 네트워크의 훈련이 쉬워질까라는 질문이 떠오르게 되었는데, 기울..

2023 Summer Session/DL 2023. 8. 3. 13:23

Abstract Internal Covariate Shift는 훈련을 저하시키는 주된 원인이다. internal covariate shift : 이전층의 파라미터 분포 변화에 따라 각 층의 input 분포가 달라지면서 네트워크 훈련이 복잡해지는 현상 lower learning rate, careful parameter initialize 등이 요구됨 하지만, 이는 normalizing layer inputs를 통해 해결할 수 있음 이를 해결할 두 가지 방법 normalization을 모델의 아키테처에 포함시킨다. 각 mini-batch 별로 normalization을 수행한다. Batch Normalization의 장점 higher learning rate less careful about initial..

2023 Summer Session/DL 2023. 7. 27. 15:37

ABSTRACT 고성능의 DNN(Deep Neural Network)은 학습에 상당한 시간이 소요되기 때문에 훈련 시간을 줄이는 방법으로 뉴런들을 정규화(Normalization)하는 방법이 있다. 그 중 하나인 Batch Normalization은 training case의 mini-batch에서 뉴런에 대한 총 input 분포를 사용하여 평균과 분산을 계산한다. 이 방법은 DNN의 훈련 시간을 대폭 줄일 수 있지만 mini-batch 사이즈에 영향을 받으며 RNN(Recurrent neural Network)에서의 활용 방안이 불명확하다. 이에 본 논문은 Layer Normalization을 제시하여, 단일 훈련 사례에서 layer의 summed input으로부터 normalization에 사용되는 ..

2023 Summer Session/DL 2023. 7. 26. 23:21

# Abstract 고차원의 매개변수와 노이즈가 있는 objective function과 관련하여 최적화 기법이 요구되어 왔으며 본 논문은 이에 대한 답으로 Adam을 제시한다. Adam의 개념과 알고리즘 그리고 Adam과 관련 있는 알고리즘 – AdaGrad, RMS PROP 과 더불어 infinity norm을 기반으로 변형된 형태인 AdaMax 또한 본 논문에서 다루고 있다. Adam 은 2개의 *lower-order moments의 추정치를 기반으로 *stochastic objective functions을 *first-order gradient-based로 최적화하는 알고리즘이다. 해당 알고리즘은 구현이 쉽고, 효율적인 계산으로 메모리 요구사항이 거의 없다. 또한 *gradient의 diagon..

2023 Summer Session/DL 2023. 7. 20. 13:56