KUBIG 2023-2 활동 블로그

Abstract Plain Vit를 사용하여 pose estimation을 수행하려 함 ViT의 모델 구조의 간단함, 모델 사이즈의 확장성, 학습의 유연함, 모델 사이 지식의 전파 가능성이라는 장점을 활용하여 ViTPose의 모델 구조를 제시함 attention type, input resolution, pre training and finetuning strategy등에 대해 매우 유연한 특징 knwoledge token을 사용하여 large model의 학습을 small model로 쉽게 transfer 할 수 있음 MS COCO keypotint detection에서 SOTA를 달성함 등장 배경 및 기본 구조 기존 VIT기반 pose estimation은 feature extraction을 위해 C..

2023 Summer Session/CV Team 2 2023. 8. 10. 00:50

Abstract 해당 논문에서는, 다양한 유형의 RNN을 비교한다. 특히 LSTM과 GRU와 같이 gate를 활용하는 메커니즘 구현에 초점을 맞춰 구현을 진행하게 되고, polyponic muis modeling과 speech signal modeling을 통해 평가를 진행한다. 해당 실험을 통해, tanh를 활용한 전통적인 방법보다 advanced recurrent unit를 활용하는 것에서 훨씬 좋은 성능을 보이는 것을 입증시켰으며, GRU와 LSTM에 대한 비교가 가능하다는 것을 확인하였다. 1. Introduction RNN은 입출력의 길이가 가변적인 경우에 유망한 결과를 보인다. 입력, 출력이 가변적이라는 의미는 '번역' 과정을 떠올리면 이해가 수월하다. 하지만 vanilla RNN으로는 거의 ..

2023 Summer Session/DL 2023. 8. 9. 23:29

LONG SHORT TERM MEMORY # ABSTRACT 기존 vanilla RNN은 Time Interval이 긴 데이터 정보 저장의 한계점이 있었고 이는 주로 Error back propagation (역전파과정)에서 기울기 소실이 발생하기 때문이었다. 이에 본 논문은 이를 해결할 수 있는 efficient-gradient-based model인 LSTM을 제안한다. LSTM에서는 특정 정보가 Gradient에 약 1000번의 time step 이상의 interval에도 정보를 소실하지 않고 효과적으로 정보를 전달할 수 있다. 후반부에서는 인위적으로 만들어낸 다양한 패턴들에 대해서 LSTM을 적용시켜 RTRL, BPTT, Recurrent Cascade-Correlation, Elman nets,..

2023 Summer Session/DL 2023. 8. 9. 22:50

객체 스케일 변화를 잘 감지하는 것은 Detection의 주요 challenge 중 하나이다. M2Det은 멀티레벨과 멀티스케일 방식을 바탕으로 객체 스케일 변화 민감도 문제를 해결한다. * YOLO도 학습 데이터를 다향한 스케일로 resize하여 학습시키는데, 이 역시 멀티스케일 방식이다. 0. Background Detection Task에서 Scale variation 관련 문제를 해결하기 위해 FPN(Feature Pyramid Network)를 사용한다. 그러나 FPN 특징 맵은 classification을 목적으로 하기 때문에 backbone이 간단하게 설계되어 있고, 주로 single level로 설계되어 좋은 detection 성능을 내기에는 한계가 있다. * single level 맵은 ..

2023 Summer Session/CV Team 1 2023. 8. 9. 14:57

논문 제목: Single-Shot Refinement Neural Network for Object Detection(RefineDet) 작성자: 17기 김희준 1. Introduction object detection은 two-stage 방식과 one-stage 방식으로 나뉘어진다. two-stage 방식에는 Selective Search, RPN, R-CNN 등이 있고, one-stage 방식에는 YOLO, SSD 등이 있다. one-stage 방식은 많은 연산량에도 불구하고 속도적인 측면에서 효율적이지만, class가 불균형하다는 문제로 인해 detection accuracy가 two-stage보다 뒤처져있다. two-stage는 비교적 느린 속도이지만, stage를 2개 거치는 만큼 훨씬 높은 d..

2023 Summer Session/CV Team 1 2023. 8. 9. 11:28

해당 포스팅은 5주차 포스팅에 이어 DDPM과 NCSN이 모두 Score-based generative modeling이고, 이 2개의 모델을 Stochastic Differential Equations (SDE) 하에서 일반화할 수 있다는 것을 소개해주기 위해 작성되었습니다. Abstract Noise로부터 data를 만들어 내는 것은 generative modeling이다. 저자들은 노이즈를 천천히 주입함으로써 complex data distribution을 known prior distribution으로 만드는 SDE 방식을 소개한다. 노이즈를 제거해서 다시 data distribution으로 돌아가는 과정은 reverse SDE이다. 여기서 reverse SDE는 perturbed data dis..

2023 Summer Session/CV Team 3 2023. 8. 8. 22:43

Going Deeper with convolutions(GoogLeNet이라고 많이 알려져 있는 network의 원 논문) # ABSTRACT 본 논문에서는 2014 ILSVRC 대회에서 classification(분류)와 detection(감지)를 위한 새로운 기술의 설정을 담당을 제안한 Inception이란 이름의 CNN(convolutional neural network) Architecture을 소개한다. 이 Architecture의 주요 특징은 네트워크 내부에서의 계산 활용도 향상이다. 컴퓨터의 자원 사용을 일정하게 유지하면서 네트워크의 depth와 width(깊이와 폭)을 늘릴 수 있게 세밀하게 설게되었고, 성능을 최적화하기 위해 architectural decision을 Hebbian 원칙과..

2023 Summer Session/DL 2023. 8. 8. 12:09

Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 1. Introduction -SOTA 모델은 region proposal 알고리즘을 사용해왔으며 이렇게 구현한 SPP와 Fast R-CNN은 객체 탐지 시간을 크게 줄였다. 다만 region proposal 과정에서 bottleneck 현상이 발생한다는 단점이 있으며 본 논문은 Region Proposal Network (RPN)을 제공함으로써 cost free region proposals를 가능하게 한다(e.g., 10ms per image). RPN은 object bounds와 각 위치에서의 objectness(객체 존재 여부)를 동시에 예측하는 합성곱 네트..

2023 Summer Session/CV Team 1 2023. 8. 7. 21:22