KUBIG 2023-2 활동 블로그

해당 글은 노션에서 작성되었습니다. 티스토리에서 깨지는 부분이 많아, 이미지를 포함한 자세한 설명은 https://western-hortensia-8e0.notion.site/Auto-Encoding-Variational-Bayes-2013-c7f29e7e85a54ed6a9168d94891e217a?pvs=4 를 참고해주세요! 0. Background AE vs VAE? 통계와 수학으로 가득한 내용에 걸맞게 논문의 제목이 Auto-Encoding Variational Bayes인 것과 달리, 우리에게 흔히 알려져 있는 이름은 VAE(variational autoencoder)이다. 그렇다면 이 논문은 autoencoder와는 어떤 관계에 있는 것일까? AE의 구조 Autoencoder는 인코더-디코더로 ..

2023 Summer Session/CV Team 2 2023. 8. 6. 23:58

AE - autoencoder VAE를 공부하기 전에 AE에 대해서 간단하게 이해하고 넘어가면 좋다. encoder, decoder, latent space는 어떤 정보를 담고 있는지 알 수 있다. VAE - Variational autoencoder GAN, diffusion model 과 같이 generative model의 한 종류이다. 생성 모델의 목적은 data와 같은 분포를 가지는 smaple 분포에서 sample을 뽑아 새로운 것을 생성해 내는 것이 목표다. (1) 주어진 training data가 p_data(x)(확률밀도함수)가 어떤 분포를 가지고 있다면, sample 모델 p_model(x) 역시 같은 분포를 가지면서, (sampling 부분) (2) 그 모델을 통해 나온 inferen..

2023 Summer Session/CV Team 3 2023. 8. 6. 23:41

0. Abstract 2가지 모델을 훈련시켜 적대적인 프로세스를 통해 생성모델을 평가하는 새로운 프레임워크를 제시한다. 데이터를 제공하는 생성모델 G와 해당 데이터가 G가 만든것인지, 원본인지 확률을 평가하는 구별모델 D. G는 D가 실수할 확률을 높이는 방향으로 학습된다.(잘 구별하지 못하도록). 이 프레임워크는 2인용 minimax 게임과 비슷하다. 임의의 경우에서 G 와 D는 각각 유일한 답이 존재하며 모두 1/2의 확률을 갖는다. G와 D가 다층퍼셉트론의 구조를 가지고 있다면 역전파를 이용한 학습이 가능하다. 1. Introduction 딥러닝은 계층적이고 풍부한 모델을 학습하여 이미지, 음성을 포함한 오디오 파형, 자연어 특징과 같은 데이터를 인공지능을 활용하여 확률로 나타내어 준다. 성공한 딥..

2023 Summer Session/CV Team 2 2023. 8. 6. 21:57

작성자 : 17기 임청수 0. 요약 경쟁하는 과정을 통해 생산 모델을 추정하는 새로운 프레임워크를 제안함 생성모델은 판별모델이 잘 구분하지 못하도록 학습하고, 판별모델은 가짜 데이터를 판별하도록 학습함 generative model(G, 생성모델) training data의 분포를 모사함 D모델이 구별하지 못하도록 가짜를 만들어내는 것이 목표 discriminative model(D, 판별모델) 샘플 데이터에 대해 G가 만들어낸 데이터가 아닌 실제 학습 데이터일 확률을 추정 G를 학습하는 과정은 D가 샘플 데이터를 보고 G가 생성한 가짜 데이터인지 진짜 데이터인지 판별하는데 실수를 할 확률을 최대화하는 것이 목표 본 논문에서는 minmax two-player game으로 표현 G가 학습 데이터의 분포를 ..

2023 Summer Session/CV Team 3 2023. 8. 6. 19:12

Generative Adversarial Nets Abstract adversarial process, Generator와 Discriminator의 적대적 학습을 통한 새로운 생성모델 제시 Generator로 하여금 Discriminator가 최대한 틀린 판단을 하도록 이미지를 생성해야하는 two-player game 형태의 학습 과정 제시 G와 D 모두 neural network(fc layers)로 이루어져 있어 end-to-end 학습이 가능함 Introduction 이전까지, 딥러닝의 유망함을 널리 알려져왔고 무언가를 판별(discriminative)하는 분야에서 딥러닝이 많은 성공을 가져왔다. 반면, 무언가를 생성(generate)하는 분야에서 딥러닝은 그만큼의 임팩트를 남기지 못했다. 이는 ..

2023 Summer Session/CV Team 2 2023. 8. 6. 17:22

논문 제목: Generative Adversarial Nets 작성자: 17기 김희준 1. Introduction 딥러닝은 natural images, audio waveform, natural language 등에서 큰 성과를 거두었다. 특히 discriminative model이 가장 뛰어난데, 이는 고차원의 input에 class label을 매겨주는 모델로, 우리가 흔히 알고 있는 classification model 등을 의미한다. 그러나 deep generative model은 maximum likelihood estimation에 쓰이는 interactable probabilistic computation에서 적잖은 어려움을 겪었고, 본 논문은 새로운 방식의 adversarial nets f..

2023 Summer Session/CV Team 1 2023. 8. 5. 16:30

해당 글은 노션에서 작성되었습니다. 이미지를 포함한 자세한 내용은 https://western-hortensia-8e0.notion.site/An-Image-Is-Worth-16x16-Words-Transformers-for-Image-Recognition-at-Scale-2021-ed4c78a65b4345fc89b2eff811185558?pvs=4 를 참고해주세요! 1. Introduction [ NLP ] Transformer (self-attention based architectures) large text corpus에 대해 pre-train하고, smaller task-specific dataset에 대해 fine-tune하는 것이 dominant approach [ CV ] convoluti..

2023 Summer Session/CV Team 2 2023. 8. 5. 15:01

YOLOv7 논문은 Inference cost의 증가 없이 detection accuracy를 향상시키는 것을 목표로 한다. 그 방식을 'Trainable bag-of-freebies'이라고 하며, 저자들은 구체적으로 model reparameterization & Label assginment 에 관한 방식을 제안한다. 0. Base 현재 Real-time object detector 중 SOTA 모델은 YOLO에 기반한 모델인데, 다음과 같은 특성 요구된다. 빠르고 강한 network architecture 효율적인 feature integratino method 정확한 detection method 탄탄한 loss function 효율적인 label assignment 효율적인 training me..

2023 Summer Session/CV Team 1 2023. 8. 4. 15:26