KUBIG 2023-2 활동 블로그

이 글에선 최근 많이 이용되고 있는 Stable Diffusion, controlNet에 이용되는 Diffusion 모델이 어떻게 발전해 왔는지에 대해 알아보고자 한다. 각 모델에 대해 깊게 이해하기보다 최대한 많은 모델을 살펴보면서 앞으로의 공부 방향에 대해 고민해보았다. Diffusion Models: A Comprehensive Survey of Methods and Applications Diffusion models have emerged as a powerful new family of deep generative models with record-breaking performance in many applications, including image synthesis, video genera..

2023 Summer Session/CV Team 3 2023. 8. 4. 00:02

해당 포스팅은 Diffusion Models in Vision: A Survey 논문과 기타 Reference 자료를 참고하여 Diffusion이 무엇이고, 최근 동향이 어떤지 확인하기 위해 작성되었습니다. Diffusion Model Abstract Denoising diffusion model은 generatvie modeling 영역에서 remarkable한 result를 올리며 computer vision에서 최근에 떠오른 토픽이다. Diffusion Model은 크게 두 가지 스테이지로 나눌 수 있다. Forward diffusion stage : input data에 gaussian noise를 수많은 step에 걸쳐 더함으로써 점진적으로 perturbed된다. Reverse diffusion..

2023 Summer Session/CV Team 3 2023. 8. 3. 22:34

작성자 : 17기 임청수 0. Diffusion Overview Diffusion model은 backward process를 통해서 explicit(가우시안)한 분포에서 sampling한 random noise로부터 denoising을 통해 데이터를 만들어내는 생성 방식. Forward process(=diffusion process)와 backward process(denoising)으로 구성. 이미지에 noise를 주입하는 forward process는 쉽게 정의할 수 있지만, backward process는 정의하기 어려움. 따라서 DDPM은 backward process를 diffusion probabilistic model로 학습하는 것을 의미함. 위 그림에서 q는 noise를 더하는 forw..

2023 Summer Session/CV Team 3 2023. 8. 3. 22:30

작성자 : 17기 임청수 논문 핵심 요약 CNN 구조를 활용해서 이미지에 스타일을 입히는 Style Transfer 구현 생성되는 이미지의 물체, 배경 등의 content와 style을 독립적으로 반영 가능 해상도가 높으면 속도가 느린게 아쉽 1. Introduction Texture transfer Target image의 content를 유지하면서 source image의 texture와 일치시키는 것을 의미한다. content : object, scenery texture transfer = style transfer 논문에서 style transfer 정의 생성한 이미지가 스타일 이미지와 유사하면서 콘텐트 이미지의 사물과 풍경을 잘 나타내는 것. 따라서 일반적으로 생각하는 스타일과 정의가 다르며 ..

2023 Summer Session/CV Team 3 2023. 7. 26. 19:13

1. Introduction 이전까지의 style transfer task는 위와 같은 image Quilting 기법과 같이 딥러닝을 이용하지 않고 있었다. 이러한 알고리즘의 문제점은 target image의 low-level image features만 사용한다는 것이다. style transfer의 경우 target image의 semantic content를 잘 담아야 하는데, 그러지 못한다는 단점이 있다. 딥러닝이 발전하고 CNN기법이 등장한 후 CNN을 이용하여 처음으로 style transfer을 시도한 논문이 본 논문이며, 2016년 CVPR에 발표된다. 2. Deep Image representations 본 논문에서는 CNN을 이용하여 target image 에서 content 정보를 ..

2023 Summer Session/CV Team 3 2023. 7. 26. 17:27

DETR은 ECCV2020에 publish된 논문으로, ViT와 더불어 transformer 철학을 Vision task에 최초로 적용한 논문이다. 본 논문을 이해하기 위해서는 Attention Is All You Need (A.Vaswani et al.)를 정확히 이해하는 것이 필요하겠지만, Vanilla Transformer의 경우 NLP task를 해결하기 위해 제안된 아키텍쳐임으로 해당 내용에 대한 공부는 독자에게 맡겨두겠다. DETR의 main contribution은 global context-aware하게 object를 detect할 수 있는 end-to-end 모델이란 점이다. 다음으로 본 모델의 notable한 특징들을 몇 가지 살펴보자. 1. 무엇보다도 transformer의 철학을 가..

2023 Summer Session/CV Team 3 2023. 7. 20. 17:21

작성자 : 17기 임청수 Object Detection은 Region Proposal의 속도, 성능 개선에 따라 발전되고 있다. faster R-CNN은 RPN으로 Region Proposal을 개선했다. RPN은 detection network의 feature를 공유하면서 cost-free가 된다. 이를 통해 1) end to end 학습 2) region proposal의 gpu 연산 3) network 학습을 detection과 공유하는 등 총 3가지 이점에 따라 성능 및 속도 개선해냈다. 1. Introduction Background 최근 객체 탐지의 발전은 영역 제안(region proposal) 최적화에 달려 있습니다. Fast R-CNN도 Real time에 가까운 속도를 보였지만 영역 제..

2023 Summer Session/CV Team 3 2023. 7. 19. 23:49

YOLO 2-Stage Detector 물체의 위치를 찾는 문제(localization)와 분류 문제(classification)을 순차적으로 해결 1-Stage Detector 물체의 위치를 찾는 문제와 분류 문제를 한 번에 해결 YOLO가 대표적 YOLO(version 1) 이미지를 input 으로 받고 SxS grid cells로 나누고 각 cell마다 하나의 개체를 예측한다. 미리 설정된 개수(N개)의 boundary boxes를 통해 객체의 위치와 크기를 파악한다. 이때, 각 cell마다 하나의 객체만을 예측할 수 있기 때문에 여러 개체가 겹쳐있으면 몇몇의 개체는 탐지를 못할 수 있다. yolo모델 작동과정 grid cell 각 cell 마다 위와 같은 값들을 가진다. 각 셀은 B개의 Bbox를..

2023 Summer Session/CV Team 3 2023. 7. 19. 23:08