KUBIG 2023-2 활동 블로그

이 글에선 최근 많이 이용되고 있는 Stable Diffusion, controlNet에 이용되는 Diffusion 모델이 어떻게 발전해 왔는지에 대해 알아보고자 한다. 각 모델에 대해 깊게 이해하기보다 최대한 많은 모델을 살펴보면서 앞으로의 공부 방향에 대해 고민해보았다. Diffusion Models: A Comprehensive Survey of Methods and Applications Diffusion models have emerged as a powerful new family of deep generative models with record-breaking performance in many applications, including image synthesis, video genera..

2023 Summer Session/CV Team 3 2023. 8. 4. 00:02

0. Abstract VitPose 가 나오기 이전, 특정 도메인 지식 없이도 일반적인 비전 트랜스포머가 시각 인식 작업에서 뛰어난 성능을 보여주었지만 포즈 추정에 있어서는 언급이 없었다. 모델 구조의 단순함, 모델 크기의 확장성, 훈련 패러다임의 유연성, 모델 간의 지식 전달 능력을 강조한다. 비계층적인 비전 트랜스포머 사용하여 특정 인물 인스턴스의 특징을 추출하는 백본으로 사용하며, 가벼운 디코더(decoder)를 사용하여 포즈 추정 수행. 모델 용량의 확장성과 트랜스포머의 고도로 병렬 처리 가능한 특징을 활용하여 100M에서 1B 파라미터로 확장될 수 있음. 이로 인해 처리량과 성능 간의 새로운 Pareto frontier를 설정. 또한, 어텐션 유형, 입력 해상도, 사전 훈련 및 미세 조정 전략,..

2023 Summer Session/CV Team 2 2023. 8. 3. 23:58

*YOLOv5은 논문이 존재하지 않아 reference를 참고해서 모델 리뷰를 진행해보았습니다. YOLOv5 YOLO 시리즈 흐름 YOLOv1 : 2016년에 발표된 최초 버전으로, 실시간 객체 검출을 위한 딥러닝 기반의 네트워크 YOLOv2 : 2017년에 발표된 두 번째 버전으로, 성능을 개선하고 속도를 높인 것이 특징, Darknet19을 제안, Anchor Box 도입으로 인한 학습 안정화 YOLOv3 : 2018년에 발표된 세 번째 버전으로, 네트워크 구조와 학습 방법을 개선하여 객체 검출의 정확도와 속도를 모두 개선, v2 모델에 비해 탐지 속도는 약간 느려졌지만 탐지 성능을 또 대폭 개선, Darknet-53로 변경 YOLOv4 : 2020년 4월에 발표된 네 번째 버전으로, SPP와 PAN..

2023 Summer Session/CV Team 1 2023. 8. 3. 23:50

해당 포스팅은 Diffusion Models in Vision: A Survey 논문과 기타 Reference 자료를 참고하여 Diffusion이 무엇이고, 최근 동향이 어떤지 확인하기 위해 작성되었습니다. Diffusion Model Abstract Denoising diffusion model은 generatvie modeling 영역에서 remarkable한 result를 올리며 computer vision에서 최근에 떠오른 토픽이다. Diffusion Model은 크게 두 가지 스테이지로 나눌 수 있다. Forward diffusion stage : input data에 gaussian noise를 수많은 step에 걸쳐 더함으로써 점진적으로 perturbed된다. Reverse diffusion..

2023 Summer Session/CV Team 3 2023. 8. 3. 22:34

작성자 : 17기 임청수 0. Diffusion Overview Diffusion model은 backward process를 통해서 explicit(가우시안)한 분포에서 sampling한 random noise로부터 denoising을 통해 데이터를 만들어내는 생성 방식. Forward process(=diffusion process)와 backward process(denoising)으로 구성. 이미지에 noise를 주입하는 forward process는 쉽게 정의할 수 있지만, backward process는 정의하기 어려움. 따라서 DDPM은 backward process를 diffusion probabilistic model로 학습하는 것을 의미함. 위 그림에서 q는 noise를 더하는 forw..

2023 Summer Session/CV Team 3 2023. 8. 3. 22:30

ViTPose 지금까지 Pose Estimation 작업에 Vision Transformer를 적용하는 방법은 다음과 같았다. CNN을 BackBone으로 사용하여 추출된 특정을 Transformer에 사용하는 방법 (TokenPose, TransPose) Keypoint들의 위치를 잘 찾아내기 위해서 Encoder와 Decoder를 통합하는 방법 (PRTR) Transformer로 직접적으로 특징을 추출하도록 하고, 복잡한 구조를 통해 성능을 높히는 방법 (HRFormer) 기존의 방법들은 pose estimation에서 좋은 성능을 내는 것은 맞다. 하지만 feature extraction을 위해 추가적인 CNN 네트워크가 필요하거나, task에 맞는 transformer structure를 조심스럽..

2023 Summer Session/CV Team 2 2023. 8. 3. 20:37

GAN 이미지 데이터는 다차원 feature space의 한점으로 표현할 수 있으며, 이미지의 문포를 근사하는 모델을 학습할 수 있다. 사람의 얼굴에는 통계적인 평균치가 존재하는데 모델은 이를 수치적으로 표현할 수 있다. GAN은 image에 대해서 다변수확률로써 확률분포를 학습한다. feature map 상에서 확률분포는 다음과 같다. Generative Model은 실존하지 않지만 있을 법한 이미지를 생성할 수 있는 모델을 의미한다. 확률분포를 잘 학습할 수 있다면, GAN 모델은 통계적인 평균치를 내제하여 확률 값이 높은 부분을 sampling하면 있음직한 이미지를 얻을 수 있다. 생성 모델의 목표는 image data의 distribution을 근사하는 모델 G를 만드는 것이며, 모델 G는 원본 ..

2023 Summer Session/CV Team 2 2023. 8. 3. 20:30

작성자 : 17기 임종우 Attention 디코더에서 출력 단어를 예측하는 모든 time step에 인코더의 모든 output을 참고할 수 있다는 아이디어 다만 이때, 해당 time step에서 주목해야할 부분과 관련이 있는 부분에 더 집중하여 살펴본다. RNN을 통한 machine translation task에서, Query, key, value간의 계산을 통해 attention score를 만들어 사용한다. Transformer RNN을 배제하고 attention module 만으로 encoder 및 decoder를 구성한 모델 구조 self-attention 입력 시퀀스를 query, key, value 세가지 모두로 사용하여 attention에 대한 계산을 진행함 Query : 질의 값 Key ..

2023 Summer Session/CV Team 2 2023. 8. 3. 20:26