KUBIG 2023-2 활동 블로그

github 연동하여 ViTAE pretrained model 을 활용해 보고자 한 코드 입니다. 추가로, DIFFUSION BASED IMAGE TRANSLATION USING DISENTANGLED STYLE AND CONTENT REPRESENTATION 논문을 리뷰해 보았습니다. https://openreview.net/pdf?id=Nayau9fwXU 0. Abstract diffusion 모델의 한계라고 언급되는 stochastic nature 란 게 뭘까? 이 성질때문에 reverse diffusion 하는 동안 이미지의 내용을 유지하기 힘듦. 💡 reverse diffusion이란? 잠재 공간에서의 확률 분포를 따라가면서 데이터를 생성하는 과정 → DiffuselT 등장! ViT 의 MHSA..

2023 Summer Session/CV Team 2 2023. 8. 21. 17:11

해당 글은 노션에서 작성되었습니다. 이미지와 템플릿이 깨지는 부분이 있으니, 자세한 내용은 https://western-hortensia-8e0.notion.site/ViTPose-a8b89326bd144dd09172039e7ce9eac3?pvs=4 를 참고해주세요! https://github.com/JunkyByte/easy_ViTPose backbone→ ViT head(TopdownHeatmapSimpleHead)→ Decoder model.py class ViTPose(nn.Module): def __init__(self, cfg: dict) -> None: super(ViTPose, self).__init__() backbone_cfg = {k: v for k, v in cfg['backbone..

2023 Summer Session/CV Team 2 2023. 8. 21. 12:22

# ABSTRACT Sequence transduction model은 encoder와 decoder를 포함하는 복잡한 RNN이나 CNN 구조에 기초한다. 가장 성능이 좋은 모델은 attention 메커니즘을 통해 encoder와 decoder를 연결한다. 논문에서는 RNN과 CNN을 배제하고 오직 attention 메커니즘을 기반으로하는 단순하지만 새로운 네트워크 구조를 제안한다. 두 가지 기계 번역 과제를 대상으로 실험한 결과 이 Transformer 모델이 품질이 우수하며 처리성도 높아 학습에 훨씬 적은 시간이 소요된다. Transformer는 대규모 또는 제한된 소규모 학습 데이터 기반의 영어 구문 분석 과제에서도 높은 성능을 보이며 다른 과제들 또한 일반화가 가능하다. 1. INTRODUCTIO..

2023 Summer Session/DL 2023. 8. 19. 19:01

지난 주차 ViTPose 논문 리뷰에 이어 official github의 코드 리뷰를 진행하였음. 공식 github GitHub - ViTAE-Transformer/ViTPose: The official repo for [NeurIPS'22] "ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation" and [Arxiv'22] "ViTPose+: Vision Transformer Foundation Model for Generic Body Pose Estimation" 1. Backbone - ViT Patch Embedding class PatchEmbed(nn.Module): """ Image to Patch Emb..

2023 Summer Session/CV Team 2 2023. 8. 19. 15:20

stable diffusion의 fine tuning 기법 중 하나로 알려져 있는 dreambooth 논문에 대해 리뷰해보려고 합니다. 발표에 사용된 자료를 그대로 올려드립니다.

2023 Summer Session/CV Team 3 2023. 8. 18. 09:43

작성자 : 17기 임청수 Reference [paper] : LoRA- Low-Rank Adaptation of Large Language Models [blog] : Using LoRA for Efficient Stable Diffusion Fine-Tuning [youtube] : https://www.youtube.com/watch?v=BJqwmDpa0wM

2023 Summer Session/CV Team 3 2023. 8. 18. 09:04

금주 포스팅에서는 Diffusion Model의 느린 Sampling 문제를 해결하기 위해 DDIM의 Non-Markovian Process 및 GAN Structure & Loss를 도입한 Denoising Diffusion GAN을 소개해드립니다. 세부내용은 세션 발표자료로 대체하겠습니다🙇🏻‍♂️ Denoising Diffusion GAN 요약 Generative Model이 추구해야 할 3가지 요소 : High Quality Samples, Fast Sampling, Mode Coverage/Diversity Diffusion Model은 다른 2가지 요소는 만족했지만, Fast Sampling만은 이뤄내지 못했음 Slow Sampling + High Computational Cost Problem..

2023 Summer Session/CV Team 3 2023. 8. 18. 02:03

논문 제목: End-to-End Object Detection with Transformers 작성자: 17기 김희준 1. Introduction Detection의 목적은 bounding box와 객체의 label 조합을 예측해내는 것이다. 기존의 detection 모델들은 proposal, anchor 등을 많이 만들어놓고 postprocessing(후처리)에 많은 투자를 하여 이 정보를 바탕으로 조합을 예측한다. 이런 방식을 indirect하다고 한다. 이 방식의 단점은 많은 anchor box를 만들다 보니 하나의 ground truth에 매칭되는 anchor box 역시 여러개가 되는 many-to-one 현상이 발생하고, 이러한 중복을 제거하기 위해 후처리에 많은 시간을 들여야 한다는 점이다...

2023 Summer Session/CV Team 1 2023. 8. 17. 18:09