KUBIG 2023-2 활동 블로그

작성자 : 17기 임청수 논문 핵심 요약 CNN 구조를 활용해서 이미지에 스타일을 입히는 Style Transfer 구현 생성되는 이미지의 물체, 배경 등의 content와 style을 독립적으로 반영 가능 해상도가 높으면 속도가 느린게 아쉽 1. Introduction Texture transfer Target image의 content를 유지하면서 source image의 texture와 일치시키는 것을 의미한다. content : object, scenery texture transfer = style transfer 논문에서 style transfer 정의 생성한 이미지가 스타일 이미지와 유사하면서 콘텐트 이미지의 사물과 풍경을 잘 나타내는 것. 따라서 일반적으로 생각하는 스타일과 정의가 다르며 ..

2023 Summer Session/CV Team 3 2023. 7. 26. 19:13

1. Introduction 이전까지의 style transfer task는 위와 같은 image Quilting 기법과 같이 딥러닝을 이용하지 않고 있었다. 이러한 알고리즘의 문제점은 target image의 low-level image features만 사용한다는 것이다. style transfer의 경우 target image의 semantic content를 잘 담아야 하는데, 그러지 못한다는 단점이 있다. 딥러닝이 발전하고 CNN기법이 등장한 후 CNN을 이용하여 처음으로 style transfer을 시도한 논문이 본 논문이며, 2016년 CVPR에 발표된다. 2. Deep Image representations 본 논문에서는 CNN을 이용하여 target image 에서 content 정보를 ..

2023 Summer Session/CV Team 3 2023. 7. 26. 17:27

Image Style Transfer Using Convolutional Neural Networks 1. Summary - 기존의 방식과 다르게 style transfer는 CNN 필터를 사용하여 얻은 high value feture을 사용하였다. 특히 본 알고리즘은 임의의 사진에 대해 잘 알려진 예술작품의 화풍을 입히는 방식을 구현했고 이는 CNN을 활용한 deep immage represnetation에 대한 통찰력을 제공하였다. transfering stype은 다시 말해 texture transfer로 고려될 수 있으며 이것은 source image의 texture를 합성함과 동시에 target image의 semantic content를 보존하는 것이다. 기존의 texture transfer ..

2023 Summer Session/CV Team 1 2023. 7. 26. 15:49

작성자: 17기 김희준 본 논문은 Image classification에서 우수한 성능을 보이는 Convolutinal Networks Model이 어떻게 좋은 성능을 보일 수 있는지 이해를 돕는다. 흔히 이런 딥러닝 네트워크를 ‘블랙박스’와 같다고도 말할 정도로 내부 동작을 이해하기란 쉬운 일이 아닌데, 모델 내부의 각 layer, filter 등을 시각화함으로써 효과적으로 이해해보고자 한다. 1. Introduction Convolutonal network가 내부적으로 어떻게 작동하고, 겹겹이 쌓은 layer들이 어떤 의미를 갖는지에 대해서 궁금증을 해소할 필요가 있다. 본 논문은 각 layers들에 포함된 feature map이 어떻게 생겼는지 시각화를 시도한다. 이 때 사용한 기법이 바로 mult..

2023 Summer Session/CV Team 1 2023. 7. 25. 15:47

일반적으로 신경망을 거친 output 만을 봐서는 개별 뉴런이 어떻게 작동하는지를 자세히 파악하기가 쉽지 않다. 성능이 좋으면 왜 좋은건지(어느 부분이 좋은 성능으로 이어진 것인지), 성능이 좋지 않으면 어느 부분이 문제인 것인지를 파악하기 어렵다. 이를 Black Box 현상이라고 하는데, 이 Black Box 내부에서 어떤 일이 일어나는지를 시각화를 통해 파악하고자 하는 것이 해당 논문의 Main Idea이다. Saliency: 돌출, 요점 사람이 이미지를 볼 때 왼쪽 위부터 차례로 훑어보지 않고 객체가 있는 지점부터 보는 것처럼, 화면에서 눈에 띄는 영역을 먼저 인식할 수 있도록 만드는 방식. ▶ 다른 영역에 비해 눈에 띄는 영역, 픽셀값의 변화가 급격한 영역을 찾아내어, 배경과 객체를 분리시킨다!..

2023 Summer Session/CV Team 1 2023. 7. 24. 19:05

작성자 : 17기 임종우 Image Classification을 위한 Convolutional neural network가 어떻게 동작하는지 시각적으로 확인하고자 하는 시도 Convnet을 이용하여 특정 Class score를 최대화 하는 input Image를 생성해보기 Class score에 대한 Input image의 gradient 계산, saliency map을 표현하여 어떤 pixel이 classification에 가장 큰 영향을 끼치는지 확인 Abstract 해당 논문에서는 image classification을 위한 convnet들의 시각화에 대해 조명한다. 이를 위해 input image에 대한 class score의 gradient를 계산하여 이를 기반으로 한 두가지 시각화 기법을 제안..

2023 Summer Session/CV Team 2 2023. 7. 23. 01:04

1. Introduction [ Region proposal method ] Fast R-CNN은 selective search를 이용하여 CPU에서 연산 -> Region Proposal method(RPN)을 제시하여 proposal 과정을 deep convolutional neural network로 전환 [ RPN ] 1. 여러 비율, 사이즈의 box에 유연한 대응 multi scaled image 각각에서 feature map 뽑아내기 -> 하나의 feature map에서 multiple filter size를 classifier에 넣기 -> anchor box 2. RPN과 Fast R-CNN 연결 region proposal과 object detection에서 convolutional fea..

2023 Summer Session/CV Team 2 2023. 7. 20. 18:37