들어가며
포스팅된 글은 아래에 첨부된 논문과 유튜브 영상을 바탕으로 공부를 한 내용입니다.
이외에도 구글링을 통해 다양한 글들을 참고하며 공부한 내용을 포스팅 한 것 입니다.
논문 제목: Image Style Transfer Using Convolutional Neural Networks (CVPR 2016)
논문 링크: https://rn-unison.github.io/articulos/style_transfer.pdf
Style Reconstruction과 Content Reconstruction 살펴보기
1. Style Reconstructions (왼쪽 글)
- 레이어 1개 > conv1_1
- 레이저 2개 > conv1_1, conv2_1
- 레이저 3개 > conv1_1, conv2_1, conv3_1
- 레이저 4개 > conv1_1, conv2_1, conv3_1, conv4_1
- 레이저 5개 > conv1_1, conv2_1, conv3_1, conv4_1, conv5_1
- 경우에 따라, 레이어 여러개 사용
- 왼쪽 글과 오른쪽 그림을 비교 했을 때, 레이어를 여러 개 사용할수록 이미지가 더 포화되는 것으로 보임
2. Style Reconstructions (오른쪽 그림)
- Convolutional Neural Network 에서 왼쪽일수록 채널의 수가 적으므로, 만들어지는 Gram matrix(=Style Reconstructions)가 작다.
- Convolutional Neural Network 에서 오른쪽일수록 채널의 수가 많아지므로, 만들어지는 Gram matrix(=Style Reconstructions)가 크다.
- Gram matrix(=Style Reconstructions)는 채널의 크기만큼 커진다.
3. Content Reconstructions (왼쪽 글)
- 특정 레이어 1개 사용
4. Content Reconstructions (오른쪽 글)
- Convolutional Neural Network 에서 왼쪽일수록 채널의 수가 적으므로, 이미지의 픽셀 정보가 보존된다.
- Convolutional Neural Network 에서 오른쪽일수록 채널의 수가 많아지므로, 이미지의 픽셀 정보가 손실된다.
- 채널의 수가 많아질수록(=레이어가 깊어질수록) 구체적인 픽셀의 정보가 손실된다.
5. 결론
- 채널의 수를 많아지게(레이어를 깊어지게) 만들면, Style 이미지는 포화되고 Content 이미지는 픽셀 값을 손실한다.
- 이때, 두 이미지를 합성하면 우리가 원하는 스타일 전이 이미지를 얻어낼 수 있다.
마치며
아 졸려
근데 누워도 잠 안오겠지
