AI/Deep Learning (12) 썸네일형 리스트형 Federated Learning simulation with a single process 0. 연합학습이란 왼쪽 그림의 Cloud-based Machine Learning은 기존의 전통적인 머신러닝 학습 방식입니다. 이러한 학습 방식은 클라이언트가 가지고 있는 데이터를 중앙서버로 전달하여, 모델을 학습시킵니다. 이후 학습된 모델을 클라이언트에게 재배포하는 프로세스입니다. 하지만 연합학습은 기존의 전통적인 머신러닝 다르게 모델을 학습시킵니다. 연합학습은 클라이언트 내에서 유저의 데이터를 기반으로 학습한 후, 학습된 모델의 파라미터를 중앙 서버로 전달합니다. 전달된 파라미터를 기반으로 모델을 업데이트합니다. 이후, 업데이트된 모델은 클라이언트에게 재배포됩니다. 위는 연합학습의 FedAvg 알고리즘 pseudo code 입니다. 간단히 요약하면 다음과 같습니다. 1. 서버는 메인 모델을 준비합니다.. 연합 학습 알고리즘 및 프로세스 이해 0. 들어가며 아래 강좌에서 4강 연합 학습 이해를 수강하고, 필요한 내용에 대해 정리한 글 입니다. https://www.laidd.org/course/view.php?id=62#section-0 LAIDD(Lectures on AI-driven Drug Discovery) www.laidd.org 1. 연합 학습 알고리즘 1-1) 강의 자료 1-2) 이해한 내용을 바탕으로 한 정리와 예시 2. 연합 학습 프로세스 2-1) 강의 자료 2-2) 이해한 내용 바탕으로 그려본 프로세스 끝 Multi-Layer Perceptron, MLP 1. Perceptron 딥러닝에서는 여러 개의 입력을 받아 한 개의 출력을 내는 퍼셉트론 사용 이전 층의 정보를 사용해 새로운 층의 정보 생성 이때 입력 값에 weight 를 주며, bias를 통해 underfitting 또는 overfitting 을 방지 이전의 층에서 예측된 값은 activate function을 통해 값이 변환됨 2. Multi-Layer Perceptron, MLP 퍼셉트론으로 이루어진 층 여러 개를 순차적으로 붙여놓은 형태가 다층 퍼셉트론(MLP) 즉 여러 개의 퍼셉트론 뉴런을 여러 층으로 쌓은 다층신경망 구조 MLP는 정방향 인공신경망 (역전파 하지 않음) MLP의 구조는 입력층, 은닉층, 출력층의 전방향 신경망 위 MLP는 입력 4개, 은닉층의 유닛 5개, 출력 3개를 가지.. 3. Style Transfer 실습 | Image Style Transfer Using Convolutional Neural Networks (CVPR 2016) 들어가며 포스팅된 글은 아래에 첨부된 논문과 유튜브 영상을 바탕으로 공부를 한 내용입니다. 이외에도 구글링을 통해 다양한 글들을 참고하며 공부한 내용을 포스팅 한 것 입니다. 또한 본 프로젝트는 클론코딩을 기반으로 공부한 것 입니다. 더보기 논문 제목: Image Style Transfer Using Convolutional Neural Networks (CVPR 2016) 논문 링크: https://rn-unison.github.io/articulos/style_transfer.pdf 유튜브 링크: https://www.youtube.com/watch?v=va3e2c4uKJk 이전 프로젝트 과정 2021.11.11 - [Output/Computer Vision] - 2. Style&Content Rec.. 2. Style&Content Reconstruction 실습 | Image Style Transfer Using Convolutional Neural Networks (CVPR 2016) 들어가며 포스팅된 글은 아래에 첨부된 논문과 유튜브 영상을 바탕으로 공부를 한 내용입니다. 이외에도 구글링을 통해 다양한 글들을 참고하며 공부한 내용을 포스팅 한 것 입니다. 또한 본 프로젝트는 클론코딩을 기반으로 공부한 것 입니다. 더보기 논문 제목: Image Style Transfer Using Convolutional Neural Networks (CVPR 2016) 논문 링크: https://rn-unison.github.io/articulos/style_transfer.pdf 유튜브 링크: https://www.youtube.com/watch?v=va3e2c4uKJk 이전 프로젝트 과정 2021.11.11 - [Output/Computer Vision] - 1. Image Reconstruct.. 1. Image Reconstruction 실습 | Image Style Transfer Using Convolutional Neural Networks (CVPR 2016) 들어가며 포스팅된 글은 아래에 첨부된 논문과 유튜브 영상을 바탕으로 공부를 한 내용입니다. 이외에도 구글링을 통해 다양한 글들을 참고하며 공부한 내용을 포스팅 한 것 입니다. 또한 본 프로젝트는 클론코딩을 기반으로 공부한 것 입니다. 더보기 논문 제목: Image Style Transfer Using Convolutional Neural Networks (CVPR 2016) 논문 링크: https://rn-unison.github.io/articulos/style_transfer.pdf 유튜브 링크: https://www.youtube.com/watch?v=va3e2c4uKJk 프로젝트 과정 실습에 필요한 라이브러리 불러오기 및 환경 설정¶ In [1]: # 필요한 PyTorch 라이브러리 불러오기 im.. Style Transfer 알고리즘 | Image Style Transfer Using Convolutional Neural Networks (CVPR 2016) 들어가며 포스팅된 글은 아래에 첨부된 논문과 유튜브 영상을 바탕으로 공부를 한 내용입니다. 이외에도 구글링을 통해 다양한 글들을 참고하며 공부한 내용을 포스팅 한 것 입니다. 더보기 논문 제목: Image Style Transfer Using Convolutional Neural Networks (CVPR 2016) 논문 링크: https://rn-unison.github.io/articulos/style_transfer.pdf 유튜브 링크: https://www.youtube.com/watch?v=va3e2c4uKJk Style Transfer 알고리즘 1. 스타일 손실 (Style Loss) - 스타일 이미지 a 로 Gram matrix A 생성 - 노이즈 이미지 x 로 Gram matrix G 생성.. Style Reconstruction과 Content Reconstruction | Image Style Transfer Using Convolutional Neural Networks (CVPR 2016) 들어가며 포스팅된 글은 아래에 첨부된 논문과 유튜브 영상을 바탕으로 공부를 한 내용입니다. 이외에도 구글링을 통해 다양한 글들을 참고하며 공부한 내용을 포스팅 한 것 입니다. 더보기 논문 제목: Image Style Transfer Using Convolutional Neural Networks (CVPR 2016) 논문 링크: https://rn-unison.github.io/articulos/style_transfer.pdf 유튜브 링크: https://www.youtube.com/watch?v=va3e2c4uKJk Style Reconstruction과 Content Reconstruction 살펴보기 1. Style Reconstructions (왼쪽 글) - 레이어 1개 > conv1_1 - 레.. 스타일 손실(Style Loss) | Image Style Transfer Using Convolutional Neural Networks (CVPR 2016) 들어가며 포스팅된 글은 아래에 첨부된 논문과 유튜브 영상을 바탕으로 공부를 한 내용입니다. 이외에도 구글링을 통해 다양한 글들을 참고하며 공부한 내용을 포스팅 한 것 입니다. 더보기 논문 제목: Image Style Transfer Using Convolutional Neural Networks (CVPR 2016) 논문 링크: https://rn-unison.github.io/articulos/style_transfer.pdf 유튜브 링크: https://www.youtube.com/watch?v=va3e2c4uKJk 스타일 손실(Style Loss) 1. 스타일(Style) - 스타일(Style) 은 서로 다른 특징(feature)간의 상관관계(correlation)를 의미 - 스타일 값이 크다는 것.. 콘텐츠 손실(Content Loss) | Image Style Transfer Using Convolutional Neural Networks (CVPR 2016) 들어가며 포스팅된 글은 아래에 첨부된 논문과 유튜브 영상을 바탕으로 공부를 한 내용입니다. 이외에도 구글링을 통해 다양한 글들을 참고하며 공부한 내용을 포스팅 한 것 입니다. 더보기 논문 제목: Image Style Transfer Using Convolutional Neural Networks (CVPR 2016) 논문 링크: https://rn-unison.github.io/articulos/style_transfer.pdf 유튜브 링크: https://www.youtube.com/watch?v=va3e2c4uKJk 콘텐츠 손실 (Content Loss) 손실(loss) 함수는 크게 두 가지로 나누어진다. 하나는 콘텐츠 손실(content loss)이고, 나머지 하나는 스타일 손실(style loss.. CNN(Convolutional Neural Network) 구조, 합성곱(Convolution), 필터(Filter), 채널(Channel), 특징 맵(Feature Map) 들어가며 포스팅된 글은 아래에 첨부된 논문과 유튜브 영상을 바탕으로 공부를 한 내용입니다. 이외에도 구글링을 통해 다양한 글들을 참고하며 공부한 내용을 포스팅 한 것 입니다. 더보기 논문 제목: Image Style Transfer Using Convolutional Neural Networks (CVPR 2016) 논문 링크: https://rn-unison.github.io/articulos/style_transfer.pdf 유튜브 링크: https://www.youtube.com/watch?v=va3e2c4uKJk 유튜브 설명 유튜브 영상에서 CNN 모델에 대해서 설명해줬는데 Channel 의 수와 그 크기는 서로 반비례 관계라고 한다. Channel 의 수가 많아지면 많아질수록 Channel 의 .. Basic theory | Image Style Transfer Using Convolutional Neural Networks (CVPR 2016) 들어가며 포스팅된 글은 아래에 첨부된 논문과 유튜브 영상을 바탕으로 공부를 한 내용입니다. 이외에도 구글링을 통해 다양한 글들을 참고하며 공부한 내용을 포스팅 한 것 입니다. 더보기 논문 제목: Image Style Transfer Using Convolutional Neural Networks (CVPR 2016) 논문 링크: https://rn-unison.github.io/articulos/style_transfer.pdf 유튜브 링크: https://www.youtube.com/watch?v=va3e2c4uKJk Basic theory 1_Image Style Transfer 소개 Content 라 명시된 풍경 사진과 Style 이라 명시된 예술 작품 이미지를 통해 새로운 이미지를 얻어내는 것이 .. 이전 1 다음
