AI3 <Generative Deep Learning> Ch.2 딥러닝 학습 목차 --------------------------------------- 정형 데이터와 비정형 데이터 심층 신경망 첫 번째 심층 신경망 모델 성능 향상 딥러닝은 머신러닝 알고리즘의 한 종류다. 데이터 처리 유닛의 층을 여러 개 쌓아 구조적이지 않는 데이터로부터 고수준 표현을 학습한다. 정형 데이터와 비정형 데이터 정형 데이터: 각 샘플을 설명하는 특성이 열로 표현되는 데이터 ex) 어떤 사람의 나이, 소득, 지난달 웹사이트 방문 횟수 → 다음 달 특정 서비스 구독 예측 로지스틱 회귀, 랜덤 포레스트, XGBoost 모델을 이용하여 이진 응답 변수(binary response variable)를 예측 비정형 데이터: 태생적으로 특성의 열로 구성할 수 없는 데이터 ex) 이미지, 소리, 텍스트 → .. 2021. 10. 18. <GAN 첫걸음> PART 3/chapter 9 합성곱 GAN 우리는 기존의 CelebA GAN과 MNIST GAN을 완전 연결 신경망으로 배웠습니다. 이거들은 2가지 문제를 가집니다. 이미지가 약간 불명확하게 보입니다. 부드럽게 이어져 있어야 할 공간들이 고대비 픽셀로 채워져 있습니다. 완전 연결 신경망은 꽤 많은 메모리를 사용합니다. 큰 이미지는 훈련 시에 GPU의 한계를 직면할 수 있습니다. 메모리 소비 # 텐서에 할당된 메모리 사용량 확인 torch.cuda.memory_allocated(device) / (1024*1024*1024) output(완전 연결 신경망): 0.6999893188476562 output(CNN): 0.2078557014465332 # 실행 중 최대 메모리 사용량 확인(기가바이트 단위) torch.cuda.max_memory_all.. 2021. 8. 6. <GAN 첫걸음> PART 1-3 성능 향상 기법 이 블로그 글은 책 을 보고 작성된 글입니다. 손실 함수 1-1) MSE(평균제곱오차법): 회귀 문제에 어울리는 함수 self.loss_function = nn.MSELoss() 1-2) BCE(이진 교차 엔트로피): 분류 문제에 어울리는 함수/ why? 확실하게 틀리면 특히 큰 페널티 적용 self.loss_function = nn.BCELoss() 활성화 함수 2-1) 시그모이드(로지스틱 함수): nn.Sigmoid() 2-2) ReLU: nn.ReLU() 2-3) LeakyReLU: nn.LeakyReLU(0.02) 옵티마이저 3-1) 확률적 경사 하강법 self.optimiser = torch.optim.SGD(self.parameters(), lr=0.01) 3-2) Adam: 관성을.. 2021. 7. 23. 이전 1 다음
