부스트캠프 [BoostCamp AI] Generalization & Data Generation 정리 Bias & Variance 학습 진행이 얼마 안한경우 : High Bias → Underfitting 데이터를 너무 고려하지 않은 경우(데이터가 적은 경우에 생긴다) 학습 진행이 너무 된 경우 : High Variance → Overfitting 노이즈까지 학습이 된 경우 Train/Validation 훈련 셋 중 일정 부분을 따로 분리, 검증 셋으로 활용 학습은 train set에 fit... 부스트캠프부스트캠프 [부스트캠프 AI-Tech] Day 7 torch.nn.Module 딥러닝을 구성하는 Layer의 base class input, output, forward, backward 정의 학습의 대상이 되는 parameter(tensor) 정의 nn.Parameter Tensor 객체의 상속 객체 nn.Module 내에 attribute가 될 때는 required_grad=True로 지정되어 학습 대상이 되는 Tensor 직접 쓸일은 ... 부스트캠프2주차PyTorch2주차 [부스트캠프 AI-Tech] Day 9 Model parallel 다중 GPU에 학습을 분산하는 두가지 방법 (모델 나누기, 데이터 나누기) 모델의 병목, 파이프라인의 어려움 등으로 인해 모델 병렬화는 고난이도 과제 Data parallel 데이터를 나눠 GPU에 할당후 결과의 평균을 취하는 방법 minibatch 수식과 유사한데 한번에 여러 GPU에서 수행 DataParallel: 단순히 데이터를 분배한 후 평균을 취함 (GPU... 부스트캠프2주차PyTorch2주차 [부스트캠프 AI-Tech] Day 10 라이브러리의 모든 세부 정보가 담겨있는 곳으로 Custom 모델을 만들 때 꼭 필요한 정보들이 다 있다! nn Linear Layers nn.Linear: linear transformation 수행 nn.LazyLinear: 출력 크기만 지정, 입력 크기는 첫 forward 진행시 자동으로 확인하여 지정 nn.Identity: 입력과 출력이 동일하게 나옴 nn.Module nn.Sequen... 2주차부스트캠프PyTorch2주차 Dilation Convolution Conv2d <-> ConvTranspose2d 역연산 개념으로 이해하면 쉽지만 실제로 역연산은 아니다. 이라고 할 때 위의 input과 아래의 input은 다르기 때문이다. 하지만 padding, stride, dilation와 같은 parameter에 따라 달라지는 연산의 개념은 같으므로 두 함수를 비교하며 확인하면 조금 더 수월하게 이해할 수 있다. parameter에 따라 달라지는 모... 부스트캠프week11week11 CV 6-2강) AutoGrad Saliency map을 구하기 위해서 필요한 기본적인 구현 디테일을 익힘 Autograd: Automatic gradient API 행렬 연산 뿐만 아니라 Forward, backward pass 계산을 가능하게 해줌 Computational graph라는 구조를 이용해 automatic differentiation를 편하게 구현할 수 있도록 만듬 Computational graph: L의... CV부스트캠프CV
[BoostCamp AI] Generalization & Data Generation 정리 Bias & Variance 학습 진행이 얼마 안한경우 : High Bias → Underfitting 데이터를 너무 고려하지 않은 경우(데이터가 적은 경우에 생긴다) 학습 진행이 너무 된 경우 : High Variance → Overfitting 노이즈까지 학습이 된 경우 Train/Validation 훈련 셋 중 일정 부분을 따로 분리, 검증 셋으로 활용 학습은 train set에 fit... 부스트캠프부스트캠프 [부스트캠프 AI-Tech] Day 7 torch.nn.Module 딥러닝을 구성하는 Layer의 base class input, output, forward, backward 정의 학습의 대상이 되는 parameter(tensor) 정의 nn.Parameter Tensor 객체의 상속 객체 nn.Module 내에 attribute가 될 때는 required_grad=True로 지정되어 학습 대상이 되는 Tensor 직접 쓸일은 ... 부스트캠프2주차PyTorch2주차 [부스트캠프 AI-Tech] Day 9 Model parallel 다중 GPU에 학습을 분산하는 두가지 방법 (모델 나누기, 데이터 나누기) 모델의 병목, 파이프라인의 어려움 등으로 인해 모델 병렬화는 고난이도 과제 Data parallel 데이터를 나눠 GPU에 할당후 결과의 평균을 취하는 방법 minibatch 수식과 유사한데 한번에 여러 GPU에서 수행 DataParallel: 단순히 데이터를 분배한 후 평균을 취함 (GPU... 부스트캠프2주차PyTorch2주차 [부스트캠프 AI-Tech] Day 10 라이브러리의 모든 세부 정보가 담겨있는 곳으로 Custom 모델을 만들 때 꼭 필요한 정보들이 다 있다! nn Linear Layers nn.Linear: linear transformation 수행 nn.LazyLinear: 출력 크기만 지정, 입력 크기는 첫 forward 진행시 자동으로 확인하여 지정 nn.Identity: 입력과 출력이 동일하게 나옴 nn.Module nn.Sequen... 2주차부스트캠프PyTorch2주차 Dilation Convolution Conv2d <-> ConvTranspose2d 역연산 개념으로 이해하면 쉽지만 실제로 역연산은 아니다. 이라고 할 때 위의 input과 아래의 input은 다르기 때문이다. 하지만 padding, stride, dilation와 같은 parameter에 따라 달라지는 연산의 개념은 같으므로 두 함수를 비교하며 확인하면 조금 더 수월하게 이해할 수 있다. parameter에 따라 달라지는 모... 부스트캠프week11week11 CV 6-2강) AutoGrad Saliency map을 구하기 위해서 필요한 기본적인 구현 디테일을 익힘 Autograd: Automatic gradient API 행렬 연산 뿐만 아니라 Forward, backward pass 계산을 가능하게 해줌 Computational graph라는 구조를 이용해 automatic differentiation를 편하게 구현할 수 있도록 만듬 Computational graph: L의... CV부스트캠프CV