부스트캠프 [BoostCamp AI] Generalization & Data Generation 정리 Bias & Variance 학습 진행이 얼마 안한경우 : High Bias → Underfitting 데이터를 너무 고려하지 않은 경우(데이터가 적은 경우에 생긴다) 학습 진행이 너무 된 경우 : High Variance → Overfitting 노이즈까지 학습이 된 경우 Train/Validation 훈련 셋 중 일정 부분을 따로 분리, 검증 셋으로 활용 학습은 train set에 fit... 부스트캠프부스트캠프 [Week 3-1] 💡딥 러닝 기초 딥 러닝 기본 용어 딥 러닝의 역사 📝[딥 러닝 기본 용어] 딥 러닝에 필요한 것은? 손실 함수 회귀 문제 : MSE (Mean Square Error) 분류 문제 : CE (Crossentropy Error) 확률론 문제 : MLE (Maximum Likelyhood Error) 손실 함수는 우리가 이루고자 하는 목적이 아니다 손실 함수는 목표라기보다는 척도이자 근사치다. 문제에 따라 전형... 부스트캠프딥러닝딥러닝 [부스트캠프 AI-Tech] Day 7 torch.nn.Module 딥러닝을 구성하는 Layer의 base class input, output, forward, backward 정의 학습의 대상이 되는 parameter(tensor) 정의 nn.Parameter Tensor 객체의 상속 객체 nn.Module 내에 attribute가 될 때는 required_grad=True로 지정되어 학습 대상이 되는 Tensor 직접 쓸일은 ... 부스트캠프2주차PyTorch2주차 [부스트캠프 AI-Tech] Day 9 Model parallel 다중 GPU에 학습을 분산하는 두가지 방법 (모델 나누기, 데이터 나누기) 모델의 병목, 파이프라인의 어려움 등으로 인해 모델 병렬화는 고난이도 과제 Data parallel 데이터를 나눠 GPU에 할당후 결과의 평균을 취하는 방법 minibatch 수식과 유사한데 한번에 여러 GPU에서 수행 DataParallel: 단순히 데이터를 분배한 후 평균을 취함 (GPU... 부스트캠프2주차PyTorch2주차 [부스트캠프 AI-Tech] Day 10 라이브러리의 모든 세부 정보가 담겨있는 곳으로 Custom 모델을 만들 때 꼭 필요한 정보들이 다 있다! nn Linear Layers nn.Linear: linear transformation 수행 nn.LazyLinear: 출력 크기만 지정, 입력 크기는 첫 forward 진행시 자동으로 확인하여 지정 nn.Identity: 입력과 출력이 동일하게 나옴 nn.Module nn.Sequen... 2주차부스트캠프PyTorch2주차 [부스트캠프 AI-Tech] Day 17 model.forward(x_torch) = model(x_torch) model.train() : 학습 모드로 변경 optm_sgd = optim.SGD(model.parameters(), lr=LEARNING_RATE) : SGD 사용 optm_momentum = optim.SGD(model.parameters(), lr=LEARNING_RATE, momentum=0.9) : 모멘텀 사용... 부스트캠프과제DL Basic4주차4주차 [Week 6-3] 🔥특강 3일차 6주차 목요일 릿코드 챌린지 [LeetCode 268. Missing Number] 0~n까지의 수 중 n개가 들어있는 리스트에서 빠진 수 찾기 접근 이거야말로 set을 써먹을 문제다! 범위를 알고 있으니까 set(1~n)과 nums의 차집합을 구하면 끝~ 코드... 부스트캠프알고리즘부스트캠프 [Week 6-1] 🔥특강 1일차 6주차 화요일 개인 공부 오랜만에 알고리즘 문제 풀기~ [LeetCode 1380. Lucky Numbers in a Matrix] 원소의 중복이 없는 m x n 행렬이 주어질 때 행렬에 존재하는 모든 Lucky number 를 반환하기 Lucky number : 자신이 속한 행에서는 최소값이며 자신이 속한 열에서는 최대값이 되는 원소 접근 각 행에서 최소값을 찾아서 최소값이 속한 열의 최대... 부스트캠프알고리즘부스트캠프 [부스트캠프] 1주차 학습정리 numpy에선 np.inner(x,y)를 통해 내적을 구할 수 있다. ∥x∥_2∥y∥_2\ cosθ= <x,y> ∥x∥2 ∥y∥2 cosθ=<x,y> 행벡터 사이의 계산을 하기 때문에, 두 행벡터의 크기가 같아야지 계산할 수 있음. numpy에서는 np.linalg.inv(X)를 통해 역행렬을 구할 수 있다. numpy에서는 np.linalg.pinv(X)를 통해 유사역행렬을 구할 수 ... 부스트캠프학습정리부스트캠프 [부스트캠프 AI Tech] U-stage. 2-3 y=f(\textbf{x})=\beta_0+\beta_1x_1+\dots+\beta_px_p =\beta^T\textbf{x}, y)의 차이, 즉 최소제곱법(Least Squared Method)를 이용하여 잔차(Residual)의 합이 최소가 되도록 한다. \sum residual^2 =\sum_i(y_i-f(x_i,\beta))^2 y=\beta_0+\beta_1x \\ y=β0 +β1 ... 부스트캠프부스트캠프
[BoostCamp AI] Generalization & Data Generation 정리 Bias & Variance 학습 진행이 얼마 안한경우 : High Bias → Underfitting 데이터를 너무 고려하지 않은 경우(데이터가 적은 경우에 생긴다) 학습 진행이 너무 된 경우 : High Variance → Overfitting 노이즈까지 학습이 된 경우 Train/Validation 훈련 셋 중 일정 부분을 따로 분리, 검증 셋으로 활용 학습은 train set에 fit... 부스트캠프부스트캠프 [Week 3-1] 💡딥 러닝 기초 딥 러닝 기본 용어 딥 러닝의 역사 📝[딥 러닝 기본 용어] 딥 러닝에 필요한 것은? 손실 함수 회귀 문제 : MSE (Mean Square Error) 분류 문제 : CE (Crossentropy Error) 확률론 문제 : MLE (Maximum Likelyhood Error) 손실 함수는 우리가 이루고자 하는 목적이 아니다 손실 함수는 목표라기보다는 척도이자 근사치다. 문제에 따라 전형... 부스트캠프딥러닝딥러닝 [부스트캠프 AI-Tech] Day 7 torch.nn.Module 딥러닝을 구성하는 Layer의 base class input, output, forward, backward 정의 학습의 대상이 되는 parameter(tensor) 정의 nn.Parameter Tensor 객체의 상속 객체 nn.Module 내에 attribute가 될 때는 required_grad=True로 지정되어 학습 대상이 되는 Tensor 직접 쓸일은 ... 부스트캠프2주차PyTorch2주차 [부스트캠프 AI-Tech] Day 9 Model parallel 다중 GPU에 학습을 분산하는 두가지 방법 (모델 나누기, 데이터 나누기) 모델의 병목, 파이프라인의 어려움 등으로 인해 모델 병렬화는 고난이도 과제 Data parallel 데이터를 나눠 GPU에 할당후 결과의 평균을 취하는 방법 minibatch 수식과 유사한데 한번에 여러 GPU에서 수행 DataParallel: 단순히 데이터를 분배한 후 평균을 취함 (GPU... 부스트캠프2주차PyTorch2주차 [부스트캠프 AI-Tech] Day 10 라이브러리의 모든 세부 정보가 담겨있는 곳으로 Custom 모델을 만들 때 꼭 필요한 정보들이 다 있다! nn Linear Layers nn.Linear: linear transformation 수행 nn.LazyLinear: 출력 크기만 지정, 입력 크기는 첫 forward 진행시 자동으로 확인하여 지정 nn.Identity: 입력과 출력이 동일하게 나옴 nn.Module nn.Sequen... 2주차부스트캠프PyTorch2주차 [부스트캠프 AI-Tech] Day 17 model.forward(x_torch) = model(x_torch) model.train() : 학습 모드로 변경 optm_sgd = optim.SGD(model.parameters(), lr=LEARNING_RATE) : SGD 사용 optm_momentum = optim.SGD(model.parameters(), lr=LEARNING_RATE, momentum=0.9) : 모멘텀 사용... 부스트캠프과제DL Basic4주차4주차 [Week 6-3] 🔥특강 3일차 6주차 목요일 릿코드 챌린지 [LeetCode 268. Missing Number] 0~n까지의 수 중 n개가 들어있는 리스트에서 빠진 수 찾기 접근 이거야말로 set을 써먹을 문제다! 범위를 알고 있으니까 set(1~n)과 nums의 차집합을 구하면 끝~ 코드... 부스트캠프알고리즘부스트캠프 [Week 6-1] 🔥특강 1일차 6주차 화요일 개인 공부 오랜만에 알고리즘 문제 풀기~ [LeetCode 1380. Lucky Numbers in a Matrix] 원소의 중복이 없는 m x n 행렬이 주어질 때 행렬에 존재하는 모든 Lucky number 를 반환하기 Lucky number : 자신이 속한 행에서는 최소값이며 자신이 속한 열에서는 최대값이 되는 원소 접근 각 행에서 최소값을 찾아서 최소값이 속한 열의 최대... 부스트캠프알고리즘부스트캠프 [부스트캠프] 1주차 학습정리 numpy에선 np.inner(x,y)를 통해 내적을 구할 수 있다. ∥x∥_2∥y∥_2\ cosθ= <x,y> ∥x∥2 ∥y∥2 cosθ=<x,y> 행벡터 사이의 계산을 하기 때문에, 두 행벡터의 크기가 같아야지 계산할 수 있음. numpy에서는 np.linalg.inv(X)를 통해 역행렬을 구할 수 있다. numpy에서는 np.linalg.pinv(X)를 통해 유사역행렬을 구할 수 ... 부스트캠프학습정리부스트캠프 [부스트캠프 AI Tech] U-stage. 2-3 y=f(\textbf{x})=\beta_0+\beta_1x_1+\dots+\beta_px_p =\beta^T\textbf{x}, y)의 차이, 즉 최소제곱법(Least Squared Method)를 이용하여 잔차(Residual)의 합이 최소가 되도록 한다. \sum residual^2 =\sum_i(y_i-f(x_i,\beta))^2 y=\beta_0+\beta_1x \\ y=β0 +β1 ... 부스트캠프부스트캠프