심층 학습의 날 1

신경망 전체상

신경 네트워크는 입력층, 중간층과 출력층으로 구성되어 있다.

확인 테스트 P.5

심오하게 공부한 결과 무엇을 할 것인지 2행 이내로 서술할 계획이다.또한 다음 값의 최적화가 최종 목적이다.모두 선택.
응답①) 제공된 데이터로부터 스스로 특징량을 학습하고 학습 결과에 따라 예측과 분류 등의 임무를 수행한다.
응답②) 가중치 최적화[W]와 편압[b].

테스트 P.7 확인

다음 네트워크를 종이에 걸어라.입력 층: 2 노드 1 층, 중간 층: 65043; 3 노드 2 층, 출력 층: 1 노드 1 층

기계 학습 임무

귀환

연속 실수의 함수 근사값을 얻다
방법:
선형 회귀, 회귀목, 무작위 삼림, 신경 네트워크

분류하다

성별(남 또는 여), 동물 종류 등 이산 결과에 대한 예측 분석
방법:
논리 회귀, 결정 나무, 무작위 삼림, 신경 네트워크

섹션 1: 레이어에서 중간 레이어로 가져오기

확인 테스트 P13

이 도안에 동물 분류의 실례를 넣으세요.

확인 테스트 P15

파이톤으로 이 공식을 써라.

확인 테스트 P17

1-1 파일에서 중간 레이어 출력을 정의하는 원본 파일을 추출합니다.

영역 2: 함수 활성화

신경 네트워크에서 다음 층의 출력 크기를 결정하는 비선형 함수.
입력한 값에 따라 다음 층의 신호를 결정하는 ON/OFF 또는 강약 기능이 있습니다.

선형

다음 두 가지 조건을 충족시킬 때 함수는 선형이다.
가법성: 임의의 x에 대해 y f (x + y) = f (x) + f (y)
일차성: (작용의 교체 가능성): 임의의 x,α f(αx) = αf(x)

테스트 P.20 확인

그림으로 선형과 비선형의 차이를 간단하게 설명해 주세요.

활성화 함수

스텝 함수

신호 함수

ReLU 함수

활성화된 함수마다 도표

테스트 확인 P.27

섹션 3: 레이어 내보내기

임무는 분류된 경우 출력층은 분류하고 싶은 종류의 노드만 준비합니다.
예를 들어 개, 고양이, 쥐 3종으로 분류되면 출력층의 노드는 3개다.
출력층의 정확한 벡터는 $\boldsymbol{y}=(y{dog}, y{cat}, y{mouse})$로 표시됩니다.각 요소는 0 또는 1의 값을 가져옵니다.One-hot 표현이라고 하죠.(1,0,0)$의 경우 정답은'개'입니다.
신경 네트워크의 정해 벡터와 추정 벡터를 줄이기 위해 권중과 편압 값을 최적화합니다. $\boldsymbol {\hat {y}의 오차를 줄입니다.
정해 벡터와 추측 벡터의 오차를 나타내는 함수를 오차 함수라고 한다.
오차 함수의 대표성은 제곱과 평균 오차와 교차 엔트로피 오차가 있다.

제곱과 평균 오차

$E=\frac{1}{2}\sum_{j} (y_j -\hat{y}_j)^2$

교차 엔트로피 오차

$E=-\sum_j y_j\log\hat{y}_j$

확인 테스트 P.38

왜 마이너스가 아니라 제곱입니까
➡만약 제곱하지 않으면 각 요소 간의 합이 0이 되면 오차를 나타낼 수 없을 것이다
• 제곱과 평균 오차의 1/2을 서술하는 것이 무슨 의미가 있는가
➡별다른 의미는 없다.미분 제곱과 평균 오차를 줄일 때 1/2과 상쇄식을 간소화한다.
문제를 분류하는 경우 출력층의 출력은 0~1의 범위로 제한되며, 총계를 1로 설정하기 위해 소프트 최대치 함수를 사용한다.
출력층에 주로 사용되는 활성화 함수는 다음과 같다.

확인 테스트 P.45

공식의 원본 코드를 표시하고 처리를 한 줄씩 설명합니다.

확인 테스트 P.47

공식의 원본 코드를 표시하고 처리를 한 줄씩 설명합니다.

제4절: 계단식 하강법

사다리꼴 하강 방법을 통해 오차가 가장 적은 권중과 편압을 발견하다.
오차 함수의 미분값은 학습률을 곱하고 가중 편차를 여러 번 업데이트합니다.
학습률이 높을수록 빨리 끝낼 수 있지만 학습률이 너무 높으면 발산되어 최소치에 도달할 수 없다.
한편, 학습률이 낮으면 끝날 때까지 시간이 걸린다.

테스트 P.50 확인

맞는 코드를 찾아보세요.

계단을 내려가는 방법은 다음과 같은 두 가지가 있다.
사다리꼴 하강법
・소량 계단 하강법
확률 경도 하강법

확률 계단 하강법의 장점
• 데이터가 지루한 경우 컴퓨팅 비용 절감
• 기대하지 않는 부분적인 극소해로 수렴될 위험 감소
• 온라인 학습 가능
온라인 학습 참고 사이트
소량 계단 하강법의 장점
• 확률 계단하강법의 장점을 손상시키지 않고 컴퓨터의 계산 자원을 효과적으로 활용
• CPU를 이용한 스레드 병렬화 및 GPU를 이용한 SIMD 병렬화