[MCC법 시리즈 중 하나] MCC법의 개요와 메트로폴리탄법

안녕하세요.기술 향상 AI 편집부입니다.
이번에는 마르코프 체인 몬테카로(Markov Chain Monte Carlo:MC)법에 대해 논의하고 싶다.기계 학습의 중요성이 날로 커지고 있기 때문에 틀림없이 많은 사람들이 이런 수법의 이름을 들어 본 적이 있을 것이다.MCMC법은 무작위 수를 사용해 확률 분포를 근사하게 계산하는 방법으로 많은 장소에서 사용된다.
본고는 MCMC법의 기초 내용을 정리한 후에 MCMC법의 기법 중 하나인 메트로폴리탄법을 직관적으로 이해하는 설명을 할 것이다.
1. MCMC법의 개요
2. 몬테카로법
3. 마르코프 체인
4. MCMC 방법의 한 예: 메트로폴리탄법
5. 요약
6. 참고 문헌
1. MCMC법의 개요
통계 분석에서 파라미터의 후분포를 추측할 때 MCMC법을 자주 사용한다.후 분포는 다음과 같은 베이스 공식이 표시하는 확률 분포이다.

그렇지만θ 는 매개변수이고 D는 데이터를 나타냅니다.이 계산에서 오른쪽의 분모처럼 매개 변수의 적분 계산이 필요하지만 때로는 적분 계산 자체가 매우 어렵다.따라서 이 계산을 진행할 때 MCMC법은 매우 효과적인 방법이다.
MCMC법은'마르코프 프랜차이즈'와'몬테카로파'라는 두 개념의 조합어다.그래서 나는'마르코프 연쇄'와'몬테카로파'를 분리해서 설명하고 싶다.
2. 몬테카로법
몬테카로 방법은'랜덤수로 근사한 계산을 하는 방법'이다.유명한 예로 몬테카로법을 이용하여 원주율을 근사하게 계산하는 방법을 들 수 있다.내가 이 방법을 설명할게.
먼저 그림1에서 보듯이 가장자리 길이가 2인 정사각형에서 반경이 1인 원을 고려하고 이 정사각형에서 무작위로 점을 찍는다.

그림1: 정사각형 안에서 무작위로 점을 찍고 몬테카로법으로 원주율을 구한다.
기본적인 생각은 원의 영역에 들어간 점의 개수와 영역의 면적이 비례한다는 것이다.즉

내 생각엔그러나 X는 원 안의 점의 개수이고 N은 점의 총수이다.그리고 오른쪽은 면적비입니다.조금만 더 확률적인 관점으로 설명하면 1분이 원 안에 들어갈 확률은 (원의 면적)/(정사각형의 면적)로 고려할 수 있다.이 확률은...

.그리고'대다수의 법칙'에 따라 원 안에 들어가는 비율 X/N은 점수가 증가함에 따라π/4로 수렴된다.
그림2는 N(타점의 총수)이 증가한 결과를 나타낸다. 점의 개수가 증가할수록 3.14에 가깝다는 것을 알 수 있다.

그림2: 몬테카로 방법의 무작위 득점 결과와 원주율의 결과
점수 N이 많을수록 3.14에 가깝다.그러나 적선은 반경 1의 원을 나타내고 녹색은 무작위로 치는 점을 나타낸다.
3. 마르코프 체인
마르코프 프랜차이즈는 "미래 상태는 현재 상태로만 결정되며 과거 정보는 영향을 받지 않는다"고 밝혔다.
마르코프의 연쇄는 다음과 같다는 것을 공식으로 나타낸다.

간단하게 말하면 어느 순간 t+1의 상태 Xt+1은 그 전의 상태 Xt에 따라 결정되며 Xt 이전의 상태에 영향을 주지 않는다.예를 들어 날씨 통계 모델을 고려할 때 어느 날의 날씨를 결정하는 것은 전날의 날씨뿐이고 이틀 전의 날씨 영향을 무시한다.
이 가설을 도입함으로써 고려해야 할 변수를 줄여 모델을 더욱 쉽게 조립할 수 있다.또 이 공식을'이동 확률'이라고도 부른다.
4. MCMC 방법의 한 예: 메트로폴리탄법
지금까지 설명한'몬테카로파'와'마르코프 프랜차이즈'의 조합이 바로'마르코프 프랜차이즈 몬테카로(MCMC)법'이다.이전 상태만 고려해 무작위 수를 사용해 근사 계산을 하는 방법으로 이해할 수 있다는 것이다.
이 MCMC법의 구체적인 알고리즘 예로'메트로폴리탄법'을 소개한다.이 수법은 MCMC법에서 가장 기본적인 방법이다.어떤 확률 밀도 함수 f(x)에 대해 다음 절차에 따라 f(x)의 점열을 계산한다.

초기값θ결정(t=0).

다음 사이트 후보θ무작위 샘플링(a).

f(θ(t)) ＜ f(θ(a))) 시 매개변수 업데이트(θ(t+1) ＝ θ(a)).
f(θ(t)) ＞ f(θ(a))) 시 다음과 같은 규칙에 따라 a.

이 방법은 등산에 비유할 수 있다.산을 확률 밀도 함수 f(x)로 하는 상황에서 등산객들이 산꼭대기를 향해 힘껏 등반하고 산꼭대기 부근에서 최대한 머무르는 것을 상상할 수 있다.

그림3: 메트로폴리탄법의 샘플링 설명도
확률 밀도 함수가 높은 위치에서 가능한 한 길게 하면 샘플링 확률이 높은 부분에 중점을 둘 수 있다.
5. 요약
본고는 MCMC법의 기본 개념을 정리하고 기본 기법 중 하나인 메트로폴리탄법을 소개한다.MCMC법의 대략적인 계산 절차는 다음과 같다.
MCMC법 절차의 대략적인 절차

매개변수θ, 초기 값θ(t=0).

하나의 규칙에 따라 파라미터의 후보값θ얻다

현재 매개변수를 업데이트할 지 여부(θ(t+1) ＝ θ(a)) 또는 업데이트하지 않음(θ(t+1) ＝ θ(t)).

일정 횟수의 2와 3의 조작을 반복한다.

이 2와 3부에 따라 다양한 방법이 제시됐다.
이번에는 메트로폴리스법만 소개했고, 다음 기사에서는 해밀토니안 몬테칼로(Hamiltonian Monte Carlo:HMC)법이라는 더 고급스러운 수법을 소개한다.
6. 참고 문헌
[1] 학습 Times: 고등학교 수학 미물어 몬테카로법과 원주율 근사 계산, (2021년)
[2] 도요타 히데키: 기초부터 시작된 베이스 통계학 해밀톤 몬테칼로법의 실천적 입문, 조창서점(2015년)
[3] 용정양행, 용정정미: 배울 수 있는 베스통계학, 기술평론사(2016년)
☆☆☆
기술 향상 AI의 메일 매거진에는 회사의 알림과 강의 관련 할인 정보가 게시됐다.
게시하려는 사용자여기.
또 SNS에도 다양한 콘텐츠가 올라오고 있다.관심 있으신 분들은 꼭 봐주세요.
Twitter여기.
Facebook여기.
LinkedIn여기.
기술 향상 AI 공식 유튜브 AI 비즈니스 채널여기.