점진 적 회귀 법(Stepwise regression)학습

전재 하 다http://www.lizenghai.com/archives/524.html
점차적으로 회귀 법 과 관련 된 자료 정 보 를 검색 하고 점차적으로 회귀 법의 학습 노트 를 찾 아 점차적으로 회귀 법의 세 가지 조작 방식 을 상세 하 게 말 했 고 개인 은 세 번 째 방식 을 선 호한 다.세 번 째 방식 에서 새로운 인자 의 해석 능력 을 고려 했 을 뿐만 아니 라 새로운 인자 가 존재 한 후에 이미 존재 하 는 인자 의 해석 능력 도 고려 했 기 때문에 최종 적 으로 모든 인자 에서 적합 하지 않 은 인 자 를 제거 하고 효과 적 인 인 인 자 를 남 기 는 것 과 같다.이것 은 다인 자의 다 중 공선 성 을 해결 하 는 효과 적 인 방법 이다.
원문 내용(문장 끝 에 연결):
앞서 SPSS 의 회귀 분석 알고리즘 에서 그 안에서 실 현 된 알고리즘 은 Enter 와 Stepwise 두 가지 가 있 음 을 발견 했다.Enter 는 쉽게 이해 할 수 있 습 니 다.선택 한 모든 독립 변 수 를 모델 에 넣 고 모든 독립 변 수 를 포함 하 는 전체 모델 이 변수 중의 변이 와 각 독립 변수의 기여 가 얼마나 되 는 지 직접 계산 하 는 것 입 니 다.그러나 Stepwise regression 에 대한 이 해 는 항상 모호 하 다.오늘 자세히 찾 아 보고 필 기 를 했다.
평소 말 했 던 regression analysis 와 달리 stepwise regression 은 feature extraction 의 방법 이 라 고 할 수 있 습 니 다.
예 를 들 어 만약 에 우리 의 데이터 에 인 변수 가 있 지만 십 여 개 또는 몇 십 개의 독립 변수 가 있다 면.변수 수가 너무 많은 데 이 터 를 처리 하 는 데 편리 하도록'curse of dimensionality'에서 발생 할 수 있 는 여러 가지 문 제 를 피하 기 위해 우 리 는 항상 데 이 터 를 낮 추고 특정한 분야 에서 의 지식 이나 이론 가설 에 따라 그 중에서 더욱 의미 가 있 을 수 있 는 변 수 를 선택 하여 후속 분석 을 한다.그러나 그 어떠한 상황 에서 도 우 리 는 이러한 선험 정 보 를 파악 하지 못 하기 때문에 데이터 자체 의 특징 을 바탕 으로 추출 방법 이 생 겨 났 다.
stepwise regression 에서 어떤 변 수 를 추출 하 는 지 는 주로 선형 조건 에서 어떤 변수 조합 이 변수 변이 로 인해 더 많은 변 이 를 설명 할 수 있 는 지 에 대한 가설 을 바탕 으로 합 니 다.
구체 적 인 조작 방법 은 세 가지 가 있다.
4.567914.먼저 모델 에서 변수 변이 로 인해 가장 큰 독립 변 수 를 단독 적 으로 해석 한 다음 에 다른 독립 변 수 를 추가 하려 고 시도 합 니 다.가입 후 전체 모델 이 설명 할 수 있 는 변수 변이 가 현저히 증가 하 는 지 확인 하 십시오(여기 서 검역 을 해 야 합 니 다.F-test,t-test 등 을 사용 할 수 있 습 니 다).이 과정 은 독립 변수 가 없 을 때 까지 모델 가입 조건 에 부합 되 지 않 을 때 까지 반복 된다
4.567914.Forward selection 과 반대로 이때 모든 변 수 를 모델 에 넣 은 다음 에 그 중의 한 변 수 를 모델 에서 제거 하려 고 한다.전체 모델 이 변수의 변이 로 인해 현저 한 변화 가 있 는 지 설명 한 다음 에 해 석 량 을 최소 화 하 는 변 수 를 제거 할 것 이다.이 과정 은 독립 변수 가 제거 조건 에 부합 되 지 않 을 때 까지 계속 반복 된다
4.567914.이런 방법 은 앞의 두 가 지 를 결합 시 키 는 것 과 같다.첫 번 째 방법 을 사용 하면 하나의 독립 변 수 를 추가 할 때마다 모델 에 존재 하 는 변 수 를 독립 적 으로 변수 에 대한 해석 도 를 줄 일 수 있 고 그 역할 이 매우 작 을 때 모델 에서 제거 할 수 있다 고 상상 할 수 있다.세 번 째 방법 은 이런 일 을 했다.변 수 를 증가 시 키 는 것 이 아니 라 하 나 를 증가 한 후에 전체 모델 중의 모든 변 수 를 검사 하고 역할 이 현저 하지 않 은 변 수 를 제거 했다.최종 적 으로 가능 한 한 가장 좋 은 변수 조합 을 얻 을 수 있 습 니 다
이렇게 얻 은 변수 조합 은 현재 데 이 터 를 바탕 으로 변수의 변 이 를 최대한 해석 할 수 있 을 것 이 라 고 상상 할 수 있 지만 그 부정적인 역할 은 모델 을 편향 시 키 는 것 이다.즉,overfitting 문제 이다.또한 알고리즘 은 변수 해석 도 를 바탕 으로 특징 추출 을 하 는 것 을 감안 하여 두 변수 가 변수 에 대한 영향 이 비슷 할 때 비교적 큰 소음 영향 을 받 아 특징 추출 결 과 를 불안정 하 게 할 수 있다.
점진 적 회귀 분석 에서 AIC 값 의 실제 적 의 미 는?
AIC 적 지 정보 준칙 은 모델 의 통계 적 적합 도와 적합 한 매개 변수 수 를 고려 했다.AIC 값 이 작 을 수록 모델 이 우수 하 다 는 것 은 모델 이 비교적 적은 매개 변수 로 충분 한 적합 도 를 얻 었 다 는 것 을 의미한다.