python 단순 선형 회귀 실현

python 으로 R 의 선형 모델(lm)에서 일원 선형 회 귀 를 실현 하 는 간단 한 방법 으로 R 의 women 예시 데이터,R 의 운행 결 과 를 사용 합 니 다.

> summary(fit)

Call:
lm(formula = weight ~ height, data = women)

Residuals:
    Min      1Q  Median      3Q     Max 
-1.7333 -1.1333 -0.3833  0.7417  3.1167 

Coefficients:
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) -87.51667    5.93694  -14.74 1.71e-09 ***
height        3.45000    0.09114   37.85 1.09e-14 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.525 on 13 degrees of freedom
Multiple R-squared:  0.991, Adjusted R-squared:  0.9903 
F-statistic:  1433 on 1 and 13 DF,  p-value: 1.091e-14

python 이 실현 하 는 기능 은 다음 과 같 습 니 다.1.pearson 관련 계 수 를 계산 합 니 다.2.최소 이승 법 으로 회귀 계 수 를 계산 합 니 다.3.적합 도 판정 계수 R2 4 를 계산 합 니 다.평가 표준 오차 Se 5.유의 성 검 사 를 계산 하 는 F 와 P 값 을 계산 합 니 다.

import numpy as np
import scipy.stats as ss


class Lm:
    """        ，      、          
          ，     """

    def __init__(self, data_source, separator):
        self.beta = np.matrix(np.zeros(2))
        self.yhat = np.matrix(np.zeros(2))
        self.r2 = 0.0
        self.se = 0.0
        self.f = 0.0
        self.msr = 0.0
        self.mse = 0.0
        self.p = 0.0
        data_mat = np.genfromtxt(data_source, delimiter=separator)
        self.xarr = data_mat[:, :-1]
        self.yarr = data_mat[:, -1]
        self.ybar = np.mean(self.yarr)
        self.dfd = len(self.yarr) - 2  #    n-2
        return

    #      
    @staticmethod
    def cov_custom(x, y):
        result = sum((x - np.mean(x)) * (y - np.mean(y))) / (len(x) - 1)
        return result

    #       
    @staticmethod
    def corr_custom(x, y):
        return Lm.cov_custom(x, y) / (np.std(x, ddof=1) * np.std(y, ddof=1))

    #       
    def simple_regression(self):
        xmat = np.mat(self.xarr)
        ymat = np.mat(self.yarr).T
        xtx = xmat.T * xmat
        if np.linalg.det(xtx) == 0.0:
            print('Can not resolve the problem')
            return
        self.beta = np.linalg.solve(xtx, xmat.T * ymat)  # xtx.I * (xmat.T * ymat)
        self.yhat = (xmat * self.beta).flatten().A[0]
        return

    #            R ，     corr   
    def r_square(self):
        y = np.mat(self.yarr)
        ybar = np.mean(y)
        self.r2 = np.sum((self.yhat - ybar) ** 2) / np.sum((y.A - ybar) ** 2)
        return

    #         
    def estimate_deviation(self):
        y = np.array(self.yarr)
        self.se = np.sqrt(np.sum((y - self.yhat) ** 2) / self.dfd)
        return

    #      F
    def sig_test(self):
        ybar = np.mean(self.yarr)
        self.msr = np.sum((self.yhat - ybar) ** 2)
        self.mse = np.sum((self.yarr - self.yhat) ** 2) / self.dfd
        self.f = self.msr / self.mse
        self.p = ss.f.sf(self.f, 1, self.dfd)
        return

    def summary(self):
        self.simple_regression()
        corr_coe = Lm.corr_custom(self.xarr[:, -1], self.yarr)
        self.r_square()
        self.estimate_deviation()
        self.sig_test()
        print('The Pearson\'s correlation coefficient: %.3f' % corr_coe)
        print('The Regression Coefficient: %s' % self.beta.flatten().A[0])
        print('R square: %.3f' % self.r2)
        print('The standard error of estimate: %.3f' % self.se)
        print('F-statistic:  %d on %s and %s DF,  p-value: %.3e' % (self.f, 1, self.dfd, self.p))

python 실행 결과:

The Regression Coefficient: [-87.51666667   3.45      ]
R square: 0.991
The standard error of estimate: 1.525
F-statistic:  1433 on 1 and 13 DF,  p-value: 1.091e-14

그 중에서 회귀 계 수 를 구 할 때 행렬 로 역 을 구하 고 numpy 에 내 장 된 선형 방정식 을 푸 는 방법 이 가장 빠르다.

a = np.mat(women.xarr); b = np.mat(women.yarr).T
timeit (a.I * b)
99.9 µs ± 941 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)
timeit ata.I * (a.T*b)
64.9 µs ± 717 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)
timeit np.linalg.solve(ata, a.T*b)
15.1 µs ± 126 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)