단순회귀분석

회귀분석이 연속형 변수들에 대해 독립 변수와 종속 변수 사이의 상관관계를 나타내는 것이라면, 단순 회귀 분석은 독립 변수가 단일개일 때의 분석을 의미한다.
기본적인 회귀모형은, ${\displaystyle y_{i}=\beta _{0}+\beta _{1}X_{i}+e_{i}}$이다. 여기서 추정 회귀식을 구하면, ${\displaystyle y_{i}^{*}=\beta _{0}^{*}+\beta _{1}^{*}X_{i}}$이다.

전제

• 독립변수는 연속형이어야한다.
• 종속변수는 연속형이어야 한다.
• 오차항은 정규분포를 가진다.
• 오차항은 등분산을 가진다.
• 오차항은 독립적이다.
• 오차항은 특이치가 존재하지 않는다.

회귀 계수의 추정

회귀 계수를 추정하는 방법은 크게 최소제곱법(최소자승법)과 최대우도추정법 두 가지가 있다. 최소 제곱법은 ${\displaystyle \sum _{i=1}^{N}(e_{i})^{2}=\sum _{i=1}^{N}(y_{i}-(\beta _{0}+\beta _{1}X_{i}))^{2}}$ 식을 각각 ${\displaystyle \beta _{1}}$ 과 ${\displaystyle \beta _{0}}$ 로 각각 편미분하여 0과 같다고 놓는다. 그러면
${\displaystyle \sum y_{i}=n\beta _{0}^{*}+\beta _{1}^{*}\sum x_{i}}$
${\displaystyle \sum x_{i}y_{i}=\beta _{0}^{*}\sum x_{i}+\beta _{1}^{*}\sum x_{i}^{2}}$ 의 식이 나타난다. 이를 정리하면
${\displaystyle \beta _{0}^{*}=E(y)-\beta _{1}^{*}E(x)}$
${\displaystyle \beta _{1}^{*}={\sum _{i=1}^{n}(x_{i}-E(x))(y_{i}-(E(y)) \over \sum _{i=1}^{n}(x_{i}-E(x))^{2}}}$ 로 나타난다.

이 회귀계수들은 Best linear unbiased estimators로 1. 선형성을 갖는다. 2. 불편추정량이다. 3. 최소 분산성을 갖는다.

회귀 모형의 적합 판정

회귀 모형이 적합한지 아닌지를 판단하는 방법에는 여러 가지 방법이 있다. 먼저 회귀 계수들의 t검정 값을 통해 회귀 계수들이 유의미한 값을 갖는지 살펴보는 방법이 있다. 그리고 결정계수 ${\displaystyle r^{2}}$ 와 ESS(error sum of square)를 살펴보는 방법이 있다.

같이 보기

• 회귀 분석