[수치해석 11] 최소 제곱 회귀 분석 2

비선형 관계식의 선형화

종속변수 y 와 독립변수 x 사이의 관계가 비선형 관계인 경우, 아래 방법을 이용할 수 있다.

1. 비선형 모델의 선형 변환(transformation)
2. 다항식 회귀 분석

비선형 모델의 선형 변환

y = f(x) 의 식을 변환하여 선형 식으로 나타낼 수 있는 경우 사용한다. 이때 각 계수는 구해진 선형식을 원래 식으로 변환하여 구할 수 있다.

지수 모델(exponential model) : ln으로 변환한다.

멱 방정식(power equation) : log로 변환한다.

포화 방정식(saturation equation) : 역수를 취해 구한다.

 

 

 

다항식 회귀 분석

식이 x에 대한  m차 다항식 꼴로 나타나는 경우, 계수 a_i 를 구하기 위해서는 총 m+1 개의 선형 연립 방정식이 필요하다. 이때 잔차의 제곱합 Sr을 각 계수에 대해 편미분하면,

위 식을 0에 대해 정리하면 정규방정식(normal equation)을 얻을 수 있다.

해당 식을 연립 등의 방법으로 풀면, 각 계수의 값을 알 수 있다.

이때 표준오차 S_y/x와 결정계수 r²는 다음과 같다.

m+1개의 계수가 사용되어 자유도를 잃고, 분모가 n-(m+1)이 되었다.

 

다중 선형 회귀분석

종속 변수 y에 대해 여러개의 독립변수 (x₁, x₂, ... x_m) 가 존재하는 함수의 경우, 다중 선형 회귀분석을 수행한다.

만약 독립변수가 2개인 경우(x₁, x₂) 회귀분석이 가리키는 방정식은 평면을 구성한다.

다항식 회귀 분석과 마찬가지로 이를 연립방정식으로 표현하면,

 

이때 표준오차와 결정계수는 다항식 회귀분석과 동일한 식을 가진다( a에 의해 영향을 받기 때문 ).

m+1개의 계수가 사용되어 자유도를 잃고, 분모가 n-(m+1)이 되었다.

일반화된 선형 최소 제곱

선형 모델의 의미는 모델이 매개변수 ai에 선형적으로 종속된다는 의미를 가진다. 따라서 함수 자체는 비선형적이더라도, 이를 변환했을 때 매개변수에 대해 선형적인 식을 도출할 수 있다면 일반화가 가능하다. 그렇기 때문에 아무리 변환해도 계수에 대해 선형적인 식을 도출할 수 없다면 이를 일반화할 수는 없다.

계수를 제외한 부분은 z 기저로 변환된다.

일반화할 수 없다

위 식을 행렬로 나타내면, { Y } = [ Z ]{ A } + { E } 꼴로 나타낼 수 있다. 

잔차의 제곱 합

 Sr에 대해 각 계수를 편미분하고 정리한 정규방정식은 [ [ Z ]^T [ Z ] ]{ A } { [ Z ]^T { Y } } . 행렬로 간단하게 표현된다.

비선형 회귀분석

비선형 모델의 경우 잔차의 제곱합 또는 반복법을 이용하여 해를 구한다.

Gauss-Newton 방법이 비선형 회귀분석을 위한 방법 중 하나라고 한다.