1. k-최근접 이웃 회귀
2. 데이터 준비
3. 결정계수(R²)
4. overfitting vs underfitting
5. 회귀 문제 다루기

1. k-최근접 이웃의 한계
2. 선형 회귀
3. 다항 회귀
4. 선형 회귀로 훈련 세트 범위 밖의 샘플 예측

1. 다중 회귀
2. 데이터 준비
3. 사이킷런의 변환기
4. 다중 회귀 모델 훈련하기
5. 규제
6. 릿지 회귀
7. 라쏘 회귀
8. 모델의 과대적합을 제어하기

score(test set) vs. score(train set)

훈련 세트가 전체 데이터를 대표한다고 가정하기 때문에 훈련 세트 학습이 잘 되어야 한다. 
테스트 세트 score > 훈련 세트 score 또는 두 점수가 모두 낮으면 underfitting
테스트 세트 score < 훈련 세트 score 라면 overfitting

과소 적합의 경우, 모델을 더 복잡하게 만든다. 
> knn 에서는 k의 개수를 줄인다: 거시적인 패턴이 아닌 국지적 패턴에 민감해진다. 

과대 적합의 경우, 모델을 덜 복잡하게 만든다.

일반적으로 훈련 세트의 점수가 테스트 세트의 점수보다 조금 더 높다.

knn 의 한계

knn은 이웃 샘플들 무게의 평균이기에 새로운 샘플이 훈련 세트의 범위를 벗어나면 엉뚱한 값을 예측한다. 

Linear regression 선형 회귀

샘플의 특성을 나타내는 직선을 찾아라

from sklearn.linear_model import LinearRegression
lr = LinearRegression()
lr.fit(train set)

# lr = ax + b
# a = coef_
# b = intercept_

print(lr.coef_, lr.intercept_)

Model parameter

머신러닝 알고리즘의 훈련 과정은 최적의 모델 파라미터를 찾는 과정이다. 
linear regression의 coef와 intercept는 머신러닝 알고리즘이 찾은 모델 파라미터다. 

최적의 모델 파라미터를 찾는 과정을 모델 기반 학습, 
knn 처럼 훈련 세트를 저장하는 것이 fit()의 내용이라면 사례 기반 학습이라 한다. 

다항 회귀 polynomial regression

linear regression은 왼쪽 하단을 정확하게 반영하지 못한다. 따라서 최적의 직선이 아닌 최적의 곡선을 찾아본다.

다항식은 곡선이지만 다른 변수로 치환하면 계수와 절편으로 표현되므로 다항 회귀는 선형 회귀다. 

2차 방정식을 사용하기 위해선 길이의 제곱값을 훈련 데이터에 추가해야 한다. 

np.column_stack() 을 이용한다. 

train_poly = np.column_stack((train_input **2, train_input))
test_poly = np.column_stack((test_input**2, test_input))

회귀 문제 다루기

회귀 모델의 성능 측정으로 결정계수를 반환한다. 정량평가를 위해선 절댓값 오차 등을 이용할 수 있다. 

Multiple regression 다중 회귀

여러 개의 특성을 사용한 선형 회귀

특성이 늘어날 수록 차원도 늘어난다. 근데 3차원 이상을 상상하긴 힘들다. 각 특성을 서로 곱해서 새로운 특성으로 만든다. 

Feature engineering 특성 공학

poly = PolynomialFeatures(include_bias = False) 
# 특성의 제곱과 특성끼리 곱한 항 추가
poly.fit(train_input)

# 변환 데이터를 train_poly에 저장
train_poly = poly.transform(train_input)

# 특성의 조합 확인
poly.get_feature_names()

# 테스트 세트 변환
test_poly = poly.transform(test_input)

• polynomialFeatures

판다스를 이용해 여러 특성을 가진 데이터를 바로 다운 받아서 사용한다. 판다스의 데이터 프레임은 넘파이 배열로 쉽게 변환할 수 있다. 넘파이 배열로 변환해 선형 회귀 모델을 훈련한다. 

판다스 데이터프레임 만들기 위해 사용하는 많은 파일은 csv 파일이다. 

csv 파일 > 판다스 데이터 프레임 pd.read_csv() -> 넘파이 배열 to_numpy()

PolynomialFeatures 클래스는 기본적으로 각 특성을 제곱한 항을 추가하고 특성끼리 서로 곱한 항을 추가합니다.

PolynomialFeatures 의 fit() 메서드는 만들 특성의 조합을 준비만 하고 별도의 통계 값을 구하지 않는다. 

다중 회귀 모델 훈련하기

선형 회귀 모델 훈련과 동일하지만 여러 개의 특성을 사용하여 선형 회귀 수행하는 것 뿐이다. 

from sklearn.linear_model import LinearRegression
lr = LinearRegression()
lr.fit(train_poly, train_target)

키워드 정리

• 회귀는 임의의 수치를 예측하는 문제다. target도 임의의 수치가 된다. 
• knn regression은 knn 알고리즘을 이용해 회귀 문제를 푼다. 가장 가까운 이웃들의 샘플 타깃값을 평균해 예측값으로 삼는다. 
• Linear Regression는 특성과 타깃 사이의 관계를 가장 잘 나타내는 선형 방정식을 찾습니다. 특성이 하나면 직선 방정식이 됩니다. 
• 선형 회귀가 찾은 특성과 타깃 사이의 관계는 선형 방정식의 계수 또는 가중치에 저장됩니다. 머신러닝에서 종종 가중치는 방정식의 기울기와 절편 모두 의미하는 경우가 많습니다. 
• R² 
  • 총 변동에서 추정된 회귀식에 의해 설명되는 변동의 비율로 나타낼 수 있다. 
• 모델 파라미터는 선형 회귀가 찾은 가중치처럼 머신러닝 모델이 특성에서 학습한 파라미터를 말합니다. 
• 다항 회귀는 다항식을 사용하여 특성과 타킷 사이의 관계를 나타냅니다. 이 함수는 비선형일 수 있지만 여전히 선형 회귀로 표현할 수 있습니다. 
• 다중 회귀는 여러 개의 특성을 사용하는 회귀 모델입니다. 특성이 많으면 선형 모델은 강력한 성능을 발휘합니다.
• 특성 공학은 주어진 특성을 조합하여 새로운 특성을 만드는 일련의 작업 과정입니다. 
• 릿지는 규제가 있는 선형 회귀 모델 중 하나이며 선형 모델의 계수를 작게 만들어 과대적합을 완화시킵니다. 릿지는 비교적 효과가 좋아 널리 사용하는 규제 방법입니다.
• lasso는 또 다른 규제가 있는 선형 회귀 모델입니다. 릿지와 달리 계수 값을 아예 0으로 만들 수도 있습니다. 
  • L1 penalty = Lasso
  • 모형에 포함된 회귀계수들의 절대값 크기가 클수록 penalty를 부여하는 방식
  • 자동적으로 변수 선택하는 효과가 있다.
  • penalty의 정도를 조정하는 모수가 있다. 
• 하이퍼파라미터는 머신러닝 알고리즘이 학습하지 않는 파라미터입니다. 이런 파라미터는 사람이 사전에 지정해야 합니다. 대표적으로 릿지와 라쏘의 규제 강도 alpha 파라미터입니다. 

핵심 패키지

numpy

# 배열 크기 변환
reshape()

test_array.reshape(2, 2)
= np.reshape(test_array, (2, 2))

pandas

# pandas dataframe으로 변환하는 함수

pd.read_csv()

scikit-learn

# knn 회귀 모델 만들기
KNeighborsRegressor

# 회귀 모델의 평균 절댓값 오차 계산
mean_absolute_error()
mean_squeared_error()

# 선형 회귀 클래스
LinearRegression

# 주어진 특성을 조합해 새로운 특성을 만든다.
PolynomialFeatures

# 규제
Ridge

Lasso