이웃 개념과 비교하기
| 구분 | 무엇을 알려 주나 | 무엇은 알려 주지 않나 |
|---|---|---|
| 상관계수 | 두 변수가 함께 움직이는 방향과 강도(-1에서 1 사이) | 한 변수가 한 단위 변할 때 다른 변수가 얼마나 변하는지 |
| 단순회귀 | 독립변수 하나로 종속변수를 설명하는 직선의 기울기와 절편 | 다른 요인의 영향이 섞여 있는지 |
| 다중회귀 | 여러 변수를 함께 넣고 본 각 변수와 결과의 관계 | 변수들이 서로 강하게 얽혀 있을 때 각자의 몫을 깔끔히 나누기는 어려움 |
| 인과 추론(실험 등) | 무작위 배정 같은 설계로 원인의 효과를 따짐 | 회귀식만으로는 얻을 수 없음 |
실제 사례 두 가지
사례 1. 키가 큰 부모의 자녀는 왜 부모보다 덜 클까: 갈턴의 키 연구 (개념의 기원)
1880년대 갈턴은 부모와 성인 자녀 수백 명의 키를 모아 분석했습니다. 눈에 띈 점은 키가 매우 큰 부모의 자녀가 평균적으로는 부모보다 작고, 매우 작은 부모의 자녀는 평균적으로 부모보다 크다는 것이었습니다. 위키백과는 갈턴이 키에 대해 이 되돌아오는 정도를 대략 3분의 2 수준으로 추정했다고 전합니다. 이것이 세대를 거치며 사람들의 키가 모두 똑같아진다는 뜻은 아닙니다. 각 세대 안에서 키의 흩어짐은 새로운 변이로 계속 채워지기 때문입니다. 배울 점은 '극단적인 값 다음에는 덜 극단적인 값이 나오기 쉽다'는 통계적 성질이 있다는 것, 그리고 이 성질을 원인으로 잘못 해석하는 '회귀 오류'를 조심해야 한다는 것입니다. 위키백과는 예로 카너먼이 든 이야기를 소개합니다. 아주 잘한 뒤에는 칭찬을, 아주 못한 뒤에는 꾸중을 받는데, 다음 성과는 어차피 평균 쪽으로 돌아오기 쉬우므로 칭찬은 역효과 같아 보이고 꾸중은 효과 있어 보이는 착시가 생긴다는 것입니다.
사례 2. 숫자가 같아도 그림은 다르다: 앤스콤의 사중주 (시각화의 사례)
통계학자 프랜시스 앤스콤은 1973년에 네 개의 작은 데이터 묶음을 만들어 발표했습니다. 네 묶음은 x의 평균 9, x의 표본분산 11, y의 평균 약 7.5, y의 표본분산 약 4.125, 상관계수 약 0.816으로 같고, 회귀선도 모두 y = 3.00 + 0.500x, 결정계수(R²)도 약 0.67로 같습니다. 그런데 그래프를 그리면 모양은 서로 크게 다릅니다. 앤스콤은 요약 수치만 보고 판단하는 습관을 경계하며, 데이터를 분석 전에 그래프로 그려 봐야 한다는 점과 이상치 등 영향력이 큰 관측치가 통계량을 왜곡할 수 있다는 점을 보이려 했다고 합니다. 배울 점은 회귀식과 R²가 그럴듯해도 그것이 '직선이 어울린다'는 증거는 아니라는 것입니다. 산점도를 먼저 확인하고 잔차를 살피는 습관이 필요합니다.
직접 따라 해 보기: 부동산 가격 가상 예시
가상 예시입니다. 실제 시장 자료가 아니라 설명을 위해 만든 아파트 10채의 전용면적(㎡)과 가격(억 원)이며, 실제 시장보다 훨씬 깔끔하게 만들어 둔 데이터입니다.
| 면적(㎡) | 40 | 50 | 60 | 70 | 80 | 85 | 95 | 105 | 115 | 130 |
|---|---|---|---|---|---|---|---|---|---|---|
| 가격(억 원) | 3.1 | 3.6 | 4.4 | 4.8 | 5.9 | 6.0 | 6.9 | 7.2 | 8.4 | 9.0 |
최소제곱법으로 계산하면(node로 검산) 기울기는 약 0.068, 절편은 약 0.28, 결정계수는 약 0.99입니다. 즉 이 가상 데이터에서는 '면적이 1㎡ 늘 때 가격이 평균 약 0.068억 원(약 680만 원) 오른다'는 식이 나옵니다. 이 식으로 100㎡의 값을 어림하면 약 7.09억 원, 60㎡는 약 4.36억 원입니다. 반면 관측된 면적(40~130㎡)을 한참 벗어난 300㎡에 같은 식을 쓰면 약 20.7억 원이 나오지만, 큰 집의 가격이 같은 비율로 오를 근거가 데이터에 없으므로 이런 외삽은 믿기 어렵습니다. 또 이 식에는 위치와 연식이 빠져 있어, 실제 분석이라면 변수를 추가한 다중회귀로 가야 하고 그때도 '면적 하나를 늘리면 가격이 이만큼 오른다'는 인과적 약속이 되지는 않습니다.
해석 전 확인 체크리스트
- 그래프 먼저: 산점도에서 직선 모양인지, 이상치가 있는지 봅니다.
- 범위 확인: 예측하려는 값이 관측된 독립변수 범위 안에 있는지 확인합니다.
- 잔차 보기: 실제 값과 직선의 차이가 한쪽으로 쏠리거나 값이 커질수록 벌어지면 직선이 맞지 않을 수 있습니다.
- 표본 구성: 자료가 어떤 집단에서 어떻게 모였는지 확인합니다. 모집단과 다르면 결과를 일반화하기 어렵습니다.
- 기본값 검산: 통계 계산기로 평균과 표준편차 같은 기본값을 먼저 확인해 봅니다.
흔한 오해와 정정
- 오해: R²가 높으면 좋은 모형이다. 실제: 앤스콤의 사중주처럼 R²가 같아도 모양이 전혀 다른 데이터가 있습니다. R²는 그래프 확인과 함께 읽어야 합니다.
- 오해: 회귀선의 기울기는 원인의 크기다. 실제: 기울기는 관찰된 데이터에서 함께 움직인 정도입니다. 인과로 읽으려면 실험 설계나 추가적인 근거가 필요합니다.
- 오해: 잘한 사람을 칭찬하면 다음에 못하고, 못한 사람을 꾸중하면 나아진다. 실제: 평균으로의 회귀 때문에 극단적인 값 다음에는 덜 극단적인 값이 나오기 쉽고, 이를 개입의 효과로 착각하기 쉽습니다.
- 오해: 회귀분석은 직선만 다룬다. 실제: 이 글은 선형회귀를 중심으로 하지만, 변수를 변환하거나 곡선 항을 넣어 비선형 관계를 다루는 방법도 있습니다.
한계와 더 알아볼 점
회귀 결과는 쓰인 데이터와 모형의 형태에 달려 있습니다. 이상치 하나가 직선을 크게 바꿀 수 있고, 빠진 변수가 있으면 남아 있는 변수의 기울기가 왜곡될 수 있으며, 독립변수들이 서로 강하게 얽혀 있으면(다중공선성) 각 변수의 몫을 따로 해석하기 어렵습니다. 이 글은 가장 기본적인 선형회귀 개념만 다루며, 가설검정이나 신뢰구간 같은 추론 부분은 통계적 유의성 이해하기와 함께 읽는 편이 좋습니다. 회귀분석으로 관계를 수식화한다고 해서 인과관계가 증명되는 것은 아니므로 상관관계와 인과관계 차이 알아보기도 함께 읽어 보세요.
자주 묻는 질문
회귀분석으로 예측한 값은 항상 정확한가요?
아닙니다, 회귀분석은 과거 데이터의 경향을 바탕으로 한 추정일 뿐이므로, 예상치 못한 변수나 상황 변화가 있으면 실제 값과 차이가 날 수 있습니다.
회귀선에서 멀리 떨어진 데이터는 어떻게 해석해야 하나요?
회귀선에서 크게 벗어난 데이터는 전체 경향과 다른 특이한 사례일 수 있으므로, 왜 그런 차이가 나는지 별도로 살펴볼 필요가 있습니다.
'회귀'라는 이름은 왜 붙었나요?
갈턴이 1886년 논문에서 부모와 자녀의 키를 비교하며, 극단적인 키가 다음 세대에서 평균 쪽으로 되돌아오는 경향을 '회귀'라고 부른 데서 유래했습니다. 지금은 그 현상과 무관한 분석에도 같은 이름을 씁니다.
변수를 많이 넣을수록 더 좋은 모형인가요?
그렇지 않습니다. 변수를 늘리면 주어진 데이터에는 더 잘 맞아 보이지만 새로운 데이터에는 오히려 맞지 않을 수 있습니다. 변수가 서로 얽혀 해석이 어려워지는 문제도 있어, 목적에 맞는 변수를 고르는 판단이 필요합니다.
상관계수와 회귀 기울기는 무엇이 다른가요?
상관계수는 두 변수가 함께 움직이는 방향과 강도를 -1에서 1 사이 값으로 보여 주고, 회귀 기울기는 독립변수가 한 단위 변할 때 종속변수가 평균적으로 얼마나 변하는지를 단위와 함께 보여 줍니다.
이어서 읽어 보세요
- 상관관계와 인과관계 차이: 함께 움직인다는 것과 원인이라는 것의 차이
- 통계 그래프 읽는 법: 그래프를 해석할 때의 주의점
- 표준편차 이해하기: 값이 평균에서 얼마나 흩어져 있는지
- 통계적 유의성 이해하기: 결과가 우연이 아닌지 따지는 방법