안녕하세요 미래대비자입니다. 오늘은 통계학의 큰 흐름을 가져가고 있는 두개의 철학인 빈도주의와 베이지안에 대해서 설명해보려고합니다. 비모수적인 내용은 분포무관 방법이므로 여기 챕터에서는 모수적 추론에 대한 내용만 다루겠습니다
통계학의 큰 양대산맥인 빈도주의와 베이지안에 대해서 설명해보고자합니다.
이 글을 읽어주셔서 감사합니다
Let's GO!
통계학자가 두명있습니다.
빈도주의자와 베이지안 통계학자!
어떤 사람이 와서 이런질문을 던집니다.
동전을 던져서 앞면이 나오는 확률은 어떻게 되요?
빈도주의 통계학자는 이렇게 말합니다.
동전을 계속 던져보세요. 그래서 앞면이 나온 경우와 뒷면이 나오는 경우를 작성해보는 겁니다.
10번을 던졌는데 아래와 같은 결과가 나왔습니다. S = {'앞면', '앞면', 뒷면', '뒷면', '앞면', '앞면', '뒷면', '뒷면', '뒷면', '뒷면'} 그러면 확률 P = 앞면이 나온 횟수 / 전체 횟수 = 4/10 = 0.4이네요 "n번을 던져보세요'!그리고 그 사건을 여러번 반복하고 관찰해서 정리하면 경험적으로 우리는 0.5로 수렴한다는 것을 알 수 있게 됩니다."
빈도주의 관점에서 동전이 앞면이 나오는 확률
베이지안 통계학자는 동일한 질문에 대해 이렇게 말합니다.
10번을 던졌을 때 앞면이 4번나왔다면 확률은 0.4이죠! 우리는 눈에 보여서 관찰 된 것을 근거로 결론을 냅니다!
"누가 동전을 무식하게 무제한으로 던지나요? 그거는 이론적인 이야기지 실제 세상에서는 반복을 할 수 없는 경우가 대부분입니다!, 그래서 확률을 알기 어려운 동전 앞면 문제(?)의 경우에는 우리가 현재 주어진 정보만을 바탕으로 거꾸로 계산해서 확률을 추정하는 수 밖에 없지요..."
너무 어렵다...
조금 더 쉽게 이야기 해보겠습니다..
빈도주의 학자는 ?
통계학 베이스가 있으신 이과생분들을 위해 말하자면 다음과 같습니다. 확률변수의 분포를 알고있으면서 모수도 안다고 전제를 하게 됩니다. (분포의 종류를 알고 모수를 알면? 분포를 정확히 그릴 수 있게 됩니다...(확률을 정확히 알 수 있게 되죠!)) 예를들어서 동전던지기 문제에서 X~B(10,0.3)라면 이항분포임을 알고 모수인 n,p가 10, 0.5임을 알았기 때문에 1000만명이 와도 'X=3일 때 확률을 구하시오'라는 문제에 다음과 같이 동일하게 답하게 됩니다. $$ X \sim B(10,0.3), X=4이면 , {10 \choose 4} 0.3^4 \times0.7^6$$
이번엔 통계학 베이스가 없으신 분들을 위해 설명하면 다음과 같이 설명할 수 있습니다. 우리는 탐정이고 적을 찾아야 합니다. 근데 빈도주의에서는 적의 종류가 누구인지 정확히 알고있으며 특징도 알고 있다고 전제합니다. 즉, 적의 종류(=분포의 종류) 이고 적의 특징(=모수) 입니다. 이러한 전제를 가지고 추론을 해나갑니다. * 예를들어 범인을 찾아야하는데 경찰, 소방관, 택시기사, 과일가게장수가 있다면 적을 알고있다는 말은 '소방관'이라는 것은 알고있다는 것이고 그 소방관은 이런 상황과 조건에서는 이러한 행동 패턴이나 특징을 갖는지도 알고있다는 것입니다! 그래서 우리는 전지적 시점에서 소방관을 잘 관찰하면 됩니다. 스타크래프트로 치면 black sheep wall을 치고 적의 특징들을 훤히 관찰하는 느낌?
예를들면 위와 같은 동전 던지기 문제에서 확률변수 X는 Bernoulli분포를 따르는 것을 알고 있으며 확률변수가 앞면이 나오는 경우는 무한히 관찰한 결과 1/2이라는 것을 확실히 알고 있다고 생각합니다. Given : Parametors, Variables: X P(X=앞면) = 1/2 하지만 현실세계에서 빈도주의 학자의 관점으로 바라보기엔 한계점이 많이 있다. 범인을 찾기는 너무 어렵다...
반면, 베이지안 관점에서는 ?
통계학 베이스가 있으신 이과생분들을 위해 말하자면 다음과 같습니다. 확률변수의 분포를 알지만 모수는 정확히 모른다고 전제를 하게 됩니다. (분포의 종류를 알고 모수를 알면? 분포를 정확히 그릴 수 있게 되지만 모수를 모르니까? 우리는 확률을 정확히 모르게 되죠!, 그렇지만 분포의 종류를 알기 때문에 만약에 데이터가 주어졌다면 그 데이터를 기반으로 확률을 계산해 볼 수도 있을 것입니다. 이것을 통계학자들은 가능도(Likelihood)라고 정의하였으며 베이지안 관점의 핵심적인 요소가 됩니다. 하지만 내용이 깊기 때문에 그냥 '확률을 계산해 볼 수 있구나?'하고 받아들이고 다음에 정리하여 글을 따로 올리겠습니다.
아까와 같이 예를들면 X~B(10,?)라면 X가 이항분포임은 알지만 모수가 n=10인것도 우리가 던졌으니까 알지만.. 베이지안 관점에서는 p를 모른다고 가정한고 이것은 추정의 대상이라고 생각한다!! 그래서 1000만명이 와을 때 'X=3일 때 확률은?이라는 질문에 답을 다 틀리게 하게 됩니다. 근데 그 답을 하는 근거는? 동전을 10번 던져서 관찰 된 값이 있을 테니까 ... 그것으로 고민한다! 만일 이런식으로 나왔다면 {'앞면', '앞면', 뒷면', '뒷면', '앞면', '앞면', '뒷면', '뒷면', '뒷면', '뒷면'} 관찰한 데이터를 근거하여 확률을 생각합니다!
(구체적인 내용은 MLE(Maximum Likelihood Estimator)는 나중에 다시 소개하고 지금은 생략)
관찰 데이터를 기반으로 사후확률(posterior)을 계산하게 되고 그것을 동전이 앞면이 나올 ?다라고 하는 것이 베이지안 관점입니다!!
이번엔 통계학 베이스가 없으신 분들을 위해 설명하면 다음과 같이 설명할 수 있습니다. 우리는 탐정이고 역시 적을 찾아야 합니다. 빈도주의에서는 적의 종류가 누구인지 정확히 알고있으며 특징도 알고 있다고 있었지만 이번에는 적의 종류(=분포의 종류)는 알지만 적의 특징(=모수)은 모릅니다. * 위와 같이 예를들어 범인을 찾아야하는데 경찰, 소방관, 택시기사, 과일가게장수가 있다면 적을 알고있다는 말은 '소방관'이라는 것은 알고있지만 소방관의 행동 패턴이나 특징을 모르기 때문에! 우리는 끊임없이 관찰을 해야 합니다. 그렇습니다. 베이지안은 관찰, 관찰, 관찰을 아주 많이 해야 답을 찾아갈 수 있는 아주 현실적인 방법입니다.. 그렇다면 데이터를 주고 관찰하고 데이터를 주고 관찰하고 하는게 무엇과 비슷한가요?? 바로바로
머신러닝!!! 손실함수를 정의해서 데이터를 주고(feeding) 손실함수를 최소화하는 파라미터를 찾는 것!!
이제는 아까 넘어갔던 가능도 함수와 MLE에 대해서 알아보고 좀 더 자세히 설명하게 되면 베이지안 주의가 좀 더 깊게 이해될것입니다.
