최적화로 얻어진 거듭제곱 분포

마이클 미첸마허 교수의 2004년 논문을 읽었습니다. <인터넷 수학>이라는 저널에 실린 이 논문의 제목을 한글로 옮기면 "거듭제곱 분포와 로그정규분포를 만드는 모형에 관한 간단한 역사"입니다. (pdf 내려받기) 제 블로그에서도 종종 얘기했듯이 거듭제곱 분포를 만들어내는 다양한 모형, 즉 다양한 메커니즘이 있지요. 뉴만의 논문에서 본 율 과정(Yule process)이 대표적인데 두 마디로 '빈익빈 부익부'라고 할 수 있습니다.

오늘 이 글에서는 최적화의 결과로서 얻어딘 거듭제곱 분포를 소개합니다. 원래 만델브로트가 제시한 거라고 하네요. n개의 낱말로 이루어진 언어를 생각합시다. j번째 낱말을 이용하는데 드는 비용을 C_j라고 합시다. 어떤 낱말을 한 번 이용할 때마다 전달되는 정보량을 최대화한다고 해봅시다.  여기서 정보량은 엔트로피로 정의됩니다. j번째 낱말이 쓰일 확률을 p_j라고 하면, 낱말 당 평균 정보량과 비용은 다음처럼 주어집니다.

\(H=-\sum p_j \log p_j,\ C=\sum p_jC_j\)