頷きでやってくる情報量は1ビット

「頷きでやってくる情報は1ビットだから、話がなかなか進まない。」『数学ガールガロア理論』 p160より
頷きでやってくる情報ってなんでしょうね。ちょっと調べてみましたよ。

この文章について

情報とは、何か不確定な事を、それを知ることによって確定するものを言う。ここでは、その量である情報量の定義を与える(ビットについても分かるかもしれない)。情報量の定義を与えるために、次の問題から考えよう。

問題1

そこにはぼくとリサがいて、2個の箱\(A_{1},A_{2}\)がある。リサはコインを投げて表なら\(A_{1}\)に、裏なら\(A_{2}\)にコインを入れる。ぼくはどの箱に入れるかを決めるルールについては知っているが、実際に出た目は知らないし、どっちの箱に入れたのかも知らない。ぼくが「コインは\(A_{i}\)にある？」と聞くとリサは「頷く」あるいは「沈黙」で応える。ぼくは何回質問すればコインがどこの箱にあるか分かるだろうか？

答え

このとき不確定な事というのは、「どの箱にコインがあるのか」ということであり、情報とは「ぼくの質問に対するリサの応答」である。問題1の答えは簡単で、ぼくが「\(A_{1}\)にある？」と聞けばリサは「沈黙」あるいは「頷く」のどちらかで応える。沈黙していれば\(A_{2}\)にあることが確実になるし、頷けば\(A_{1}\)にあることが確実になる。従って問題1の答えは1回である。次に箱の数を8個まで増やしてみよう。

問題2

そこにはぼくとリサがいて、8個の箱\(A_{1},A_{2},\ldots A_{8}\)がある。リサは8面ダイスを投げて、出た目が\(i\)なら\(A_{i}\)にコインを入れる。ぼくはどの箱に入れるかを決めるルールについては知っているが、実際に出た目は知らないし、どの箱に入れたのかも知らない。ぼくが「コインは\(A_{i}\)から\(A_{i+n}\)までの箱にある？」と聞くとリサは「頷く」あるいは「沈黙」で応える。ぼくは何回質問すればコインがどこの箱にあるか分かるだろうか？

答え

まず「\(A_{1}\)から\(A_{4}\)までにある？」と聞く。頷けば1から4の間にあるし、沈黙していれば5から8の間にあることが分かる。同じようにぼくが箱の候補が\(A_{m}\ldots A_{n}\)としたとき「\(A_{m}\)から\((A_{m}+A_{n})/2\)にある？」という質問を繰り返したとしよう。このとき頷けば「1」、沈黙していれば「0」と書くことにすれば

111ならば\(A_{1}\)にある

110ならば\(A_{2}\)にある

101ならば\(A_{3}\)にある

100ならば\(A_{4}\)にある

011ならば\(A_{5}\)にある

010ならば\(A_{6}\)にある

001ならば\(A_{7}\)にある

000ならば\(A_{8}\)にある

となり、全ての場合が3回の質問で分かる。

情報量

ここで情報の大きさ、情報量について考えてみよう。問題1と問題2の応答の内容はどの箱にあるかの可能性を1/2にする意味で一緒なので、1回の応答が持っている情報量は同じだと言える。この情報量を1とする単位をビットと言う。すると問題の「コインがどこに箱にあるか？」に対する応答が持つ情報量は1ビットで、問題2については3ビットということになる。情報量が\(n\)のとき、箱の数は\(2^{n}\)になるので、逆に箱の数が\(x\)のとき、箱の位置に関する情報の持つ情報量は\(\log x\)になる。箱の数は等しい確率で起こりうる事象の数に等しいので、\(x\)個の箱\(A_{i}\)にコインがある確率は\(1/x\)である。確率の言葉で情報量を書き直すと
\[\log x = -\log (1/x) = -\log p\]
となる。

情報量の定義

確率\(p\)で起こる事象が実際に起きたという情報が持つ情報量を
\[-\log p\]
で定義する。

参考文献

『情報理論』(甘利俊一)