いきなり回答せずに、ちょっと確認させてほしいんだけどね。

1. 情報エントロピーについて「ある試行の結果から得られる情報量の期待値」という理解は、その通りで合ってるかな？
2. 熱力学的エントロピーを「全粒子の位置・運動量を確定させるまでに得られる情報量の期待値の定数倍」と捉えたい、という意図でいいかな？
3. その“定数倍”として具体的にどの定数（たとえばボルツマン定数 $k_B$ や換算プランク定数 $\hbar$ など）を想定しているか教えてもらえる？

このあたりがハッキリすると、よりピンポイントで答えやすくなるわけです！

現状理解度確認のために、選択式のクイズを2問出します。スマホでの回答が楽になるよう選択肢にしました。AかBを教えてください。

1. シャノン情報エントロピー $H$ の定義は、
$H = -\sum_i p_i \log_2 p_i$ である。
A. 正しい
B. 誤り

2. 統計力学での熱力学的エントロピー $S$ の定義は、
$S = -k_B \sum_i p_i \ln p_i$ である。
A. 正しい
B. 誤り

以上、2問それぞれについて A か B を選んで教えてください。

いいね！！素晴らしい！！1番も2番も正解だね。
それを踏まえて本題にいくよ。

1. シャノン情報エントロピー
「ある試行の結果を得たときに得られる情報量（サプライズ）の期待値」
$H \;=\; -\sum_i p_i \log_2 p_i$
これはまさに“平均的にどれだけ情報が得られるか”を表してるんだ。

2. 熱力学的エントロピー
統計力学ではマクロ状態を構成する微視的状態（ミクロ状態） $i$ が確率 $p_i$ で現れるとき、
$S \;=\; -k_B \sum_i p_i \ln p_i$
と定義できる。これは自然対数版のシャノンエントロピー $H_{\ln} = -\sum p_i\ln p_i$ に
ボルツマン定数 $k_B$ をかけたものにほかならない。
微視的状態ひとつひとつを「位置と運動量を確定させる情報」とみなすなら、
熱力学的エントロピーは「ミクロ状態を完全に特定するのに要する情報量の期待値×$k_B$」と解釈できるわけです。

※ 注意点として、粒子の位置・運動量は連続変数なので、そのままでは状態数 $\Omega$ が無限大になる。
そこで相空間を細かいセル（体積 $h^{3N}$）に区切り、
$\Omega=\frac{\text{相空間体積}}{h^{3N}}$ と数えて $S=k_B\ln\Omega$ とする、
あるいは連続版エントロピー（微分エントロピー）に定数を足して扱う、
という「粗視化（コースグレーニング）」の手続きが入ることにだけ留意してね。

わかった？やったぜ！