モデル選択後の係数分布

Kuchibhotla et al. (2022)を参考に、モデル選択後の係数の分布を求める例をやってみました。

説明変数はそれぞれ独立にNormal(0, 1)にしたがい、目的変数は説明変数と関係なくNormal(0, 3²)にしたがうという設定です。用意したモデルは各説明変数の有無の組み合わせに応じた8とおり。1番目のモデルが「正しい」モデルとなります。



結果ですが、AICでは、「正しい」モデルを選んだ割合は57%くらいでした。

説明変数x1を含んだ「正しくない」モデルが選択された場合について、そのときのx1の係数の分布は以下のようになります。



係数の値が0に近いときはx1を含まないモデルが選択されるので、x1を含むモデルが選択されたという条件付きではこのような分布になります。

AICではなく、BICではどうかというと、この例ではBICは、サンプルサイズが大きくなると「正しい」モデルを選ぶ確率が1にちかくなります。といっても、どんなときでもそうかというと...

タグ：AIC モデル選択