統計学は数字を分析して、次のアクションを決める上で非常に有用なツールです。
しかし、実際にビジネスで統計を適用してみると
「あれ？なんか変な結果になるんだけど？」
という場面に遭遇する事が多いです。
今回は統計を実使用する際のトラブルについて、考えていきましょう。
統計手法でうまく結果が出ない
統計手法を使う上で、うまく機能しないシチュエーションとして考えられるのは以下の2つ
・使い方が間違っている
・手法の選択が間違っている
です。これらについて考えてみましょう
使い方が間違っている
そもそも使い方が間違っていたら、正しい答えなんか出るわけありません。
直線関係ではないのに、相関係数を使う
サンプルサイズが不十分なのにZ検定を使う
直交表を全部埋めてしまったのに、サンプルサイズを1で実施する
これでは当然正しい結果が出るわけがありません。
しかし、初めて使う場合にはこのような初歩的な間違いをしてしまいがちです。
いくら専門書を読みこんでいても、使ったことが無い場合、この初歩ミスはついて回ります。
これを回避するためには、分析した後に専門書や専門サイトの内容と照らし合わせながらチェックする必要があります。
手法の選択が間違っている
より問題なのはこの、手法の選択を間違っている場合です。
この問題は結構深刻です。
イメージが付きにくい方もいらっしゃると思いますので、実際に本に載っていた順序尺度で観測されたデータへの対応について紹介いたします。
『最初から順位データとして表されているデータに対してノンパラメトリック分析(以下ノンパラ)を適用することについては異論も唱えられています。
それは、U検定などのノンパラは正規性が仮定出来ない量的データについてのみ適用すべきで、順序尺度で観測されたデータについてはt検定などのパラメトリック手法を用いるべきであるというものです。
(中略)
しかし順序尺度によって観測された分布型はあくまで不明です。そしてパラメトリック手法は正規分布に従う母集団が仮定出来る場合に初めて使える手法です。ですから数学・統計学的に厳密に判断すると、やはり著者は順序尺度で観測されたデータに対してはのパラを優先するというスタンスでよいと思います。』
ちょっと長くて読むのがかったるいと思われそうなのですが、要は識者の間でも運用方法は割れているという事なのです。
そもそも統計学は人がランダムな現象を相手取るために作る出した手法なのですから、日進月歩、今でも改良されていっている発展途上の学問なのです。
学問に絶対はありません。
絶対が無いのですから、
「こういう時にはこれを使え！」
と言い切ることは当然出来ないのです。
じゃあ我々はどうしたらいいのでしょうか？
うまく手法を選択するには？
結果の分かっているデータを分析してみる
統計を使うまでもなく既に結論が出ているデータに対して適用してみる事が、手法の選択において効果的です。
実際に私が試した事で、こんな事がありました。
ある測定値において、技術的には有意と判定される差は1%。
そしてリファレンスと材料を切り替えた製品で、性能に差はないと言いたい。
ただ当然”ばらつき”が存在する為に平均値の値だけの比較では、心もとないし、機械的に正しく判断したい。
この内容を満たすために、t検定を導入しようと思い過去事例のデータを使って検証してみました。
しかし結果としてはうまく機能しませんでした。
というのも、0.1%の差でも『有意差あり』と算出されたからです。
なので次に、リファレンスの値に対してマイナス1%より大きければ劣っていないと仮定して、非劣性の検定を実施したら、今度はうまく機能しました。
これを全ての性能に適用するには、技術的にマイナスX％までなら差が無いかを実験して調べる必要はありますが、一度決めごとが作れればマニュアル化して展開出来そう。めでたしめでたし。
と、こんな具合に頭では『こんな手法を使えばうまくいく』と思っていても、うまく機能しないことはよくあります。
今回の事例の場合では、やはり検定は『有意差がある事を示す』手法であって、『同等であること』ことを積極的に支持できない手法であったというのが根本原因でした。
「そんなの常識じゃん」
と言う方もいらっしゃると思いますが、t検定でも高い検出力を保持した上で『有意差なし』と判定されれば、ほぼ同等と言っても差し支えない場合もあります。
非劣性の検定の場合、技術的にどこまでの範囲なら同等と言えるかが事前に分かっていないとうまく機能しないので、もしt検定でうまくいくのであればその方が設定は簡単なのです。
このような手法の一長一短がある中で、最適なものを選ぶには答えの分かっているデータで、正しくその答えが統計手法で導き出せるかを確認する事が非常に重要なのです。
とにかく使う
このような学問的内容でこんな事を言ったら怒られそうなのですが、うまく手法を選択するにはとにかく使ってみる事が一番の近道です。
沢山使えば慣れて、「あっこの時はこの手法を使うのが良さそうだ」とアタリがつけられるようになります。
自分の頭の中で具体的な事例集が作られるからです。
また、使ってみて壁にぶつかることで「この壁を解決出来る手法はないものか」と手法を探すアクションをとるきっかけにもなります。
例えば先のt検定と非劣性の検定ですが、t検定に対して非劣性の検定は入門書にはあまり載っていません。
私自身よく
「検定では帰無仮説を積極的には採用出来ない」
という話は入門書でよく見かけたのですが、逆に同等であると言える検定のようなものはないものかと、色々探し回って非劣性の検定にたどり着きました。
このように、実際に使って、悩んで、なんとか解決しようと足掻くことで、解決への糸口が見つかり、そして一度解決するとスキルが大幅に向上します。
なので統計を適切に使うスキルを養うには、とにもかくにも使いまくって、壁にぶつかりまくって、解決しまくるしかないのです。
まとめ
統計を使う難しさというのは、計算方法ではなく、その手法の最適な選択法だと思います。
計算を補助するツールは沢山ありますが、選択を補助するツールというのは存在しないからです(少なくとも私が知る限りの範囲では)。
これを解決するには、あなたの職場で実際に使用してみて使える手法を特定していくしかありません。
特に職場で統計学が一般的ではない場合、様々な外部からの抵抗があるかもしれませんが、そういった時には社内勉強会の実施等でカバーしていきましょう。
とりあえず、臆せず第一歩を踏み出し、それから悩み、考えていきましょう！
コメント