『うまい89.1%』という広告に物申したいよ | データをてんから見てみよう

てん＠統計屋さんです

ちょっと気になる広告を見つけたので、ツッコミを入れさせてもらおうと思います。

※商品に対しての非難の意図はありません、この程度の広告戦略は各社が行っております、『たまたま目に止まった』ためツッコミを入れさせていただいていますが、不運だったとご容赦いただければ幸いです。

この記事の目次

気になった広告
気になりポイント
まとめ

気になった広告

UCC BLACK無糖（香料無添加）

缶コーヒーを世界で一番に開発したUCCが改めてごまかしの効かないブラックコーヒーで勝負した商品です。

こちらのサイトに有る

-お客様の声-　うまい89.1%

こちらを広告で見た方は、通常どのように感じるのでしょうか？

[word_balloon id=”11″ position=”L” size=”M” balloon=”talk” name_position=”under_avatar” radius=”true” avatar_border=”false” avatar_shadow=”false” balloon_shadow=”true” avatar_hide=”false” box_center=”false”]そんなにみんながうまい言うなら本当に美味しんやろう！[/word_balloon]
というかたも多分いるのかなぁなんて想像します。これが私の場合は、

どんな調査だったんやろう？[/word_balloon]
という疑問が一番に出てきました。というわけでこの数値の根拠を調べてみることにしました。その結果、そこそこ気になるポイントが有ったのでツッコミを入れさせていただきます。

気になりポイント

まずは、公開されている調査情報を確認したいと思います。先のサイトに（例によってゴマ粒のような小さい字で）調査手法が書いてありました。

※１　対象者：リニューアル商品「UCC BLACK無糖　缶185g」を試飲いただいた首都圏内在住の110名

※２　調査方法：試飲調査2019年2月11日

※３　自社調べ（調査委託先：ネオマーケティング）質問項目：リニューアル商品を試飲して「美味しいと思うか」を聴取。数値は6段階評価中上位3段階と回答した人の割合。

１、調査対象

調査対象は”試飲いただいた首都圏内在住”とあります。コーヒーの嗜好性に地域差がどの程度あるかわかりませんが、独特なコーヒー文化（喫茶店のモーニング文化が独特な名古屋など）を持つ地域圏の方とは多少の乖離はあるのかもしれません。年齢や性別の偏りについては特に何らかの記載は見当たりませんので、もしかしたら20代の回答に偏っていたりということが起こっているかもしれませんが、検証はできませんでした。

ただ、確実な偏りが一つ指摘できます。”試飲いただいた首都圏内在住”ということは、この方々が「日頃缶コーヒーを飲むか」「コーヒーがそもそも好きか」ということに関係なく集められたということです。この広告でこの商品の購入を検討する方々は、どちらかといえば「コーヒーは割と好きだし」「缶コーヒーを多少なり飲んでいる」方々でしょうから、その方々から見れば、極端に言えば『コーヒーの味のわからん奴』が混じった調査、とも見ることができます。

２、質問項目

質問は、”リニューアル商品を試飲して「美味しいと思うか」を聴取”したとのことです。

「うまい」ではないですね「美味しい」という単語で聞いています。「うまい」と「美味しい」って同じ意味の単語ですかね？わたしは「うまい」けど「美味しくはない」という評価を料理に下すことがあるので、勝手に”質問では「美味しい」、広告では「うまい」とする”ことは妥当ではないと思いますがどうなんでしょう？

”数値は6段階評価中上位3段階と回答した人の割合”となっています。各段階の文言の詳細はわかりませんが、おおむね「とても美味しい」「美味しい」「どちらかといえば美味しい」「どちらかといえば美味しくない」「美味しくない」「全く美味しくない」というようなものだったと想像します。どうですかね？この質問で「美味しくない」側の3段階を答える『アンケート協力者』ってどの程度いるのでしょうか？※”試飲調査2019年2月11日”とあるので、このアンケートの回答者は『わざわざ集まってもらった』可能性が高いというバイアスも考慮すると・・・

この質問で最大の注意点は、リニューアル商品の絶対評価であって、既存商品との比較評価ではないという点です。やってみないことにはわからないのですが既存商品で同じアンケートを行って「うまい」の割合が90%超えだったら、89.1%がうまいという本商品は既存商品より以下略・・・そういった可能性が残されたアンケートだと言うことになります。

[word_balloon id=”1″ position=”L” size=”M” balloon=”talk” name_position=”under_avatar” radius=”true” avatar_border=”false” avatar_shadow=”false” balloon_shadow=”true” avatar_hide=”false” box_center=”false”]比較対象の存在しない調査から出てくる数値は、数値そのものに明確な意味がないとほとんど無価値[/word_balloon]
[word_balloon id=”9″ position=”R” size=”M” balloon=”talk” name_position=”under_avatar” radius=”true” avatar_border=”false” avatar_shadow=”false” balloon_shadow=”true” avatar_hide=”false” box_center=”false”]年収とか平均余命とかなら単位の意味が明確だからええんやけどな[/word_balloon]

３、調査人数

この調査は”110名”の調査だということです。89.1%ということは98/110名が「美味しい」の3段階の回答をしたということがわかります。回答が二択しかない調査の信頼区間はN(p,p(1-p)/n)の%点から近似的に求めるか、ベータ分布の%点から求めることができます。ここではベータ分布での95%信頼区間を紹介すると（83%-94%）となります。（正規近似のほうが若干上振れします）

ここで言いたいのは、もしかしたら83%しか美味しいと思わないかもよ？といういうことではなく、”.1%”まで表示するような精度じゃないんじゃない？ということです。0.1%単位で調査結果を出しているということは、いかにも数百名-千名以上の調査をしたような印象を与えてしまうのではないかと思います。しかして実態は110名です、その人数の調査では信頼区間は10%ポイント近いブレ幅を持ってしまいます。

まとめ

この広告の数字にはおそらく捏造も嘘もないのだと思います。しかし、非常に上手に印象付ける広告に昇華させています。その実、この数値を以て、「従来の（他社も含めた）缶コーヒーよりうまい」とは全く言えません。

[word_balloon id=”1″ position=”L” size=”M” balloon=”talk” name_position=”under_avatar” radius=”true” avatar_border=”false” avatar_shadow=”false” balloon_shadow=”true” avatar_hide=”false” box_center=”false”]本当にうまいかどうかは、ぜひご自身の舌で確認してください！[/word_balloon]

[word_balloon id=”9″ position=”R” size=”M” balloon=”talk” name_position=”under_avatar” radius=”true” avatar_border=”false” avatar_shadow=”false” balloon_shadow=”true” avatar_hide=”false” box_center=”false”]最後、販促記事みたいに締めるん！？[/word_balloon]
[word_balloon id=”1″ position=”L” size=”M” balloon=”talk” name_position=”under_avatar” radius=”true” avatar_border=”false” avatar_shadow=”false” balloon_shadow=”true” avatar_hide=”false” box_center=”false”]商品批判がしたいわけではないのでちょっとだけバランスとっておこうかと[/word_balloon]
ではでは