Amazon商品の価格変動チェック「あまとも」
コミックダッシュ!は初音ミクGTプロジェクトを応援しています
個人ニュースサイトを巡回する「メガとんトラック」
前の記事次の記事
2009/09/21 23:59 - 2009/09/21

YouTubeの☆評価のお話と、評価という「システムデザイン」のお話


久しぶりに簡易コラムです。こんばんは。
 
■TechCrunch: YouTubeが5つ星級の発見:評価システムは無意味だった
http://jp.techcrunch.com/archives/20090922youtube-comes-to-a-5-star-realization-its-ratings-are-useless/
これは、YouTubeのビデオをユーザーがどう評価しているかを表したものだ。ご覧のとおり、1つ星が少しと大量の5つ星があって、2、3、4は事実上ゼロだ。というわけでYouTubeが今日(米国時間9/22)のブログ記事で、スターシステムはビデオの評価には必ずしも適していないことを認めた。
YouTubeの公式ブログで、YouTubeの☆評価の分布 についての記事があり、
YouTubeの☆評価に於いて 「5」以外はほとんど使われていない
ということが明らかにされたというお話がありました。
 
これは興味深いというか、このリンク元にもあるとおり、ある程度
予想された事態、言い換えると利用者の直感に合った状態なのでは
ないかと思います。ただ、この部分にはちょっと違和感がありました。
 
もちろん、しばらくYouTubeを使ったことのある人なら、既に知っていることだ。さらに言えば、あらゆる5つ星評価システムに、同じことがあてはまる。ビデオ(に限らず何でも)が良いか悪いかは簡単にわかるが、いったいどうやって2つ星か3つ星か4つ星かを決められるというのか。誰もがこうした評価について独自の考えを持っていて、当然それは全くの主観だ。
 
「あらゆる5つ星評価システムに、同じことがあてはまる。」
 
これですね。ここにはちょっと異を唱えておきましょう。
まずYouTubeに於ける☆評価がなぜ「5」ばっかりなのか、という理由について、
 
ビデオ(に限らず何でも)が良いか悪いかは簡単にわかるが、いったいどうやって2つ星か3つ星か4つ星かを決められるというのか。
というくだりがあります。視聴者は「良い」か「悪い」の2つくらいしか
判断できなくて、それ以上細かい評価は不要だという考え方です。
実際はおそらく考え方の順序が違います。それににはまず、
 
 「☆評価を付ける」という行為そのものが面倒くさい
 
という事実から入る必要があります。ユーザはよほどのことがない限り、
面倒くさいだけのことはやってくれません。このハードルは実際にコミュニティを
運営したことのある人なら実感を以って感じることができるでしょう。
 
「あなたのレビューを書いてください」などとやってみても、ユーザは
想像以上に誰も書いてくれない ものです。面倒くささが先行し、それに対して
大したメリットもない行為は、たとえクリック1つでも やってくれないものです。
 
では、このハードルを越える要因を作るのは何でしょうか。
それはYouTubeでいえば 「もの凄く良い動画を見たとき」 です。
この凄さを誰かに伝えたい!まず作者(というかうp主?)に伝えたい!
という欲求が湧き上がり、それが 面倒くささという閾値 を越えて、
ついに☆評価をクリックさせるに至ります。
 
ちょっとまわりくどい説明をしましたが、要するにそういうことです。
視聴者は「2」~「4」の評価も自分の中ではちゃんと持っています。
ただ、☆評価を付けるという 「面倒くさい行為」を発動 させるに至るのは
「5」くらい突き抜けた動画を見たときだけなのです。
 
よくアンケートなどで母集団の偏りが指摘されることがあります。
無作為といいつつネットでアンケートする時点でバイアスが掛かっている、とか、
そういうものですね。そのほかにも 「無回答」を抜きにした割合 を取ると
積極的(粘着質?)な層が多いところが強調されてしまうという偏りもあります。
YouTubeの☆評価はまさにそういう状態で、「5」を付けるくらい感動した人だけに
聞いた評価、というものが集まってしまっていると思えば分かりやすいでしょう。
 
ここで話は戻りますが、YouTubeの☆評価が何故偏るのかというのは
分かった(ような気になった)として、
 
「あらゆる5つ星評価システムに、同じことがあてはまる。」
 
というのは本当にそうでしょうか? これは 逃れ得ない運命 なのでしょうか?
私はそうは考えていません。それをご説明するためにYouTubeの☆評価のうち
もう1つの特徴を考えてみることにします。それは、
 
 つけた☆評価が「評価者自身の情報」として蓄積されない
 
という点です。いや、実際は蓄積されているのかもしれませんが、
それが有効に活用できるような仕組みが整っていません。
ほとんどの☆評価が その場のノリで 「これおもろい! ☆5つ!」
という感じで付けられている状態だと思われます。
 
「蓄積」されたものを活用するという考え方が、なぜ評価システムに
重要なのかといいますと、それは自分のつけた 評価「同士」の整合性
取る機会が存在しないからです。たとえば、1年前につけた☆5つの動画に比べて、
今見ている動画は同じ☆5つを与えるに足るでしょうか?
 
 あの動画が5だとしたら、この動画は4かも・・・いや、3くらいかな?
 
という過去の自分の評価判定との「相対評価」によって、☆評価はようやく
「1」~「5」までをまんべんなく使える土台として機能します。
 
ユーザが付けられる評価はあくまで「客観評価」ではなく「主観評価」なのです。
☆評価というのは「世間の中でこれは5段階でいう4と言われるべき」などと
思って付けられるのではなく、自分の中で特別なものと、ちょっと特別なものと、
ふつーなものと、・・・という 「自分的分類」 の中で意味を持ちます。
 
従ってそうした継続的に溜め込んで評価を続けるような環境に於いては、
☆評価システムもまんべんなく使われるようになるはずです。
 
また自分のサービスのお話で恐縮ですが、「コミックダッシュ!」では
所有コミック一覧にそうした☆評価をまんべんなく付けてくださっている方が
少なくありません。これはまさに、付けた評価が 「自分を表現する情報」
として蓄積されるからです。
 


「私はこの漫画を「5」だと思うけど、あの漫画は「3」くらい だと思う」
というのが自己表現として機能することで、全体に於ける評価の分布は
それでも「4」「5」が多いとはいえ、先のYouTubeの例に比べれば
相当に低い位置に重心ができてきます。
 
これはまた、リアルの金銭が掛かって貯めたコレクションが対象であるという点も
YouTubeとは異なる点なのかもしれません。漫画は自分にとって 「当たり」 では
なかったものであっても、冊数としては自慢ポイントの1つです。そうすると
「当たり」ではないものも評価を付ける動機が生まれてきます。
 
これが無料で見られるYouTubeの動画であれば、「当たり」でないものは、
何もせずにウィンドウを閉じて、生涯忘れたまま にしておけば良いということに
なります。上述のとおり「5」を付けたくなるくらい感動した作品でなければ、
その動画の☆評価の部分に手を付けることは生涯無いでしょう。
 
このように☆評価、あるいはレビューのシステムというのは、システムデザイン
によってその意味が大きく違ってきます。そのあたりが上手く機能するように
知恵を絞るのも運営者の仕事ですし、それによってまた新しい評価の切り口が
見つかることもあるでしょう。たとえば、誰でも付けられる評価と、
ログインしないと 付けられない評価、というだけでも性質は全く違います。
 
考えれば考えるほど複雑で難しく、だからこそ面白い分野でもあります。
逆に、見ているユーザ側からすれば、それが「システムデザインとして」
どういう性質を持っている評価なのかを確認する必要はありそうですね。


この記事を書いたのは・・・。
CK@デジモノに埋もれる日々 @ckom
ブログ「デジモノに埋もれる日々」「アニメレーダー」「コミックダッシュ!」管理人。デジモノ、アニメ、ゲーム等の雑多な情報をツイートします。




« Forza3体験版は9/24(木)配信開始 - 1コースと5車種でタイムアタック祭り!

トップに戻る

Forza3体験版でテストプレイしてみた - 車内視点、リプレイ、衝突・巻戻し »


▼ はてなブックマークのコメント ▼

tinsep19 2009/09/24
YouTubeの5星評価システムがうまくいかなかったのは、評価「同士」の整合性 を 取る機会が存在しないから。「あらゆる5つ星評価システムに、同じことがあてはまる。」わけではない。
kkobayashi 2009/09/24
原文にない"the same seems to be true"がさらに誇張されて「あらゆる5つ星評価システムに、同じことがあてはまる。」になってるという。孫引きの罠ですね
keyboardmania 2009/09/26
面倒臭さの閾値を越えた口コミが強力なのはこういうことか
kyo_ju 2009/09/27
"日本人はなんとなし「普通に働いてたらそりゃ3でしょ?」というのがあって3付近に評価が偏る~その後のリストラではこの評価がもとになって人選されたせいで大量の日本人が解雇"
escape_artist 2009/09/28
とりあえずフォントいじりは古い。。。
tarchan 2009/09/28
YouTubeの☆評価は、「5」を付けるくらい感動した人だけに 聞いた評価
Lowtek 2010/10/29
評価システム。自分を表現する情報=評価。自分のつけた 評価「同士」の整合性 を取る機会が存在しないと1or5ばっかりに。
bokunaru 2012/03/06
これとても参考になると思う。
はてなブックマークで
コメントしましょう


「爆音上映」と「辛口ブーム」、映画の上映に於ける音量のラベリング


日本シリーズの最後のシーン(西岡選手の守備妨害)の解釈と、スポーツのルールとコントロール


モノクロレーザーのある生活 - とりあえず印刷(だ)して持って行く習慣


「スマートビエラ」が踏み抜いたというARIBの「放送の一意性確保」ルール


終わってしまった「Amazonガチャ」のサービス検証 - 変われる道はあったのか?


ドリフの思い出と"おとうさん"の言葉 - 「俯瞰的錯誤」のお年頃


「同い年の選手」が引退するニュース、そしてアニメの中の「おじさん」


ネットに於ける「利用者間実名」のリスクが「ワリに合う」未来は想像可能?


作品が持つリアリティと、「自分のリアル」「他人のリアル」「大勢のリアル」


「高校野球」と「バント」と「進塁」と「守備戦略」 - 野球のミドコロ


iPadを”窮屈”に思うボクらが意識させられる「立ち位置」のコト


テレビサイドPCで「話に合わせて検索」して、みんなで見るという話

ピックアップタグ



▼ コメント ▼

No.29301   投稿者 : 船橋   2009年9月24日 16:04

私アメリカにいるとき、アメリカの会社で働いてまして。
社員同士の評価というのをやらされたことがあるんです。
アメリカ人がアメリカ人を評価すると、実績にかかわらず 5 でした。

ところが、評価が異常に辛い(平均を5点満点で3点にしている)集団があり
調べてみると日本人社員でした。

アメリカ人は子供のころからお互いほめあっているので、評価が高めにでてしまうんですが、日本人はなんとなし「普通に働いてたらそりゃ3でしょ?」というのがあって
3付近に評価が偏るようで。

で、その後のリストラでは、この評価がもとになって人選されたせいで、大量の日本人が解雇されました。
みんな会社をささえてたエンジニアだったんですが。

で、一流どこのエンジニアを失った会社はその後つぶれました。


No.29668   投稿者 : 匿名   2010年2月16日 15:17

pixivじゃ10点満点中1点をよく付けられますよ
動画ははじめから興味のある人しか見ないけど、画像は勢いで見られますから


No.29676   投稿者 : 匿名   2010年2月21日 16:55

↑だから、その1点というのも、めんどくささを超えるほどの「こんなのダメ!」という想いが働いたときだけつけられる点数なんだから、YouTubeに星5つしかつかないというのと同じ理屈。pixivという所で、9点~2点が10点と変わらないくらいよく使われているのでないなら、システムが機能していないレベルでは一緒。見る見ないの問題じゃなく、評価システムが極端な意見しか集まらないという話ですよ?

Amazonや食べログ等では、評価に長々とコメントを書くのがデフォで、更に「参考になった」という評価者の再評価システムがあるので、評価者はプチ評論家気分で自分の発言の影響を知り、評価作業に喜びと責任を考えるようになります。これも、めんどくささを乗り越えて点を集めるうまいやり方だと思います。


ご自由にコメントください(=゜ω゜)ノ
※管理人は多忙のためお返事はほとんどできません(スミマセン)。
スパムおよび本文と無関係なコメントは削除対象になる可能性があります。


保存しますか?




★コミックダッシュ! 10,000人突破ありがとうキャンペーン!(9/18~10/23)
 
デジモノに埋もれる日々 : (C) CKWorks