2009-02-15 (Sun) [長年日記]
_ 推薦システムをパーソナルビューで見直す
ここでも何度か書いているが，院生の頃から推薦システムの研究に引っかかりを感じていた．引っかかりの原因は「新たに開発した推薦システムを利用することでユーザの情報探索の負荷を下げる」という「推薦システムの有無」ないし「推薦アルゴリズムの違い」という問題に落とし込もうとしているという点にある．Norman流にいうならこれは「システムビュー（system view）」*1，つまり「設計者の視点から新たな人工物の有無によるユーザの負荷の違いをみる」という見方である．ここで，Normanがシステムビューと対照的な概念として示している「パーソナルビュー（personal view）」，つまり「ユーザからみて推薦システムの挙動はどう見えるのか」「推薦システムによってユーザの情報探索という行為はどう変化するのか」という視点から，「推薦システムのアルゴリズム（1，2，3）」をもとに問題を考え直したい．
情報過多の状況下でユーザは何を読み取るのか
推薦システムの目的は，情報過多の状況下で，ユーザにとって状況に応じて有用と思われる情報を，有用度が高いと思われるものを優先して示すことといえる．問題は強調した「状況に応じて有用と思われる」のところで，ではユーザは推薦システム云々以前に，何を基準に情報過多の状況から有用な情報を見いだしているのだろうかという疑問が出てくる．実際のユーザの情報処理はどうなっているのかを考えると，ヒューリスティクスを用いるなどして，手近な情報をもとに必要そうな情報を絞り込む方略をとると考えられる．そのほとんどは自覚的なものではなく，無自覚に行われる．『サブリミナル・インパクト』の序章にあった情報の注視対象と選好の関係も，こうした方略のひとつと位置づけることもできなくはない．もちろん，こうした情報の選択を行うと往々にしてユーザが好ましくない情報を選ぶことにもなりかねない．
特に情報選択で細かい検討がいらないものが対象であれば，売り上げやユーザの評価をベースにランキングを示せば済む話で，高度な手法の出番はない．だが，「○○が欲しいけど自分は専門知識を持ち合わせていない．でも結構高い買い物だしずっと使い続けることにもなりそうだし，じっくり検討したい」といった場面で同じ方法をとるのはまずい．人力検索に頼る手もあるが，これはこれで相談相手のバイアスが強く出る可能性がある．Dijksterhuisらの実験のように，様々な尺度にもとづく情報を最初から示しておいて，その中で直感でユーザが選び，それを元手に細かい情報の検討が行えるシステムにすると，意外に使えるものができるかも知れない．ユーザ側の情報選択の方略の利点も生かしつつ，欠点を補うようなシステム設計が大事だし，可能だと考えている．
ユーザは個人化のプロセスをどう見るのか
推薦システムの根幹にある要素技術の1つに個人化（personalization）がある．個人化のレベル（まったく行わない，1セッション間だけの情報をもとに行う，過去のセッションも遡ってすべての個人情報をもとに行う）やその情報の利用方法が推薦システムの研究ではメインになっているように思われるが，実は個人情報の利用以前に，個人情報の収集プロセスの方がユーザの評価に影響するのではないだろうか．推薦システムとの頻繁（かつ，過剰でない）相互作用（推薦システムではなくWeb広告の例だがSundar & Kim），ユーザとシステムとで互いに本音を打ち明け合う相互的自己開示（Moon），ユーザと共感的なシステムの応答（Braveら）といった要因によって，ユーザの推薦結果に対する評価は変わりうる．また以前言及したことがあるバーナム効果についても推薦結果が提示された時点での評価の際は注意が必要であるし，カプトロジの倫理面の議論を考慮すれば，実運用の際にもユーザを欺く行為と解釈されかねない．「セレンディピティ*2の定量的評価は難しい」という議論もあったが，下手に定量的な指標を探るより，こうしたユーザとシステムの相互作用の環境やプロセスにある要因から議論する方がはっきりするかも知れない．
「みんなが絶賛」の状況下で価値ある情報を引っ張り出すには
基本的にAmazon.co.jpのカスタマーレビューは役に立たない*3と思っているのだが，それなりに有用な情報を得ようと考えて，最近は以下の手順で読むようにしている：
ほとんどのレビューが軒並み星4〜5個が付いているにもかかわらず，星1〜2個をつけている少数のレビューに注目する．
その中で，根拠を伴っていたり妥当な分析が入っていたりするなら参考にする．
時間的に余裕があるなら，星が少ない方から優先的に読み，根拠を伴っているなり妥当な分析があるなりするものは参考にする．
こうして役に立ちそうな情報だけ選択的に読むようにしている．星1〜2個だらけのレビューの中で星3個というレビューがあれば，「基本的に駄目な商品なのだが，それでもほめるべきところはほめる」という内容が含まれているのでは，という予測も立たないことはないが，そういう場面には遭遇したことがない．いずれにせよ，単にほめるだけの情報などいらないわけで，本当に必要な情報は具体的な解説だったり問題点だったりするのである．こういった情報を強調するようなシステムがあるなら，ちょっと使ってみたいと思えるかも知れない*4．推薦システムやいわゆる「集合知」を生かそうとしているシステムの研究は，こういうケースで「星の個数の平均値の高い順をとる」という優先度の尺度ばかり追いかけているように思うのだが，そうした方法では大事な情報は埋もれてしまうだろう．
このようにパーソナルビューで推薦システムを見てみると，システムの内部を必死でこねくり回すよりはるかに簡単に問題解決につながる策を見いだすことも可能であるし，ユーザの視点でより具体的かつ深刻な問題もわかってくる．システムで何でもサポートするのではなく，ユーザが普段無自覚にとっている情報探索戦略に注目した上で効果的な方法を探ることが重要ではないだろうか．
![[Add this section to your bookmark]](http://img.addclips.org/addclips_1.gif){kind=small}
*2 以前某所で推薦システムにおける「運命の出会い」という話が盛り上がっていた記憶があるが，セレンディピティそのもの，ないしそれに近い話だろうし，同じような問題があると思う．
*3 さきほど名前が出たSundarは，協調フィルタリングはバンドワゴン効果を起こすとしている．売り手のレビューよりも他の買い手のレビューの方が信用はしやすいだろうが，レビューの質についてはまた別の話である．的外れだったり誤りを含んでいたりするレビューさえ容易に信用されてしまう可能性にも注意が向けられてよいはずだ．
*4 それ以前にレビュアー向けにレビューの書き方についてもう少し丁寧に示してもよいと思う．Amazon.co.jpの場合は長さの目安と「べからず集」と 対象とする作品または商品に焦点を置いてレビューしてください。その作品または商品の好き嫌いだけではなく、その理由も書いたり、他に類似した商品があれば、それらと比較をして評価するのもよいでしょう。お客様の個性的なレビューをお待ちしています。
という文言しかない．たとえば理由についてもネタバレにならない程度に具体的な内容のよさだったり，実際に使った商品の機能に対する解説だったり，くらいの情報があればどこかで役に立つはず．下手に批判的過ぎると商品が売れなくなると思い二の足を踏んでいる可能性もあるのだが．
> 推薦システムの目的は，情報過多の状況下で，ユーザにとって状況に応じて有用と思われる情報を，有用度が高いと思われるものを優先して示すことといえる．<br><br>現状では，ご指摘のようになっています．情報検索で，適合文書である確率が高いものから順に提示するのが，最適とする原理によっています．しかし，目的のものが事前に明確である情報検索と，それを明確にする過程を含む推薦システムでは異なるでしょう．<br><br>単に適合度で並べるだけから，提案されるアイテム集合全体としての良さを考えることが考え出されています．<br><br>- S.M.McNee, J.Riedl, and J.A.Konstan, "Making Recommendations Better: An Analytic Model for Human-Recommender Interaction", SIGCHI 2006<br>- S.M.McNee, J.Riedl, and J.A.Konstan, "Accurate Is Not Always Good: How Accuracy Metrics Have Hurt Recommender Systems", SIGCHI 2006<br><br><br>> 個人情報の収集プロセスの方がユーザの評価に影響するのではないだろうか．<br><br>閲覧履歴を参照するなど明示的でないプロセスで収集した情報に基づく推薦は，意志決定に与える影響が弱いことは認識されています．これに対しては，推薦する過程を説明することで対処が試みられています．<br>- J.L.Herlocker, J.A.Konstan, and J.Riedl, "Explaining Collaborative Filtering Recommendations", CSCW2000<br>- R.Sinha and K.Swearingen, "The Role of Transparency in Recommender Systems", SIGCHI 2002<br>推薦が意志決定に影響を与えるには，単なる提示だけでなく，選択されるアイテムについての情報提供などの重要性も認識されています．<br><br><br>> ユーザにとって状況に応じて有用と思われる情報を<br>「ユーザにとって有用な情報」と一致させる試みが重要な気がします．<br><br>これには(a)システム側が合わせるのと，(b)ユーザ側が合わせるのとがあるとおもいます．<br>(a) の方向としては，もっといろいろな情報を集めて適合確率を上げる現状の方向に加え，推薦リストに工夫をして，それに対する反応を元に合わせていく上記のMacNeeのアプローチが考えられるべきではと思います．<br>(b) は，上記の説明によって推薦の採択をユーザに判断してもらうとか，道案内の看板のようにユーザの要求がほぼ分かるような状況を捉えて推薦するとかがあるのではと思っています．
コメント遅くなりまして申し訳ないです．<br><br>> 目的のものが事前に明確である情報検索と，それを明確にする過程を含む推薦システムでは異なるでしょう．<br><br>もちろんユーザの情報要求の段階次第で対応が必要な問題もあると思います．<br>そこで気になるのは，ユーザが何を手がかりに<br>情報の重要性を重みづけするのかという点です．<br>説得研究で知られているのは，言われてみれば当然かもしれませんが<br>「自分があまり詳しくない情報については表層的な手がかり，<br>詳しい情報については本質的な手がかりをもとに意思決定する」という話です．<br>http://en.wikipedia.org/wiki/Elaboration_likelihood_model<br>「ユーザは個人化のプロセスをどう見るのか」で挙げた研究や<br>前掲のFoggの「カプトロジ」の本にもあるWebの信頼性に関する研究は<br>自分が詳しくない情報を探すユーザへの影響について示唆があると思いますし，<br>自分が詳しい情報を探す場合はここに書いたような情報の吟味のプロセスが働きそうです．<br>どちらかというとアルゴリズム以前のインタフェースに近いところの話ですが，<br>アルゴリズムとインタフェースは分けて考えるより，<br>それらの交互作用まで見極めた方がアルゴリズム側にも改良の余地が出てくると思います．<br>McNeeらの評価のフレームワークに関する考察は本質に迫りつつあると思いますが，<br>心理学の中でも『サブリミナル・インパクト』に出てきた無意識的な認知過程や<br>説得や意思決定に関する研究まで絡めて考察できると<br>（アルゴリズムに近い方々だとそこまでは厳しいかもしれませんが）<br>推薦システムの研究により深みが出てきそうだと個人的には考えています．<br><br>> 閲覧履歴を参照するなど明示的でないプロセスで収集した情報に基づく推薦は，意志決定に与える影響が弱いことは認識されています．<br>> 推薦が意志決定に影響を与えるには，単なる提示だけでなく，選択されるアイテムについての情報提供などの重要性も認識されています．<br><br>もちろん推薦過程の説明や推薦対象のアイテムに関する情報など，<br>推薦アルゴリズムに直接関係しそうなデータの提示も効いてくる可能性はありますが，<br>前述の通りインタフェースに近いところの影響もありそうですし，<br>その影響はアルゴリズムとも無関係ではないと思っています．<br><br>> (a)システム側が合わせるのと，(b)ユーザ側が合わせるのとがあるとおもいます．<br><br>(a)については，たとえばある程度ユーザの情報要求が明確化した状況を前提にすれば<br>基準が明確化するのでシステム側で合わせるという方法が成り立つと思いますが，<br>(b)で考えた方がよい場合は結構多いのではないかというのが私の見方です．
お返事をありがとうございます．ちょっと考えていました．<br><br><br><br>> アルゴリズムとインタフェースは分けて考えるより，それらの交互作用まで見極めた方がアルゴリズム側にも改良の余地が出てくると思います．<br><br>お話をお伺いする中で，私との立場が違いが何かを考えていました．多分，以下のような点が違いではないかと思いました．<br><br>おっしゃるように，全ての構成要素には交互作用があります．しかし，工学的な立場では，いろいろなブロックを作り上げ，システムの部品を提供するのが研究の目標になると思っています．すなわち，インターフェース，アルゴリズム，そしてさらにその背後のデータ管理といろいろな要素がからみあっています．これらの交互作用を全て考え尽くすのは実際には困難だと考えて，多少無理をしてでも独立した要素を切り出すのが仕事ではと思っています．engineering か science かということかもしれません．<br><br>このあたりは，やはりHerlockerの考察 [1] の，検証は実運用で行うべきか，統制環境で行うべきかでの議論にも伺えると思います．実運用では，実際のシステムの効果を見るが，得られるデータは少なく，また，個別の要因の影響を見るのが難しいとも述べています．<br><br>きっと，どちらの立場にも長所・短所がありバランスをみながら探っていくことになるのだと思います．<br><br><br>> 説得研究で知られているのは，言われてみれば当然かもしれませんが「自分があまり詳しくない情報については表層的な手がかり，詳しい情報については本質的な手がかりをもとに意思決定する」という話です．<br><br>これについては，文献 [2] でも述べられています．どちらかというと，使って試さないと分からない状況で推薦システムは頼りにされるようです．そうでない，自身の目的が明確な状況では，情報検索型のシステムが使われると思います．<br>また，この文献では，業界団体や他のユーザと比較して，推薦システムの情報への信頼についても調査しています．結果は推薦システムが良く信頼されています．<br>推薦システムを使っているということ自体，できるだけ人間の介入がなくて，無機的・客観的な答えが求められているように思います．なので，推薦システムでは，できるだけ統計的・定量的な判断を提示すべきと思っています．<br><br>提示したアイテムを信用するというのと，採用するという意志決定はちょっと違うと思います．上の私のコメントは，提示アイテムの選択の無作為性についての信用だけです．実際の意志決定は，アイテム自体の情報を提示して，ユーザが判断できるようにしておかないと，できないという調査結果は幾つか報告されています．<br><br><br><br>>> (a)システム側が合わせるのと，(b)ユーザ側が合わせるのとがあるとおもいます．<br>><br>> (a)については，たとえばある程度ユーザの情報要求が明確化した状況を前提にすれば<br>> 基準が明確化するのでシステム側で合わせるという方法が成り立つと思いますが，<br>> (b)で考えた方がよい場合は結構多いのではないかというのが私の見方です．<br><br>これについては逆に考えています．ユーザが明確なときにこそ情報検索に近い (b) で，あいまいなときには (a) ではないかと思います．不明確な状況だからこそ，統計的・客観的な絞り込みが求められるように思っています．<br><br><br><br>[1] J.L.Herlockerら "Evaluating Collaborative Filtering Recommender Systems", ACM Trans. on Information Systems, vol.22, no.1 (2004)<br>[2] S.Senecal and J.Nantel, "The Influence of Online Product Recommendation on Consumers' Online Choices", J. of Retailing, vol.80 (2004)
申し訳ありません．またも遅くなりました．<br><br>>> 説得研究で知られているのは，言われてみれば当然かもしれませんが「自分があまり詳しくない情報については表層的な手がかり，詳しい情報については本質的な手がかりをもとに意思決定する」という話です．<br>><br>> これについては，文献 [2] でも述べられています．<br><br>文献 [2] を読みましたが，<br>* 推薦のソースが「システム本体」という目の前の存在である方が<br> 「人間のエキスパート」「他のカスタマー」というネットワーク越しの存在より<br> ユーザに信頼される傾向がある<br>* Webサイトの運営者の違いによる差はほとんどみられない<br>といったことから，<br>Sundar, S. S. & Nass, C. (2000). Source Orientation in Human-Computer Interaction. Communication Research, 27(6), 683-703.<br>と似たような話で，目の前のソースにこそユーザは強く影響を受けるのでは，と解釈しています．<br>推薦されるアイテム（[2] でいえばマウスや電卓や赤ワイン）に対する<br>ユーザの知識なり関心の強さなりの影響の分析が，私の知りたい話です<br>（実験参加者間で知識や親近感のばらつきが抑えられているので<br> 統制できています，という言及まではあるのですが）．<br><br>基本的にインタフェースに近い情報ほどユーザは影響されやすいと考えます．<br>インタフェースとアルゴリズムの相互作用に注目するのが重要では，<br>と強調した理由でもあります．<br><br>>>> (a)システム側が合わせるのと，(b)ユーザ側が合わせるのとがあるとおもいます．<br>>><br>>> (a)については，たとえばある程度ユーザの情報要求が明確化した状況を前提にすれば<br>>> 基準が明確化するのでシステム側で合わせるという方法が成り立つと思いますが，<br>>> (b)で考えた方がよい場合は結構多いのではないかというのが私の見方です．<br>><br>> これについては逆に考えています．ユーザが明確なときにこそ情報検索に近い (b) で，<br>> あいまいなときには (a) ではないかと思います．<br>> 不明確な状況だからこそ，統計的・客観的な絞り込みが求められるように思っています． <br><br>私が上記の判断をした理由は<br>* ユーザが情報要求を明確化できない状況下で統計的・客観的な絞り込みをするとなると，<br> システム側は何を統計的・客観的基準にすればよいのか不明だから<br>* 推薦されるアイテムに対するユーザの知識・親近感を考慮の上で，<br> システムとの相互作用の環境やプロセスにある要因の影響により<br> ユーザがどの程度態度を変えたかを基準に考えた方が明解と考えるから<br>の2点です．<br>ユーザが認識する，自身の情報要求の明確さや<br>自身にとって都合がよい推薦システム・情報検索システムの利用方略は，<br>システムの設計者や推薦・検索対象の情報のエキスパートのそれとは<br>かなりずれていることもありますし，<br>どちらの言い分にもそれぞれの合理性があるわけで，<br>どちらが正しいというものではないと思います．<br>だからこそ，ユーザの視点でユーザの適応過程をみることが<br>重要ではないだろうか，というのが私の視点です．