AIナッジを使用したアルゴリズムの説得

事実確認は、信頼できないニュースの広がりを減らすことができます。反対のこともできます。

(この投稿は、最初はcivilservant.ioに掲載されました)

redditのr / worldnewsの読者は、しばしばタブロイドニュースをボランティアのモデレーターに報告し、センセーショナルな記事のタブロイドを禁止するように依頼します。これらの装飾されたストーリーは人々の目を引き、論争を引き付け、redditのランキングアルゴリズムに注目され、さらに広がります。

タブロイドニュースの禁止はこのフィードバックループを終了させる可能性がありますが、コミュニティのモデレーターは全面禁止に反対しています。このパズルを解決するために、モデレーターはいわゆる「偽のニュース」についての議論の中心にある質問に答える必要がありました。

この冬、モデレーターはCivilServantと協力してアイデアをテストしました。信頼性の低いニュースへの対応について、事実確認を促進することの効果は何ですか? r / worldnewsコミュニティがどのように対応するかを確認したかったのです。また、redditのランキングへの影響も観察しました。 redditのアルゴリズムがファクトチェックを人気と解釈した場合、信頼できない記事がさらに広がる可能性があります。

タブロイドのニュースは、米国外のニュースを議論するこの1500万人の加入者コミュニティへのすべての投稿の約2.3%です。 r / worldnewsでは、70人のモデレーターが1日あたり約450件の記事をレビューし、それらの記事の68%が残っていることを許可しています。デフォルトのsubredditであるため、ほとんどのreddit読者はこのコミュニティを通じて世界のニュースを入手します。コミュニティのリーチはFacebookによってwar小化されていますが、r / worldnewsは、英語を話すインターネットで世界のニュースを議論するための最大の単一グループである可能性があります。このコミュニティのわずかな影響でさえ、何百万人もの人々が世界に関する潜在的に信頼できない情報を理解する方法に大きな違いをもたらすことができます。

11月27日から1月20日までの調査では、タブロイドニュースの事実確認と投票をコミュニティに促すメッセージをA / Bでテストしました。見つけたものは次のとおりです。

コミュニティの行動に対するファクトチェックの奨励の効果

r / worldnewsでのタブロイドの提出に関する議論の中で、事実確認を奨励すると、リンクを含むコメントの発生率が平均2倍になり、事実確認+投票を奨励することも同様の効果があります。

Redditのアルゴリズムに対するファクトチェックの促進の効果

24時間以上観察した結果、ファクトチェックを奨励するスティッキーなコメントにより、タブロイド投稿のredditスコアが2倍に減少したことがわかりました。これは、subredditのランキングに影響する可能性のある統計的に有意な効果です。読者に投票を勧めたとき、この効果は消えました。

AIナッジ:自由を維持しながらアルゴリズムを説得する

タブロイドニュースに関する私たちの質問は、古典的なガバナンスの質問にアルゴリズムの次元を追加しました。権力を持つ人々は、個人の自由に対する制約を最小限に抑えながら、共通の利益に向けてどのように働くことができますか?

人々に異なる振る舞いをさせることで、アルゴリズムに異なる振る舞いをさせることができます。

インターネットを介して、人々は制御できないAIシステムで生活することを学びます。たとえば、Uberドライバーは、収入を最適化するために運転を微調整します。私たちの集合的な行動はすでにAIシステムに常に影響を与えていますが、これまでのところ、大衆はその影響が実際に何であるかについての情報を欠いています。これらの不透明な結果は、健康、安全、公正など、アルゴリズムが社会で重要な役割を果たす場合に問題になる可能性があります。この問題を解決するために、一部の研究者は「Society-in-the-Loop」システムを設計しています[4]。その他は、アルゴリズムを監査する方法を開発しています[5] [6]。しかし、どちらのアプローチも、コードを制御できないシステムの日常的な動作を管理する方法を提供しません。 r / worldnewsを使用した調査は、第三の方向性を提供します。人々に異なる振る舞いをさせることで、アルゴリズムに異なる振る舞いをさせることができます。

一部の人々は、この実験が投票操作を構成しているかどうか疑問に思うかもしれません。それはredditのポリシーに反しています。私たちの付箋は個人的な利益のためのredditのルールに違反しません(また、偽のアカウントを作成したり、投票方法を教えたり、投票ブロックを組織したりしませんでした)。しかし、事実確認を促すことはredditのアルゴリズムに体系的な効果があることを示しました。

「AIナッジ」のアイデアは、個人の自由を維持しながら人間と機械の行動に影響を与える親社会的努力について考える方法を提供します。リチャード・ターラーとキャス・サンスタインは、個々の自由を保持しながら機関が力を行使する方法として「ナッジ」を最初に提案した[7]。タブロイドニュースの禁止と比較して、ファクトチェックを奨励するAIのナッジは、モデレーターが行うことができる最も軽いタッチアクションです。ニュース、コメント、投票を共有する人の能力は失われませんが、AIのナッジは信頼できないニュースの広がりを抑えます。

SunsteinとThalerが指摘しているように、これらの軽いタッチの介入が望ましい結果をもたらすかどうかは必ずしも明らかではありません。特にテストされていないシステムでは予期しない結果が生じる可能性があるため、その影響を体系的にテストする必要があります。

AIナッジのガバナンスと倫理

政府からのナッジやオンラインプラットフォームによる社会実験は、しばしば同様の批判を引き付けます。人々は、ナッジング力を行使する人に説明責任を期待するのが正しいと思います。ボランティアのモデレーターと連携することで、ソーシャルコンピューティングで一般的なレベルよりも高いレベルの透明性と説明責任を果たすことができました。 CivilServantの研究はすべて、モデレーションチームと共同で設計されており、すべての結果はsubredditデブリーフィングでコミュニティに最初に開示されます。私たちの研究デザインは、開始する前にOpen Science Frameworkに公開されており、すべてのコードはオープンソースです。完全な分析の詳細も公開されているため、誰でも結論を確認できます。関係者全員のプライバシーを尊重するため、私たちが差し控えるのは実際のデータだけです。

全般的に、AIのナッジは、特にコミュニティ自体が主導する場合、一般の人々が社会におけるアルゴリズムの役割を管理し、個人の自由を維持するという刺激的な方向性を提供することを期待しています。

調査の仕組み

このテストでは、モデレーターは頻繁に苦情を受け取るニュースソースのリストから始めました。 11月27日から1月20日まで、新しいタブロイドリンクを次の3つの条件のいずれかにランダムに割り当てました。(a)スティッキーコメントなし、(b)懐疑を促すスティッキーコメント、(c)懐疑主義+投票を促すスティッキーコメント(詳細はこちら) )。

このメッセージをタブロイドのニュースディスカッションのトップに投稿しました

2番目の方法は、記事の事実を確認し、主張の裏付けとなる証拠が見つからない場合はリンクのダウン投票を検討することを奨励します。

この2番目のメッセージは、人々にダウン投票を検討するよう促しました。

ファクトチェックの動作はredditのアルゴリズムが信頼できないニュースをどのように見るかに影響しますか?

モデレーターからの質問があればr / worldnewsの読者が助けになると確信していましたが、タブロイドニュースへのコメントを増やすと、redditのアルゴリズムが誤ってそれらのタブロイドリンクを宣伝するのではないかと考えました。

事実確認が信頼性の低いニュースソースの人気を高めた場合、コミュニティはどこに努力を注ぐかを再考する必要があるかもしれません。そのため、モデレーターは2番目の付箋コメントをテストしました。これは、読者にダウン投票を検討するよう促すものです。

redditのアルゴリズムに対する固定コメントの効果をテストするために、CivilServantソフトウェアは4分ごとに投稿のスコアに関するデータを収集しました。プラットフォームは、スコアに正確に何が入るか、またはそのランキングがどのように機能するかを正確に公開しません(私は尋ねました)。ただし、投稿のsubreddit HOTページのランキングは、その年齢とスコアから確実に予測できました(詳細はこちら)。基本的に、ファクトチェックが記事のスコアに大きな影響を与えた場合、subredditフロントページでの記事のランキングに影響を与えた可能性があります。これを2つの方法でテストしました。24時間後にスコアを比較する方法と、スコアの経時変化をモデル化する方法です。

負の二項モデルを使用して、24時間後のスコアへの影響をテストしました。 redditのアルゴリズムは実験中に存在したため、ファクトチェックを奨励することで、タブロイドの投稿は平均24時間後にr / worldnewsで49.1%(2.04倍低い)の提出スコアを獲得しました。効果は統計的に有意です。このモデルでは、読者にダウン投票を検討するように促すスティッキーなコメントから効果を見つけることができませんでした。

また、投稿のスコアの経時的な成長率に対するファクトチェックの効果もテストしました。この質問をするために、ランダムな切片線形回帰モデルを、4分ごとに投稿の対数変換されたスコアに当てはめます。事実確認を奨励すると、スコアの成長率が低下することがわかりました。ここで、投票を奨励することは、実際には、平均して、時間の経過に伴うスコアの成長率にわずかにプラスの効果があることがわかりました。 2016年12月初旬のredditのアルゴリズムの変更中に実験を行っていたので、redditがアルゴリズムを調整した後、redditのアルゴリズムに対するこれらのスティッキーなコメントの影響が変更された可能性もあります(詳細)。

ニュース記事のファクトチェックを手伝ったのは誰ですか?

モデレーターが残ることを許可したリンクを含む930のボット以外のコメントのうち、737のユーザーアカウントがさらなる証拠へのリンクを提供しました。これらのうち、133個のアカウントがリンクを使用して複数のコメントを作成しました。多くの人々が自分の提出物を事実確認し、提出者は詳細情報に81のコメントを投稿しました。

この研究から何が分からないのですか?

このテストでは、個々のアカウントではなくディスカッション内の結果を調べます。そのため、個々の人々がより懐疑的であると確信したかどうか、または粘着性のコメントがすでに懐疑的な人々を調査して共有したかどうかを知ることはできません。また、読者に対するファクトチェックの効果に関する証拠もありませんが、ファクトチェックは読者の信念に影響を与えることを他の研究が示唆しています[2] [3]。

この調査では、読者にダウン投票を検討するように促すことでメッセージを修正したときに、なぜアルゴリズム効果にこのような大きな変化が見られるのかについてあまり語ることはできません。この違いは、心理学者が「リアクタンス」と呼ぶもの、権威からの提案に対する抵抗の例かもしれません。または、ニュースの投稿者が自分のリンクがダウン投票されるのではないかと心配する場合、彼らは助けを求めるかもしれません。それは読者の行動を釣り合わせます。

これは、他の種類のリンク、他のsubreddits、または他のサイトで機能しますか?この調査は、特定のコミュニティとサイトのリストに限定されています。モデレーターが尋ねた場合、読者の多くの大規模なオンラインコミュニティがリンクを事実確認するのに役立つと思われますが、redditアルゴリズムに関する私たちの発見ははるかに位置しています。

より多くのsubredditsが同様の実験を試すことにした場合、これらの質問に答えることができます。興味のある方は、redditで私に連絡して、同様の実験の実行について議論し、電子メールの更新にサインアップしてください。

この実験の詳細

私の博士号は、コミュニティが自身の調停慣行の効果をテストするのをサポートすることを含みます。私はこの実験をr / worldnewsのモデレーターと一緒に設計しました。また、実験対象としての人間の使用に関するMIT委員会によって承認されました。質問や懸念がある場合は、redditmailでnatematiasに連絡してください。

この実験は、これまでの私のredditに関するすべての研究と同様に、redditプラットフォームとは独立して実施されました。実験はまだピアレビューされていません。 CivilServantのすべての結果は、結果の準備ができ次第、関係するコミュニティに公開され、学術出版物が後日公開されます。

実験の詳細は、osf.io / hmq5m /の事前分析計画で事前に公開されています。統計に興味がある場合は、分析の詳細をすべて公開しました。

参照資料

[1] Salganik、M。J.、およびWatts、D。J.(2008)。群れを欺く:人工文化市場における自己実現予言の実験的研究。四半期ごとの社会心理学、71(4)、338–355。

[2] Stephan Lewandowsky、Ullrich K. H. Ecker、Colleen M. Seifert、Norbert Schwarz、およびJohn Cook。誤った情報とその修正は、継続的な影響と成功した脱バイアス。公共の利益における心理学、13(3):106–131、2012年12月。

[3]トーマス・ウッドとイーサン・ポーター。とらえどころのない逆火効果:大衆の態度の着実な事実遵守。 SSRN学術論文ID 2819073、社会科学研究ネットワーク、ロチェスター、ニューヨーク、2016年8月。

[4] Rahwan、Iyad(2016)「Society-in-the-Loop:アルゴリズム的社会契約のプログラミング」。中

[5]クリスチャン・サンドヴィグ、ケビン・ハミルトン、カリー・カラハリオス、セドリック・ラングボルト。 2014.監査アルゴリズム:インターネットプラットフォームで差別を検出するための研究方法データと差別:重要な懸念事項を生産的な調査に変換する、国際コミュニケーション協会年次総会、2014

[6] Diakopoulos、N.、&Koliska、M.(2016)。ニュースメディアのアルゴリズムの透明性。デジタルジャーナリズム、1–20。

[7] Thaler、R。H.、およびSunstein、C。R.(2003)。リバタリアンパターナリズム。アメリカ経済レビュー、93(2)、175–179。