ホーム » 研究・教育 » 最近の研究成果の紹介

原題: Beware the performance of an algorithm before relying on it: Evidence from a stock price forecasting experiment
著者: Tiffany Tsz Kwan Tse, Nobuyuki Hanaki and Bolin Mao
ISER Discussion Paper No. 1194, October 2022

---

本研究では、実験参加者が将来の株価を予測する際に、アルゴリズムからのアドバイスにどの程度依存するかを調査した。アルゴリズム回避とは、アルゴリズムが不完全であることを知ると、それへの依存度が低くなる傾向を指す概念である(Dietvorst et al., 2015; 2018)。既存のアルゴリズムへの依存度を測定する研究の多くでは、参加者がアルゴリズムにどの程度依存するのかを決める前に、自分とアルゴリズムのパフォーマンスを直接的に比較することができず、アルゴリズムへの依存度と、その性能の関係が明確ではなかった。そこで、本実験では、アルゴリズムの性能に関する参加者の主観的な信念を制御するために、アルゴリズムの全体的な性能に関する情報を与えた。さらに、アルゴリズムの性能のレベルと、練習ステージにおいて参加者が自分のパフォーマンスを知ることができるかどうかを変化させた。また、練習ステージで自分のパフォーマンスだけを知る場合と、自分とアルゴリズムのパフォーマンスを直接比較できる場合を比較した。

実験の結果、タスクの経験が少ない（練習ステージに入れない）参加者の場合、アルゴリズムの性能レベルによらず、アルゴリズムへの依存度は大きく変わらなかったことが分かった。タスクを経験し(練習ステージに入れ)、自分のパフォーマンスを知った参加者は、経験のない参加者に比べて、アルゴリズムへの依存度が有意に低くなった。興味深いことに、これは自分がアルゴリズムよりも優れていると推察できた場合も、アルゴリズムが自分よりも優れていると推察できた場合も同様であった。我々の実験結果は、先行研究が懸念するアルゴリズム回避ばかりでなく、アルゴリズムへの過度の依存が問題となりうることを示唆している。

図1: アルゴリズムの依存度(MSHIFT)が0.5より大きい[小さい]場合は、最終的な予測が初期予測よりもアルゴリズムの予測により近い[遠い]ことを示している。T1-T3 [T4-T6]では、参加者はGood [Bad]アルゴリズムのアドバイスを受けた。T1とT4では、参加者はタスクを経験しておらず、自分の性能を知ることができなかった。T2とT5では、参加者はタスクを経験して、自分の性能を知ることができた。T3とT6では、参加者はタスクを経験して、自分の性能を把握し、自分とアルゴリズムの性能を直接比較することができた。Task 1では、参加者は自身の予測か、アルゴリズムの予測のどちらかを一方を選び、最終的な予測として提出した。Task ２では、自身の予測とアルゴリズムの予測に基づいて、自身の最初の予測を自由に修正した上で、最終的な予測として提出した。

（作成）花木伸行、Tiffany Tsz Kwan Tse