自動化システムの限界とその根拠の情報不足による過信

タイトル
自動化システムの限界とその根拠の情報不足による過信

著者
伊藤誠, 稲橋 広将, 田中 健次

掲載
ヒューマンインタフェース学会論文誌, Vol.2, No.5, 2003.

アブストラクト
This paper investigates why and how a human overtrusts an automated systems. Since previous studies on trust have not discussed overtrust, we propses a model of trust in which overtrust is expressed as a special case. In this model, trust is the range within which an automated system is expected to work successfully. It is supposed that there exist two limits in terms of ability of automation: the designed limit within which the automated system is guraranteed to work successfully, and the actual limit within which the automation may work. When the range of expectation exceeds the actual limit, a cognitive experiment is conducted. We focused on effects of information given to users on the limits. Subjects were divided into three groups: group 1 that is given only the desgined limit, group 2 that is given both the designed limit and the actual limit, and group 3 that is given not only the two limits but also the reason for the limits. The results suggest that it it effective to prevent overtrust by informing the limits and the reason.


キーワード
trust, over-reliance, automation, human-machine cooperation, training

要約
システムへの過信が生じる理由やプロセスについての研究。
研究の結果得られた知見としては、以下の通り。
・設計上の限界のみを知らさせる場合、経験をつむにつ入れて期待の範囲が広まる場合がある。このことは、被験者が自動化システムの動作の限界を見極めようとすることによるものと考えられる。
・設計上の限界に加え、機能上の限界も知らさせていると、期待の範囲が当初から機能上の限界に及び易い。機能上の限界を超えなければ問題ないとの判断がなされているものと解釈できる。
・設計上・機能上の限界に加えて、その根拠が知らされている場合、期待の範囲は機能上の限界よりも安全よりの範囲にとどまりやすく、拡大する傾向も小さい。

要するに、機能上の限界と設計上の限界の間には、多少の差が存在する。その差が存在していることが知られてしまうと、最終的には、徐々に設計限界は広げられるか、もしくは「まだ機能的には大丈夫」という考えの基で、設計上の限界は破られ、機能上の限界を元に機器操作を行なう。これを防ぐための方法として、機能上の限界・設計上の限界はどのような根拠で設定されているか、それを破るとどのようなことが起こるかを明確に伝えることで、安全側に操作を留めるようになる。