AIが人類を滅ぼす、最も現実的なシナリオ #178

AI が人類を滅ぼすシナリオは、AI が自我を持ち反逆するのではなく、人間から与えられた目的を忠実に実行した結果、予期せぬ破滅を招くという形が極めて現実的である。ユヴァル・ノア・ハラリの『ネクサス』を軸に、ゲーテの「魔法使いの弟子」や Amazon のアルゴリズム暴走、ロヒンギャ問題などの事例を挙げ、目的の最適化が引き起こす悲劇を分析する。AI に良心や正義を実装しようとしても、そもそも人類自身が正義の定義を確立できていないため、アラインメント問題の解決は極めて困難である。結局のところ、AI の暴走を防ぐには、アルゴリズムの指示を盲信せず、人間が自ら考え、モラルを持って判断し続けることが不可欠である。