ケース4 - 自動攻撃兵器

Q Industries社は国際的な防衛コントラクタであり、自動操縦の移動手段の開発に特化している。Q社の過去の仕事は、爆弾の信管を取り除くロボットや群衆をモニターするドローンなどの受け身のシステムであった。この分野のパイオニアとしてQ社は軍用や警察用の装置のベンダとして選ばれてきた。Q社の製品は、非暴力の抗議活動が行われる紛争地域を含む、いろいろな状況で使われてきた。

最近、岩塊や銃、その他の兵器を用いて、Q社の無人車が攻撃され損害を被ることが起こっている。この問題に対して、Q社は自動的にアクティブな対応をする実験を始めた。Q社の最初のアプローチは、顔認識アルゴリズムを使って攻撃現場にいた人間の顔を記憶し、脅威となる人間を識別するという方法である。このアプローチに続いて、催涙ガス、ペッパースプレー、あるいは音響兵器などの致死性でない兵器を使って、攻撃者となる恐れのある人物を活動できなくするというアプローチが取られた。

最近、Q社は複数の政府から、秘密会合の場で、この反撃を各種の規模の致死性のものに拡大できないかという打診を受けた。この反撃は、認識された個人を狙って狙撃するものから、小規模な爆弾を発射するものまで、さまざまである。

Q社の幹部がそのような能力の開発に賛成したとき、何人かのQ社の古参のエンジニアが抗議して、Q社を辞めた。その中の何人かは以前から、致死性のない反撃を行う製品でも、催涙ガスを致死性の毒物に取り換えることは容易であるとの懸念を表明していた。これらの辞めた従業員が意見を公表する考えであることを知ったQ社は、守秘義務契約を破ったということで、その人たちを告訴した。

倫理規定を用いたケース4の分析

【1.2項】(害を与えることを避ける)は、害を与えようとするシステムの設計は、それが倫理的に正当化できるものに限られ、意図しない害を最小化しなければならないと規定している。Q社の仕事は徐々に変化しており、この原則に違反する方向に変化している。顔認識を使うQ社の最初のアプローチは、基本的人権(【1.1項】)である自由なスピーチや集会の開催を抑制する目的で使うこともできる。

このリスクに配慮していないQ社は、【2.5項】(コンピュータシステムの包括的で完全な評価を与えること。それには考えられるリスクの分析を含むこと)で義務付けられたマシンラーニングシステムの使用には特別の注意を必要とするという規定に違反している。

さらに、これらの道具は【1.4項】(公平で差別を行わないように行動する)に書かれた価値を尊重しない政府に使われ、差別やその他の暴行を許すことになるかもしれない。このテクノロジーは、無実の傍観者のプライバシーを侵害している。これは【1.6項】(プライバシーを尊重する)に違反する。

それに加えて、致死性でない兵器の引き起こす害は、無実の個人に痛みや死をもたらすこともあり、害を最小化しているとは言えない。したがって、この害は倫理的に正当化できないものであり、【1.2項】に違反している。

辞職し、攻撃兵器の開発について公表すると決めたエンジニアの行動は、【1.2項】、【1.7項】(秘密事項を守る)と【2.7項】(コンピューティングや関連テクノロジ、とその結果について公衆の知識や理解を広めること)に照らして正当化されるものである。

Q社が引き起こし得る害は、この倫理規定をいくつかの面で違反している。したがって、辞職したエンジニアたちが、会社との守秘義務契約を破って、これらのリスクを公衆に気づかせることは倫理的には正当化される。しかし、同時に、Q社による訴訟は正当なものであり、【2.3項】(プロフェッショナルの仕事に付属する既存のルールを理解し、それを尊重すること)に規定されているように、エンジニア達は、守秘義務違反の裁判の結果を受け入れなければならない。

全体として、Q社の幹部はこの倫理規定の根本をなす公共の利益を尊重することに違反している。この規定の前文では公共の利益が最も重要であることを強調している。【3.1項】(すべてのプロフェッショナルはコンピューティングの仕事を行う過程において、公共の利益が最も優先されるようにすること)はこの点を繰り返し述べており、常に人間が中心に考えられなければならない。Q社の幹部は、この規定の各条項のベースとなる基本的な信条に反している。

(次回は9月27日の掲載予定です)