「ChatGPT」と司法試験
『米国のベンチャー企業OpenAIが開発した対話型人工知能「ChatGPT」に注目が集まっています。
共同通信の報道によると、米医療企業の研究チームが、ChatGPTに米国の医師国家試験を解かせてみたところ、正解率は52～75％で、合格ラインとされる60％前後に達しました。
また、司法試験を解かせる米国の実験では、7科目全体の平均こそ人間に負けたものの、2科目では平均を上回る結果をみせています。
では、ChatGPTに日本の司法試験を受けさせてみたらどうなるのか。弁護士ドットコムで実験をおこないました 。
●どんな仕組みで法律の学習をしていくのか ChatGPTは、同社が開発したGPTと呼ばれる大規模な言語モデルを組み込んだ対話型の人工知能です。
2022年11月に公開されて以降、高度な応答ぶりが注目を集めており、日本語テキストによる質問に対しても、まるで日本人とチャットしているような自然な言葉で答えてくれます。
言語モデルとは、「入力した文に続きそうな単語を予測して出力する」という仕組みのこと。たとえば「故意に人を殺すと死刑になる」という文章を分解し、言語モデルに「故意に人を殺すと」と入力したときに、「死刑」と出力するように学習させ、さらに、「故意に人を殺すと死刑」という入力に対しては、「になる」と出力するよう学習します。
こうして、人間が正解を入力していく「教師あり学習」ではなく、データさえあればAI自身が強化学習を重ねて精度を高めていく「教師なし学習」ができるのが、GPTのような言語モデルの特徴となっています。
●日本の司法試験問題を解かせるとどうなるのか？
では、日本の司法試験をChatGPTに解かせたら、どんな結果になるのでしょうか。
ChatGPTに、（GPT3がまだ学習データを持っていないはずの）令和4年の司法試験問題を入力してみると、「正確な回答を提供するにはより多くの情報は判例の全文が必要です」「法律に関する問題について正確な判断や回答をすることはできません」と返ってきました。
この背景には、日本は米国と違いほとんどの裁判例がデータで公開されていないという問題があります。加えて、日本の弁護士法上、弁護士・弁護士法人ではない民間企業が提供するサービスが、実際の事件について法律的な見解を述べるようなプログラムを提供することは、弁護士法72条違反を問われる可能性が高いとされています。
こうした現状を踏まえると、上記のChatGPTの回答は、「日本において最も適法かつ適切な優等生的回答」と言えるかもしれません。
●「深津式プロンプト・システム」を使って試験問題への回答を矯正させてみた
では、ChatGPTが持ち合わせたデータだけで、回答させる方法はないものでしょうか。
そこで弁護士ドットコムでは、より高機能な有償版である「ChatGPT Plus」を利用し、その活用方法に詳しいTHE GUILDの深津貴之氏がYouTubeで公開している「深津式プロンプト・システム」を応用して、
・東京大学法学部の首席レベルの優秀な学生が ・法律相談ではなく、あくまで試験問題への回答として ・判例データ等を用いずに ChatGPT Plusが回答を忌避せずに、何らかの答えを必ず出力する命令プロンプトを作成しました。
何度かのチューニングを経て、令和4年司法試験の民法の択一試験の全37問についてChatGPTに入力していきます。 すると、「解答は、1です」と、ChatGPT Plusが素直に回答を返してくれるようになりました。
●正解率は30％
合格ラインをはるかに下回る結果 このプロンプトを使って、令和4年司法試験民法択一試験全37問への回答をさせた結果は？
結論から言えば、正答率は30％。合格最低ラインと言われる55％をはるかに下回り、足切りラインと言われる40％にも到達しない残念な結果となりました。
しかしながら、この深津式プロンプトによる一連の問題への回答ぶりをみていて驚かされたのが、日本の民法の択一試験問題の特徴でもある「複数の枝の中から、正しい選択肢／誤った選択肢の“組み合わせ”を選ばせる」ことができている点です。
これまでの一般的なAIチャットシステムでは、このような長文、かつ複数の論点を持つ質問に対して答えを返すこと自体不可能でした。
単一の質問に1対1でしか回答を返せないものがほとんどで、人間が質問を加工する必要がありました。
ChatGPTでは、もはやそのような必要はなく、司法試験委員会が公開しているファイルから丸ごとコピーアンドペーストするだけで回答を導き出したのは、それ自体が大きな進歩と言えます。
今後、日本の裁判のIT化により判例データの公開が進み、GPTの言語モデルが学習できるデータセットが充実すれば、ChatGPTとの「対話」を繰り返すことで正答率のさらなる上昇が期待できそうです。』
OpenAIが開発した対話型人工知能「ChatGPT」が話題沸騰だ。
従来のAIチャットのイメージを覆す人間らしい回答を一瞬で出すという現実を見せられて、近い将来大きく世の中が変わるという認識を多くの人が持ち始めた。
インターネットやスマホなどで起こったリープフロッグ現象が確実に起こるだろうという衝撃だ。
マイクロソフトがOpenAIに多額の出資をして、Googleの検索状況を破壊しようとしている。
一方、Googleも対抗処置として「Bard」を発表した。
競争原理によって、ITによる対話は急速に進歩していくだろう。
今回は法律関係のニュース。
アメリカの医師国家試験に合格したというニュースがあったので、日本の司法試験を受けさせるとどうなるかという実験だった。
結果は合格ラインをかなり下回る結果となったが、だからAIでは無理だということにはならない。
人工知能であるAIはデータが命だ。人間のように感情を持たないAIはデータから、質問に適したものを拾ってきて、まとめて表示するという形。
だから、データ量が少なかったり情報がなかったりすると、当然「ChatGPT」といえども回答できない。逆に言えば、データ量が増えれば、回答の精度は確実に上がる。
実際、日本の民法の択一試験問題の特徴でもある「複数の枝の中から、正しい選択肢／誤った選択肢の“組み合わせ”を選ばせる」ことができたらしい。 つまり。１対１の問題だけでなく、選択肢の全ての意味を理解して適合する、しないを判断できるということだ。
今後、判例データや裁判記録がITを使って保存されるようになれば、一瞬で検索もできるようになるだろう。
特に最高裁の判例は、今後の地裁、高裁の判断にも大きな影響を及ぼすので、最高裁のデータ整理するだけでもかなり状況が変わってくるのではないかな？
将来的には判例などもITを使って保存するのは世界的な流れになってくるだろう。紙ベースだと保存スペースだけでも大きな負担になってくるだろうし、探すだけでも膨大な時間がかかるからね。
これに加え、事件の新聞記事や雑誌の記事なども充実されてくると、事実背景や様々な意見や時代背景などもより詳細に短時間で回答できるようになるのではないか。
弁護士ドットコムではAIを使った無料法律相談をするようだ。 法的トラブルを解決するための情報やサービスを受けられる「法テラス」を補完するような位置づけになるかもしれない。
また、その相談件数から、どんな社会問題が起こっているかなど、世の中の動向もわかってくるだろう。
弁護士は色々な法律を駆使して、相談者に有利に運ぶ戦略を練る。また、時代によって社会の常識も変わってきている部分もあるから、過去の判例が絶対ではない。
TV番組の「行列ができる法律相談所」などを見ていてもわかるように、同じ問題でも弁護士によって判断が違う。最高裁だって、複数の裁判官がいて意見が分かれることもある。
だから、いくら便利になっても最終的には人間の判断になるのは変わらない。
ただ、対話型人工知能「ChatGPT」によって、弁護士や裁判官、検察官などを補助する事務官などの職業などはなくなったり、仕事内容が変わったりするかもね。
