ターンイットインでは今年の1月、当社のAIライティング検知技術でできることについて公開しました。それ以降、当社の開発状況について知っていただけるよう、AIライティングに関するリソースを公開して情報を共有するとともに、教育用のリソースやAIライティングに焦点を当てたブログ、メディア掲載などもご覧いただけるように公開しています。
今回は、当社のAIイノベーションラボでのAIライティング検知技術の開発状況について最新情報を共有するとともに、当モデルがどのように誤検知を扱うのか、何を誤検知とするのかについての洞察をお伝えしたいと思います。
まずは、AIライティング検知における誤検知とは何かを整理しておきましょう。
誤検知とは、完全に人間が書いたテキストをAIが生成したものと誤認することです。
ターンイットインのAIライティング検知は正確さをとても重視しています。当社のモデルがAIによって生成された文章と判定する場合、私たちはその判定に自信をもっています。
しかし、誤検知のリスクが多少なりとも残っていることは認識しています。以下の動画では、ターンイットインのAIサイエンティストで元高校教師のデイヴィッド・アダムソンが、誤検知に関する詳細と、誤検知が発生する状況を説明しています。
ここで強調したいのは、AIライティング検知においてもテキストの類似性チェックの場合と同様に、ターンイットインの役割は、不正行為の判断をくだすことではなく、教員が学術や組織の方針に沿って情報に基づいた決定をくだせるよう、データを提供することという点です。教員の方々には、専門的な見解、学生に関する知識、課題についての具体的な文脈を考慮してご判断いただく必要があります。
意志決定には、組織の方針や、授業および課題に対してあらかじめ設定した期待値、その課題を通じて評価したい知識も考慮すべきです。
一般的に、アカデミック・インテグリティに関する議論は容易ではなく、AIライティングツールのような新技術が突然現れ、誤検知の可能性が出てくると、なおさら難しい状況になるでしょう。私たちは、そのような状況でお役立ちいただける下記のような情報を今後も共有していきたいと思います。
誤検知を想定した3つの行動ポイント
- よく知り、事前に計画する
前もって誤検知の可能性があることを考慮し、結果を判断するためのプロセスやアプローチについて計画を立ててください。さらに、そのことを学生に伝え、期待値を共有しておくとよいでしょう。 - 誠実さを前提とする
AIツールの活用は未知の領域であるため、不正利用の疑いがあっても、まずは学生の成果を優先するとよいでしょう。もし証拠が不十分なら、学生は誠実に行動すると想定しましょう。 - 率直かつ正直に
誤検知の可能性があることを前提として、教員と学生が正直かつオープンに話し合う準備をしてください。誤検知の可能性を認めなければ、自己防衛的・対立的な会話へと発展し、最終的には教員と学生の信頼関係が損なわれてしまうおそれがあります。
授業で積極的にAIに対処するためのヒントとして、当社のブログでAI時代にライティング課題を作成するための方法を紹介しています。また、AI ライティングとTurnitinのページでは、ダウンロードできる教員向けリソースもご紹介していますので、是非お役立てください。