TurnitinのAIライティング検知機能について

はい、提供しています。当社は、アカデミック・インテグリティの保持と、学生の公正な学びに役立つAIライティング検知機能をリリースしました。

当社製品機能の「類似性レポート」に「AIライティング指数」を追加しました。その指数は、ChatGPTなどのAIライティングツールが生成した可能性のある文章が、全体のどれくらいを占めるかをパーセンテージで示したものです。さらに、その指数とリンクして、AI生成であると判断した文章箇所をハイライトで示すレポート機能もあります。ただし、AI指数を確認できるのは教員と管理者のみです。

当モデルは信頼できるものではありますが、当社は不正行為の判定を行わず、教員が学問的・組織的な方針に基づいて、十分な情報を得たうえで判断をくだすためのデータを提供します。したがって、教員が指導や評価方法を決定する際、AIライティング指数だけで測るものではなく、判断材料として活用するものであることにご留意ください。

論文がソフトウェア上に提出されると、提出された論文はまず、およそ数百ワード（5～10文程度）のテキストデータに分割されます。その後、それらの分割されたテキストデータ同士を重ね合わせて、文脈のなかで各文を分析します。文章をAI検出アルゴリズムに照らし合わせ、各文章が人間によって書かれたものか、AIによって書かれたものかを判断するために、0から1の間のスコアを付けます。AIによって生成された文章ではないとモデルが判断した場合、その文章には0点が与えられ、AIによって文章全体が生成されたと判断した場合、その文章には1点が与えられます。

文書内のすべてのセグメントスコアの平均を使用して、提出された文書内のどれだけのテキストがAIによって生成されたと考えられるかの全体的な予測を算出します。

現在、当社のAIライティング検知モデルは、ChatGPTを含む、GPT-3およびGPT-3.5言語モデルからのコンテンツを検知するよう学習しています。

GPT-4のライティング特性は従来のモデルバージョンと一貫しているため、弊社の検出機能は GPT-4 (ChatGPT Plus) からのコンテンツを大抵の場合検出することができます。他のAI言語モデルからのコンテンツも、より正確に検知できるように、モデルの拡張に取り組んでいます。

GPT-3とChatGPTは、インターネット全体のテキストを学習しており、基本的には、次に来る確率の高い単語をその膨大なテキストデータの中から選び出すことで、連続する単語配列を生成します。すなわち、GPT-3とChatGPTが生成する単語配列は、次にどの単語が来るのか、一貫性があり、高い確率で一連の単語の中から次の単語を生成する傾向があります。

一方、人間の書く文章は、一貫性に乏しく特異な傾向があるため、次に来る単語も確実ではありません。

当モデルは、単語配列の確実性について、AIと人間の違いを検知するよう学習しており、人間の書き手特有の単語配列のパターンに精通しています。

当モデルは、AIが生成したデータと地域や分野問わず、人間が書いた真正な学術文章の両方を含む、一定期間を経た代表的なサンプルデータを学習しています。

サンプルのデータセットを作成する際、第二言語学習者や英語を母語としない国々の英語使用者、多様性に富んだ大学の学生など、統計的に少数派のグループや、人類学や地質学、社会学など、あまり一般的でない分野も考慮し、学習時の偏りを最小限に抑えています。

はい、できます。再度提出することで、過去の提出物についてもAIライティング検知機能をご使用いただけます。当機能の提供開始日（2023年4月4日）以降に提出された課題物のみ、AIライティングを自動的に検知します。

現時点の対応言語は英語のみです。AIライティング検知機能の初代モデルでは、長文の英語で書かれた文章のみ、AIライティングの検知が可能です。

英語以外の言語で書かれた課題が提出された場合、AI検知機能はその提出物の処理を行わず、AI指数はエラー状態を表示し、AI指数のレポートは作成されません。

既存のFeedback Studioをご利用中のお客様であれば、所属機関の管理者がサブアカウントを作成し、試用目的でそのアカウントのみAIライティング検知機能の使用を許可し、ご利用いただけます。

ご新規のお客様は、弊社担当者にテストアカウントの取得についてご相談ください。

はい、管理者は管理者設定ページからAIライティング機能を有効/無効にすることが可能となっています。この機能を無効にすると、類似性レポートからAIライティングの指数とレポートが表示されなくなり、再度この機能を有効にするまで、教員と管理者に表示されなくなります。

いいえ、この追加機能によって、これまでの類似性レポートの使用方法や既存のワークフローが変更されることはありません。当社のAI検知機能は、お客様にシームレスなサービスをご提供するために、類似性レポート内の機能として追加されました。

はい、ご使用中のLMS経由でAIライティング検知機能をご利用いただけます。類似性レポートにAIライティング検知機能が組み込まれています。ただし、AIライティングの指数やスコアは、LMSのユーザーインターフェースには直接埋め込まれていないため、AI指数を確認するには、「類似性レポート」にアクセスしてAI指数を確認する必要があります。

AIライティング検知は、新しいTurnitin Feedback Studio連携を使用する教員のみが利用できます。

当社のAI検知機能をご利用いただけるのは教員のみであり、MS Teams Assignment Similarityの連携では学生用のビューアーしか使用しておらず、教員専用のビューアーがないため、ご利用いただけません。

「Similarity」と連携して使用しているユーザーが、AI ライティングツールを使用してレポートが作成された可能性を懸念している場合は、管理者に論文検索ツールを使用して詳細情報を表示するよう依頼できます。

AIライティング検知技術は、Originalityで使用されているオーサーシップ検出技術とは異なります。AIライティング検知モデルは、提出された文書の中でAIライティングツールによって生成された可能性の高いテキストの全体的な割合を計算します。

一方、オーサーシップ検出は提出された課題が学生以外の誰かによって書かれたかどうかを検出するために、フォレンジック言語分析と同様にメタデータを使用します。AIが書いたかどうかを示すことはできませんが、内容が学生自身の作品ではないことを判定できます。

AI検知率は、提出文書全体のなかで、AIによって生成されたと判断した、対象文量が占める割合を示しています。この機能が対象とするのは通常の文のみに限られ、標準的な文法で書かれたひとまとまりの文章のみを分析します。リスト形式や箇条書き、文法的に成立していない非文などは対象外です。

また、このパーセンテージは、必ずしも提出物全体に対する割合であるとはかぎりません。提出された文章のなかで、普通の長文とみなされない文章がある場合は、その箇所は対象外になります。

AIが20％以上書かれた文書について、誤検知率（完全に人間が書いたテキストをAIが作成したものと誤って識別する率）を1％未満に抑えながら、検知機能の有効性を最大化するよう努めています。つまり、人間が書いた文書の100件に1件の割合で、AIが書いたと判定される可能性があります。

当社のテストフレームワークを強化し、誤検知の統計的傾向を診断するため、2023年4月、ChatGPTリリース前に書かれた80万件の学術論文を対象に追加テストを実施し、誤検知率1％未満をさらに検証しました。

この1％という低い誤検知率を維持するためには、文書中の15％のAIが書いたテキストを見逃す可能性があります。私たちは、人間によって書かれた文章を誤ってAIによって書かれたものとして強調表示することは避けたいため、この程度は許容しています。例えば、ある文書の50％がAIツールによって書かれた可能性が高いと判明した場合、その文書には65％までAIによる記述が含まれている可能性があります。

当社は、学生の権利を守ると同時に、教育機関が高い水準のアカデミック・インテグリティを確保できるよう支援することをお約束します。今後も、実際に提出された文書から得られた知見に基づき、大規模な言語モデルの進化に応じて、モデルの適応と最適化を続け、1%未満の誤検出率を確実に維持していきます。

4月のサービス提供開始当初より、ChatGPTリリース前に書かれた80万件の学術論文をテストしました。これらのテスト結果に基づいて、当社は5月に以下のようなモデルのアップデートを行い、文書の誤検知率を1%未満に抑えるという目標を常に堅持しています。

1.検知されたAIライティングが20%未満の文書に対する新しい表示設定を追加しました。

AIライティングの検知スコアが20%未満の場合、誤検知の発生率が高いことが判明しました。これは一貫性のない動作であり、引き続きテストを行い、根本的な原因を解明していきます。当社は、誤った判断を招く可能性を低減するため、類似性レポートのAI検知スコアを表示するアイコンを更新し、20%未満の場合はアスタリスクを表示することで、その検知スコアの不確実性に注意を喚起しています。

2.最低単語数を150単語から300単語に増やしました。

当社のデータとテストに基づき、AIライティング検知機能が判定する文書の最低単語数を150語から300語に増やしました。その結果、文章量が少し増えるだけで精度が向上することがわかりました。今後も継続してモデルを評価し、最低単語数を調整する可能性があります。

3.投稿の最初と最後に文章を集約する方法を変更しました。

文書の最初の文章や 最後の文章で誤検知が多いことが判明しました。通常、これは文書の序文と結論にあたる部分です。その結果、誤検知を減らすために、これらの特定の文章を検知のためにどう集約処理するかを変更しました。

当社の類似性レポートとは異なり、AIライティングのパーセンテージは、提出された文章の総量と必ずしも相関があるわけではありません。当社のAIライティング検知モデルは、長文形式で書かれた通常のテキストのみを対象とします。長文形式で書かれた通常のテキストとは、小論文や学位論文、記事など、比較的長めの文章のなかの、個々の文を指します。当モデルは、AIが生成した詩やスクリプト、コードなどは検知しません。箇条書きや表、短答式の解答、注釈付きの参考文献など、短文や非定形の文章も対象外です。つまり、複数の異なる文章形式を含む文書では、パーセンテージとハイライトの間に不一致が生じる可能性があります。

類似性レポートを開くと、処理後しばらくして、AIライティング検知指標には、次のいずれかが表示されます：

1. 青色で0～100のパーセンテージ：提出物は正常に処理したことを示しています。表示されたパーセンテージは、AIによって生成されたと判断した提出物内の該当するテキストの割合を示します。なお、この比率は、前述したように、提出物全体に対する比率とは限りません。提出物内の文章が長編とみなされない場合は、その文章は含まれません。AIライティング検知機能の結果を調べるには、指標を選択してAIライティングレポートを開いてください。

当社のテストによると、20%未満の場合、誤検知の発生率が高くなります。誤った解釈の可能性を低減するため、AI検知指数が20％未満の場合、スコアの信頼性が低いことを示すアスタリスク「*」が表示されます。

AIライティングレポートは、類似性レポートの起動に使用した画面の新しいタブで開かれます。もし、ポップアップブロッカーがインストールされている場合は、Turnitin のポップアップ表示を許可しているかご確認ください。

2. グレーでパーセンテージが表示されない（- -）： AIライティング検知機能が、提出物を正常に処理できないことを示しています。この場合、以下の理由のいずれか、又は複数に該当する可能性があります。

• 提出物は、TurnitinのAIライティング検知機能がリリースされる前に作成されたものだと考えられます。過去の提出物にAIライティング検知指数/レポートを表示するためには、再提出を行う必要があります。
• 提出物は、AIライティング検知の処理を正常に行うために必要なファイル要件を満たしていなことが考えられます。AIライティングのレポートとパーセンテージを生成するためには、提出物が以下の要件を満たしている必要があります。

　　- ファイルァイルサイズが100MB未満であること
　　- ファイルには、長文で300単語以上の散文であること
　　- ファイルは15,000単語以内であること
　　- ファイルは英語で書かれていること
　　- 使用可能なファイル形式：.docx, .pdf, .txt, .rtf

3. エラー（！）： このエラーは、提出物の処理に失敗したことを示します。 当社は常にサービスの向上に努めておりますが、残念ながらこのような事象が発生することがあります。このような場合は、後でもう一度お試しください。ファイルが上記のファイル要件をすべて満たしているにもかかわらず、このエラー状態が表示される場合は、弊社で調査いたしますので、[テクニカルサポートtiisupport@turnitin.com ]にお問合せください。

万が一、当モデルが見落としたAI生成文章を見つけたり、学生の真正な成果物をAI生成と誤検知していることに気付かれた場合は、当社までお知らせください。皆様のフィードバックは、私たちの技術をさらに向上させるために非常に重要です。フィードバックは、AIライティングレポートにある右下の「フィードバック」ボタンから行うことができます。

誤検知（人間が書いた文章をAIが作成したと誤って判断すること）には、構造的なバリエーションが少ないリスト、文字通り繰り返される文章、新しいアイデアを展開せずに言い換えられた文章が含まれることがあります。 そのような文章において、私たちの指標でAIによる文章が多いと判断された場合、表示されたパーセンテージを見る際に、その点を考慮することをお勧めします。

真正な文章とAIが生成した文章が混在する長い文書では、どこからがAIによる文章でどこからがオリジナルの文章かを正確に判断することは難しいかもしれませんが、当社のAI 検知指数は提出した学生との本質的な会話を始めるための指針になるはずです。

数百単語程度の短い文書では、重複する機会がなく、単一のセグメントで予測するため、予測のほとんどは「0か100か」となります。そのため、AIが生成した文章とオリジナルの文章が混在している場合、完全にAIが生成した文章としてフラグが立ってしまう可能性があります。

これらの点を考慮した上で、データの確認や学生などへのフィードバックを行ってください。

いいえ、学生にはAIライティング指数とレポートが表示されないため、見ることができません。

いいえ、そのようなことはありません。 AIライティング検知用の独立したリポジトリはありません。当社のAIライティング検知機能は、既存の類似性レポートワークフローの一部です。

提出された論文を受け取ると、類似テキストのマッチングとAIが書いた可能性（LLMが作成）の両方について、当社独自のアルゴリズムで比較・評価されます。学生の論文をリポジトリに追加するかどうかは、ご利用者様が選択することができます。

類似度スコアとAIライティング検知率は完全に独立しており、互いに影響し合って作用していることはありません。

類似性スコアは、類似性チェックのための総合的なTurnitinのコンテンツデータベースと比較したときに、提出された文書から検出された一致するテキストの割合を示します。

一方、AIライティング検知率は、AIライティング検知モデルがAIライティングツールによって生成されたと予測する提出物内のテキストの全体的な割合を示します。

AIライティング検知機能は、類似性レポートの既存のワークフローの一部であり、オリジナルでないAI によって生成された文章を検出するためのものです。 当社は、2023年4月4日にAIライティング検出機能をリリースしましたが、リリースに先立ち、品質保証テストの一環として論文のサンプルに対してAIライティング検知機能を実施していました。 

これにより、2023年4月4日のリリースに向けた準備状況を確認することができました。 その結果、2023年3月8日から2023年4月4日の間に提出された類似性レポートの一部に、該当するレポートとともにAIライティング指数が表示される場合があります。

はい、考慮しています。当社と当社のAIチームの基本方針のひとつは、学生、とくに歴史的・社会構造的に不利な立場にある人々、権利を奪われている人々が、害を被るリスクを最小化することです。したがって、サンプルとなるデータセットを作成する際、第二言語学習者、英語を主要言語としない国の英語使用者、歴史的に黒人の多い大学の学生など、統計学的に少数派のグループや、人類学、地質学、社会学など、あまり一般的でない分野も考慮しました。

AIライティング指数は、AIライティングツールにより生成された可能性のある文章の割合をパーセンテージで示すとともに、AIが書いたと思われるセグメントそのものをハイライトで示します。

教員の方々には、専門的な見解、学生に関する知識、課題についての具体的な文脈を考慮された上で、不正行為が行われたかご判断いただく必要があります。AI検知機能は、教員が学術的・組織的な方針に基づいて、十分な情報を得たうえで判断するためのデータを提供します。学生とのレビュー、確認、話し合いが必要かどうかを判断するために使用できます。

現時点では、AIレポートをダウンロードする機能はありません。
現在、ダウンロード機能の開発に積極的に取り組んでおり、今後、機能として追加できる見込みです。

当初のAIライティング検知機能は、GPT-3とGPT-3.5およびその変化型を検知するようトレーニングされています。ChatGPTなどの技術を用いた他のAIライティングツールを検知することも可能です。

また、GPT-4（ChatGPT Plus）のテストは完了し、その結果、当社の技術はGPT-4によって生成された文章をほとんどの場合、検知できます。

今後、その他のモデルも検知できるよう機能を拡張していく予定です。

当社のモデルは、Huggingface社によるオープンソースの基礎モデルに基づいています。開発にあたり、当社は慎重に何度も繰り返し、再設計、評価、微調整を行いました。 

当モデルの優れた点は、20年以上にわたって蓄積された学生の本格的なライティングに関する専門知識と、そのデータに基づいて学習したモデルから最大限の予測力を引き出すために開発された技術を駆使し、厳重に管理されたデータを用いてモデルを学習させたところにあります。さらに、当モデルの学習にあたっては、最新型のLLMの精度を最大限に高めつつ、誤検知を最小限に抑えることに重点を置き、学生の利益を守りつつ、教育者がアカデミック・インテグリティを維持できるようにしました。

はい、大抵の場合は問題なく検知されます。 

当社のAIチームは、GPT-3.5（当社のモデルが学習済み）とGPT-4との違いを理解し、そのパフォーマンスを比較するために、リリースした検知機能を使ってGPT-4のテストを実施しました。

その結果、ターンイットインのAIラインティング検知機能はGPT-4で生成された文章をほとんどの場合検知しますが、現時点では、他に共有できる明確な指針はありません。
無料版のChatGPTは現在GPT-3.5で運用されていますが、有料版のChatCPT PlusはGPT-4で運用されています。

当社では大規模言語モデル（LLM）が急速に拡大し進化していることを認識し、その他のLLMを検知するシステム開発にすでに取り組んでいます。

当初は、GPT-3とGPT-3.5、そしてChatGPTのようなモデルに基づいた他のライティング・ツール用の、効果的で信頼性の高いAIライティング検知機能を構築し、リリースすることに重点を置いてきました。最近では、ChatGPT PlusのベースモデルであるGPT-4でテストを行い、AIが作成した文章はほとんどの場合、検知できることを確認しました。

はい。当社が検知機能モデルをさらに開発し、改良を重ねるにつれて、検知能力も変化し、AIパーセンテージに影響が出る可能性があります。

当検知モデルは、GPT-3とGPT-3.5、ChatGPTの出力をもとにトレーニングされているため、それらのシステムが生成したテキストが修正されると、当社のAI検知能力に影響が出る可能性があります。しかし、当社のAI開発チームで、オープンソースの言い換えツール（さまざまなLLMを含む）を用いて検証をしてきましたが、ほとんどのケースで当検知モデルが有効性を保持し、言い換えツールによりAIの出力が変えられている場合でもAI生成文章であることを識別できました。

当社では、言い換え検知機能（学生が自分自身あるいはツールを用いてコンテンツを言い換えたり書き換えたりした場合、それを検知する機能）の開発に取り組んでおり、すでに当社のAI開発チームは、期待される成果を上げています。学生がワードスピナーやオンラインの言い換えツールを活用する場合、学生は類似性チェックを意図的に避けるために、AIを使ったワードスピナーにコンテンツをかけるだけで、ChatGPTのような生成系AIツールは用いません。

2023年にベータ版のリリースを予定しており、TFS with Originalityを使用している教育機関を対象に、追加費用で言い換え検出を利用できるようにする予定です。まずはTurnitin Feedback Studio with Originalityで先行リリースする予定です。

いいえ。当社の検知機能は、Grammarly が生成したコンテンツではなく、GPT-3.5 などの大規模言語モデル（LLM） が作成したその他の AI コンテンツを対象とするように調整されています。 AIが生成したコンテンツを含まない人間が書いた文書に対して行った当初のテストでは、ほとんどの場合、Grammarlyやその他の文法チェックツールによって加えられた変更は、検知機能によってAIが書いたものとして識別されることはありませんでした。

当社の下記の製品をご利用のお客様は、AIライティング検知機能の初代モデルを既存のライセンスでご利用いただけます。

対応製品：Turnitin Feedback Studio、Turnitin Feedback Studio with Originality、Turnitin Originality、Turnitin Similarity、Simcheck、Originality Check、Originality Check+

これらのプラットフォームを学習管理システム（LMS）や当社のコアAPIで連携してご利用中のお客様も、AIライティング検知機能をご利用いただけます。AIライティング検知指数とレポートを見ることができるのは教員と管理者のみであり、学生は使用できないことにご留意ください。

当AIライティング検知機能が無料でご試用いただけるのは、2023年12月31日までです。 2024年1月1日以降、AIライティング検知機能をご活用いただけるのは、Feedback Studio with Originalityをご契約いただいているお客様のみとなります。

当社のAIライティング検知機能は2023年4月4日以降、類似性レポート内に追加されており、すぐにご利用いただけます。該当のターンイットイン製品のライセンスをお持ちのお客様は、AI検知レポートへアクセスして指数を見ることができます。

対応製品：Turnitin Feedback Studio、Turnitin Feedback Studio with Originality、Turnitin Originality、Turnitin Similarity、Simcheck、Originality Check、Originality Check+

当社のAI検知機能の初代モデルは類似性レポートの追加機能であるため、Turnitin Feedback Studio、Turnitin Feedback Studio with Originality、Turnitin Originality、Turnitin Similarity、Simcheck、Originality Check、Originality Check+でご利用いただけます。

AIライティング指数とリンクして、提出されたコンテンツのなかでAIによって生成された文書をハイライトで示すAIライティング・レポートもご覧いただけます。

当社では、AIライティングツールの影響が最大かつ深刻であると思われる、高等教育および中等教育での長文ライティングを対象に初代モデルのリソースを集中しました。

現在、iThenticateをご利用のお客様にAIライティング検知をどのように提供できるか検討を進めております。

Gradescopeに関しては、主に手書き答案の採点に使われているのに対し、AI検知機能はタイプされたテキストを対象とするため、AI検知機能を追加する予定はありません。しかし、Gradescope内でもAIライティング検知に対するお客様のニーズがある場合は、お知らせいただけると幸いです。

また、ChatGPTが生成するコードの検知は現時点では計画していません。

下記のwebページでAIライティングに関する最新情報を更新しています。

英語ページ：Turnitin’s AI writing detection capabilities  

日本語ページ：AIライティング特集ページ |  ​AIライティングに関する教育者向けリソース特集