新たなベンチマーク「AILuminate」はAIがもたらすリスクを評価する
【要約】
非営利団体MLCommonsが新たなAI評価ベンチマーク「AILuminate」を発表。これはAIの負の影響を測定し、暴力やヘイトスピーチなど12のカテゴリーで1万2,000以上のテストプロンプトを用いて評価を行う。モデルは「poor」から「excellent」までの5段階で評価され、プロンプトは公開されない。AIのリスク評価の重要性が高まる中、米国の次期政権下でのAI規制の変化にも影響を与える可能性がある。すでに一部のAIプロバイダーがこのベンチマークを利用しており、評価結果が公開されている。
【重要ポイント】
・新ベンチマーク「AILuminate」はAIの負の影響を評価するために設計されている。
・評価は12のカテゴリーで1万2,000以上のプロンプトを使用し、5段階で行われる。
・一部のAIプロバイダーがすでにAILuminateを用いて自社モデルをテストしている。
・AIのリスク評価の重要性が高まり、次期米政権下でのAI規制に影響を与える可能性がある。