審査員割り当て機能の強化

審査員割り当て機能の強化について

この度のアップデートにより、プログラムにおける審査員のアサイン機能、ポリシー設定、および関連するUI/UXが大幅に強化されました。これにより、審査プロセスの効率化と透明性の向上が期待できます。

主な強化点

• 審査員のアサイン機能の拡充: プログラムごとに審査員を柔軟に割り当てられるようになりました。特定のプログラムに最適な経験を持つ審査員を迅速に見つけ、アサインできます。
• ポリシー設定の強化: 審査員ごとに適用されるポリシーを細かく設定できるようになりました。これにより、審査基準の統一と公平性の確保が容易になります。
• UI/UXの改善: 審査員管理画面やアサインプロセス全体のUI/UXを改善し、直感的な操作性を実現しました。
• AI審査員との連携: AI審査員の自動割り当て機能が強化され、人間とAIの審査員を組み合わせたハイブリッドな審査体制を構築できます。
• パフォーマンス分析・バイアス監査機能との連携: 審査員のパフォーマンス分析や、審査プロセスにおけるバイアスの監査機能との連携が強化されました。これにより、審査の質を客観的に評価し、改善につなげることが可能になります。

メリット

• 審査プロセスの効率化と時間短縮
• 審査基準の標準化と公平性の向上
• AI審査員との連携による柔軟な審査体制の構築
• 審査員のパフォーマンス向上とバイアスの低減

注意事項

本機能のご利用にあたっては、管理者権限が必要です。また、ポリシー設定が適切に行われているか、初回のアサイン時にご確認ください。

画像で見る操作手順

1. 審査する課題を選ぶ

サイドバーの「審査員割り当て」を開き、審査する課題または応募受付ページを選びます。

2. 審査割当プロファイルを確認する

審査割当プロファイルを選び、割当モード・割当方式・人間審査員とAI審査員の人数を確認します。プロファイルを作成しておくと、審査の方針を再利用できます。

3. プロファイルの編集画面を開く

選択したプロファイルの「編集」を押します。最初に、審査の目的がわかるプロファイル名を設定します。

4. 固定割当と段階割当を確認する

「次へ」を押し、固定割当または段階割当を選び、下にある人間審査員・AI審査員と割当人数を確認します。段階割当では、AI審査員の割当・クレジット確認付きのAI評価・結果に応じた人間審査員の割当を分けて進めます。

5. 割当方式を確認する

「次へ」を押し、ランダム割当と類似度マッチングを確認します。審査員の専門分野と作品の内容を考慮するかなど、運営方針に合った方式を選びます。

6. 適用範囲と初期設定を確認する

「次へ」を押し、オプションを確認します。「未割当のみ」は、まだ審査員を割り当てていない提出物だけを対象にします。「既定のプロファイルにする」は、新しく割り当てる際に最初に選ばれるプロファイルを指定します。内容を確認したら「保存」で設定できます。

7. 割当マトリクスを確認する

編集画面を閉じ、割当マトリクスで提出物と審査員の対応、割当済み・評価済みの状態を確認します。割当を実行する前に、対象課題とプロファイルを再確認してください。

8. 割当後の審査へ進む

内容を確認してプロファイルの割当を実行するか、マトリクスで手動調整して保存します。AI評価を実行するときは、必要なクレジット数と確認画面を確認してください。採点結果は「個人審査」「チーム審査」で確認できます。