チーム審査機能
チーム審査の使い方
課題や応募受付ページごとに、提出内容とAI・各審査員の評価を一覧で比較し、審査チームとしての総評と選考結果をまとめます。
対象・事前準備
対象プログラムの管理者としてログインし、比較する提出物と審査結果を用意します。画面例はデモプログラムです。実際の操作は、ご自身が利用できるプログラムで行ってください。
画像で見る操作手順
1. 審査対象の課題を選ぶ
サイドバーの「チーム審査」を開き、課題または応募受付ページを選びます。
2. 提出物の一覧を表示する
「提出物の一覧を表示」をクリックします。提出内容とAI・審査員の評価を一覧で比較できます。下線付きの提出者名からは、公開設定に応じたキャリアプロフィールを確認できます。
3. 選考結果で絞り込む
一覧右上の検索アイコンを開くと、「選考結果」で通過・補欠・落選・未決定の件数を確認し、対象を絞り込めます。選考の判定と、個人審査の提出状況は別です。
4. 審査員の意見の違いを確認する
「審査一致度」は、審査員間の点数の差をもとに一致・微差・意見相違を表示します。議論が必要な作品を探し、各審査員の点数とコメントを確認する目安に使います。
5. 生スコアと正規化スコアを使い分ける
通常は入力された生スコアを表示します。正規化データがある場合は表示を切り替え、審査員の採点傾向を補正した点数も比較できます。正規化は判断の補助として使います。
6. 作品の詳細を開く
対象作品の「詳細」を開きます。プログラム・課題・提出者・提出内容を確認し、どの作品の審査結果かを確かめます。
7. 評価項目ごとの点数とコメントを比較する
詳細画面ではAIと各審査員の総合点、評価項目別の点数、コメントを横並びで比較します。比較表の審査員名から、その審査員の評価内容も確認できます。
8. 議論をもとに総評をまとめる
審査チームの議論をもとに、総評スコア・選考・総評コメントを入力し、「総評を保存」を押します。各審査員の個別評価とは別に、チームとしての判断を記録する欄です。
9. 一覧で選考結果を確認する
詳細画面を閉じ、一覧で選考結果を確認します。必要に応じて意見の分かれた作品を見直します。総評の保存と提出者へのフィードバック送信は別の操作です。
確認のポイント
- 選考結果と、個人審査の提出状況は別です。審査員ごとの提出状況は個人審査で確認してください。
- 正規化スコアは採点傾向を補正した比較用の指標です。生スコアやコメントも参照して判断してください。
- 総評スコア・選考・総評コメントを変更した場合は「総評を保存」を押し、保存結果を確認してください。
- 総評の保存と、提出者へのフィードバック送信は別の操作です。