教師データの外注：注釈の基準・納品形式・受け入れ検査を決める

作業単位と、迷う例の判断方法を決める

画像一枚、対象物一つ、音声一秒、会話一組では、作業量も正解の数え方も違います。収集、注釈、専門家の判断、検査、ファイル変換のどこまで依頼するかを分けます。作業基盤の利用料と、実際にデータを作る費用が別のサービスもあります。以下のメモと確認例は編集部が作成したものです。

基準書にはラベル名だけでなく、含める対象、含めない対象、境界が曖昧な例、判断不能を記します。複数人で見本を確認し、違う答えになった理由と最終判断を残します。多数決で一致させたことと、元資料に照らして正しいことを同じにせず、基準を更新した対象が分かるようにします。

小さな納品例を、元データへ戻して確かめる

画像・音声などの元データID、注釈ID、ラベル定義、座標や時刻の単位、ツール・基準書の版を一組にします。形式の名前だけで互換性を判断せず、自社の読み込み処理で戻した結果を元資料へ重ねます。除外した対象、注釈がない対象、処理に失敗した対象も区別して受け取ります。

編集部の簡易形式で、形式検査を計算した例です。画像はimage01とimage02の2枚で、各100×100ピクセル。ラベルは『商品』『傷』の2種類とします。座標は左上のx・yと幅・高さです。Aはimage01・商品・(10,10,20,20)、Bはimage01・汚れ・(10,10,20,20)、Cはimage09・商品・(10,10,20,20)、Dはimage02・傷・(10,10,-5,20)とします。

この4行を、画像IDが存在するか、ラベルが定義済みか、幅・高さが正で画像内に収まるかで照合しました。Aは形式上の条件を通過、Bは未定義ラベル、Cは存在しない画像ID、Dは負の幅を検出しました。4行中3行に修正候補があります。ただしAの枠が本当に商品を囲むかは画像を見ないと分かりません。これは当社作成の入力と計算による例で、掲載サービスの機能や検査精度の実証ではありません。

形式・内容・学習への影響を分けて受け入れる

形式の検査では、IDの重複・参照切れ、範囲外の座標、時間の逆転、必須項目の欠落などを確認します。内容の検査では、見逃し、余分な注釈、境界の違い、専門判断の根拠を元資料と照合します。さらに学習への適合は、学習用と評価用の分離、対象の偏り、固定した評価例での結果を別に確認します。ファイルを読めたことだけで三つの確認を完了させないようにします。

全件を検査する項目と、抽出して人が確認する項目を分け、抽出方法・対象数・誤りの種類を記録します。少量サンプルの一致率を納品全体の保証とはせず、誤りが見つかった場合の調査範囲、修正と再検査、追加費用、納期を先に合意します。入力の利用許諾、委託先で扱える情報、納品後の保管・削除の条件も対象データごとに確認します。

確認した根拠を、残しましょう。

入力は送信されません。ページを離れると消えるため、必要な記録を保存してください。確認済みの数は、導入の適否や品質を表す点数ではありません。

一件の単位と、依頼する工程をそろえたか 確認資料の例：画像・対象物・秒・会話などの数量定義、作業範囲と料金内訳

曖昧な例と判断不能の扱いを決めたか 確認資料の例：基準書、見本、不一致の理由、確定者と適用する版

元データと注釈を対応させられるか 確認資料の例：元データID、注釈ID、ラベル表、座標・時刻・単位の仕様

自社の読み込み処理で復元できたか 確認資料の例：サンプルの取り込み結果、元資料へ重ねた確認、形式の差

形式と内容を別々に検査できるか 確認資料の例：全件検査・抽出検査の範囲、確認数、誤りの種類と記録

修正・再検査・仕様変更の条件を決めたか 確認資料の例：再作業の範囲、費用、納期、修正版の識別と承認者

扱える情報と納品後の管理を確認したか 確認資料の例：利用範囲、作業場所、取扱者、保管・削除の条件

出典と確認範囲

リンク先は提供元の公式情報です。このガイド全体や当社の手順が、提供元に承認されているという意味ではありません。

ヒューマンサイエンス：アノテーションの依頼工程：サンプル・基準書による見積もりと、事例中のツールの版管理を参照。発注メモは編集部の整理です。

harBest Annotation：出力形式・作業費：出力形式、品質確認、基本料とデータ作成費の区分を確認。簡易形式の4行は当社作成で、harBestの実行結果ではありません。

Nexdata：注釈と品質管理の基盤：多形式の注釈、関係の記述、品質・権限管理の説明を参照。ここに示す検査を製品が自動実行すると保証するものではありません。