IT SOLUTION

IT系サービス

8000名を超えるテスターの属性から
適切な人員を選定。(個々人の趣味や強い分野)
対象となる教師データの診断や
アノテーションQAを実施します。

こんなお客様におススメ

  • 生成される情報に誤りが多い

  • 回答が特定の視点や意見に偏っている

  • スマホの国内シェア x%以上を網羅した端末で動作テストしたい

  • 表現やアイデアに幅がなく創造性が弱い

教師データ診断 IT SOLUTION

全ての教師データの
一部（数％）を確認することにより
データ全体の信頼値を推測することが可能

フロー図：教師データ診断の流れ。STEP1「対象サンプル数を選定」→ STEP2「データ診断（アノテーションされたデータに対して診断を実施）」→ STEP3「診断結果のご報告」の後、誤差5%未満なら「信頼値が高いデータと判断・継続使用可」、誤差5%以上なら「信頼値が低いデータと判断」→「アノテーションQAの実施（ご提案）」へ分岐する。参考として、信頼度95%のサンプル数は教師データ数が増えてもほぼ変わらず（10,000件→370件、100,000件→383件、1,000,000件→384件、10,000,000件→385件）であることも示している。
参考

信頼度95%となるサンプル数は教師データ数起因の増減はほとんど発生しません

教師データ数 サンプル数
10,000 370
100,000 383
1,000,000 384
10,000,000 385

改善プロセス

  1. 1

    原因種別でNGを分析

    クライアント様経由でアノテーション企業へ分析結果を共有いただき、以降の改善に役立てていただく

    項目 NG数 発生率
    プロパティ間違い 360 6.01%
    アノテーション漏れ 2 0.04%
    クラス間違い 18 0.34%
  2. 2

    継続的に分析を実施

    分析結果を踏まえて改善されるまで定期的に①を繰り返し、発生率の推移を観察

    項目 NG数 発生率
    プロパティ間違い 360 6.01%
    アノテーション漏れ 2 0.04%
    クラス間違い 18 0.34%
    発生率
    0.99%
    0.04%
    0%
  3. 3

    重要ポイントを設定

    事前に設定した目標値を達成した段階でブラシアップに移行。AIの利用目的に合わせて重要ポイントを設定し当該項目の発生率減少にフォーカスする

    項目 NG数 発生率
    プロパティ間違い 10 1.72%
  4. 4

    重要ポイントの目標値の達成

    定期的に発生率の推移を観察。目標値を達成した段階でアノテーションQAは完了

    項目 NG数 発生率
    プロパティ間違い 1 0.17%
データ診断について相談する

その他のサービス SERVICE

  • ソフトウェアテスト

    • Webサービスを中心とした様々なソフトウェアの機能テスト
    詳しく見る

  • 自動車系のシステム検証

    • 自動運転用データ確認
    • 各種走行試験（車酔いデータ取得走行、感情データ取得走行etc）
    • カーナビテストドライブ
    • カーアクセサリー向けテスト（デジタルミラーetc）

    (組み込みは除く)

    詳しく見る
ビジネスソフトウェア TOPへ戻る