東芝情報システム株式会社

自動アノテーションはAIモデルの精度を下げるのか?
アノテーション設計から考える、教師データ作成の効率化とコスト削減

① 導入:画像認識AI開発でアノテーションがボトルネックになる理由

画像認識AIの開発では、学習に用いる教師データの質と量がモデル精度を大きく左右します。一方で、教師データを作成するためのアノテーション作業には、多くの時間とコストがかかります。

特に、画像内の対象物や領域を細かく分類するセマンティックセグメンテーションでは、1枚ごとの作業負荷が大きくなりがちです。その結果、AI開発の現場では次のような課題が発生します。

  • 教師データ作成に時間がかかる
  • アノテーションコストが高い
  • 十分なデータ量を確保しにくい
  • PoCや再学習のサイクルを回しにくい

こうした課題を解決する手段として注目されているのが、画像へのラベル付けを自動化する自動アノテーションです。

自動で作成した教師データに誤りが含まれても、AIモデルの精度は向上するのか。

本コラムでは、アノテーションの基本的な考え方を整理したうえで、自動アノテーションをどのように活用すべきか、検証結果をもとに解説します。

② 基礎整理:アノテーションとは何か

アノテーションとは、AIに学習させる画像や動画などのデータに対して、対象物の位置、領域、種類などの正解情報を付与する作業です。

画像認識AIでは、このアノテーション済みデータを教師データとして学習に利用します。例えば、画像内に写っている対象物を囲む、領域ごとにクラスを付ける、対象物の種類を指定するといった作業が該当します。

AIモデルは、こうした教師データから特徴を学習します。そのため、アノテーションの質と量は、AIモデルの精度に大きく影響します。

手動/自動/ハイブリッドの特徴整理

方法 特徴 向いている場面
手動アノテーション 人が目視で正解情報を付与する。精度は高いが、時間とコストがかかる。 高精度な正解データが必要な場面
自動アノテーション AIなどを使ってラベル付けを自動化する。大量データを短時間で作成しやすい。 学習データ量を増やしたい場面
ハイブリッド 自動で量を確保し、手動で補正する。 精度・コスト・開発スピードを両立したい場面

ここで重要なのは、手動アノテーションと自動アノテーションを対立するものとして捉えないことです。手動アノテーションは高品質な教師データ作成に、自動アノテーションは大量データの効率的な作成に有効です。

③ 課題提示:現場で起きやすい共通課題

データ量が足りない

AIモデルの精度を高めるには、さまざまな条件の画像を学習させる必要があります。しかし、手動アノテーションだけで十分な量の教師データを用意するには、多くの工数が必要です。

コストが増えやすい

アノテーション作業は、データ量に比例してコストが増えやすい工程です。特に、セマンティックセグメンテーションのように細かい領域指定が必要なタスクでは、1枚あたりの作業負荷が大きくなります。

PoCや改善サイクルが停滞する

AI開発では、初回の学習だけで理想的なモデルが完成することは多くありません。データを追加し、学習し、評価し、改善するサイクルを繰り返す必要があります。しかし、教師データ作成に時間とコストがかかると、PoCや再学習の回数を増やしにくくなります。

④ 本題:自動アノテーションをどう活用すべきか

自動アノテーションは、手動アノテーションを完全に置き換えるものではありません。むしろ、自動アノテーションの価値は、教師データ作成の選択肢を広げることにあります。

自動アノテーションで大量の教師データを作成し、AIモデルに大枠の特徴を学習させる。そのうえで、重要な部分や誤差が出やすい部分を手動アノテーションで補正する。このような使い方により、手動作業をすべてのデータに均等に投入するのではなく、最も効果の高い部分に集中させることができます。

重要なのは、自動か手動かを選ぶことではなく、目的に応じてどう組み合わせるかです。

CVNucleus自動アノテーションとは

東芝情報システムでは、画像認識AIの教師データ作成を効率化するため、独自の自動アノテーションAIを活用したツールを開発しています。

教師対象画像データを入力し、自動アノテーションAIによって教師データを出力する仕組みです。製品としては、セマンティックセグメンテーション向けの CVNucleus® SSeg-AutoAnnotation、およびバウンディングボックス向けの CVNucleus® BBox-AutoAnnotation を展開しています。

自動アノテーションは、「完全な教師データを自動で作る仕組み」としてではなく、AIモデルの学習に活用できる教師データを効率的に増やす仕組みとして捉えることが重要です。

検証:自動・手動・ハイブリッド学習を比較

今回の検証では、手動アノテーションデータとして Waymo Open Dataset を使用し、ターゲットモデルには UNetFCN を採用しました。評価指標には、セグメンテーション精度を示す mIoU を用いています。

  1. 自動アノテーションのみで学習
  2. 手動アノテーションのみで学習
  3. 自動アノテーションで事前学習し、手動アノテーションで追加学習

検証結果1:自動アノテーション単体では手動10,000枚を下回る

条件 mIoU
自動アノテーション66,030枚 66.79%
手動アノテーション10,000枚 72.67%

自動アノテーションはデータ量では上回っていたものの、モデル精度では手動アノテーション10,000枚を下回りました。ただし、これは自動アノテーションが使えないという意味ではありません。むしろ、手動アノテーションと組み合わせることで効果を発揮しやすいことを示しています。

検証結果2:自動+手動のハイブリッド学習でmIoU 75.58%を達成

条件 mIoU
自動アノテーション66,030枚+手動アノテーション10,000枚 75.58%
手動アノテーション10,000枚のみ 72.67%

自動+手動の構成では、手動10,000枚のみを上回る結果となりました。これは、自動アノテーションで大枠の特徴を学習し、手動アノテーションで誤差を補正する役割分担が有効に働いたためと考えられます。

検証結果3:手動アノテーションを3分の1に削減しながら同等精度を維持

条件 mIoU
手動アノテーション30,000枚 76.77%
自動アノテーション66,030枚+手動アノテーション10,000枚 75.58%

両者の差は約1.19ポイントであり、手動アノテーション量を30,000枚から10,000枚へ削減しながら、ほぼ同等の精度を維持できました。

コスト試算:1,950万円の削減効果

手動アノテーション単価を1,000円/枚、自動アノテーションツール費用を月額50万円として試算しました。

30,000枚 × 1,000円/枚 = 3,000万円

10,000枚 × 1,000円/枚 + 50万円 = 1,050万円

3,000万円 - 1,050万円 = 1,950万円

精度差を約1.19ポイントに抑えながら、試算上は1,950万円のコスト削減が可能です。教師データ作成コストを抑えることで、PoCや再学習の回数を増やし、AI開発全体の改善サイクルを回しやすくなります。

教師データ作成の工数・コストにお悩みの方へ

CVNucleus自動アノテーションの活用方法について、お気軽にご相談ください。

⑤ Q&A:実務的な疑問への回答

Q1. 自動アノテーションだけで高精度なAIモデルを作れますか?

本検証では、自動アノテーション66,030枚のみのmIoUは66.79%で、手動10,000枚のみの72.67%を下回りました。そのため、自動アノテーション単体では限界がある一方、手動アノテーションと組み合わせることで効果を発揮しやすいと考えられます。

Q2. 自動アノテーションと手動アノテーションはどう使い分けるべきですか?

自動アノテーションは、大量の教師データを短時間で作成したい場合に有効です。一方、手動アノテーションは、精度を高めたい部分や誤差を補正したい部分に適しています。まず自動アノテーションで量を確保し、必要な部分を手動で補正するハイブリッドな使い方が有効です。

Q3. 手動アノテーションはどの程度削減できますか?

本検証では、手動30,000枚のみのmIoU 76.77%に対し、自動66,030枚+手動10,000枚ではmIoU 75.58%となりました。手動アノテーション量を3分の1に抑えながら、ほぼ同等の精度を維持できる可能性が示されています。

Q4. コストはどの程度削減できますか?

手動単価1,000円/枚、自動アノテーションツール月額50万円の試算では、手動30,000枚の3,000万円に対し、自動+手動10,000枚では1,050万円となります。試算上、1,950万円の削減が可能です。

⑥ まとめ:アノテーションは「どう設計するか」が重要

画像認識AIの開発では、アノテーションを単なる前処理として考えるのではなく、モデル精度、コスト、開発スピードを左右する重要な設計要素として捉える必要があります。

今回の検証では、自動アノテーション単体では手動10,000枚を下回った一方、自動アノテーションと手動アノテーションを組み合わせることで、mIoU 75.58%を達成しました。また、自動66,030枚+手動10,000枚の構成では、手動30,000枚のみのmIoU 76.77%に近い精度を維持しながら、手動アノテーション量を3分の1に削減できました。

重要なのは、手動か自動かを選ぶことではありません。目的に応じて、アノテーションの方法、量、組み合わせ方をどう設計するかです。

自動アノテーションは、その設計の選択肢を広げ、AI開発の改善サイクルを効率化するための有効な手段と言えるでしょう。

お気軽にお問い合わせください。当社の製品・サービスは企業・団体・法人様向けに販売しております。