AI外観検査のための不良のラベル付け方法：バウンディングボックス・ガイド

私たちが最初に学習させた不良検出モデルはひどいものでした。そしてそれは私たちのせいでした。画像にもモデルにも問題はありませんでした。不良の周りに描いたボックスがばらばらで、モデルは見せられたものをそのまま学習したのです。つまり、混乱を学んだということです。

それ以来、私たちも、一緒に仕事をする皆さんも、たくさんの部品にラベルを付けてきました。そして同じいくつかのポイントが何度も出てきます。どれも複雑なものではありません。ほとんどは、誰かに指摘されればすぐに納得できることばかりです。この記事は、その指摘する誰かの役割を果たすためのものです。

要点まとめ

角度、距離、照明を変えて撮影し、モデルが撮影環境ではなく不良そのものを学べるようにします。そのうえで、すべての画像のすべての不良にラベルを付け、ボックスはぴったり描き、毎回同じ方法でラベルを付け、種類の異なる不良のボックスは重なってもよいものとし、最初は細かいクラスから始めて後でまとめます。実践では、見落とした10個のボックスより誠実な1個のボックスのほうが価値があり、判断に迷うサンプルはデータセットから外すべきです。そして2人が違う描き方をしそうなボックスは、おそらく間違っています。

撮影：原則はひとつだけ

モデルは多様性から汎化します。ピンホールの画像がすべて同じ位置、同じランプの下で撮影されていると、モデルはその位置とそのランプを覚えてしまい、部品が少し回転して届いただけで自信をなくします。だからこそ、学習用の画像を集めるときにやる価値があることはひとつだけです。動くことです。

角度を変える。不良の周りを歩き、いくつかの方向から撮影してください。同じピンホールでも、正面から見るのと45度から見るのとでは違って見えます。モデルにはその両方を見せるべきです。

照明と背景を変える。明るい場所、暗い場所、影の中、作業台の上、ライン上。背景を変えることで、モデルは背景を無視することを学びます。

距離を変える。近づいたり、離れたりしてください。画面いっぱいに写る不良も、隅にある小さな点にしか見えない不良も、どちらも本番の生産で目にするものです。

カメラがラインに固定されているなら、こうしたことは問題になりません。固定位置なら非常に安定した画像が得られ、その視点に非常に強いモデルができます。多様性が最も重要になるのは、iPhoneを手持ちで使う場合や、1つのモデルで複数の工程をカバーする必要がある場合です。

ラベル付け：5つの基本原則

これはEnao独自のルールではありません。物体検出のための画像アノテーション全般に当てはまる原則で、自信を持って判定するモデルと、何度も再確認を求めてくるモデルとの差を生むものです。

1. 画像内のすべての不良にラベルを付ける

私たちが最初に間違えたのがこれです。画像に不良が3つあるのに2つしかボックスで囲まなければ、3つ目は背景だとモデルに教えたことになります。これをデータセット全体で数十回繰り返すと、同じパターンが両方として示されたことになるため、正しい検出と誤検出の区別があいまいになっていきます。見えるなら、囲んでください。

2. 不良の周りにボックスをぴったり描く

数ピクセルの余白を持たせたぴったりのボックスなら、不良のパターン全体を、それだけを教えられます。切り詰めると、パターンの一部が欠けてしまいます。ゆるく描くと、モデルはその背景をすべて無視することを学ばなければならず、それには誰もラベルを付けたくないほど多くの例が必要になります。しかも、ぴったり描くほうが速いという嬉しいおまけもあります。

3. 毎回同じ方法でラベルを付ける

小さな不良の集まりを扱うには、どちらも正しい方法が2つあります。1つずつボックスで囲むか、グループ全体を1つのボックスで囲むかです。どちらでも機能します。うまくいかないのは、両方を混ぜることです。そうするとモデルは同じ状況が2通りにラベル付けされているのを見て、判断できなくなります。チームが一貫して続けやすいほうを選び、どこかに書き留めておいてください。

4. 種類の異なる不良のボックスは重なってもよい

傷が斑点の上を横切るのは、ごく普通のことです。傷をボックスで囲み、斑点もボックスで囲み、重なるままにしておきましょう。部分的な重なりはまったく問題ありません。避けるべきなのは、クラスの異なる2つのボックスがほぼ完全に重なっている状態です。そうなると、そのピクセルがどちらのクラスに属するのかを学習する手段がなくなります。

5. 最初は細かく分け、後でまとめる

深い傷、細かい傷、擦れ跡が1つのクラスなのか3つのクラスなのか迷ったら、3つから始めてください。後でまとめるのはワンクリックです。一緒くたにしたクラスを分けるには、すべてを見直さなければなりません。まとめるタイミングのサインは、モデルが2つのクラスを何度も取り違えることです。たいていの場合、それは人にとっては意味が違っても、カメラには同じように見えているということです。

実践編：痛い目を見て学んだ4つのこと

基本原則はルールです。ここで紹介するのは、実際に座ってボックスを描き始めて初めて出てくる判断のポイントです。

たくさんの不良を1つのボックスで

15個の小さな点に15個の小さなボックスを描くのは果てしなく時間がかかり、11個目あたりで必ず1つ見落とします。私たちが実際にそうだったので、よくわかります。集まり全体を誠実に1つのボックスで囲むほうが速く、モデルもそれで困ることはありません。小さなボックスより一貫性のほうが大切です。

杓子定規にならず、効率よく

グループに1つ、外れた1点に1つのボックス、というのが正解になる場合もあります。そう、スタイルの混在です。それでも、外れた1点を拾うためだけに背景だらけの巨大なボックスを1つ描いたり、15個の個別ボックスを描いて3つ見落としたりするよりはましです。すべてのルールの根底にあるルールは、次の人も同じようにラベルを付けるような方法でラベルを付けることです。

判断に迷うサンプルはデータセットから外す

どうしても一貫したラベル付けができない画像もあります。3つの不良が重なり合っていたり、境界を分けられなかったり、5人いれば5通りのボックスを描きそうだったりする画像です。そうした画像は外して、気に病む必要はありません。200枚のきれいなデータセットは、1,000枚のノイズの多いデータセットに勝ります。それに、重なり合った不良も本番ではきちんと検出できます。ただ、それを学習に使うべきではないというだけです。

主観的なボックスより、背景が多めのボックス

長い傷は1つのボックスにも、短い6つのボックスにもできます。個人に任せれば、両方が混在することになります。少し背景が多めの1つのボックスなら、誰が描いても同じです。ラベル付けの判断がマウスを握る人によって変わるなら、変わらなくなるまでボックスを大きくしてください。

画像は何枚必要ですか？

質が良ければ、思っているより少なくて済みます。1つの製品の1種類の不良なら、丁寧にラベルを付けた画像が25～50枚あれば、ラインに投入して学びを得られる最初のモデルとしては通常十分です。プロジェクトを失敗させがちなのは、画像が少なすぎることではなく、100枚の画像が3通りの方法でラベル付けされていることです。小さく始め、丁寧にラベルを付け、テストし、モデルが最も弱いところに画像を追加してください。

よくある質問

バウンディングボックス・アノテーションとは何ですか？

モデルに見つけてほしいもの、この場合はそれぞれの不良の周りに四角形を描くことです。そうすることで、モデルはそれがどんな見た目で、どこに現れやすいかを学習できます。外観検査で最も一般的な画像アノテーションの方法です。

ボックスに背景を含めるべきですか？

数ピクセルの余白までにとどめてください。不良の輪郭がボックスの内側に収まる程度には含め、モデルが周囲を無視することを学ばなければならないほどには含めないのがポイントです。

一部が隠れている不良には、どうラベルを付ければよいですか？

見えている部分をぴったり囲んでください。残りを推測してはいけません。大部分が隠れているなら、その画像をそもそもデータセットに入れるべきかを考えてください。

良品にもラベルを付けますか？

はい。ボックスを描かないままにしておく、という形で付けます。不良もボックスもない画像は、正常な状態がどう見えるかをモデルに教えてくれます。こうした画像は、不良の画像と同じくらい必要です。

2人の間でラベルの意見が分かれたらどうしますか？

それは勝者を決めるべきサインではなく、ルールを変えるべきサインです。ボックスを大きくするか、クラスをまとめるか、2人が同じように描けるようになるまでそのサンプルを外してください。

自社の部品で試してみてください

ここに書いたことが本当に通用するかを確かめる一番の方法は、自社のラインにある何かの画像を25枚ラベル付けし、それでモデルを学習させてみることです。登録不要、60秒で終わるデモを試すか、無料で始めてください。