【特集】3Dロボットビジョン3番勝負！
こんな形状のデパレタイズは可能？

3Dビジョンシステムの進化で
難易度の高いデパレタイズも可能になったのか？

実際のところ、どんな荷物にも対応できるのでしょうか。
1981年の設立以来、画像処理システムの開発・提供を専門としている株式会社マイクロ・テクニカの取材協力のもと、マイクロ・テクニカの技術から、「デパレタイズ」における3Dビジョンシステムの進化と実力を解説していきます。

こんな形状のデパレタイズは可能？
1.「サイズ・向き・表面の状態」などがランダムな箱

整然と積まれた同じ形状の箱のデパレタイズを自動化できることはご存知のことでしょう。
では、さまざまなサイズの段ボール箱が雑然と積まれている状態ではどうでしょう？

3Dロボットビジョンを使った技術開発によって、「サイズ・向き・表面の状態」などがランダムな箱のデパレタイズも可能になりました。
まずは動画をご覧ください。

ランダムデパレタイズを可能にした画像認識技術とは

いったい、3Dビジョンシステムのどのようなしくみによって、ランダムな箱のデパレタイズが可能になったのでしょうか。

3次元画像認識＋AI（ディープラーニング）

これまでは3次元の点群による平面認識とエッジ検出によって箱などの個体認識をしていました。この技術に、AI（ディープラーニング）によるエッジや面の判定機能を組み合わせることで、同一平面状のランダムな箱の位置を正確に検出することができるようになったのです。
この方法で、サイズの異なる箱、絵柄やテープが貼られた箱、透明テープで半開きになっている箱、PPバンドや透明テープがある箱など、ほぼすべての箱を認識し、デパレタイズの自動化が可能になっています。

同じサイズの箱なら、こんなこともスピーディに実現！

これまでは、箱の絵柄などを事前に登録し、登録情報に基づいて箱の認識を行う手法を使用するケースが多く行われていました。
しかしこの方法の場合、箱の種類に応じた画像を「マスターデータ」として登録する必要がありました。新しい種類や絵柄の異なる箱の場合は、物流センターの作業者が箱の絵柄を都度登録する必要があったわけです。
忙しい現場では、さらなる負荷となり、現実的ではありません。

マイクロ・テクニカでは、箱や矩形に分類するワークの認識アルゴリズムとして「数理最適化（MOP）」アルゴリズムを開発しました。

「数理最適化(MOP) アルゴリズム」とは何か

箱の絵柄情報は不要。箱のサイズデータのみを使用して、カメラで取得した3次元及び2次元の箱の形状から数学的手法と画像認識を組合せて、個々の認識を行うものです。この方法はロバスト性に優れており、高速処理向きの認識アルゴリズムです。

3Dビジョンを活用した箱デパレタイズについて
マイクロ・テクニカの公式サイトで詳細を見る

こんな形状のデパレタイズは可能？
2.「シュリンク包装（シュリンクパック）」の箱

シュリンク包装のデパレタイズを可能にした画像認識とは

数理最適化アルゴリズム

マイクロ・テクニカの数理最適化アルゴリズムでは、3次元の輪郭情報からパックの集合体を作って、1個分断とバック全体の認識を行っています。
パックには絵柄があるので、絵柄を見て、「こういう列の時はここまでがひと括り」ということがわかります。何個パックなのかという情報や絵柄の向きで、どういう状態でひと括りなのか、情報を見て認識させる手法で、コーナーの1つのパックの向きに注目させるのがポイントです。

※ただし、パックが正方形であるなどの縦横比率や絵柄の特徴によっては向きなどの画像的区別がつかない場合もあります。

こんな形状のデパレタイズは可能？
3.「充填率の低い不定形な袋」「重なり合った袋」「薄い袋」

マイクロ・テクニカではもともと、3次元画像認識によって充填された重量のある米袋や粉袋の認識ソフトを開発し、認識を行っていました。これにAIディープラーニングのアルゴリズムを組み合わせることで認識精度が向上。これまで難しかった重なり合った袋、中身が詰まり切っていない未充填の不定形な袋など、難易度の高い袋ワークにも対応が可能になりました。

充填不足、不定形な重なり合った袋のデパレタイズを可能にした画像認識技術

3次元画像認識 ＋ AI（ディープラーニング）

充填率が低く薄い袋が不定形に重なり合っている場合、従来は3Dでも2Dでも認識は困難でした。通常の3Dと2Dの画像認識に、AI（ディープラーニング）によって袋の重なりを学習させて得たアルゴリズム（種別と境界を区別して判定するアルゴリズム　インスタンスセグメンテーション）を加えることで、不定形な袋でも、重なり合った袋の上下関係の判別を行い、一番上にある袋を認識して取り出すことができます。
（このディープラーニングには、30～60枚の画像を使います）
この高精度な画像処理技術によって、袋の中でも絵柄もなく無地に近い状態の材質でも判定率は99％以上（※）を維持することができます。（2023年3月取材時点）

※従来の手法とは

3次元点群から極小平面（メッシュ）を作成し、極小平面の法線ベクトルに連続性がある各面（メッシュ）を統合して分断ポイントを認識、重心座標を算出することで、一番高いところにある袋を取ることができる…　という説明を入れます。
この方法では、充填率の低い薄い袋が重なった場合、高さがある方を上に位置する袋であると認識していました。

3Dビジョンを活用した袋デパレタイズについて
マイクロ・テクニカの公式サイトで詳しく見る

マイクロ・テクニカの3Dロボットビジョンとは

マイクロ・テクニカでは、3Dと2Dを組合わせた画像認識、3D画像認識にAI（ディープラーニング）を組み合わせた画像認識、さらに独自に開発した数理最適化(MOP)アルゴリズムなど、画像処理を専門として培ってきた技術やノウハウや独自の開発技術をもとに、高い認識技術で多様なワークの自動化に対応できることは上記で紹介してきました。

そのほかにも……
3Dビジョンシステム単体での提供にも、ロボットを組み合わせたシステム、ソリューションの提供にも対応。マテハンメーカー、ロボットSIer、物流センター、どのお客様にも合った対応が可能です。
安川電機・ファナック・川崎重工など、国内ロボットメーカー各社に対応、個々のニーズに合ったソリューションを提供。
単載、混載、特殊な形状や不安定な形状の対象物に対応するだけでなく、横積み（デバンニング）、パレット積み替え、薄い封筒のピッキングにも対応。
さらに、箱と袋のランダムデパレタイズ、パレタイズ、ピースピッキングなど幅広い物流ワークに1台で対応できるロボットパッケージ「ロボットピッキングセル」も取り扱っています。

マイクロ・テクニカ オリジナル
コストパフォーマンスに優れた物流向け「ロボットピッキングセル」とは

上記で紹介した多様なデパレタイズのほか、パレタイズにも対応。用途や設置環境などに合わせて相談・提案が可能です。
安川電機社の20kg可搬ロボット（MOTOMAN-HC20DTP)のピッキングセルのデモ機が東京・池袋の本社分室に設置されており、稼働状況を実際に見ることができます。

物流向け「ロボットピッキングセル」について
マイクロ・テクニカの公式サイトで詳しく見る

株式会社マイクロ・テクニカとは

マイクロ・テクニカは、画像検査システムの開発・製造・販売を行う日本の企業。長年蓄積してきた画像処理技術をベースに、各種画像検査機器を開発・販売しています。 ほかにもトラック・トレースシステム、画像製品、画像処理用デバイスの開発・製造・販売事業など画像分野で多方面の製品を提供しています。

本社所在地	東京都豊島区東池袋3-12-2　ONEST池袋イーストビル
主な事業展開	各種業界における目視検査をコンピューター技術を用いて自動検査する画像認識・検査システムの開発・製造・販売
連絡先 問合せ先	https://www.microtechnica.co.jp/contact/machine-vision-form.html

マイクロ・テクニカの公式サイトで
3Dロボットビジョンについてもっと知る