RPAの画像認識機能

今迄、世の中に自動化を謳うソフトウェアは沢山ありましたが、RPAほど汎用性のあるものは、なかったでしょう。

なぜでしょうか?

何がRPAをそれほど特別なものにしているのでしょうか?

答えを言えば、『画像認識機能』です。

 

「画像認識機能」の凄さとは?

ちょっとイメージをしてみてください。

繰り返しを自動化するソフトウェアを、あなたが作るとします。

人間が行うマウスやキーボードの動きをそのまま記録し、再現するのです。

マウスのクリックや、キーボードの打ち込みは、単純にそのままコンピュータに信号を送るだけですから、さほど難しい話ではないでしょう。

厄介なのは、画面に現れる特定のボタンや絵柄を押す作業なのです。

もちろん、座標軸が決まっており、毎回同じ場所に出現するのであれば、これもさほど難しい作業ではないでしょう。

Y軸128、X軸860のポイントをクリック。

これで解決します。

しかし、実際の操作においては、多少ずれることがあります。

スクロールが伴う画面、つまりWEBなどのブラウザ上の表示では、そういったことが顕著です。

 

さらに厄介なのは、「出現のタイミング」です。

クリックをして画面が切り替わる。

そして、その画面に対象のボタンが現れ・・・ということになっている場合、ダウンロード環境によっては、毎回同じタイミングで出現しないケースがあります。

そうなると座標軸でクリックさせるのは難しく、場合によっては早くクリックしすぎて、次の作業が流れてしまうということも起こりえます。

こういったことを解決する方法として、素晴らしいのが『画像認識』です。

指定のタイミングで「検索」というボタンが現れたら(もしくは現れるのを待って)、そのボタンをクリックするといったことを、正確にやってのけます。

具体的な操作方法としては、認識させたい画像をマウスをドラッグ&ドロップして囲みます。

画像マッチング

 

その囲まれた画像をRPAツールは覚え、その画像と一致するものが出現した時に、指定の操作をするという仕組みになっているのです。

これにより、パソコン上で行われている作業の大半が自動化できるようになったのです!

 

さて、この『画像認識機能』ですが、どのRPAツールにも備わっている機能なのでしょうか?

はい、その通りです。

ただ、この『画像認識機能』は、メーカーにより独自技術で作られており、精度とスピードが異なります。

まさに企業秘密というやつですね。

 

 

画像認識機能のデメリットとは?

とても便利な画像認識機能ですが、実は「なるべく使わない方が良い」と教えられます。

えっ、誰から?

熟練者からです。

使わない方が良い理由は、画像認識の精度が100%ではないからです。

NTTのRPAツールである「WinActor」を例にとってお話しましょう。

WinActorには、「画像マッチング」という機能があります。

 

WinActorは製品として、「フル機能版」と「実行版」の2つがあり、料金の違いから、「フル機能版」でエンジニアがロボットを作り、「実行版」で一般スタッフの人がロボットを走らせるというスタイルになりがちです。

その際に、開発者がAというPCで作成したロボットを、利用者がBというPCで動かすということになります。

この時に型の違うPCを使ってロボットを稼働すると、結構な確率で「画像マッチング」がエラーを起こすのです。

理由は、画面の「解像度」であったり、囲んだ絵柄の背景の色が違ったり、officeのバージョンが違ったりと様々です。

結果として、多少でも画像が異なると他の画像として認識してしまい、エラーを起こします。

つまり、現状のRPAの画像認識機能は、融通が利かないのですね。

全く同じ環境であれば、ほぼ問題ないのですが、ちょっとでも異なるとロボットが止まりやすくなります。

そのため、RPAツールでのロボット作成において、画像認識機能は最終手段とも言えます。

もちろん、画像認識機能にも使い方にコツがあり、それをマスターすることで、止まりずらいロボットを作ることもできます。

それを鑑みても、他の機能を色々試してみて、最終的に仕方なく…というケース。

あとは、VDIと言われる仮想デスクトップでの利用というケース。

主に使われるべきなのは、この2つでしょうか。

 

「画像認識機能」は、熟練者に必要がない!?

以上、画像認識機能を貶めるような言い方になったかもしれませんが、実際のところ、画像認識機能がないと二進も三進もいかない場面というのは、結構あります。

そして画像認識機能が上手く機能する場面では、画像認識に感謝しかないですね。

ただ、以前にもお話した通り、RPAの進化過程は、まだクラス1から2レベルです。

将来的にRPAがAIとより深く融合することにより、画像認識機能は、上記のような利用環境の微妙な違いも考慮した動きをしてくれるようになるでしょう。

そうすると、RPAはもっと非エンジニアに優しいものになり、かなり使いやすいツールになると思いますね。

RPAの画像認識機能
RPAの導入・運用に役立つ情報をお探しなら
>

RPAを格安で導入し、自社内でロボットを作成・運用したい!とお考えではないですか?中小企業でRPA導入を成功させるには、「RPAツール導入費用を安く抑え」、「自社内でロボット作成できる」ようにする必要があります。その2つの障壁を無くす方法をお教えいたします。

CTR IMG