構造解析(オブジェクト認識)による操作

操作対象のアプリケーションや Web ページの内部構造を解析して画面項目を特定し操作することができます。 Web ページを操作する場合は、対応しているブラウザは Internet Explorer 11 のみとなります。

注意

アプリケーションによっては、特定の画面項目が構造解析による操作に対応していない場合があります。
操作実行時に
  • 指定の操作が動かず無反応
  • 「値の取得に失敗しました」または「値の設定に失敗しました」というエラーが発生する
といった動作をする場合は、以下の点を確認してください。
  • アクションの「操作対象」内「画面項目」欄にて画面項目が正しく認識されている
  • 実行時のウィンドウタイトルがアクションの「操作対象」内「画面項目」欄の「ウィンドウ」項目の値と一致している
  • 操作対象が「選択式入力欄」の場合に「次の値を選択する」に指定した値と完全に一致する選択肢が存在する
  • 操作対象が「リスト」の場合に「次の値をセットする」に指定した値と完全に一致する選択肢が存在する
  • 操作対象が「領域」の場合に指定した名前と部分的、または、完全に一致する表示名の選択肢が存在する
いずれも問題が無いにも関わらず動作しない場合は、構造解析以外のアクション(マウスアクションやキーボードアクション)をご利用ください。

構造解析(オブジェクト認識)とは

構造解析(オブジェクト認識)とは、Word、Excel などのアプリケーションや Web サイトの画面構造を解析して画面上の項目(テキストデータやボタン、入力ボックスといったオブジェクト)を識別し、その項目への直接操作することや情報の取得ができる機能です。
Web サイトや業務アプリ上の入力欄のデータを取得したり、エクスプローラーや Outlook でテキストボックスやドロップダウンに値を設定するといった操作をより簡単に設定することができます。

注釈

CELF RPA の構造解析では操作対象のウィンドウを、アプリケーションの種類とウィンドウタイトルで特定しています。
アクションセットの作成時と実行時でウィンドウタイトルが変更されている場合、
設定したウィンドウと同じアプリケーションが開かれているのであれば、そのアプリケーションで最前面に表示されているウィンドウに対して操作を行います。
設定したウィンドウと同じアプリケーションが開かれていなければ、操作対象を見つけることができずエラーになります。

画面項目を入力・操作する

参考

「画面項目を入力・操作する」アクションの具体的な使用方法の例については 「構造解析を使用してデータを登録する」を参照してください。

  1. 「ロボット」タブから「画面項目を入力・操作する」アクションをドラッグし、エディットエリアに設定します。

  2. 「操作対象指定」ボタンをクリックします。

    ../../_images/113.png

    ヒント

    操作対象の設定方法については「構造解析アクションの操作対象設定方法」を参照してください。

  3. 設定した画面項目に応じて入力する値を設定します。

    参考

    操作対象に設定できる画面項目の種類、および、種類毎の設定内容は「画面項目を入力・操作する ― 操作対象に設定できる画面項目と設定内容」を参照してください。

  4. 「画面項目の位置を次のセルにセットする」チェックボタンをチェックすると、指定した画面項目が実行時に表示されている位置と大きさの情報をセルにセットします。

    ../../_images/213.png

    注釈

    画面項目の操作によって画面遷移が発生する、ウィンドウのタイトルが変化する、ページの構成が変化する、といった内部構造の変化を伴う処理が行われた場合、画面項目の位置の取得は失敗する場合があります。

    参考

    セットした位置情報は別のアクションの操作対象位置情報として使用できます。詳細は「セルにセットされた座標を使用する」を参照してください。

画面項目を入力・操作する ― 操作対象に設定できる画面項目と設定内容

「画面項目を入力・操作する」アクションでは以下の種類の画面項目を操作対象に設定できます。

  • 文字入力欄

    ../../_images/ctrl-tf.png

    「次の値をセットする」で指定した値を入力します。値は上書きされます。

  • 選択式入力欄

    ../../_images/ctrl-ddl.png

    「次の値を選択する」で指定した項目を選択します。項目名が大文字小文字を含め完全に一致するものが選択の対象になります。

    ちなみに

    完全に一致するものが無ければ、最初に見つかった部分一致する項目が選択の対象になります。

  • リスト

    ../../_images/ctrl-list.png

    「次の値をセットする」で指定した項目を選択します。項目名が大文字小文字を含め完全に一致するものが選択の対象になります。

    ちなみに

    完全に一致するものが無ければ、最初に見つかった部分一致する項目が選択の対象になります。

    注釈

    操作対象が「リスト」の場合に設定できるのはリストボックスの選択のみとなります。Web ページのレイアウトがリストで作成されている場合等、画面項目がリストボックスでない場合は値を設定することはできません。

  • 選択肢 (単一選択)

    ../../_images/ctrl-rb.png

    指定した項目を選択します。

  • 選択肢 (複数選択)

    ../../_images/ctrl-chb.png

    指定した項目を選択、または、選択を解除します。

  • 領域

    ../../_images/ctrl-area-1.png

    指定した範囲内にある選択肢を一括で選択、選択解除します。

    ../../_images/ctrl-area-2.png

    「+」ボタンをクリックして単一選択、複数選択それぞれの設定欄を追加します。

    ../../_images/ctrl-area-3.png

    範囲内に単一選択、複数選択の設定欄はそれぞれ範囲内に「選択肢 (単一選択)」、「選択肢 (複数選択)」が存在する場合だけ表示されます。 選択肢が存在しない場合設定欄は表示されません。

    注釈

    領域指定で設定できるのは「選択肢 (単一選択)」と「選択肢 (複数選択)」のみとなります。それ以外の種類の画面項目は個別に選択して設定してください。

  • ボタン

    ../../_images/ctrl-btn.png

    指定したボタンをクリックします。

  • リンク

    ../../_images/ctrl-link.png

    指定したハイパーリンクをクリックします。

画面項目から値を取得する

参考

「画面項目から値を取得する」アクションの具体的な使用方法の例については 「構造解析を使用してシステムの画面項目から値をコピーする」や 「構造解析を使用して画面上の表から値をコピーする」を参照してください。

  1. 「ロボット」タブから「画面項目から値を取得する」アクションをドラッグし、エディットエリアに設定します。

  2. 「操作対象指定」ボタンをクリックします。

    ../../_images/114.png

    ヒント

    操作対象の設定方法については「構造解析アクションの操作対象設定方法」を参照してください。

  3. 取得した値をセットするセルを設定します。

    参考

    操作対象に設定できる画面項目の種類、および、種類毎の設定内容は「画面項目から値を取得する ― 操作対象に設定できる画面項目と設定内容」を参照してください。

  4. 「画面項目の位置を次のセルにセットする」チェックボタンをチェックすると、指定した画面項目が実行時に表示されている位置と大きさの情報をセルにセットします。

    ../../_images/214.png

画面項目から値を取得する ― 操作対象に設定できる画面項目と設定内容

「画面項目から値を取得する」アクションでは以下の種類の画面項目を操作対象に設定できます。

  • 文字

    ../../_images/ctrl-label.png

    表示されている文字列を取得します。

  • 文字入力欄

    ../../_images/ctrl-tf1.png

    入力されている文字列を取得します。

  • 選択式入力欄

    ../../_images/ctrl-ddl1.png

    選択されている項目の表示されている文字列を取得します。

  • リスト

    ../../_images/ctrl-list1.png

    選択されている項目の表示されている文字列を取得します。

    ちなみに

    選択したリストがリストボックスとして操作できない場合は「領域 (リスト)」として操作されます。リストボックスとして操作可能かどうかは自動的に判別されます。

  • 選択肢 (単一選択)

    ../../_images/ctrl-rb1.png

    指定した選択肢が選択されている場合「true」、選択されていない場合「false」をセルにセットします。

  • 選択肢 (複数選択)

    ../../_images/ctrl-chb1.png

    指定した選択肢が選択されている場合「true」、選択されていない場合「false」をセルにセットします。

  • ../../_images/ctrl-table.png

    指定した表のセルの値をコピーします。 「セルの結合状態をコピーする」チェックボタンをチェックすると指定した表と同じように CELF シートのセルを結合することができます。

  • 領域 (リスト)

    ../../_images/ctrl-area-list.png

    表を選択した場合と同様に、指定した領域内に表示されている文字をコピーします。

    ちなみに

    選択したリストがリストボックスとして操作できる場合は「リスト」として操作されます。リストボックスとして操作可能かどうかは自動的に判別されます。

  • 領域 (リスト以外)

    ../../_images/ctrl-area.png

    指定した領域内の選択されている「選択肢 (単一選択)」および「選択肢 (複数選択)」の項目名のリストを取得します。 リストは指定されたセルを先頭に下方向にセットされます。

    注釈

    領域指定で取得できるのは「選択肢 (単一選択)」と「選択肢 (複数選択)」のラベルのみとなります。それ以外の種類の画面項目は個別に選択して取得してください。

    ちなみに

    選択されている選択肢のリストは UTF-8 文字コードの昇順でソートされます。

構造解析アクションの操作対象設定方法

構造解析アクションの操作対象の設定では画面に表示されている項目の一覧の中から操作対象を選択することができます。

../../_images/115.png

操作対象を設定する

  1. 操作対象指定ボタンをクリックします。

    ../../_images/53.png

    注釈

    Windows7 環境では Internet Explorer が起動している場合 Internet Explorer のウィンドウが最前面に表示されます。
    Windows7 で他のウィンドウの画面項目を選択する場合は、Internet Explorer を終了する、ウィンドウのサイズを小さくする、画面外に移動する等してください。
  2. 操作したい画面項目、または、画面項目が配置されている付近の領域をクリックします。

    ../../_images/6.png

    ちなみに

    マウスカーソルを合せた時に青枠で囲まれる画面項目は RPA で操作可能な項目、灰色枠で囲まれるものは RPA で操作できない項目を表しています。
    灰色枠で囲まれた RPA で操作できない項目をクリックしても設定画面は表示され、その中に配置されている画面項目を一覧から選択することが可能です。
  3. 操作対象設定画面に表示される画面項目一覧から操作したい項目を選択します。

    ../../_images/7.png

    ヒント

    画面項目の左に [+] が表示されている場合、クリックするとその中に配置されている画面項目のリストが表示されます。

  4. 操作したい画面項目を選択して「設定」ボタンをクリックします。

    ../../_images/8.png
  5. 指定した項目が操作対象として設定されます。

    ../../_images/9.png

操作対象の設定をキャンセルする

操作対象の設定をキャンセルする場合、画面項目の選択中に「Esc」キーを押すか、または、
画面項目を選択した後で表示される設定画面の「キャンセル」ボタンをクリックします。
キャンセルした場合、操作対象の設定は変更されません。

選択している画面項目を確認する

操作対象設定画面で項目を選択すると、該当する画面項目がハイライトされます。

../../_images/215.png

または、確認ボタンをクリックしても画面項目をハイライトで確認できます。

../../_images/10.png

また、枠の右上にはその画面項目の種類が表示されます。

../../_images/4.png

操作対象に設定できる項目と設定できない項目について

操作対象として設定できる項目は黒い太字で表示されます。

../../_images/311.png

操作対象として設定できない項目は灰色の文字で表示されます。

../../_images/116.png

操作対象として設定できる画面項目の種類はアクション毎に異なります。 詳細は各アクションの説明を参照してください。

注釈

CELF RPA の構造解析では操作対象のウィンドウを、アプリケーションの種類とウィンドウタイトルで特定しています。
アクションセットの作成時と実行時でウィンドウタイトルが変更されている場合、
設定したウィンドウと同じアプリケーションが開かれているのであれば、そのアプリケーションで最前面に表示されているウィンドウに対して操作を行います。
設定したウィンドウと同じアプリケーションが開かれていなければ、操作対象を見つけることができずエラーになります。