事務職員のPower Automate Desktopやってみた ～マウスの移動・クリック、キーボードの入力編～

Power Automate Desktopにおけるマウス・キーボード操作のアクションについて、
特に、使いやすい以下２つのアクションについてまとめる。
　・マウスを画像に移動します：マウスを希望先まで移動させる。または、その後クリック操作をする。
　・キーの送信：キーボードの入力をする。

【はじめに】マウスとキーボードのアクション一覧

Power Automate Desktopに用意されているマウスとキーボードに関するアクションは以下のとおり。

No.	アクション	内容
1	入力のブロック	ユーザーのマウスとキーボードの入力をブロックし、フローがユーザの干渉を受けることなく、マウスとキーボードのアクションを実行できるようにします
2	マウスの位置を取得します	画面上でのマウスカーソルの現在の位置を、ピクセル座標で取得します
3	マウスの移動	指定された位置にマウスを移動します
4	マウスを画像に移動します	画面またはフォアグラウンドウィンドウで見つかった画像にマウスを移動します
5	画面上のテキストにマウスを移動する	画面またはフォアグラウンドウィンドウで、OCRを使用して見つかったテキストにマウスを移動します
6	マウスクリックの送信	マウスクリックイベントを送信します
7	キーの送信	現在アクティブなアプリケーションにキーを送信します
8	キーを押す/離す	１つ以上の装飾キー（Alt、Ctrl、またはShift）を押して保持するか、または離します
9	キーの状態を設定	CapsLock、NumLock、ScrollLockのキーの状態（オンまたはオフ）を設定します
10	マウスを待機する	マウスポインターが変更されるまで（通常、待機カーソルから砂時計またはその逆に変わるまで）、フローの実行を中断します
11	キーボード識別子を取得する	マシンのレジストリからアクティブなキーボード識別子を取得する
12	ショートカットキーを待機する	特定のショートカットキーを押すまでフローの実行を一時停止します。ショートカットキーには少なくとも１つのキー、または１つのキーと（Ctrl、Alt、Shift）のいずれかを指定します

マウスを画像に移動します

　今回は、Excelのツールバー『ファイル』までマウスを移動させ、左クリックをするフローを作成します。
　『マウスを画像に移動します』のアクションを選択する。
　

　『画像を選択してください』→『画像のキャプチャ』より移動先を設定します。
　

　虫眼鏡のようなものが出てくるので、ドラッグ＆ドロップで画像を選択する。
　
　
　

　これでマウスの移動先の画像が選択されました。
　『マウスの移動スタイル』及び『発生回数』は特に指定がなければ、そのまま。
　

　『マウスの移動後にクリックを送信します』をONにし、『クリックの種類』を選択します。
　

　『詳細』についても特に指定がなければ、そのまま。
　

　この内容で保存し、完成です。
　
　
　移動先の画像、クリックの種類を変えて、希望フローを作成してください。

キーの送信

　『キーの送信』のアクションを選択する。
　

　入力するキーを『送信するテキスト』の欄に入力しますが、　
　『特殊キーの挿入』及び『修飾キーの挿入』からも選択できます。
　今回は『特殊キーの挿入』→『その他』より『Enter』を選択します。
　
　
　『送信するテキスト』の欄には『{Return}』と表示されます。
　
　

　このアクションはショートカットキーを設定すると便利です。
　今回は『ファイル名を指定して実行』（Windowsキー+R）を設定します。
　『修飾キーの挿入』から『左Windowsキー』を選択します。
　

　すると、『送信するテキスト』の欄には『{LWin}()』と表示されます。
　

　修飾キーと組み合わせて使用するキーは『()』の中に入力するので、『{LWin}(R)』とします。
　

　また、『新規フォルダの作成』（ctrl+shift+N）の場合は以下のとおりです。
　（『()』の中に、『{shift}』及び『{N}』の両方を入力します。）