Python pyautogui 이미지 클릭

python pyautogui 통한 이미지 클릭 아마 이 부분은 RPA를 진행하고 있는 사람들 한태는 그렇게 크게 필요하지 않은 정보입니다. Uipath 툴에서 이미지 클릭을 지원하기 때문에 python pyautogui를 통해 이미지 클릭으로 자동화 및 공부용을 위해 작성했습니다.

 

가장 먼저 import 부분을 진행합니다 진행하고 나면 화면에서 클릭할 이미지를 캡처 도구를 통해 클릭할 이미지의 사진을 캡처를 진행합니다

pip install opencv-python

pip install pyautogui

1. 아래 코드를 보면 time.sleep(1)을 중간중간 계속 주는데 이는 해당 작업이 빨리 진행이 되면 내가 원하는 작업을 진행하는데 오류가 발생할 수 있기 때문에 작업을 할 때 time.sleep을 적절히 활용해 주시는 게 좋습니다

 

2. 이미지 클릭 하는 부분은 아래에 이미지 경로가 있는 부분으로 클릭이 가능합니다 이때 confidence가 없어도 클릭은 되지만 confidence로 이미지 유사도를 몇 퍼센트로 설정하냐에 따라 정확성이 올라갑니다 일반적으로는 0.7 = 70% 확률로 설정해 주면 대부분의 이미지가 클릭이 안 되는 경우는 없을 겁니다 만약 클릭이 안된다면 캡처한 이미지랑 실제 화면이랑 비교해 보시면 됩니다

 

3. 한글 입력하는 방법은 해당 단어 및 문장을 python에서 클립보드로 담아서 사용을 해야 합니다 아쉽게도 한글은 지원하지 않기 때문에 한글을 입력하게 될 경우에는 클립보드를 활용해야 합니다

 

4.hotkey를 통해서 두 개 이상의 단축키 사용이 가능합니다

 

5.영어로 입력을 하고 싶을때는 pyautogui.typewrite('Hello Sol')이렇게 쓰면 됩니다

 

import pyautogui
import time
import pyperclip

pyautogui.click(pyautogui.locateCenterOnScreen('C:/Users/user/Pictures/capture.PNG', confidence=0.7)) #클릭할 이미지 저장 경로 설정 + 이미지의 70% 유사도 체크
time.sleep(1) #안정화를 위한 딜레이 추가
pyperclip.copy("요즘") # 클립보드에 설정한 텍스트값 복사 진행 한글의 경우에는 클립보드에 담았다가 작성해야 사용 가능
pyautogui.hotkey('ctrl', 'v') # 붙여넣기
time.sleep(1)
pyautogui.hotkey('ctrl', 'i')

위 코드는 단순히 카카오톡에서 친구대화창에서 검색어를 입력하고 친구초대를 화면에 뛰우는 작업이 였습니다