python自动化办公——定位按钮

想要python自动点击按钮，首先得定位按钮，python定位按钮有如下几种方式：

一. 使用坐标定位

1.我们需要获取屏幕的分辨率，以便计算出按钮在屏幕上的实际坐标。可以使用win32api库提供的GetSystemMetrics函数来获取屏幕的分辨率。

import win32api
screen_width = win32api.GetSystemMetrics(0)
screen_height = win32api.GetSystemMetrics(1)

2. 计算出按钮在屏幕上的实际坐标。假设按钮在屏幕上的相对坐标是(100, 200)，那么它在屏幕上的实际坐标可以通过以下公式计算：

button_x = int(screen_width * 100 / 1920)
button_y = int(screen_height * 200 / 1080)

其中，1920和1080分别是屏幕的宽度和高度，100和200分别是按钮在屏幕上的相对坐标。

3. 使用win32api库提供的mouse_event函数来模拟鼠标点击。例如，如果我们要在按钮上单击左键，可以使用以下代码：

import win32api
import win32con
win32api.mouse_event(win32con.MOUSEEVENTF_LEFTDOWN, button_x, button_y, 0, 0)
win32api.mouse_event(win32con.MOUSEEVENTF_LEFTUP, button_x, button_y, 0, 0)

win32con.MOUSEEVENTF_LEFTDOWN表示鼠标左键按下，win32con.MOUSEEVENTF_LEFTUP表示鼠标左键释放，button_x和button_y是按钮在屏幕上的实际坐标。

这样，我们就可以使用坐标定位的方式来模拟鼠标点击了。需要注意的是，使用坐标定位的方式需要计算出按钮在屏幕上的实际坐标，因此需要获取屏幕的分辨率。同时，由于不同的计算机分辨率可能不同，因此需要根据实际情况进行调整。

二. 使用图像识别定位

可以使用pyautogui.locateOnScreen()函数在屏幕上查找指定图像的位置，并返回该图像在屏幕上的坐标。我们可以将按钮的截图保存为一个PNG或JPG文件，然后使用pyautogui.locateOnScreen()函数来查找该图像在屏幕上的位置。这种方式比较灵活，但是对于相似的图像容易出现误判。

1.获取屏幕的截图，并保存到本地。可以使用pyautogui库提供的screenshot函数来获取屏幕截图，然后使用pyscreeze库提供的imwrite函数将截图保存到本地。

import pyautogui
import pyscreeze
screenshot = pyautogui.screenshot()
pyscreeze.imwrite('screenshot.png', screenshot)

2.加载要搜索的图像，并在屏幕截图中搜索它。可以使用pyscreeze库提供的locate函数来搜索图像，并返回它在屏幕截图中的位置。

import pyscreeze
button_image = pyscreeze.imread('button.png')
button_position = pyscreeze.locate(button_image, screenshot)

其中，'button.png'是要搜索的图像的文件名，button_image是加载的图像，screenshot是屏幕截图。

3.使用pyautogui库提供的click函数来模拟鼠标点击。例如，如果我们要在按钮上单击左键，可以使用以下代码：

import pyautogui
button_x, button_y = pyautogui.center(button_position)
pyautogui.click(button_x, button_y)

pyautogui.center函数可以计算出图像在屏幕截图中的中心坐标，button_x和button_y是按钮在屏幕上的实际坐标。

这样，我们就可以使用图像定位的方式来模拟鼠标点击了。需要注意的是，使用图像定位的方式需要加载要搜索的图像，并在屏幕截图中搜索它，因此需要一定的时间和计算量。同时，由于图像的颜色、大小、位置等可能会发生变化，因此需要根据实际情况进行调整。

三. 使用控件ID定位

假设我们要在Windows操作系统中打开“计算器”应用程序，并查找其中的“1”按钮控件。这时，我们可以使用控件ID定位的方式来查找该控件。

（一）、使用win32gui库和win32api库

1. 查找“计算器”应用程序的窗口句柄。可以使用win32gui库提供的FindWindow函数来查找窗口，需要传入窗口类名和窗口标题。

import win32gui
calc_handle = win32gui.FindWindow('CalcFrame', 'Calculator')

'CalcFrame'是“计算器”应用程序的窗口类名，'Calculator'是窗口标题。

2. 查找“1”按钮控件，并将其激活。可以使用win32gui库提供的FindWindowEx函数来查找控件，需要传入父窗口句柄、控件类名和控件标题。

import win32gui
button_handle = win32gui.FindWindowEx(calc_handle, 0, 'Button', '1')
win32gui.SetForegroundWindow(button_handle)

'Button'是“计算器”应用程序中的按钮控件类名，'1'是按钮控件的标题。

3. 我们可以使用win32api库提供的SendMessage函数来模拟按钮点击。例如，如果我们要点击“1”按钮，可以使用以下代码：

import win32api
import win32con
win32api.SendMessage(button_handle, win32con.WM_LBUTTONDOWN, win32con.MK_LBUTTON, 0)
win32api.SendMessage(button_handle, win32con.WM_LBUTTONUP, win32con.MK_LBUTTON, 0)

win32con.WM_LBUTTONDOWN表示鼠标左键按下事件，win32con.WM_LBUTTONUP表示鼠标左键释放事件，win32con.MK_LBUTTON表示鼠标左键被按下，0表示鼠标事件的坐标。

（二）、使用pywinauto库

1. 导入pywinauto库，并使用Application类来打开“计算器”应用程序。

from pywinauto.application import Application
app = Application().start('calc.exe')

2. 使用Application类的connect方法来连接已经打开的“计算器”应用程序。

from pywinauto.application import Application
app = Application().connect(title='Calculator')

3. 使用Application类的top_window方法来获取“计算器”应用程序的主窗口。

from pywinauto.application import Application
app = Application().connect(title='Calculator')
main_window = app.top_window()

4. 使用主窗口的child_window方法来查找“1”按钮控件，并将其激活。

from pywinauto.application import Application
app = Application().connect(title='Calculator')
main_window = app.top_window()
button = main_window.child_window(title='1', control_type='Button')
button.click()

'1'是按钮控件的标题，'Button'是按钮控件的类名。

（三）、如何知道某个控件的类名和标题呢？

可以使用Spy++工具，该工具可以用来查看窗口和控件的信息，包括窗口句柄、窗口类名、窗口标题、控件句柄、控件类名、控件标题等。

四. 使用快捷键定位

有些应用程序支持使用快捷键来触发按钮的操作，例如使用`Alt+S`来保存文件。我们可以使用`pyautogui.hotkey()`函数模拟按下快捷键，从而触发按钮的操作。这种方式比较简单，但是需要应用程序支持快捷键。

需要根据具体情况选择合适的定位方式，从而实现自动化办公。

接下来我们将重点研究图片定位和控件ID定位，敬请关注！