5
0
16
新手上路
使用道具 举报
本版积分规则 发表回复 回帖并转播 回帖后跳转到最后一页
|手机版|心飞设计-版权所有：微度网络信息技术服务中心 ( 鲁ICP备17032091号-12 )|网站地图
GMT+8, 2025-1-5 09:40 , Processed in 0.723444 second(s), 26 queries .
Powered by Discuz! X3.5
© 2001-2025 Discuz! Team.
|手机版|心飞设计-版权所有：微度网络信息技术服务中心
( 鲁ICP备17032091号-12 )|网站地图
发表于 2024-9-10 13:49:23
esktopwindow,ifitisnull,enumeratefromforegroundwindow-fenumeratefromfocusedcontrol,ifitisnull,enumeratefromforegroundwindow-cenumeratethecontrolundercursor,ifdepthisbool当函数返回True时表示找到控件并返回，例如以下方法几乎可以得与GetTopLevelControl()相同的结果：control.GetAncestorControl(lambdac,d:isinstance(c,auto.WindowControl))窗口属性调整假设获取到一个窗口对象：win=auto.ControlFromCursor().GetTopLevelControl()获取本地窗口句柄：win.NativeWindowHandle根据本地窗口句柄获取窗口控件对象：win2=auto.ControlFromHandle(win.NativeWindowHandle)经测试，对象一致：auto.ControlsAreSame(win,win2)True隐藏窗口：win.Hide(0)显示窗口：win.Show(0)窗口最小化：win.Minimize()窗口最大化：win.Maximize()判断窗口是否已经被最小化：auto.IsIconic(win.NativeWindowHandle)IsIconic进支持传入本地窗口句柄。将最小化的窗口的恢复显示：修改窗口的位置和大小，例如将某个窗口调整到最后一个屏幕的一半：rects=auto.GetMonitorsRect()rect=rects[-1]win.MoveWindow(rect.left,rect.top,rect.width()//2,rect.height()-30)不过这种调整方法对于cmd这种命令行窗口无效，只能在获取其TransformPattern对象后，调用Move和Resize方法来实现。上面的MoveWindow等价于：transform_win=win.GetTransformPattern()transform_win.Move(rect.left,rect.top)transform_win.Resize(rect.width()//2,rect.height()-30)移动窗口到屏幕中心位置：win.MoveToCenter()窗口置顶：window.SetTopmost(True)获取窗口并修改窗口：win.SetWindowText(win.GetWindowText()+"|小小明")获取运行当前python程序控制台窗口的：auto.GetConsoleTitle()#auto.GetConsoleOriginalTitle()设置运行当前python程序控制台窗口的：auto.SetConsoleTitle('自定义控制台')WalkTree遍历子控件除了auto.WalkTree遍历目标控件外，还有auto.WalkControl遍历控件，区别在于auto.WalkTree必须传入自定义函数指定遍历的行为。auto.WalkControl将会在后面涉及可折叠类型的控件遍历时进行演示，下面给出一个简单的通过WalkTree遍历桌面的示例：importuiautomationasautodefGetFirstChild(control):returncontrol.GetFirstChildControl()defGetNextSibling(control):returncontrol.GetNextSiblingControl()desktop=auto.GetRootControl()forcontrol,depthinauto.WalkTree(desktop,getFirstChild=GetFirstChild,getNextSibling=GetNextSibling,includeTop=True,maxDepth=2):ifnotcontrol.Name:continueprint(''*depth*4,control.Name)maxDepth指定了遍历深度，除了指定这两个方法以外还可以只转入getChildren方法：defGetChildren(control):returncontrol.GetChildren()forcontrol,depth,remaininauto.WalkTree(desktop,getChildren=GetChildren,includeTop=True,maxDepth=2):ifnotcontrol.Name:continueprint(''*depth*4,control.Name)结果过滤的方逻辑我们还可以写到yieldCondition的传入函数中：defyieldCondition(control,depth):ifcontrol.Name:returnTrueforcontrol,depth,remaininauto.WalkTree(desktop,getChildren=GetChildren,yieldCondition=yieldCondition,includeTop=True,maxDepth=2):print(''*depth*4,control.Name)在我电脑当前执行结果均为：桌面1任务栏开始在这里输入你要搜索的内容开始在这里输入你要搜索的内容系统时钟,23:02,2021/11/15test-JupyterNotebook-360安全浏览器13.1ChromeLegacyWindow一文掌握uiautomation的经典案例.md•-TyporaTyporaUIAutomation_demos–clipboard_test.pyPyCharmProgramManagerWalkTree的规则是当设置getChildren函数时，忽略getFirstChild和getNextSibling，否则使用这两个函数。设置yieldCondition函数时则开启额外的过滤。甚至可以使用WalkTree方法计算全排列问题：defNextPermutations(aTuple):left,permutation=aTupleret=[]fori,iteminenumerate(left):nextLeft=left[:]delnextLeft[i]nextPermutation=permutation+[item]ret.append((nextLeft,nextPermutation))returnretuniqueItems=list("abc")n=len(uniqueItems)count=0for(left,permutation),depth,remaininauto.WalkTree((uniqueItems,[]),NextPermutations,yieldCondition=lambdac,d:d==n):count+=1print(count,permutation)1['a','b','c']2['a','c','b']3['b','a','c']4['b','c','a']5['c','a','b']6['c','b','a']可以看到已经顺利的计算出正确的结果。Bitmap位图对象的使用默认新建的图片为空白透明图片：width,height=500,500#创建一张透明图片bitmap=auto.Bitmap(width,height)然后我们可以设置一点颜色，首先以逐像素遍历的方式操作：width,height=500,500#创建一张透明图片bitmap=auto.Bitmap(width,height)start=auto.ProcessTime()forxinrange(width):foryinrange(height):color=((x-width)**2+(y-height)**2)*255//(width**2+height**2)bitmap.SetPixelColor(x,y,0xFF00FF|color<<24)cost = auto.ProcessTime()- startprint(f'SetPixelColor 逐像素设置 {width}x{height} 图片的颜色耗时 {cost:.3f}s')bitmap.ToFile('tmp.png')
SetPixelColor 逐像素设置 500x500 图片的颜色耗时 0.648s
上述代码遍历每个像素点，通过SetPixelColor方法设置颜色。可以看到耗时达到0.6秒以上，能否快一点呢？
SetPixelColorsOfRect方法可以直接设置整个区域的颜色：
start = auto.ProcessTime()colors =[]for x inrange(width):for y inrange(height): color =((x-width)**2+(y-height)**2)*255//(width**2+height**2) colors.append(0xFF00FF| color <<24)bitmap.SetPixelColorsOfRect(0,0, width, height, colors)cost = auto.ProcessTime()- startprint(f'SetPixelColorsOfRect 设置 {width}x{height} 图片矩形区域的颜色，耗时 {cost:.3f}s')bitmap.ToFile('tmp.png')
SetPixelColorsOfRect 设置 500x500 图片矩形区域的颜色，耗时 0.460s
显然设置整个区域的颜色会更快一些。
经测试使用GetPixelColor方法获取到的颜色值可能会因为负数补码导致获取到的值与当初设置的不一致。我们可以通过GetAllPixelColors方法获取原生数组后，然后计算偏移量获取颜色值：
colors = bitmap.GetAllPixelColors()defgetPixelColor(x, y):return colors[x*width+y] getPixelColor(10,10)
4110352639
可以通过控件的ToBitmap方法对该控件截图获取Bitmap对象，传入参数可以决定截取的范围，例如我们截图桌面范围480*360范围内（不传参则获取整个控件）的图片：
root = auto.GetRootControl()bitmap = root.ToBitmap(0,0,480,360)bitmap.ToFile('tmp.png')Image("tmp.png")
ToBitmap方法也可以使用Bitmap.FromControl方法替代：
bitmap = auto.Bitmap.FromControl(control, x, y, width, height)
裁切图片：
with bitmap.Copy(150,100,80,102)as subBitmap: subBitmap.ToFile('tmp.png') display(Image("tmp.png"))
结果：成功裁切出 极速PDF阅读器 的图标。
若需要同时裁切多个部分，可以使用GetPixelColorsOfRects方法：
width, height =75,85rects =[((width*i,0, width, height))for i inrange(3)]colors = bitmap.GetPixelColorsOfRects(rects)for nativeArray in colors:with auto.Bitmap(width, height)as subBitmap: subBitmap.SetPixelColorsOfRect(0,0, width, height, nativeArray) subBitmap.ToFile('tmp.png') display(Image("tmp.png"))
X轴翻转：
with bitmap.RotateFlip(auto.RotateFlipType.RotateNoneFlipX)as bmp: bmp.ToFile('tmp.png') display(Image("tmp.png"))
Y轴翻转：
with bitmap.RotateFlip(auto.RotateFlipType.RotateNoneFlipY) as bmp: bmp.ToFile('tmp.png') display(Image("tmp.png"))
90度旋转：
with bitmap.Rotate(90)as bmp: bmp.ToFile('tmp.png') display(Image("tmp.png"))
30度旋转（非90度整数倍 旋转）：
with bitmap.Rotate(30)as bmp: bmp.ToFile('tmp.png') display(Image("tmp.png"))
对多个显示器分别截屏
结合前面的方法，我们可以对桌面截屏，对鼠标下的控件截屏，对当前激活窗口截屏等等。
基本都是在获取相应控件后调用如下方法：
control.CaptureToImage(savePath)
获取桌面控件前面已经演示，下面看看如何同时获取多个屏幕的截图：
c = auto.GetRootControl()rects = auto.GetMonitorsRect()print(rects)for rect in rects: c.CaptureToImage('tmp.png', rect.left, rect.top, rect.width(), rect.height()) display(Image("tmp.png"))
核心点就是通过GetMonitorsRect获取所有屏幕的坐标范围数组，截图时指定坐标范围即可。
剪切板操作
通常我们会使用pyperclip对文本进行复制粘贴，但实际上uiautomation所支持的剪切板操作会更加丰富，不仅支持纯文本，还支持富文本和图片。
涉及文件的剪切板操作，个人已经在**《UI自动化控制微信发送文件》**一文中实现将文件设置到剪切板中。
获取当前剪切板的内容格式：
import uiautomation as auto formats = auto.GetClipboardFormats()print(formats)
{49282: 'HTML Format', 49402: 'Rich Text Format', 13: 'CF_UNICODETEXT', 1: 'CF_TEXT', 49287: 'UniformResourceLocator', 50062: 'JAVA_DATAFLAVOR:application/x-java-jvm-local-objectref; class=c', 16: 'CF_LOCALE', 7: 'CF_OEMTEXT'}
读取剪切板时，我们可以根据当前剪切板的格式分别作不同的处理：
formats = auto.GetClipboardFormats()for k, v in formats.items():if k == auto.ClipboardFormat.CF_UNICODETEXT:print("文本格式：", auto.GetClipboardText())elif k == auto.ClipboardFormat.CF_HTML: htmlText = auto.GetClipboardHtml()print("富文本格式：", htmlText)elif k == auto.ClipboardFormat.CF_BITMAP: bmp = auto.GetClipboardBitmap()print("位图：", bmp)
不过更关键的是设置数据到剪切板。
设置文本到剪切板：
auto.SetClipboardText('Hello World')
设置富文本到剪切板：
auto.SetClipboardHtml('Title
Hello
testhtml
')设置图片到剪切板，只需要将Bitmap设置到剪切板即可，下面演示通过图片文件路径构造Bitmap并设置到剪切板：withauto.Bitmap.FromFile(path)asbmp:auto.SetClipboardBitmap(bmp)而根据文件路径设置文件到剪切板已通过win32clipboard实现，详见：**《UI自动化控制微信发送文件》**一文。自带的Logger日志输出类uiautomation自带了日志输出类，有时我们希望输出不仅到控制台，同时输出到文件时，可以直接使用uiautomation自带的方法。基础输出：auto.Logger.Write(log:Any,consoleColor:int=-1,writeToFile:bool=True,printToStdout:bool=True,logFile:str=None,printTruncateLen:int=0,)log:要输出的日志内容consoleColor:文本在控制台输出的颜色writeToFile:是否输出到文件，默认为TrueprintToStdout:是否输出到控制台，默认为TruelogFile:日志文件所在位置，默认为当前目录下的@AutomationLog.txt文件printTruncateLen:日志截断大小，每条输出超过长度限制时在控制台的输出会被截断。设置该值小于等于0时则不截断。对于第二个颜色参数，我们可以直接通过auto.ConsoleColor中的变量来获取对应常量，例如：auto.Logger.Write('测试输出',auto.ConsoleColor.Yellow)可以看一下支持的颜色列表：colors=[colorforcolorindir(auto.ConsoleColor)ifnotcolor.startswith("__")]print(colors)['Black','Blue','Cyan','DarkBlue','DarkCyan','DarkGray','DarkGreen','DarkMagenta','DarkRed','DarkYellow','Default','Gray','Green','Magenta','Red','White','Yellow']auto.Logger.WriteLine函数与auto.Logger.Write几乎等价，只是少了printTruncateLen参数。可以使用auto.Logger.ColorfullyWrite方法对指定部分的文本修改颜色：auto.Logger.ColorfullyWrite('一段文本红色，黑色蓝色结束')不过以上命令的颜色效果只在有标准控制台的窗口输出才有效。全局热键与多线程在常规的场景中，我们一般使用pynput实现全局热键的注册，但实际上pynput相对于uiautomation库的热键功能是比较难用。在uiautomation注册全局热键非常简单，只需要调用auto.RunByHotKey传入快捷键和函数即可。下面演示一个简单的例子，按下快捷键分别打印文本：importthreadingfromthreadingimportEventimportuiautomationasautodefdemo1(stopEvent:Event):thread=threading.currentThread()print(thread.name,thread.ident,"demo1")defdemo2(stopEvent:Event):thread=threading.currentThread()print(thread.name,thread.ident,"demo2")defdemo3(stopEvent:Event):thread=threading.currentThread()print(thread.name,thread.ident,"demo3")if__name__=='__main__':thread=threading.currentThread()print(thread.name,thread.ident,"main")auto.RunByHotKey({(0,auto.Keys.VK_F2):demo1,(auto.ModifierKey.Control,auto.Keys.VK_1):demo2,(auto.ModifierKey.Control|auto.ModifierKey.Shift,auto.Keys.VK_2):demo3,},waitHotKeyReleased=False)以上代码分别注册了快捷键F2，Ctrl+1和Ctrl+Shift+2。下面测试运行该程序并分别按下这三个快捷键，最后按下Ctrl+D结束程序：MainThread4404mainRegisterhotkey('','VK_F2')successfullyRegisterhotkey('Control','VK_1')successfullyRegisterhotkey('Control|Shift','VK_2')successfullyRegisterexithotkey('Control','VK_D')successfully----------hotkey('','VK_F2')pressed----------Thread-14608demo1forfunctiondemo1exits,hotkey('','VK_F2')----------hotkey('Control','VK_1')pressed----------Thread-212468demo2forfunctiondemo2exits,hotkey('Control','VK_1')----------hotkey('Control|Shift','VK_2')pressed----------Thread-35428demo3forfunctiondemo3exits,hotkey('Control|Shift','VK_2')Exithotkeypressed.Exit由于每次按下热键都会启动独立的线程执行该函数，从打印日志可以看到每次按下执行函数的线程都不同。RunByHotKey的参数列表如下：RunByHotKey(keyFunctions
istItemControl}TraverseControls:133,SearchTime:0.077s[23:22:29.442885-23:22:29.518933]2021-09-2123:22:29.876[12]->{AutomationId:'clearButton',desc:'点击C清空所有输入',ControlType:ButtonControl}TraverseControls:51,SearchTime:0.029s[23:22:29.846955-23:22:29.876364]⚠️清空按钮在输入框有数和没有数时，按钮的和AutomationId不一样，所以先判断其中一种情况的按钮是否存在，不存在则切换到另一种形式的按钮进行点击。其中按钮的AutomationId属性可以通过inspect.exe工具或automation.py脚本获取。下面只演示四则运算，先通过inspect.exe工具获取每个按钮控件对应的AutomationId：然后通过auto.WalkControl遍历所有控件，从而缓存每个字符对应的按钮控件：id2char={'num0Button':'0','num1Button':'1','num2Button':'2','num3Button':'3','num4Button':'4','num5Button':'5','num6Button':'6','num7Button':'7','num8Button':'8','num9Button':'9','decimalSeparatorButton':'.','plusButton':'+','minusButton':'-','multiplyButton':'*','divideButton':'/','equalButton':'=','openParenthesisButton'
','closeParenthesisButton':')'}char2Button={}forc,dinauto.WalkControl(calcWindow,maxDepth=4):ifc.AutomationIdinid2char:char2Button[id2char[c.AutomationId]]=c然后封装一下对四则运算表达式计算的函数：defcalc(expression):expression=''.join(expression.split())ifnotexpression.endswith('='):expression+='='forcharinexpression:char2Button[char].Click(waitTime=0)time.sleep(0.1)calcWindow.SendKeys('{Ctrl}c',waitTime=0.1)returnauto.GetClipboardText()测试一个四则表达式：calc('1234*(4+5+6)-78/90.8')需要截屏的话可以调用如下命令：calcWindow.CaptureToImage('calc.png',x=7,y=0,width=-14,height=-7)⚠️x和y表示起始坐标，由于win10的计算器存在7像素的阴影，所以可以去掉。width和height为负数时，表示原宽度减少指定值。垂直方向上只有下方有阴影，水平方向上左右均有阴影。关闭程序只需调用：calcWindow.GetWindowPattern().Close()完整代码：importuiautomationasautoimportosimportsysimporttimeimportsubprocess#显示搜索控件所遍历的控件数和搜索时间auto.uiautomation.DEBUG_SEARCH_TIME=True#设置全局搜索超时时间为1秒auto.uiautomation.SetGlobalSearchTimeout(1)#创建计算器窗口控件calcWindow=auto.WindowControl(searchDepth=1,ClassName='ApplicationFrameWindow',desc='计算器窗口')ifnotcalcWindow.Exists(0,0):subprocess.Popen('calc')#设置窗口前置calcWindow.SetTopmost(True)#调低waitTime可以加快点击速度calcWindow.ButtonControl(AutomationId='TogglePaneButton',desc='打开导航').Click(waitTime=0.01)calcWindow.ListItemControl(AutomationId='Scientific',desc='选择科学计算器').Click(waitTime=0.01)clearButton=calcWindow.ButtonControl(AutomationId='clearEntryButton',desc='点击CE清空所有输入')ifclearButton.Exists(0,0):clearButton.Click(waitTime=0)else:calcWindow.ButtonControl(AutomationId='clearButton',desc='点击C清空所有输入').Click(waitTime=0)id2char={'num0Button':'0','num1Button':'1','num2Button':'2','num3Button':'3','num4Button':'4','num5Button':'5','num6Button':'6','num7Button':'7','num8Button':'8','num9Button':'9','decimalSeparatorButton':'.','plusButton':'+','minusButton':'-','multiplyButton':'*','divideButton':'/','equalButton':'=','openParenthesisButton'