Python-AST语法树

见贤思齐

一、抽象语法树1、什么是抽象语法树在计算机科学中，抽象语法树（abstractsyntaxtree ，AST），是源代码的抽象语法结构的树状表现形式，这里特指编程语言的源代码。AST是编译器或解释器在处理源代码时所使用的一种中间表示形式，在编译和代码生成过程中起着关键作用。之所以说语法是「抽象」的，是因为这里的语法并不会表示出真实语法中出现的每个细节。AST中的每个节点表示源代码中的一个语法构造，如变量声明、表达式、函数调用、控制结构等。树的根节点通常表示整个源代码文件，而子节点表示具体的语法元素及其关系。例如，一个函数声明的AST节点可能包含多个子节点，如函数名、参数列表和函数体等。2、使用场景python和Java类似，解释器实际上分为两部分：编译器和虚拟机，先将代码编译成字节码，然后再由虚拟机执行。 编译器的编译过程,书中分为了6步：扫描、语法分析、语义分析、源代码优化、代码生成和目标代码优化。词法分析：源代码可以看成字符序列，词法分析就是将源代码的字符序列分割成一系列的记号（Token，如关键字、标识符、字面量、特殊符号）。过程就是源代码程序被输入扫描器(Scanner，这里扫描器也是一个程序)，然后扫描器运用算法（如有限状态机）将字符序列分割成记号。同时扫描器会将这些记号放入一些表中。语法分析：使用语法分析器对词法分析阶段产生的记号进行语法分析，产生一棵语法树（采用上下文无关语法分析）。语法分析同时会确定符号优先级和含义，报告表达式不合法的错误等。语义分析：使用语义分析器来确定语句的语义，分为两种。静态语义：在编译期可以确定的语义，包括声明、类型匹配、类型转换。动态语义：在运行期才能确定的语义。中间语言生成（源代码优化）：编译器有很多层次的优化，对源代码级别有一个优化，使用源码级优化器。目标代码生成和优化：代码生成器将中间代码转换成目标机器代码，这个过程依赖目标机器。目标代码优化器对目标代码进行优化，如选择合适寻址方式、删除多余指令、使用位移代替乘法运算。在编译时，AST主要用途包括：语法检查：编译器可以通过遍历AST来检查源代码中是否存在语法错误。语义分析：编译器可以使用AST来分析源代码的语义，例如识别类型错误、作用域错误等。优化：编译器可以通过对AST进行变换和简化，实现源代码的优化。代码生成：编译器可以根据AST生成目标代码，例如汇编语言或机器代码。在实际应用中，AST除了用于编译器或解释器，还被用于诸如代码重构、静态分析和代码格式化等工具和技术中。编译器和解释器的核心：AST是编译器和解释器处理源代码的关键数据结构。在对源代码进行语法分析之后，编译器或解释器会生成AST。接下来，它们可以在AST上进行进一步的分析、优化和代码生成。这使得编译器和解释器能够更高效地处理源代码，为生成可执行程序或执行脚本提供基础。代码分析：AST在静态代码分析和静态类型检查中起着重要作用。通过分析AST，我们可以检测代码中的潜在错误、不良实践和安全漏洞，从而提高代码质量。代码转换和优化：编译器、解释器和其他工具（如Babel或Webpack）可以使用AST来进行代码转换和优化。这些工具可以在AST上执行各种操作，如语法转换（例如将ES6+语法转换为ES5语法）、代码压缩、代码拆分和常量传播等。这有助于提高程序的性能和兼容性。代码生成：基于AST，编译器和解释器可以生成目标代码（例如机器代码、字节码或其他编程语言的代码）。这使得跨平台编译和运行成为可能，例如：将C++代码编译为WebAssembly，以便在Web浏览器中运行。代码重构和编辑器支持：AST在代码重构和编辑器支持中也起着重要作用。通过分析和操作AST，我们可以实现自动化的代码重构、代码补全、语法高亮、错误检查等功能，从而提高开发者的生产力。3、AST还能做什么抽象语法树（AST）在编程语言处理、软件工程和开发工具中发挥着关键作用。除了前面讨论过的用途之外，AST还可以用于以下方面：代码生成器：可以根据AST生成代码模板和脚手架工具。例如，根据类和方法定义生成RESTAPI的客户端和服务器端实现。语言转换：通过分析源语言的AST，然后将其转换为目标语言的AST，可以实现源代码到目标代码的转换。例如，将TypeScript代码转换为JavaScript代码。代码覆盖率分析：通过分析AST，我们可以检测测试用例覆盖的代码范围，从而衡量测试质量和查找潜在的漏洞。文档生成：AST可以用于提取源代码中的注释、类、方法和属性等信息，从而自动生成API文档。代码安全性分析：通过分析AST，可以识别不安全的代码模式和潜在的安全漏洞，从而提高软件安全性。代码审查：AST可以帮助自动化检查代码是否符合团队的编程规范和约定，从而提高代码质量和一致性。依赖关系分析：通过分析AST，可以识别源代码中的模块、类和函数之间的依赖关系，从而理解代码结构和优化代码组织。自动补全和代码导航：通过分析AST，集成开发环境（IDE）和代码编辑器可以提供自动补全、代码导航、变量重命名等智能功能，从而提高开发者的生产力。语言扩展和领域特定语言（DSL）：AST可以用于设计和实现领域特定语言，这些语言可以更简洁地表示特定领域的问题和解决方案。例如，通过将DSL转换为目标编程语言的AST，可以生成可执行代码。三、PythonASTPythonAST是Python源代码的抽象语法树表示形式。它是Python编译器在解析源代码时生成的一种数据结构，用于表示源代码的语法结构。Python官方提供的CPython解释器对python源码的处理过程如下：Parsesourcecodeintoaparsetree(Parser/pgen.c)TransformparsetreeintoanAbstractSyntaxTree(Python/ast.c)TransformASTintoaControlFlowGraph(Python/compile.c)EmitbytecodebasedontheControlFlowGraph(Python/compile.c)即实际python代码的处理过程如下：源代码解析-->语法树-->抽象语法树(AST)-->控制流程图-->字节码1、PythonAST的基本结构PythonAST是由一系列节点（Node）组成的树形结构。每个节点代表了Python源代码中的一个语法结构，例如函数、类、变量、表达式等。每个节点都有一个类型（Type）和一些属性（Attribute），用于描述节点的语法结构和语义信息。节点可以分类为：常量节点（Literals）变量节点（Variables）表达式节点（Expressions）声明节点（Statements）控制流节点（Controlflow，if/for/while等）函数和类的定义节点（Functionandclassdefinitions）异步和等待节点（Asyncandawait）顶层节点（Toplevelnodes）以下是PythonAST的一些常见节点类型：Module:代表整个Python模块。FunctionDef:代表函数定义。ClassDef:代表类定义。Name:代表变量名。Constant:代表常量。BinOp:代表二元操作符表达式。其余的节点类型见：ast---抽象语法树—Python3.12.1文档2、AST模块的基本用法 在Python中，我们可以使用ast模块提供的parse()函数将源代码解析为抽象语法树对象，并使用walk()方法遍历该对象。除了ast.dump，有很多dumpast的第三方库，如astprety，astunparse，codegen，unparse等。这些第三方库不仅能够以更好的方式展示出ast结构，还能够将ast反向导出pythonsource代码。importastimportastpretty#解析源代码，获得抽象语法树对象ast_tree=ast.parse("print('Hello,world!')")#遍历抽象语法树对象fornodeinast.walk(ast_tree):#print(type(node).__name__)print("*"*66)astpretty.pprint(node)以上代码输出内容如下：Module(body=[Expr(lineno=1,col_offset=0,end_lineno=1,end_col_offset=22,value=Call(lineno=1,col_offset=0,end_lineno=1,end_col_offset=22,func=Name(lineno=1,col_offset=0,end_lineno=1,end_col_offset=5,id='print',ctx=Load()),args=[Constant(lineno=1,col_offset=6,end_lineno=1,end_col_offset=21,value='Hello,world!',kind=None)],keywords=[],),),],type_ignores=[],)******************************************************************Module(body=[Expr(lineno=1,col_offset=0,end_lineno=1,end_col_offset=22,value=Call(lineno=1,col_offset=0,end_lineno=1,end_col_offset=22,func=Name(lineno=1,col_offset=0,end_lineno=1,end_col_offset=5,id='print',ctx=Load()),args=[Constant(lineno=1,col_offset=6,end_lineno=1,end_col_offset=21,value='Hello,world!',kind=None)],keywords=[],),),],type_ignores=[],)******************************************************************Expr(lineno=1,col_offset=0,end_lineno=1,end_col_offset=22,value=Call(lineno=1,col_offset=0,end_lineno=1,end_col_offset=22,func=Name(lineno=1,col_offset=0,end_lineno=1,end_col_offset=5,id='print',ctx=Load()),args=[Constant(lineno=1,col_offset=6,end_lineno=1,end_col_offset=21,value='Hello,world!',kind=None)],keywords=[],),)******************************************************************Call(lineno=1,col_offset=0,end_lineno=1,end_col_offset=22,func=Name(lineno=1,col_offset=0,end_lineno=1,end_col_offset=5,id='print',ctx=Load()),args=[Constant(lineno=1,col_offset=6,end_lineno=1,end_col_offset=21,value='Hello,world!',kind=None)],keywords=[],)******************************************************************Name(lineno=1,col_offset=0,end_lineno=1,end_col_offset=5,id='print',ctx=Load())******************************************************************Constant(lineno=1,col_offset=6,end_lineno=1,end_col_offset=21,value='Hello,world!',kind=None)******************************************************************Load() 以上内容是抽象语法树中的6个节点，其中，Module表示整个模块，Expr表示一个表达式，Call表示一个函数调用。那么我们可以画出来：importastimportctreeast_tree=ast.parse("print('Hello,world!')")ctree.ipython_show_ast(ast_tree)从语法树中可以看出，该语句加载(Load())了名(Name())为print的函数接口(func)，函数传参(args)是值为’Hello,world!’(value)的常量(Constant)。 C语言分析：importastimportctreefromctree.transformationsimportPyBasicConversionsast_tree=ast.parse("print('Hello,world!')")#ctree.ipython_show_ast(ast_tree)t=PyBasicConversions()tree2=t.visit(ast_tree)ctree.ipython_show_ast(tree2)3、使用AST模块进行代码分析由于AST可以表示源代码的结构，因此，我们可以结合AST模块对Python代码进行语法分析、代码检查、重构等操作。3.1.语法分析我们可以使用AST模块提供的NodeVisitor类来遍历代码并进行分析。NodeVisitor是一个抽象基类，它定义了许多方法，我们只需要重写需要的方法即可。importastclassMyVisitor(ast.NodeVisitor):defvisit_BinOp(self,node):print(type(node).__name__)#解析源代码，获得抽象语法树对象tree=ast.parse("a+b")#实例化并遍历分析器visitor=MyVisitor()visitor.visit(tree)以上代码定义了一个分析器类MyVisitor，它继承自NodeVisitor并重写了visit_BinOp方法。visit_BinOp方法指在遍历二元运算符节点时被调用，因此可以在该方法中进行具体的分析。3.2.代码检查AST模块提供了许多内置函数和类，可以用于检查代码是否符合某些规范。importast#检查函数名是否符合规范defcheck_func_name(node):func_name=node.nameifnotfunc_name.startswith("test_"):print(f"函数名{func_name}不符合规范！")#解析源代码，获得抽象语法树对象tree=ast.parse("deftest_add(a,b):\nreturna+b\n\ndefsub(a,b):\nreturna-b")#遍历抽象语法树对象fornodeinast.walk(tree):ifisinstance(node,ast.FunctionDef):check_func_name(node)'运行运行以上代码定义了一个检查器函数check_func_name，它判断函数名是否以"test_"开头。在遍历抽象语法树时，如果找到了函数节点，就可以调用check_func_name进行检查。3.3.代码重构代码重构是指对已有代码的结构和实现进行修改以改进代码的质量和维护性。AST模块可以帮助我们对Python代码进行重构，例如，将代码中的print语句替换为logging模块。importast#重构代码，将所有的print语句替换为调用logging模块classMyTransformer(ast.NodeTransformer):defvisit_Print(self,node):print_node=ast.Name(id="logging.info",ctx=ast.Load())args_node=[ast.Str(s="Printstatementatline{0}".format(node.lineno))]args_node+=node.valuesreturnast.Expr(value=ast.Call(func=print_node,args=args_node,keywords=[]))#解析源代码，获得抽象语法树对象tree=ast.parse("print('Hello,world!')\n")#将抽象语法树对象重构为新的语法树对象my_transformer=MyTransformer()new_tree=my_transformer.visit(tree)#使用astunparse将语法树源代码还原为字符串importastunparseprint(astunparse.unparse(new_tree))以上代码定义了一个重构器类MyTransformer，它继承自NodeTransformer并重写了visit_Print方法。visit_Print方法指在遍历print语句节点时被调用，可以在该方法中进行替换操作。附：运行ctree没有结果图&ctree的安装与使用好多人问ctree的安装方式，介绍一下：1、安装ctreepipinstallctree2、安装graphviz  pipinstallgraphviz除了安装python的graphviz ，本地还要安装Graphviz：Download|Graphviz选择添加系统环境变量：  添加不成功可以手动添加：CMD运行dot-version查看是否安装成功 ：3、安装jupyternotebookpipinstalljupyternotebook4、运行jupyternotebook CMD输入：jupyternotebook会自动跳转到：http://localhost:8888/tree 新建notebook运行代码还是没有结果？修改代码：D:\ProgramFiles\anaconda3\Lib\site-packages\ctree\visual/dot_manager.py 注释如下代码：再次重新运行jupyternotebook-->新建notebook-->运行代码OK！！！！！！ 参考：你知道什么是AST语法树嘛？你真的了解AST语法树嘛？读到最后你将对AST语法树有新的认识！-知乎ast---抽象语法树—Python3.12.1文档PythonAst抽象语法树的介绍及应用详解-Python技术站https://www.cnblogs.com/qiulinzhang/p/14258626.htmlPython中ast模块是什么？_笔记大全_设计学院【python】ast模块介绍和使用_importast-CSDN博客不要再手动批量替换了，使用pythonAST模块批量替换_Python_阿呆_InfoQ写作社区https://www.cnblogs.com/yssjun/p/10069199.htmlpython语法树可视化_mob649e815b1a71的技术博客_51CTO博客Python中ast模块是什么？_笔记大全_设计学院https://www.cnblogs.com/qiulinzhang/p/14258626.htmlpython可视化AST、CFG学习_python显示ast树形状-CSDN博客【python】ast模块介绍和使用_importast-CSDN博客UsingIPythonforASTVisualization—ctreealphadocumentation