python subprocess pipe 实时输出日志的操作-猿码集

1. 简介

Python中的subprocess模块提供了一个强大的功能，可以用于执行外部命令。通过subprocess模块的Popen类，可以在Python中创建子进程，并与之进行交互。利用subprocess模块可以实现实时输出日志的功能，将子进程的输出作为管道传递给主进程，实时显示在终端中。

2. 使用subprocess.PIPE

subprocess.PIPE是subprocess模块中的一个常量，表示创建一个管道(pipe)，用于子进程的标准输入(stdin)或标准输出(stdout)。

下面是一个示例代码，使用subprocess.PIPE来实现实时输出日志的功能：


import subprocess
def run_command(command):
    process = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, shell=True)
    
    while process.poll() is None:
        output = process.stdout.readline().decode().strip()
        if output:
            print(output)
            
    if process.returncode == 0:
        print("Command executed successfully.")
    else:
        print("Command failed with return code:", process.returncode)
run_command("ls -l")

上述代码中，我们使用subprocess.Popen方法创建一个子进程，并将其标准输出(stdout)通过管道(pipe)传递给主进程，在主进程中实时输出日志。

在while循环中，我们使用process.poll()方法判断子进程是否已经结束。如果子进程尚未结束，我们通过process.stdout.readline()方法读取一行输出，并通过strip()方法去除字符串两端的空格。然后，我们通过print函数将输出实时显示在终端中。

最后，我们通过process.returncode判断子进程的返回值，如果为0则表示命令执行成功，否则表示命令执行失败。

3. 设置实时输出的行为

subprocess模块的Popen类提供了一些选项，可以控制实时输出的行为。这些选项通过参数传递给Popen的构造方法。

3.1 stdout和stderr参数

在上述示例代码中，我们使用了stdout=subprocess.PIPE和stderr=subprocess.STDOUT这两个参数。

stdout参数表示将子进程的标准输出(stdout)通过管道(pipe)传递给主进程。

stderr参数表示将子进程的标准错误(stderr)与标准输出(stdout)合并，并放在一起传递给主进程。

3.2 shell参数

在上述示例代码中，我们使用了shell=True这个参数。

shell参数表示我们可以在子进程中执行一个命令行字符串，而不是一个可执行文件。这允许我们使用一些命令行的特性，比如管道、重定向等。

4. 示例场景

下面以一个具体的示例场景说明如何使用subprocess模块实现实时输出日志的功能。

场景：我们有一个Python脚本，通过调用一个外部命令进行文本处理，并输出结果。

命令行命令：python process.py input.txt output.txt

我们想要实时查看处理过程中的日志，以及处理结束后的结果。

4.1 创建Python脚本

首先，我们创建一个Python脚本process.py，用于调用外部命令进行文本处理。


import sys
import subprocess
input_file = sys.argv[1]
output_file = sys.argv[2]
def process_file(input_file, output_file):
    # 调用外部命令进行文本处理
    command = f"cat {input_file} | grep 'keyword' > {output_file}"
    subprocess.run(command, shell=True)
process_file(input_file, output_file)

上述代码中，我们首先通过sys.argv获取命令行参数，第一个参数是输入文件的路径，第二个参数是输出文件的路径。

然后，我们编写process_file函数，调用外部命令进行文本处理。在这个示例中，我们使用了cat命令读取输入文件的内容，并用grep命令过滤包含关键字的行，将结果输出到输出文件中。

最后，我们调用process_file函数，传入输入文件和输出文件的路径。

4.2 实时输出日志

接下来，我们修改上述示例代码，实现实时输出日志的功能。


import sys
import subprocess
input_file = sys.argv[1]
output_file = sys.argv[2]
def run_command(command):
    process = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, shell=True)
    
    while process.poll() is None:
        output = process.stdout.readline().decode().strip()
        if output:
            print(output)
        
    if process.returncode == 0:
        print("Command executed successfully.")
    else:
        print("Command failed with return code:", process.returncode)
def process_file(input_file, output_file):
    # 调用外部命令进行文本处理
    command = f"cat {input_file} | grep 'keyword' > {output_file}"
    run_command(command)
process_file(input_file, output_file)

我们在process_file函数中调用了run_command函数，将要执行的外部命令作为参数传递给run_command函数。

然后，我们修改run_command函数，使用subprocess.Popen方法创建子进程，并实时输出日志。具体实现步骤参考2节中的示例代码。

4.3 运行程序

在命令行中执行以下命令：

python process.py input.txt output.txt

在运行过程中，可以实时查看处理过程中的日志，最后输出处理结果。

注意：在实际运行中，我们可以根据需要自定义处理命令，这里仅仅是一个示例。

5. 总结

subprocess模块是Python在处理外部命令时的一个强大工具，通过使用subprocess.PIPE可以实现实时输出日志的功能。本文介绍了subprocess.PIPE的使用方法，并通过一个示例场景详细讲解了如何利用subprocess模块实现实时输出日志。

在使用subprocess模块时，我们需要注意一些参数的设置，比如stdout和stderr参数的使用，以及shell参数的使用。

希望本文对大家能够理解subprocess模块的实时输出日志功能有所帮助，并在实际开发中加以应用。

python subprocess pipe 实时输出日志的操作