Python-进程-猿码集

Python 进程概述

在计算机科学中，进程是操作系统中独立执行的程序单位，系统的资源（如 CPU、内存等）被分配给进程来完成任务。在 Python 中，进程通常是用 multiprocessing 模块实现的，并允许用户创建子进程，从而实现异步性以及并行性处理任务的效果。

进程的创建和使用

Python 中的 subprocess 模块可以用来启动一个进程，它提供了一个可替代 Python 传统 os.system() 函数的新接口。为了创建启动进程并让进程能正常运行，必须首先构造一个包含命令行参数和其他配置的对象。

创建子进程

下面是一个示例代码，展示如何使用 subprocess 模块创建子进程：


import subprocess
p = subprocess.Popen(['ls', '-l'])

此代码将会启动一个进程并执行 "ls -l" 命令。 ls 和 -l 两个参数将会传递给命令行 shell，这样可以避免分离参数进程执行时产生的问题。在后台中会看到 ls -l 命令的输出结果。

进程的管理

启动进程

启动一个进程时，必须调用 start() 方法，这个方法将会调用底层操作系统来执行从进程中定义的功能。下面的代码展示了如何启动一个新的进程：


from multiprocessing import Process
def my_function():
   # do something here
   print('In subprocess')
p = Process(target=my_function)
p.start()

这个代码会启动一个使用 my_function() 方法作为目标进程的进程，并且这个进程还会尝试并行执行主进程所做的其他工作。

等待进程执行完成

要等待进程执行完成，可以使用 join() 方法。这个方法会阻塞主进程，直到进程的 target 方法完成后才会继续运行主进程。下面的代码展示了如何使用 join() 方法：


from multiprocessing import Process
def my_function():
   # do something here
   print('In subprocess')
p = Process(target=my_function)
p.start()
p.join()
print('Subprocess finished')

这个代码启动了一个新的进程，等待它完成，然后执行一些其他操作。

杀死进程

在一些情况下，我们可能需要强制终止一个进程。为了终止一个进程，可以使用terminate() 方法。下面的代码展示了如何使用 terminate() 方法：


from multiprocessing import Process
def my_function():
   # do something here
   print('In subprocess')
p = Process(target=my_function)
p.start()
p.terminate()

这个代码启动了一个新的进程，然后强制终止它，使其停止执行。

多进程编程中需要注意的点

共享内存与通信

在多进程编程中，进程之间是无法直接访问彼此的内存的。如果需要进程之间共享数据，必须使用 multiprocessing 模块的多种机制，如队列进行通信。下面的代码展示了如何在两个进程之间共享数据：


from multiprocessing import Process, Value
def my_function(my_value):
    my_value.value += 1
my_value = Value('i', 0)
p = Process(target=my_function, args=(my_value,))
p.start()
p.join()
print(my_value.value)

这个代码展示了如何使用 multiprocessing.Value 类型共享数值。

子进程异常

当一个子进程发生异常时，主进程可能无法感知到异常，这样，程序就会达到不稳定状态。要避免这种情况，可以在主程序中设置一个异常捕获器来捕获子进程异常信息。下面的代码展示了如何在主进程中检测异常发生：


from multiprocessing import Process, Pipe
def my_function(conn):
    conn.send('My message')
    conn.close()
if __name__ == '__main__':
    parent_conn, child_conn = Pipe()
    p = Process(target=my_function, args=(child_conn,))
    p.start()
    p.join()
    while parent_conn.poll():
        print(parent_conn.recv())

这里的代码展示了如何使用管道来共享信息，并在主进程中捕获异常信息（管道是一个允许进程之间进行通信的虚拟通道，在进程之间传递数据）。

死锁问题

死锁问题是指在多进程共享同一资源时，不同进程相互等待时出现的无限等待状态。与线程相比，解决死锁问题更加困难，应该尽可能避免出现它。为避免死锁问题，设计进程时要特别小心，必须始终考虑并发操作的安全条件，以及使用锁的时机以及处理错误的流程。

结论

Python 的 multiprocessing 模块提供了一种创建并发、异步以及和进程通信的方法，使得 Python 可以轻松地在多个 CPU 上并行处理大量数据。在多进程编程时，应注意以下几点：共享内存与通信、避免出现死锁问题以及在主进程中捕获子进程的异常信息。

Python--进程