如何在 Python 进程池中创建子进程？

在 python 进程池中创建子进程

在使用进程池并行处理任务时，有时我们需要在子进程中创建新的子进程。然而，默认情况下，进程池内的进程无法创建子进程。本文将介绍如何解决这一限制。

使用 multiprocessing.forkserver 模块

可以通过使用 multiprocessing.forkserver 模块来允许进程池中的进程创建子进程。该模块提供了一个 shim，允许父进程将任务分发给子进程，而子进程可以在其自己的地址空间中创建子进程。

以下是修改后的代码示例：

from multiprocessing import Pool, Process, forkserver
import time


def print_run(msg):
    print('msg.%s' % msg)
    time.sleep(2)


def print_log(msg):
    p = Process(target=print_run,
                args=(msg,))
    p.start()
    p.join()
    print('msg is : %s' % msg)
    time.sleep(1)


def set_multprocess():
    # 使用 forkserver 来允许子进程创建子进程
    forkserver.start(set_forkserver_parallelism)

    pool = Pool(processes=10)
    for i in range(20):
        pool.apply_async(func=print_log, args=(str(i),))

    pool.close()
    pool.join()
    print('finished')


# 设置 forkserver 的并行度
def set_forkserver_parallelism(n):
    """Set the parallelism to be n * number of processes."""
    n = max(n, 1)
    forkserver.set_forkserver_ parallelism(n)

if __name__ == '__main__':
    set_multprocess()

通过添加 forkserver.start(set_forkserver_parallelism)，我们在运行进程池之前初始化了 forkserver 模块。并且，我们通过调用 set_forkserver_parallelism(n) 来设置 forkserver 的并行度，以控制允许创建的子进程数量。