记录一个python多线程的错误写法

发布时间 2023-09-14 10:11:28作者: 海_纳百川

直接先上错误代码:

import multiprocessing

def first_way():
    init = 3
    def process_function(item):
        result = item * init
        return result

    data = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
    pool = multiprocessing.Pool(processes=4)

    # 创建一个列表来存储每个进程的结果
    results = []

    for i in data:
        result = pool.apply_async(process_function, (i,))
        results.append(result)

    pool.close()
    pool.join()

    # 打印结果
    for result in results:
        print(result.get())  # 使用get()方法获取进程的结果

if __name__ == "__main__":
    first_way()

这个代码的问题是:

multiprocessing.Pool 使用 pickle 来序列化和反序列化函数和参数,以便在多个进程之间传递。在这个错误代码中,process_function 函数被定义在 first_way 函数内部,这可能导致 pickle 出现问题,因为它无法序列化局部函数。

要解决这个问题,可以将 process_function 移出 first_way 函数,使其成为一个全局函数。下面是修复后的代码:

import multiprocessing

# 将 process_function 移出 first_way 函数,定义为一个全局函数
def process_function(item):
    init = 3
    result = item * init
    return result

def first_way():
    data = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
    pool = multiprocessing.Pool(processes=4)

    # 创建一个列表来存储每个进程的结果
    results = []

    for i in data:
        result = pool.apply_async(process_function, (i,))
        results.append(result)

    pool.close()
    pool.join()

    # 打印结果
    for result in results:
        print(result.get())  # 使用get()方法获取进程的结果

if __name__ == "__main__":
    first_way()

通过将 process_function 定义为全局函数,可以避免 pickle 出现问题