python进程之间共享数据

Value

# Value是multiprocessing库提供的对象类

# 示例:
from multiprocessing import Process, Value


def task(num: Value):
    # 提供锁解决同步问题
    with num.get_lock():
        num.value += 1
        print(f'process_num={num.value}')


if __name__ == '__main__':
    num = Value('i', 1)  # 'i'表示整型变量
    process_task = Process(target=task, args=(num,))
    process_task.start()
    process_task.join()
    print(f'global_num={num.value}')

Array

# 使用方式与Value一样,只不过是传递共享的列表

# 示例:
from multiprocessing import Process, Array


def task(arr: Array):
    with arr.get_lock():
        for i in range(len(arr)):
            arr[i] = pow(arr[i], 2)


if __name__ == '__main__':
    arr = Array('i', range(10))  # 定义共享内存变量,i表示整数
    process_task = Process(target=task, args=(arr,))
    process_task.start()
    process_task.join()
    print(arr[:])

sharedctypes

# 除了以上Value和Array,multiprocessing还提供了sharedctypes来实现共享内存,sharedctypes内部包含多种共享内存的创建类

multiprocessing.sharedctypes.RawValue
multiprocessing.sharedctypes.copy
multiprocessing.sharedctypes.RawArray
multiprocessing.sharedctypes.synchronized
multiprocessing.sharedctypes.Value
multiprocessing.sharedctypes.Array

服务器进程

# 除了使用共享内存, 进程之间通信还可以使用服务器进程(Server process)

# 示例
from multiprocessing import Process, Manager


def task(share_dict, share_list, lock):
    with lock:
        for i in range(5):
            share_dict[f'key-{i}'] = f'value-{i}'
            share_list.append(f'element-{i}')


if __name__ == '__main__':
    with Manager() as manager:
        share_dict = manager.dict()  # 通过manager创建字典
        share_list = manager.list()  # 通过manager创建列表
        lock = manager.Lock()  # # 通过manager创建锁

        process_task = Process(target=task, args=(share_dict, share_list, lock))
        process_task.start()
        process_task.join()
        print(share_dict)
        print(share_list)
        
# ps:这种方式不仅可以在同一机器的不同进程之间共享数据,还可以在不同机器之间共享数据.

526互联

python进程之间共享数据

python进程之间共享数据