作者Draic5566 (拼错的狄拉克)
看板Python
标题[问题] Pool and for loop
时间Fri Aug 6 11:59:48 2021
Code 先奉上:
from multiprocessing import Pool
import numpy as np
Nj=2
Dataold=np.zeros((5,Nj))
def MT(i):
DataMT=np.zeros((Nj))
for j in range(0,Nj):
DataMT[j]=Dataold[i,j]+i
return DataMT
if __name__=='__main__':
for k in range(0,2):
pool = Pool(processes=6)
list_start_vals = range(0, 5)
array_3D = np.array(pool.map(MT, list_start_vals))
Dataold = array_3D
print(array_3D[4,0])
pool.close()
output:
4.0
4.0
问题:
原本预计第二个4.0应该要是8.0，因为认为Dataold = array_3D会把原本定
义的Dataold取代掉，并带入第二圈的k回圈，但事实上并没有。
解: 没事了... 我改在linux上跑就没问题
而windows会跑失败，原因大概是spawn和folk的设定差异
(此文不删，留给有类似问题的人参考)
描述:
1. 第一个4.0是来自於 k=0, 第二个是 k=1
2. 其中一个解法: 把pool.map 改成pool.starmap，并且把Dataold当作参数
但实际要跑的code很巨大，Dataold会是一个巨大的array
因此这样写code会跑很慢很没效率
3. pool.map 会给一个 1*2 的 array
而np.array(pool.map(....))会把上面的array排成 5*2 array
感谢! 我只有微薄的P币能够报恩，谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 23.242.118.130 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1628222390.A.580.html
※ 编辑: Draic5566 (23.242.118.130 美国), 08/06/2021 12:05:46
※ 编辑: Draic5566 (23.242.118.130 美国), 08/06/2021 12:21:23
1F：推 aassdd926: 不知道为何如此，但我会试试看 pass 1D array 进去， 08/06 15:52
2F：→ aassdd926: 不要让mulitiprocessing 的function access a global 08/06 15:52
3F：→ aassdd926: variable，然後再把吐出来的1D array叠起来，因为以我 08/06 15:52
4F：→ aassdd926: 的了解，不同的process memory space不同 08/06 15:52
5F：→ aassdd926: 我试了一下，因为你有返回DataMT变数，然後重新assign 08/06 16:26
6F：→ aassdd926: 给Dataold，所以才有被更新，如果直接在MT里面变更Dat 08/06 16:26
7F：→ aassdd926: aold的element，在主process 是不会出现变动（因为空 08/06 16:26
8F：→ aassdd926: 间不同） 08/06 16:26
9F：→ aassdd926: Btw multiprocessing module 有一些class（ex. Array) 08/06 16:30
10F：→ aassdd926: 可以让不同process使用同个matrix，以你的使用情境应 08/06 16:30
11F：→ aassdd926: 该蛮适合，在subprocess也不用重新定义1D array 08/06 16:30
谢谢，我也试过用Array把Dataold设定lock=false
但似乎没用，google许久才发现windows似乎锁死spawn
※ 编辑: Draic5566 (23.242.118.130 美国), 08/07/2021 00:54:54