求解惑, Python 多进程问题

如果你只有五个任务，那么 1234 跑完等第 5 个不是很合适么。。。

你这需求都没有描述清楚，而且排版乱七八糟。

@ipwx 不好意思. 发的时候是正常的[哭] ...
实际任务有 100 多, 开了 10 个进程.
所以我想问的是, 一批次执行 10 个任务的情况下, 是要等待 10 个任务完成,才会进行后续的任务吗?

os.system 是阻塞的，就算开进程池也没用,5 个进程也在等待，用线程把 os.system 包起来

@wuwukai007 我理解 os.system 是阻塞的, 我的想法是等 os.system("mysqldump") 执行完毕,再继续执行任务.
我的问题是 5 个 os.system 4 个已经完成, 并没有继续接受新的任务执行.而是在等待第 5 个执行结束

你这就是你的全部代码么? 如果不是，请原样发上来。另外其实 thread 就能搞定不需要 process，毕竟你是调用了 os.system

不知道怎么编辑追加帖子. 只能再回复里写了.

100 个需要执行的任务, 开 10 进程. 使用 Pool, 期望实现哪个进程空闲哪个进程执行任务.因为表有大小,执行时长不同.现在的情况是 123456789 执行完毕, 10 还在执行. 123456789 并没有继续接任务执行,而是在等待 10 的完成. 在 10 完成后才会接后面的 10 个任务同时开始执行. 我怎么才能实现 123456789 不等待 10, 直接继续后续任务?

@alexlip 我说的是你的代码！代码！鬼知道你怎么写的代码出了你说的问题，我现在只能回答你，用 pool 可以不阻塞在第十个任务上

```def run(dbtab):
folder='/home/www/dbbak/'+time.strftime("%Y%m%d",time.localtime())
cmd = "/home/www/mysql-5.7.12/bin/mysqlpump --host 127.0.0.1 -uwww --include-databases={0} --include-tables={1} --skip-watch-progress --compress-output=LZ4 > {2}/{0}/{1}.sql.lz4".format(dbtab[0],dbtab[1],folder)
os.system(cmd)

if __name__ == '__main__':
result = list()
with open(sys.argv[1],'r') as o:
lines = csv.reader(o)
for line in lines:
result.append(line)
p = Pool()
for i in result:
p.apply_async(run,(i,))
p.close()
p.join()
```

@ipwx 代码很简单,已经贴上了,你帮忙看下?

用线程池直接开 50 个，一样的

@alexlip 我只能说你代码是对的。不信你可以把这段代码放到你自己机器上执行一下：

https://ideone.com/Ety65q

至少 Python 层面的代码是没问题的。

实在不行你手搓一个多线程试试呗，给你个 demo：

https://ideone.com/mK2PfL

@ipwx 好的,谢谢. 我去测试个试试

更多像是 mysqldump 的问题而不是 python 的问题

有人问过，我猜你找的是这个。https://www.bettercodebytes.com/theadpoolexecutor-with-a-bounded-queue-in-python/