Любая библиотека python для параллельных и распределенных задач?

Я ищу библиотеку Python, которая может распределять задачи на нескольких серверах. Задача будет аналогична той, которая может быть распараллелена библиотекой subprocess в одной машине.

Я знаю, что я могу настроить систему Hadoop для таких целей. Однако Hadoop имеет большой вес. В моем случае я хотел бы использовать общий сетевой диск для ввода/вывода данных, и мне не нужен какой-либо причудливый отказ. В терминологии MapReduce мне нужны только мапперы, нет агрегаторов или редукторов.

Любая такая библиотека в Python? Благодарю!

1 ответ

Попробуйте использовать сельдерей.

Сельдерей - это очередь асинхронной очереди задач/заданий на основе распределенной передачи сообщений. Он ориентирован на работу в режиме реального времени, но также поддерживает планирование.

Единицы выполнения, называемые задачами, выполняются одновременно на одном или нескольких рабочих серверах с использованием многопроцессорности, Eventlet или gevent. Задачи могут выполняться асинхронно (в фоновом режиме) или синхронно (дождитесь завершения).

licensed under cc by-sa 3.0 with attribution.