Пример Hadoop Wordcount с несколькими файлами и уничтожением в нем

У меня есть 3 входных файла: file1.txt, file2.txt, file3.txt. Файл file1.txt содержит некоторые данные об ошибках. Когда я отправлю эти файлы в задание MapReduce, будут созданы 3 карты. Теперь мне нужно убить mapper, который содержит файл ошибки file1.txt. После убийства картографа я хочу, чтобы файл ошибки был отброшен из картографа и сохранил в нем hdfs. Как я могу убить картографа и отбросить файл? И если я убью картографа, оставшийся картограф должен завершить свой процесс, и вся работа должна быть завершена. Пожалуйста помоги

1 ответ

Это может быть не вариант выбора. Храните кортежи (K, V) в памяти карты и испускайте их в конце, если недопустимое условие не выполняется.

licensed under cc by-sa 3.0 with attribution.