Интересности в Hadoop 2.8.0 и 2.8.2

Недавний анонс на Opennet про Hadoop 3 совершенно опечалил качеством доступной на русском языке информации о хадупе, поэтому попробую формат лонгрида на эту тему. На работе как раз недавно произошла вынужденная миграция на 2.8.x релиз, и до этого я особо не смотрел что там нового, так что начнем с 2.8.0 и 2.8.2 версий. Сразу предупреждаю, что будет только что зацепило глаз и показалось любопытным.

YARN-3366: шейпинг исходящего трафика. Хотел было крикнуть "джва года ждал", но во первых WIP, во вторых ограничение действует только на всю ноду целиком, в третьих ограничение действует только на контейнеры, но не на шаффл, hdfs и остальные демоны.

HDFS-8486: каждый рестарт датаноды на версиях 2.6.x и 2.7.0 может вызывать потенциальную потерю данных. Вот тут извините, но WAT???????? Впрочем не касается 2.7.+.

HADOOP-5732: SFTP имплементация FileSystem, с JSch в кишках. Иногда все-таки приходится таскать данные между левыми нодами вне кластера -- звучит невероятно полезно. Авторизация по паролю (што?), либо по keyfile (должен быть доступен как локальный файл для инстанциирующей JVM).

HADOOP-12360: отправка метрик в StatsD. Полезно? Полезно. Кроме того, похоже что CollectD через который работает Stackdriver Agent можно через плагины заставить получать эти метрики -- двойная польза для страдальцев на датапроке.

HDFS-6200: hadoop-hdfs-client теперь отдельной джаркой, больше не нужно тащить все серверные библиотеки.

HDFS-10440: свистелки и перделки на Datanode UI. Поскольку наш проект живет в 3k17 и не хранит ничего важного непосредственно на HDFS, часто туда ходить не приходится, но надо будет посмотреть.

HADOOP-13037: поддержка ADLS в апстриме(!!!). Порадуемся за тех, кто использует Hadoop на Azure и посмеемся про Гугель Клауд, который продолжает жить в отдельной репе.

HADOOP-14038: Вторая Главная Проблема Компьютер Саенса не прошла мимо ADLS, сразу после релиза в 2.8.0, переименовали проперти с креденшелами в 2.8.2.

Вот собственно и все. Если будет видно, что кому-то интересно продолжение, запилю то же самое для 3.0. Спасибо всем, кто дочитал.