>"дизайн zfs" ничего не может сделать в ситуации, когда один из дисков в vdev тупо таймаутится по пять секунд.

Странно. У меня zfs это распознавал и сам оффлайнил диск. Ну будем считать - мне повезло, а тебе - нет.
Для НЕ ZFS-щиков: можно помочь вручную:
# zpool offline pronpool c0t0d0
# zpool replace pronpool c0t0d0 c0t0d1
Для НЕ ZFS-щиков: это всё "на лету". Если запасного диска нет, то через перегруз.
>Или отваливается так, что ставит раком всю шину до power cycle.

Ну тут я к счастью ничего сказать не могу. Слышал про такое, но сам не разу не встречал.
Однако же (и это логично) при таком эпическом пушном - тебе не поможет любая из фс.
>Это и есть "плохие отказы" дисков, которые я имел в виду.

Понял. Но дык полную гарантию может дать только один персонаж, но никогда не даёт :(
>а дешевые серии типа wd RED в особенности

Кинь линк на почитать. А то у меня их есть и немало ...
Потому как в моём моске - wd RED оно конечно не самый дорогой, но дык и констелейшены дохнут :(
>Отчасти этому может помочь правильный (рейд, хаха) контроллер, но его, увы, тоже индусы писали и китайцы паяли.

Я не знаю кто писал RAIDZ :) но оно такое детектит. И выдергивает диск и пула. Хотя конечно - см. про гарантии выше.
>> Но это не значит что зафакапиться оно не может
>оно еще как "может", md и не снилось.

Если md - голенький и просто миррор, то ладно. Но то что из него лепят сейчас - точно так же разлетается до состояния ХYZ соберёшь :(
>"используйте для zfs только ecc память

Для дома? Обойдутся :)
>Такой вот он, "дизайн". (авторов solaris, по понятным причинам, проблемы негров не колебли ;-)

Я с ними полностью согласен, когда я на работе :) Последний сервак на котором есть смысл собирать сторадж и принимающий НЕ ECC память был сделан в 2005 году. :)  

В реале куча фринасов крутится по домам, у меня у самого в том числе. Как то так выходит что проблем с ними нет. Вопреки выше озвученному. Но если вы захотите делать многофункциональный девайс, а не просто сторидж - то может $Subject вам подойдёт больше.
Как то так.