Разверни задачу.

Найди каталоги, где есть новые файлы. Ты ищешь файлы, поэтому depth = 5+1:

find -mtime -365 -maxdepth 6 -mindepth 6 -type f -print0 | xargs -0 dirname -z | sort -zu

найди все каталоги. Ты ищешь каталоги, поэтому depth = 5:

find -maxdepth 5 -mindepth 5 -type d -print0 | sort -zu

Слей два списка в один и найди тех, кто упомянут только один раз:

sort -z <(find -mtime -365 -maxdepth 6 -mindepth 6 -type f -print0 | xargs -0 dirname -z | sort -zu) \
<(find -maxdepth 5 -mindepth 5 -type d -print0 | sort -zu) | uniq -zu

Для отладки посмотри на эти каталоги:

sort -z <(find -mtime -365 -maxdepth 6 -mindepth 6 -type f -print0 | xargs -0 dirname -z | sort -zu) \
<(find -maxdepth 5 -mindepth 5 -type d -print0 | sort -zu) | uniq -zu | xargs -0 -L 1 echo

И удали их нах.

sort -z <(find -mtime -365 -maxdepth 6 -mindepth 6 -type f -print0 | xargs -0 dirname -z | sort -zu) \
<(find -maxdepth 5 -mindepth 5 -type d -print0 | sort -zu) | uniq -zu | xargs -0 rm -rf

Учти, что если у тебя нет новых файлов, то будут удалены вообще все каталоги.