как я понимаю, на самом домене, на котором хостятся файлы можно повырубать такую возможность через веб-сервер

А ничего нельзя скачать, кроме html. Про php и perl придется забыть.

можно и с агентом...обычно я просто, по старой памяти, энто набираю...когда в консоли, а так использую khttrack ...

ну и есть ещё скрипт...siteget ....

#!/bin/bash
#
# siteget - use wget to retrieve a website
# siteget - использование wget для закачки сайтов
#
if [ "$#" -ne "1" ]
then
echo ""
echo "Формат команды: $(basename ${0}) <url>"
echo ""
echo "Загрузка сайтов из интернета с использованием программы wget."
echo "Несмотря на то, что данный скрипт вызывается простым способом,"
echo "он использует целый ряд опций программы wget."
echo "Вам необходимо указать только один параметр:"
echo "адрес загружаемого сайта (url) самого высокого уровня."
echo ""
echo "Например: siteget www.linux.org.ru"
echo ""
exit 1
fi

# --mirror gives infinite recursion, follows links ...
# --convert-links converts links for local viewing
# --no-verbose is a relatively quiet (but not silent) mode
# --no-parent won't traverse up the tree - don't know how this combines with
# "page-requisites," but I hope the latter wins ... (seems to work well)
# --page-requisites get images (inline OR external) for local viewing
# --user-agent sets a user agent string because some sites send empty pages if
# they don't like wget, so I use the string for what I'll be viewing with
#
wget --mirror --convert-links --no-verbose --no-parent --page-requisites \
--user-agent="Mozilla/5.0 (compatible; Konqueror/3.0.0/10; Linux)" ${1}


так что пользуйтесь....