"Программа для допроса Интернета" - SiteSputnik ( СайтСпутник ) обзавелась очень полезным дополнением - модулем для работы с Невидимым Интернетом. Этот модуль позволяет увидеть доступные для любого пользователя страницы сайта, которые, в силу каких-то причин, оказались не проиндексированы поисковыми машинами. Это одинаково полезно, как при получении информации с сайтов, которые представляют интерес для исследователя, так и для аудита собственных сайтов. Все, что СайтСпутник Invisible делает, может проделать пользователь и вручную. Но СайтСпутник значительно ускоряет этот процесс и делает его более точным. Покажу работу SiteSputnik Invisible на примере сайта родного мне ВУЗа - Уральского Федерального университета (УрФУ, ранее он назывался УГТУ-УПИ). Для того, чтобы продемонстрировать работу SiteSputnik Invisible, сначала делаю поиск документов в формате pdf на сайте Университета. Никакого скрытого смысла в этом нет, просто таких файлов обычно намного меньше чем html-страниц, и это сэкономит мне время. Все картинки кликабельны. Итак, запрос в Google: site:ustu.ru filetype:pdf Среди результатов я выбрал адрес "cae.ustu.ru/download/ansys3.pdf " Потому что, как учит Андрей Масалович , логично предположить, что есть и адреса вида "cae.ustu.ru/download/ansys1.pdf" или "cae.ustu.ru/download/ansys4.pdf" Далее запускаю СайтСпутник в обычном режиме, и составляю карту "сайта" с адресом "cae.ustu.ru/download". Тоже для экономии времени. Получается такая карта на основании страниц, известным различным поисковым машинам (СайтСпутник убрал всю дублирующуюся информацию и показал каждый адрес только один раз): Затем даю СайтСпутнику задание по карте сайта найти невидимые поисковикам, но доступные людям ссылки: И он находит такую ссылку: Всё.