Как да откриете скрити страници в уебсайтове

През 2016 г. Google обработи над 3,2 трилиона заявки, но резултатите, които предоставя, покриват само част от наличното онлайн съдържание. Голяма част от информацията в мрежата е недостъпна за търсачките – това е така наречената дълбока мрежа (deep web), която съдържа до 5 000 пъти повече данни, отколкото могат да бъдат намерени с обикновени търсения.

Видове скрито съдържание

Скритите страници се класифицират според причината, поради която не се появяват в резултатите на търсачките.

Динамично съдържание. Това са страници, генерирани от база данни само след специфична заявка от потребителя – например резултати от търсене на продукти с определени характеристики. Тъй като търсачките не индексират съдържанието, съхранявано в бази данни, за да ги откриете, трябва директно да посетите сайта и да направите съответната заявка или да използвате специализирани услуги за търсене в бази данни.

Страници без връзки. Някои ресурси са недостъпни, защото никой не е поставил линк към тях – напр. временни версии на сайт, който се разработва, или лошо структуриран уебсайт. Ако страницата не е свързана с останалата част от сайта, никой, включително търсачките, не я открива.

Страници зад удостоверяване. Членски или абонаментни сайтове често блокират достъпа за търсачките, като изискват вход с потребителско име и парола. За достъп до тези части е необходимо да създадете акаунт и да влезете.

Използване на файлове robots.txt

Търсачките обходят уебсайтовете и индексират съдържанието им, за да могат да го покажат в отговор на заявки. Ако собственикът на сайта желае да изключи определени директории или страници от индексирането, той добавя техните адреси в специален текстов файл robots.txt, разположен в корена на сайта.

Повечето сайтове имат такъв файл, дори и без конкретни ограничения. За да видите неговото съдържание, въведете в браузъра адреса example.com/robots.txt (заменете example.com с действителния домейн). Редовете, започващи с Disallow или Noindex, указват части от сайта, които са недостъпни за търсачките.

Самостоятелно „хакване“ на уебсайтове

Освен robots.txt, често скритото съдържание може да бъде открито, като директно въведете адреси на предполагаеми страници или папки. Например, ако на сайт за художник страниците са именувани gallery1.html, gallery2.html, gallery4.html, можете да опитате gallery3.html и да откриете липсваща галерия.

Подобно, ако сайтът използва папки за организация – напр. example.com/content/page1.html – можете да отворите само директорията example.com/content/. Ако достъпът до папката не е блокиран, ще можете да прегледате всички файлове и поддиректории, като така откриете скрити ресурси.