DEEP WEB, ГЛУБОКАЯ ПАУТИНА, НЕВИДИМАЯ СЕТЬ
Deep web - Глубокая паутина (также известна как невидимая сеть) — множество веб-страниц Всемирной паутины, не индексируемых поисковыми системами. Термин произошёл от соотв. англ. invisible web. Наиболее значительной частью глубокой паутины является глубинный веб (от англ. deep web, hidden web), состоящий из веб-страниц, динамически генерируемых по запросам к онлайн базам данных. Не следует смешивать понятие глубокая паутина с понятием тёмная паутина (от англ. англ. dark web), под которым имеются в виду сетевые сегменты, вообще не подключённые к сети Интернет.
Суть проблемы
В глубокой паутине находятся веб-страницы, не связанные с другими гиперссылками — например, страницы, динамически создаваемые по запросам к базам данных. В глубокой паутине также находятся сайты, доступ к которым открыт только для зарегистрированных пользователей. Поисковые системы используют специальных роботов (англ. web crawler), которые переходят по гиперссылкам и индексируют содержимое веб-страниц, на которых они оказываются. В то же время, информация из баз данных, доступная пользователям через поисковые веб-формы (но не по гиперссылкам), остаётся недоступной для робота, неспособного в режиме реального времени правильно заполнить форму значениями (другими словами, сформировать запрос к базе данных). Таким образом, значительная часть Всемирной паутины оказывается скрыта от поисковых роботов. Используя аналогию, информация, будучи недоступной для поисковых систем, находится «на глубине» (от англ. deep).
Масштаб
Размер глубокой паутины неизвестен и в целом трудно оценим, в первую очередь, в силу размытости самого понятия. Тем не менее, существуют относительно достоверные оценки общего числа сайтов, ведущих к онлайн базам данных: около 300 тысяч таких сайтов во всём Вебе в 2004 году и около 14 тысяч в Рунете в 2006 году. Обычные пользователи бывают буквально потрясены, когда узнают о том, что Deep web превышает по своей информационной ёмкости доступный им интернет как минимум более чем в 500 раз.
Как войти в теневой Интернет?
Для входа на любой сайт Deep Web данные пользователей шифруются и в таком виде отправляются через таких же участников сети. Недостатком работы этой передачи данных при своей анонимности - это ее довольно низкая скорость.
Для входа в теневой Интернет используется браузер (или плагин для браузера), созданный на базе проекта Tor. Этот проект был разработан военными США, а потом рассекречен и его коды переданы независимым компаниям-разработчикам. Tor — доминирующая технология, использующая т. н. "луковую" маршрутизацию. Сеть позволяет сохранять анонимность отправителей и получателей сообщений и обеспечивает защиту содержания этих сообщений во время их прохождения по ней.
Все соединения в скрытой сети Tor анонимны: ни поставщик интернета, ни владелец сайта не смогут узнать, кто пользователь на самом деле (при использовании HTTPS). Это работает благодаря тому, что сеть подменяет настоящий адрес компьютера поддельным.
