Глубокий веб, Deep Web

Наиболее значительной частью глубокой паутины является глубинный веб, состоящий из веб-страниц, динамически-генерируемых по запросам к онлайн базам данных. Не следует смешивать понятие глубокая паутина с понятием тёмная паутина, под которым имеются в виду сетевые сегменты, вообще не подключённые к сети интернет или подключенные, но для доступа к этим сегментам необходимо специальное ПО/нестандатные порты и/или протоколы.

Термин "Глубокий веб" обычно относится к веб-страницам, которые по тем или иным причинам не индексируются поисковыми роботами. Соответственно, если вы ищете что-либо своим любимым поисковиком, вы не сможете с его помощью найти страницы, которые этот поисковик не проиндексировал. Размер глубокой паутины неизвестен и в целом трудно оценим, в первую очередь, в силу размытости самого понятия. Тем не менее, существуют примерные оценки общего числа сайтов, ведущих к онлайн базам данных.

К глубокому интернету можно отнести:

• страницы с "глубоким" уровнем вложенности, например: http://www.example.com/folder/folder1/folder2/folder3/folder4/[index page];

• интернет социальных сетей/форумов с закрытыми для поиска страницами.

• "неиндексируемый интернет", который раньше составляли страницы не html формата, а "pdf", "djvu", "txt" и др. Однако к настоящему времени поисковики научились индексировать файлы различных форматов (расширений).

Это напоминает традиционную топологию "Невидимого интернета" К.Шермана и Г.Прайса, но на сегодня "невидимый интернет" неузнаваемо изменился, появились и появляются инструменты, которые позволяют работать в "глубоком вебе".

https://ru.search.yahoo.com/ - поисковый движок "Yahoo! Subscriptions", который производит поиск по сайтам, доступ к которым открыт только зарегистрированным участникам этих сайтов.

http://www.deepwebtech.com/ – ведущий производитель "глубоких веб технологий", реализующих подход федеративного поиска, создатель ряда поисковиков в "глубоком вебе", решений для интернета и интранета.

http://publicrecords.searchsystems.net/ – бесплатный поиск по более чем 50 000 самых обширных открытых баз данных. Например, может дать информацию о бизнес-заявках, имеющихся лицензиях и даже об участии в уголовных процессах, банкротствах и многом-многом другом интересном.

http://vlib.org/ – крупнейшая мировая виртуальная библиотека, объединяющая цифровые ресурсы многих стран, учебных центров, коммерческих организаций и т.п.

https://brightplanet.com/ – едва ли не самая популярная в мире бизнес-директория по "глубокому вебу". Содержит более 70 000 баз данных.

https://pipl.com/ – специализированная поисковая система "глубокого веба", предназначенная для поиска людей, извлечения фактов, контактных данных и другой соответствующей информации.

https://biznar.com/biznar/desktop/en/search.html – является наиболее современной системой использования федеративной технологии поиска в "глубоком вебе" в сфере бизнеса.

http://lookahead.surfwax.com/ – первая система поиска в режиме реального времени в "глубоком вебе" с элементами семантического анализа. Позволяет схватывать новости и факты, недоступные другим системам. Интегрируется в браузеры.

https://duckduckgo.com/ – поисковая система, придающая особое значение обеспечиванию конфиденциальности пользователей.

MagicPast.NET

Linux Windows Софт Hardware Вебмастеру Интернет Сеть C++ Звук Статьи Автомобильные устройства PDA

Глубокий веб, Deep Web