книги хакеры / OSINT_Разведка_из_открытых_источников_Методы_и_утилиты_2019

•Crunchbase (https://www.crunchbase.com): Предоставляет информацию о бизнес-

компаниях, от стартапов на ранних стадиях до Fortune 1000.

•Corporationwiki (https://www.corporationwiki.com): Это позволяет искать любую компанию и визуализировать связь между людьми, работающими в ней. Вы также можете скачать файл Excel, содержащий подробную информацию (включая ссылку на страницу на сайте, содержащую известный адрес человека) о каждом человеке,

который работает в компании.

•Zoom Info (https://www.zoominfo.com/company-directory/us): На этом сайте перечислены компании в Соединенных Штатах, классифицированные по отраслям, и

содержится информация, включая контактные данные, для людей, работающих в этих компаниях. Услуга платная и предлагает пробную версию для тестирования услуги.

•Kompass (https://www.kompass.com/selectcountry/): Это глобальный бизнес-портал с информацией о компаниях в более чем 60 странах.

•Infobel (www.infobel.com): Вы можете искать компанию или человека в любой точке мира.

•Orbis directory (https://orbisdirectory.bvdinfo.com/ version20171019/OrbisDirectory/Companies): Это дает информацию о частных компаниях по всему миру бесплатно. Платная услуга предлагает более подробные отчеты.

•Manta (https://www.manta.com/business): Это бизнес-каталог для американских предприятий.

•Canadian Company Capabilities (http://strategis.ic.gc.ca/ eic/site/ccc-rec.nsf/eng/Home):

Это веб-сайт поддерживается канадским правительством; она имеет базу данных из

60000 канадских предприятий, классифицированных в соответствии с каждой отрасли. Каждый бизнес-профиль содержит информацию о контактах, продуктах,

услугах, опыте торговли и технологиях.

•Canadian Importers Database (https://strategis.ic.gc.ca/ eic/site/cid-dic.nsf/eng/home): Это приводит списки компаний, импортирующих товары в Канаду, по продуктам, по городам и по странам происхождения.

•LittleSis (https://littlesis.org): Это мощный сайт профилирования, который перечисляет огромное количество информации о 185000 человек и 67000 организаций на различных стадиях завершения. Этот сайт ориентирован на влиятельных людей и

147

организации в государственном и частном секторах, таких как политики, бизнесмены,

лоббисты, бизнес-корпорации и некоммерческие организации, такие как фонды,

социальные клубы, художественные группы и политические Организаций.

•Companies House (https://beta.companieshouse.gov.uk): Это регистр предприятий Великобритании (также содержит информацию о лицах в различных отраслях промышленности в Соединенном Королевстве).

•CDREX (http://cdrex.com): Это дает информацию, втом есть местоположение GPS для бизнеса в Сша (около 7 миллионов компаний, классифицированных в зависимости от местоположения или отрасли).

•EUROPAGES (https://www.europages.co.uk): Это европейский бизнес-портал,

вмещает 3 миллиона зарегистрированных предприятий на 26 языках.

•Vault (www.vault.com): Это информация о американских компаниях (более 5000

компаний в 120 отраслях). Отзывы и рейтинги сотрудников также доступны для каждой компании, включенной в перечень. Платные абоненты имеют доступ к подробной информации.

•Owler (https://www.owler.com): Это большое количество информации о более чем 15

миллионах компаний по всему миру.

•The United Kingdom Limited Liability Company list (https://www. companiesintheuk.co.uk): Предоставляет бесплатную информацию и официальные документы о любой компании с ограниченной ответственностью в Великобритании.

•Kvk (www.kvk.nl): Это Голландская торговая палата, которая является реестром немецких компаний.

•International White and Yellow Pages (www.wayp.com): Здесь содержатся имена,

адреса, номера телефонов и факсов.

Finally, it is worth mentioning Google Finance (https://finance.google.com/ finance). Это дает подробную актуальную информацию о мировых рынках и новости компании.

Поисковые системы метаданных

При проведении поиска с помощью типичной поисковой системы, такой как Google, ваш запрос будет обрабатываться поисковой системой, которая просматривает ваш поисковый запрос в

148

своей базе данных индекса и соответственно получает соответствующие результаты. Двигатели

Metasearch отличаются; эти двигатели не имеют своих собственных индексов. Вместо этого они отправляют поисковый запрос в другие поисковые системы (например, Google, Bing и Yahoo) в

дополнение к другим сторонним источникам данных. Затем они получить результаты,

ранжировуют их, и представляют окончательный вывод для вас через их веб-интерфейс.

Движки Metasearch делают запросы к поисковым системам (например, Google и Bing),

чтобы позволить им искать и получать содержимое из своих индексов. Некоторые мета поисковые системы используют свои собственные схемы рейтинга представления собранных результатов для конечных пользователей. Тем не менее, они не могут вмешиваться или решать касаемо ранга и релевантности содержимого, поставляемого им их источниками данных. Таким образом, вы должны, как правило, придерживаться лучших результатов от каждого партнера поисковой системы.

Основным преимуществом метапоисковых систем является их способность собирать результаты из многих источников для каждого поискового запроса пользователя. Поиск нескольких источников мгновенно сократит время, необходимое для проведения поиска и вернется более полные результаты, не забывая о расширенной конфиденциальности по сравнению с другими типичными поисковыми системами (например, Google и Bing). В

следующем списке мы обсуждаем самые популярные метапоисковые двигатели, доступные в настоящее время:

•www.etools.ch/search.do собирает его результаты из крупных международных поисковых систем, сохраняя конфиденциальность пользователей, не собирая и не обмениваясь личной информацией о своих пользователях. Эта поисковая система быстро и показывает резюме для каждого поискового запроса - на правой стороне,подробно источник его результатов (см. рисунок 4-8).

149

Рисунок 4-8. Отображение исходного результата поискового запроса при использовании etools.ch

•All the Internet (https://www.alltheInternet.com) запросы основных поисковых систем,

включая торговые сайты, как Amazon и eBay.

•Fagan Finder (www.faganfinder.com/engines) запросы основных поисковых систем, а

также ответы двигателей и вопросов и ответов сайтов и блогов.

•www.izito.com агрегирует данные из нескольких источников (Yahoo, Bing, Wikipedia, YouTube и др.) для получения оптимальных результатов, включающие изображения,

видео, новости и статьи.

•Metacrawler (www.metacrawler.com) агрегирует результаты от Google и Yahoo.

•My All Search (https://www.myallsearch.com) агрегирует результаты через Bing, DuckDuckGo, AOL Search, Ask, Oscobo, Mojeek, ZapMeta и MetaCrawler.

•Carrot2 (http://search.carrot2.org/) агрегирует результаты от Google API, Bing API, eTools Meta Search, Lucene, SOLR и многое другое. Он организует результаты в тематические

150

Рисунок 4-9. Carrot2 разделение результатов поиска на тематические категории

•elocalfinder (www.elocalfinder.com/HSearch.aspx) получает результаты от Google, Yahoo, Ask, и Bing и отображает их в таблице для сравнения вместе с общим рейтингом.

•Opentext (http://fqs.opentext.com/web.htm) — это метапоисковый движок,

основанный на Google, Yahoo!, Ask, Bing, Википедии и Open Directory. Он также предлагает поиск утилиты для поиска в социальных сайтах, как Facebook, Twitter, YouTube и LinkedIn в дополнение к новости поисковых систем (агрегирование результатов от Guardian, Reuters, Washington Post, BBC News, и Лос-Анджелес таймс

") и здоровья поисковые системы.

Code Search

Как онлайн-иследователь, вы можете столкнуться со случаями, когда вам нужно искать фрагмент кода (например, для реконструкции встроенного программного обеспечения). Ниже приведены основные поисковые системы исходного кода:

151

• Searchcode (https://searchcode.com) поиск по Google code, GitHub, Bitbucket, CodePlex, Sourceforge, Fedora Project, and GitLab.

•Nerdaydata (https://nerdydata.com/search) требует ежемесячную подписку, чтобы разблокировать все функции.

•Krugle (www.krugle.org) это еще один.

•Codase (www.codase.com) поиск по 250 миллионов строк кода.

•The O’Reilly source code search (http://labs.oreilly.com) дает доступ ко всем фрагментам кода в книгах O'Reilly.

•Symbolhound (http://symbolhound.com) поиск поисковых систем кода и не игнорирует специальные символы.

•Merobase (http://merobase.com) — поисковая система кода для компонентов программного обеспечения Java.

•GitHub Dorks (https://github.com/techgaun/github-dorks)

поиск инструмента Python для поиска конфиденциальных данных, таких как частные ключи, учетные данные и маркеры аутентификации в различных репозиториях.

FTP Поисковые системы

File Transfer Protocol (FTP) старый протокол изобрел в первые дни Интернета и до сих пор используется миллионами веб-сайтов. Как следует из названия, он используется для передачи файлов между компьютерами через сети, такие как Интернет. Веб-хостинг компании обычно дают своим клиентам FTP счет для передачи файлов на хостинг пространстве. Многие компании, университеты, учреждения и проекты сотрудничества размещают большие архивные файлы и другое загружаемое программное обеспечение на серверах FTP, чтобы облегчить обмен информацией между своими сотрудниками. FTP учетные записи могут быть доступны с помощью специального клиента, таких как FileZilla (https://filezilla-проект.Орг),

которая поддерживает загрузку,загрузкуи переименованиефайлов.Компании обычно защищают свои серверы FTP с помощью пароля. Тем не менее, вы можете найти много из них оставили незащищенные онлайн (без пароля), и такие публичные серверы FTP можно получить доступ через веб-браузеры непосредственно для просмотра / загрузки их содержимого.

По данным IEEE Computer Society,iv Есть более чем 13 миллионов FTP серверов в мире, 1,1

миллиона из которых позволяют "анонимный" (общественный) доступ. Множество полезной информации можно найти на общедоступных серверах FTP, начиная от музыкальных и

152

видеофайлов и конретизируясь программного обеспечения, налоговых документов и криптографических секретов в дополнение к личным файлам и каталогам.

При поиске содержимого на серверах FTP с помощью специализированных поисковых систем FTP вы ищете только имена файлов и каталоги, так как индексировать весь контент на всех серверах FTP сложно и не легко достичь. Давайте сначала начнем тестирование некоторых методов с Google, чтобы найти контент на серверах FTP; см. Таблицу 4-5.

Таблица 4-5. Расширенные поисковые запросы Google для поиска серверов FTP

Ниже приведены некоторые сайты для поиска FTP-серверов:

•Global file search (http://globalfilesearch.com)

•Filemare (https://filemare.com/en-nl)

•Archie (http://archie.icm.edu.pl/archie_eng.html)

•File watcher (www.filewatcher.com)

Автоматизированные инструменты поиска

Автоматизированные инструменты позволяют автоматизироватьонлайн проверку и процесс поиска с помощью крупных поисковых систем, таких как Google, Bing и Shodan.

Автоматизированные инструменты быстрые и позволяют постоянно тестировать большое количество поисковых запросов, тем самым возвращая более полные результаты, поскольку инструмент поиска может создавать сложные поисковые запросы лучше, чем человек.

Следующие разделы подчеркивают самые известные автоматизированные поисковые утилиты .

SEARCHDIGGITY

Это самый известный инструмент взлома поисковой системы; это приложение windows GUI,

которое соединяет вас с известными базами данных взлома поисковых систем, таких как база

153

данных Google Hacking. Он работает путем автоматизации процесса поиска на различных платформах поисковых систем, таких как Google, Bing, Shodan, CodeSearch и других, и

представляет результаты в основном интерфейсе программы. Просмотреть : https://www.bishopfox.com/ resources/tools/google-hacking-diggity/attack-tools.

SEARCHDOME

Это онлайн-сервис, который позволяет автоматизировать поиск по eBay.com используя

широкий спектр критериев поиска (см. рисунок 4-10). Посмотреть

:https://www.searchdome.com/ebay.

Рисунок 4-10. Используйте SearchDome для проведения расширенных поисков на

eBay.com

Jeviz

Jeviz поисковая система позволяющая работать с Amazon, передовой поисковой системой. В

настоящее время в Соединенных Штатах; сконцентритрованы все крупные поисковые системы в том числе Amazon это позволяет пользователю искать в amazon веб-сайт и найти глубокие

154

ссылки, которые трудно найти с помощью типичной поисковой системы Amazon. Смотреть https://www.jeviz.com.

Поисковики устройств Интернета вещей (IoT)

Есть много специализированных поисковых систем для подключенных к Интернету устройств

(известных как IoT устройств). Ниже приведены некоторые популярные веб-сайты, которые помогут вам обнаружить такие устройства в Интернете:

•Shodan (https://www.shodan.io): Shodan является первой в мире поисковой системой для подключенных к Интернету устройств.

•123Cam (http://123cam.com List): Это бесплатная веб-камера из разных стран мира.

•AirportWebcams (http://airportwebcams.net): Это крупнейшая база данных веб-

камер аэропортов (более 1800 веб-камер) из разных стран мира.

•Insecam (www.insecam.org): Это каталог онлайн-камер наблюдения безопасности.

•Lookr (https://www.lookr.com): Это списки веб-камеры из разных мест по всему миру.

•Open Street Cam (https://www.openstreetcam.org/map): В нем перечислены веб-

камеры со всего мира.

•Pictimo (https://www.pictimo.com): Это поиск для потокового веб-камеры в реальном времени со всего мира.

•Reolink (https://reolink.com/unsecured-ip-camera-list): Это список незащищенных

IP-камер.

•Webcam-Network Project (www.the-webcam-network.com): Это веб-камера каталог.

•Thingful (https://www.thingful.net): Это поисковая система для Интернета вещей.

Веб-каталоги

Мы кратко определили веб-каталог в предыдущей главе. Веб-каталог, также известный как

каталог объектов— это веб-сайт, который перечисляет и организует многие сайты по

155