книги хакеры / OSINT_Разведка_из_открытых_источников_Методы_и_утилиты_2019

Рисунок 4-11. Пример веб-каталога(http://dmoztools.net) отображение основных категорий и других подкатегорий

Веб-каталог может быть как бесплатным, так и платным. Бесплатные сайты не платят за включение вашего сайта в каталоге, в то время как платные из них требуют владелец сайта платить небольшую сумму денег, чтобы включить свой сайт в каталоге. Некоторые веб-каталоги просят взаимной связи. Таким образом, вам нужно поставить ссылку на каталог на главной странице, чтобы включить ваш-свободно-в своем списке.

В то время как веб-сайты используют ключевые слова для поиска и поиска информации в Интернете, веб-каталоги организуют все веб-сайты в соответствии с каждым объектом сайта,

что позволяет находить группы соответствующих сайтов в соответствии с предметом, языком и регионом. Затем вы можете использовать методы поиска, например, пользовательский поиск

Google для поиска в каждой категории для получения конкретной информации.

Вот самые популярные веб-каталоги:

•The WWW Virtual Library (http://vlib.org)

•DirPopulus (http://dirpopulus.org)

•Best of the Web (https://botw.org)

•GoWorkable (www.goworkable.com)

•01webdirectory (www.01webdirectory.com)

Сервисы перевода

Во время веб-поиска вы можете столкнуться с полезной информацией на других языках. Такая информация может быть ценной и не может быть опущена во время поиска. Есть много бесплатных онлайн-услуг перевода для перевода документов, текста и даже целых веб-сайтов.

Ознакомьтесь со следующим списком:

•Google Translate (https://translate.google.com) является наиболее важным; он может переводить текст и целые веб-страницы на другие языки (см. рисунок 4-12).

157

Рисунок 4-12. Использование сервиса Google Translate для перевода веб-страницы

санглийского на арабский

•Google Input Tools (https://www.google.com/inputtools/try) позволяет пользователю вводить текст на любом поддерживаемом языке с помощью своей английской

(латинской) клавиатуры, и текст преобразуется в его родной текст. Вы можете скачать оффлайн версию для Windows и Android или просто использовать ее онлайн (см.

рисунок 4-13).

•The Yamli Intelligent Arabic Keyboard (https://www.yamli.com/ clavier-arabe) позволяет печатать на арабском языке с помощью латинских символов в фонетический путь, и

сайт превратит его в арабские слова.

158

Рисунок 4-13. Использование ввода Google для преобразования письменного текста на любые языки, поддерживаемые Google

•Apertium (https://www.apertium.org) является платформой машинного перевода с открытым исходным кодом.

•Babylon (http://translation.babylon-software.com) Это компьютерный словарь и программа перевода, разработанная Компанией Вавилон Программное обеспечение

Ltd. Она предлагает перевод в более чем 800 языковых пар.

•Bing Translator (https://www.bing.com/translator) является еще одним сервисом перевода.

•Dictionary (http://translate.reference.com) является еще одним сервисом перевода.

•Wiktionary (https://www.wiktionary.org) еще один сервис перевода.

•Free Translator (www.free-translator.com) еще один сервис перевода.

•No Slang (https://www.noslang.com) переводит сленг, интернет-сленг и аббревиатуры.

•Lexilogos(https://www.lexilogos.com/keyboard/index.htm) поддерживает многоязычную клавиатуру.

История веб-сайта и кэширование веб-сайта

159

Иногда вы хотите вернуться назад во времени, чтобы исследовать что-то в прошлом.

Кэширование веб-сайта полезено для онлайн-исследований, потому что вы можете гарантировать, что снимок данного веб-сайта всегда будет оставаться в сети, даже если оригинальная страница исчезнет. Обратите внимание, что сохраненные страницы обычно хранятся без связанных с ними скриптов, поэтому некоторые функциональные возможности,

темы и меню могут работать неправильно.

Есть много интернет-сайтов, которые предлагают такие услуги; следующие являются наиболее популярными из них:

•Internet Archive (the Wayback Machine; https://archive.org/web/ web.php) является самым популярным сайтом архива; он имеет более чем 308 миллиардов веб-

страниц, сохраненных с течением времени, и каждый может захватить веб-страницу,

чтобы использовать его в будущем в качестве ключа или ссылки. Посмотреть рисунок4-14.

Рисунок 4-14. Машина wayback показывая исторические данные для www.DarknessGate.com

•Archive (https://archive.fo/) также доступна.

160

•Cached pages (www.cachedpages.com/) показывает предыдущие веб-сайты,

захваченные на трех различных сайтах архивов (Google кэш, Coral и Archive.org).

•www.screenshots.com показывает историю скриншотов для любого веб-сайта.

• Way Backpack (https://github.com/jsvine/waybackpack) это инструмент, который позволяет загружать весь архив в Wayback Machine для данной веб-страницы.

•Library of Congress (https://loc.gov/websites) это еще один.

•UK Web Archive (www.webarchive.org.uk/ukwa) это еще один.

•Stanford Web Archive Portal (https://swap.stanford.edu) это еще одинэто еще один.

•Oldweb.today (http://oldweb.today) извлекает архивные веб-страницы из различных общедоступных интернет-архивов. Вы также можете отображать архивные веб-сайты с помощью различных веб-браузеров.

•UK Government Web Archive (www.nationalarchives.gov.uk/ webarchive/) содержит веб-архивы правительства Великобритании, опубликованные в Интернете с 1996

года по настоящее время. Архивное содержимое включает видео, твиты и веб-

страницы.

Сервисы мониторинга веб-сайта

Иногда вам может понадобиться знать об изменениях на определенном веб-сайте, когда они происходят. Отслеживание изменений на одном веб-сайте может быть достигнуто путем посещения его регулярно. Однако, что вы можете сделать, если вам нужно отслеживать изменения страницы на многих сайтах одновременно?

Есть много онлайн-сервисов, которые позволяют отслеживать неограниченное количество страниц. Это работает, отправив вам оповещение по электронной почте, как только изменение обнаруживается в конкретной странице (выбранной вами). Некоторые платные услуги позволяют получать SMS-оповещения также. Ниже приведены основные бесплатные услуги мониторинга веб-сайта в настоящее время:

•Google Alerts (https://www.google.com/alerts; see Figure 4-15) это обнаружение изменений веб-контента (на основе фразы поиска или ключевых слов) и службы уведомлений, предлагаемых Google. Чтобы установить оповещение, необходимо перейти на страницу Google Alerts (сначала необходимо войти в свой аккаунт Google)

161

Рисунок 4-15. Создание нового оповещения Google

•Talk Walker (www.talkwalker.com/alerts) является альтернативой Google Alert.

•Visual Ping (https://visualping.io) отслеживает веб-страницы для любых обнаруженных изменений; бесплатный счет дает вам 62 проверки в месяц.

•Follow That Page (https://www.followthatpage.com) дает вам две ежедневные проверки с бесплатной учетной записью.

•Watch That Page (www.watchthatpage.com) дает вам 70 еженедельных проверок на всех ваших страницах.

•Update Scanner (https://addons.mozilla.org/en-US/firefox/ addon/update-scanner) — это расширение Firefox, которое отслеживает веб-страницы для обновления.

162

RSS лента

Другой метод мониторинга изменений веб-сайта заключается в использовании RSS-канала.

Итак, что означает RSS?

Really Simple Syndication или Rich Site Summary в XML (текстовом) файл, который позволяет владельцам сайтов информировать подписчиков читателей и других сайтов, о новом контенте, опубликованном на их сайтах. RSS лента оповещает, пользователи Интернета что бы они могли отслеживать обновленный контент в Интернете. Чтобы проверить наличие новых обновлений сайта, пользователю необходимо иметь RSS-ридер. Пользователь подписывается на сайт RSS канал, а затем любой новый контент на этом сайте появится в их ленте читателя автоматически. Каждая запись канала, как правило, содержат название, резюме опубликованного текста, дату публикации и имя автора.

Подписка на веб-сайт RSS сделает пользователя в курсе любых обновлений на своих контролируемых сайтах, тем самым устраняя необходимость посещать предназначенные веб-

сайты постоянно, чтобы проверить на наличие недавно опубликованного содержимого.

Основные веб-браузеры предлагают механизм, чтобы подписаться на сайт RSS канал. Mozilla Firefox оснащенв встроенной поддержкой RSS под названием Live Bookmarks. Чтобы подписаться на любой веб-сайт RSS канал через Firefox, выполните следующие шаги:

1.Перейдите на веб-сайт, где вы хотите подписаться на его RSS канал.

2.Из меню закладок выберите Подписку на эту страницу (если браузер не обнаружит RSS-канал на странице, эта опция будет поседена). Затем выберите свой канал. Рисунок 4-16 показывает два канала для этого сайта,

потому что это блог, один для комментариев и второй для содержания сайта под названием Feed.

Рисунок 4-16. Подписаться на RSS-канал с помощью Firefox

3.Появляется следующая страница. Используйте подписку Firefox поле в верхней части, чтобы подтвердить вашу подписку. Убедитесь в том, чтобы установить опцию, как в рисунке 4-17.

163

Рисунок 4-17. Нажмите кнопку Подписка Сейчас, чтобы подписаться на предназначенный канал RSS

4.После нажатия Подписка Сейчас появится всплывающее сообщение,

позволяющее изменить имя и местоположение ленты. Настройки по умолчанию должны быть в порядке. Нажмите кнопку подписки, и вы подпишитесь на ленту !

Встроенный RSS-ридер RSS в браузере имеет ограниченную функциональность по сравнению с некоторыми выделенными настольными RSS-программами для чтения кормов. Например, RSSOwl(www.rssowl.org/) поставляется с мощными функциями, такими как поиск в каналах, сохранение предыдущего поиска каналов и получение уведомлений о новом содержимом. Это бесплатно и поставляется поддерживается на всех основных платформах, как

Windows, Linux и macOS.

Есть также расширения браузера-дополнения - для основных веб-браузеров в дополнение к онлайн-сервисам, которые предлагают подписку на каналы. Однако, если вы являетесь частью онлайн-расследования, предпочтительнее использовать только встроенный канал браузера утилиты или программное обеспечение RSSOwl, чтобы избежать утечки информации о вашем сохраненном канале. Многие расширения браузера запрашивать доступ к истории серфинга браузера, и это может привести к нарушению конфиденциальности, если такие записи попадают в чужие руки.

Новостной поиск

Огромное количество полезной информации о чем-либо можно найти в источниках новостей.

Например, корпорация может получить глубокое представление о любом конкуренте, как его юридическая история, партнерские соглашения, финансовое положение, и любое негативное упоминание, ища в архивах новостей. Мы привели пример для бизнес-корпораций; однако, то

164

же самое относится к правительствам, некоммерческим организациям и высокопоставленным лицам.

Поиск в новостях в Интернете проще, чем поиск в архиве медиа-трансляции. В этом разделе мы рассмотрим, как вы можете настроить Новости Google, чтобы узнать о последних обновлениях любого поискового ключевого слова / фразы, появляющейся в глобальных новостных каналах. Мы также упомянем другие источники новостей в Интернете и дадим советы о том, как обнаружить поддельные новости.

Настройка Google News

Google News предлагает современный новостной сервис, агрегированный из различных источников по всему миру. Пользователь может выбрать интересуемую тему, и Google покажет соответствующие результаты по этой теме. Онлайн следователи могут использовать сервис Новостей Google для упрощения поиска конкретных тем или поисковых терминов в новостях.

Для этого выполните следующие шаги:

1.Перейти к https://news.google.com.

2.Перейти к левой стороне страницы и нажмите кнопку "Управление разделами" (см. рисунок 4-18).

165

Рисунок 4-18. Настройка новостей Google

3.Появляется страница на рисунке 4-19. Введите тему или ключевые слова в текстовом окне "Поиск терминов"; Вы также можете назвать название поиска.

Затем нажмите кнопку Добавить раздел.

166