96      Глава 4. Доступ к данным из файлов и API

Вот что вы увидите в файле cars.csv после выполнения скрипта:

Year,Make,Model,Price

1997,Ford,E350,3200.00

1999,Chevy,Venture,4500.00

1996,Jeep,Grand Cherokee,4900.00

Как видим, файл выглядит как оригинал, но значение поля Price во второй строке изменилось.

Доступ к удаленным файлам и API

Некоторые сторонние библиотеки Python, включая urllib3 и Requests, позволяют получить данные из удаленного файла, доступного по URL. Библиотеки также можно использовать для отправки запросов к HTTP API (API, использующим HTTP в качестве протокола передачи данных). Многие из них возвращают запрашиваемые данные в формате JSON. И urllib3, и Requests формируют пользовательские HTTP-запросы на основе введенной информации.

HTTP (HyperText Transfer Protocol — протокол передачи гипертекста), кли- ент-серверный протокол, составляющий основу обмена данными в интернете, структурирован как серия запросов и ответов. HTTP-сообщение, посылаемое клиентом, — это запрос (request), а сообщение, возвращаемое сервером, — ответ (response). Например, всякий раз, когда вы щелкаете по ссылке в браузере, выступающем в роли клиента, он отправляет HTTP-запрос для получения нужной веб-страницы с соответствующего веб-сервера. То же самое можно сделать из Python-скрипта. Скрипт, выступающий в роли клиента, получает запрашиваемые данные в виде документа JSON или XML.

Как работают HTTP-запросы

Существует несколько типов HTTP-запросов. Наиболее популярные из них — GET, POST, PUT и DELETE. Они также известны как методы HTTP-запросов или просто HTTP-команды (HTTP command / HTTP verb). Команда HTTP в любом HTTP-запросе определяет действие, которое необходимо выполнить с указанным ресурсом. Например, GET-запрос получает данные из ресурса, а POST-запрос отправляет данные в место назначения.

HTTP-запрос включает цель запроса (target) — обычно это URL-адрес, а также заголовки (headers), которые представляют собой поля, передающие вместе с запросом дополнительную информацию. В некоторых запросах также есть тело

98      Глава 4. Доступ к данным из файлов и API

Эта библиотека предназначена для эффективной обработки HTTP-запросов с помощью потокобезопасного пула соединений, что минимизирует количество необходимых серверных ресурсов.

По сравнению с библиотекой Requests, которую мы рассмотрим далее, urllib3 требует больше ручных операций, однако она предоставляет больше прямого контроля над создаваемыми запросами, что может быть полезно при настройке поведения пула или расшифровке HTTP-ответов.

Установка urllib3

Поскольку urllib3 входит в перечень зависимостей многих популярных библиотек для Python (например, Requests и pip), скорее всего, она уже установлена в вашей среде Python. Чтобы проверить это, импортируйте ее в текущей сессии. Если вы получаете ошибку ModuleNotFoundError, установите библиотеку с помощью следующей команды:

$ pip install urllib3

Доступ к файлам через urllib3

Чтобы потренироваться с помощью urllib3 загружать данные из файла, хранящегося по какому-либо URL-адресу, можно обратиться к файлу excerpt.txt, который мы создали ранее. Чтобы сделать этот файл доступным по URL, поместите его в папку document HTTP-сервера, запущенного на локальном хосте. Или используйте URL-адрес файла из сопутствующего репозитория GitHub1.

Запустите следующий код, при необходимости изменив URL-адрес:

import urllib3

http = urllib3.PoolManager()

r = http.request('GET', 'http://localhost/excerpt.txt')

for i, line in enumerate( r.data.decode('utf-8').split('\n')): if line.strip():

print("Line %i: " %(i), line.strip())

Сначала мы создаем экземпляр PoolManager , с помощью которого urllib3 выполняет запросы. После этого выполняется HTTP-запрос на указанный URLадрес с помощью метода request()PoolManager . Метод request()возвращает объект HTTPResponse. Мы получаем доступ к запрошенным данным через атрибут

1 https://github.com/pythondatabook/sources/blob/main/ch4/excerpt.txt

Доступ к удаленным файлам и API      99

data этого объекта . Затем выводим только непустые строки вместе с их порядковым номером в начале каждой строки .

Запросы API через urllib3

urllib3 также можно использовать для выполнения запросов к HTTP API. В примере ниже мы делаем запрос к News API1, который выполняет поиск наиболее релевантных запросу статей из множества новостных источников. Как и многие другие современные API, News API требует, чтобы API-ключ передавался при каждом запросе. API-ключ разработчика можно получить бесплатно на сайте2 после заполнения простой регистрационной формы. Затем используйте код ниже, чтобы найти статьи о языке программирования Python:

import json import urllib3

http = urllib3.PoolManager()

r = http.request('GET', 'https://newsapi.org/v2/everything? q=Python programming language& apiKey=your_api_key_here& pageSize=5')

articles = json.loads(r.data.decode('utf-8')) for article in articles['articles']:

print(article['title'])

print(article['publishedAt'])

print(article['url'])

print()

Вы передаете поисковую фразу в качестве параметра q в URL-адресе запроса . Единственный параметр, который необходимо указать в URL запроса, — apiKey , передающий ключ API. Существует также множество необязательных параметров. Например, можно указать источники новостей или блоги, из которых вы хотите получать статьи. В этом конкретном примере мы используем pageSize, чтобы установить количество получаемых статей равным пяти . Полный список поддерживаемых параметров можно найти в документации News API3.

Атрибут data объекта HTTPResponse, возвращаемого функцией request(), — документ JSON в виде объекта bytes. Мы преобразовываем его в строку, которую затем передаем методу json.loads() для преобразования в словарь . Чтобы увидеть, как структурированы данные в этом словаре, вы можете вывести его, но

1 https://newsapi.org

2 https://newsapi.org/register

3 https://newsapi.org/docs