Лабораторная работа 8
.docxМИНИСТЕРСТВО ЦИФРОВОГО РАЗВИТИЯ, СВЯЗИ И МАССОВЫХ КОММУНИКАЦИЙ РОССИЙСКОЙ ФЕДЕРАЦИИ
Ордена Трудового Красного Знамени федеральное государственное бюджетное образовательное учреждение высшего образования
«Московский технический университет связи и информатики»
Кафедра «Математическая кибернетика и информационные технологии»
Дисциплина «Большие данные»
Отчет по лабораторной работе 8
Выполнил:
студент группы БСТ2104
Станишевский И.А.
Проверила: Тимофеева А. И.
Москва, 2023 г.
Содержание
Цель работы 3
Ход выполнения 3
Вывод: 5
Цель работы 3
Ход выполнения 3
Вывод: 7
Цель работы
Получить навыки работы с Airflow.
Ход выполнения
Apache Airflow - это открытая платформа для создания, выполнения, отслеживания и управления операциями по обработке данных. Она позволяет разработчикам контролировать и мониторить сложные рабочие процессы, выполняемые в локальных и облачных средах.
Зайдем на хост 192.168.0.7 и переместимся в директорию /data/airflow_dags.
Рисунок 1 – Запуск Airflow
В качестве узлов DAG выступают задачи (Task). Это непосредственно операции, применяемые к данным, например, загрузка данных из различных источников, их агрегирование, индексирование, очистка от дубликатов, сохранение полученных результатов и прочие ETL-процессы. На уровне кода задачи могут представлять собой Python-функции или Bash-скрипты.
Внутри директории создаем DAG из нескольких тасков:
— DummyOperator - «Пустой» оператор, который можно использовать для группировки задач
— BashOperator (с выводом даты) - Запуск Bash-скриптов
— PythonOperator (с выводом даты) - Исполнение Python-кода
Рисунок 2 – Код .py файла
DAG (Directed Acyclic Graph) - направленный ацикличный граф. Это граф, в котором нет зацикливания. В нем могут быть разветвления, но в конце они сходятся в одной точке.
Через пару минут после сохранения файла он появится в UI Airflow. Проверим это.
Рисунок 3 – Отображение DAG в UI Airflow
Запустим его вручную, покажем, что запуск произошёл корректно.
Рисунок 4 – Запуск DAG вручную
Рисунок 3 – Вывод Dag Runs
Рисунок 4 – Вывод Logs
Рисунок 5 – Вывод Task Instances
Рисунок 6 – Вывод DAG details
Вывод:
Получил навыки работы с Airflow.