Моделирование и проектирование данных

DAMA-DMBOK2 Data Management Framework

Copyright © 2017 by DAMA International

1. ВВЕДЕНИЕ

Моделирование данных заключается в последовательном выявлении, анализе и формулировании основных требований к данным с последующим их представлением и распространением в точно определенной форме, называемой моделью данных. Моделирование данных — критически важный компонент управления данными. Процесс моделирования требует от организации выяснения и документирования того, как ее данные соотносятся друг с другом в рамках общей картины. В то же время моделирование само по себе заключается в разработке решений в отношении компоновки данных и их связи (Simsion, 2013). Модели данных отражают и одновременно улучшают понимание организацией информационных активов, которыми она располагает и оперирует.

Существуют различные схемы представления данных1. Наиболее часто используются шесть следующих схем: реляционная, многомерная (dimensional), объектно-ориентированная, основан ная на фактах (fact-based), хронологическая (time-based) и NoSQL2. Модели данных во всех этих схемах представляются на трех уровнях детализации — концептуальном, логическом и физическом. Каждая модель содержит набор компонентов. Примеры компонентов — сущности, связи, факты, ключи, атрибуты. По завершении построения модели она подлежит согласованию и уточ нению, а после утверждения — сопровождению.

Модели данных содержат важные для потребителей данных метаданные. Значительная часть этих метаданных, выявленных в процессе моделирования, необходима другим функциям управ ления данными. Например, определения, требующиеся для руководства данными, или инфор мация, относящаяся к происхождению данных и используемая при ведении хранилищ данных,

атакже в бизнес-аналитике.

Внастоящей главе описаны: назначение моделей данных; основные понятия и общепринятая терминология, используемые в моделировании данных; цели и принципы моделирования. Для того чтобы наглядно показать, как работают различные модели данных и чем они отличаются друг от друга, приведены примеры из области образования.

1.1 Бизнес-драйверы

Модели данных имеют критическое значение для эффективного управления данными, посколь ку они:

определяют единую общую терминологию во всем, что касается данных;

собирают и документируют точные знания о данных и информационных системах организации;

служат основным средством коммуникации в процессе реализации проектов;

являются отправной точкой при настройке, интеграции или даже замене приложений.

1.2 Цели и принципы

Главная цель моделирования данных — подтвердить и документально зафиксировать понимание различных аспектов организации данных, которое обеспечит создание приложений, наиболее точно соответствующих текущим и будущим потребностям бизнеса, а также заложить фунда мент для успешной реализации широкомасштабных инициатив, таких как программы управле ния основными данными и руководства данными. Правильное моделирование данных приводит к снижению затрат на поддержку и расширяет возможности повторного использования моделей при проведении в жизнь будущих инициатив, способствуя таким образом минимизации затрат на создание новых приложений. Модели данных — важная форма метаданных.

науч. ред.

и перспектив в рамках моделирования данных способствует более эффективной деятельности по

следующим направлениям.

Формализация. Модель данных документирует краткое и четкое определение структур дан ных и связей между ними. Она позволяет оценивать, как влияют на данные реализованные бизнес-правила (как для текущих, так и для будущих целевых состояний). Формальное опре деление вводит строго соблюдаемую структуру данных, что снижает вероятность нарушений при обеспечении доступа к данным и их ведении. Иллюстрируя структуры данных и связи между их элементами, модель данных упрощает их практическое использование.

Определение области применения. Модель данных помогает объяснить границы контекста данных, а также границы внедрения приобретенного программного обеспечения и области охвата проектов, инициатив и существующих систем.

Сохранение/документирование знаний. Модель данных может сохранять корпоративную память о какой-либо системе или проекте, фиксируя знания в четко определенной форме. Она служит документацией для будущих проектов в качестве версии «как есть». Модели дан ных помогают нам лучше понимать различные аспекты организации или бизнеса, механизмы работы приложений или последствия изменений существующей структуры данных. Таким образом, модель данных становится многократно используемой картой, помогающей профес сионалам в области бизнеса, руководителям проектов, аналитикам, специалистам по модели рованию и разработчикам лучше понимать структуру данных в контексте среды окружения. Так же как картографы изучают и документируют географический ландшафт, помогая другим осуществлять навигацию, специалисты по моделированию данных помогают другим понять информационный ландшафт (Hoberman, 2009).

1.3 Основные понятия и концепции

В настоящем разделе рассматриваются различные виды данных, которые могут моделироваться, отдельные компоненты моделей данных, а также типы моделей данных и причины, обусловли вающие выбор в пользу той или иной модели в зависимости от ситуации. Набор определений в данном разделе весьма обширен отчасти потому, что моделирование данных само по себе в зна чительной степени является процессом определения. Важно иметь четкое понимание терминоло гии, которая поддерживает практику.

1.3.1 Моделирование и модели данных

Моделирование данных чаще всего проводится в контексте деятельности по разработке и сопро вождению систем, известной как жизненный цикл разработки систем (SDLC). Моделирование данных также может осуществляться в рамках широкомасштабных инициатив (например, ини циативы в области архитектуры бизнеса и данных, управления основными данными, руководства

данными), непосредственным результатом которых являются не базы данных, а лучшее понима ние данных организации.

Модель — это представление чего-либо, что уже существует, или примерный образец того, что предстоит создать. Модель может содержать одну или несколько диаграмм. В каждой диа грамме используются стандартные символы, обеспечивающие понимание ее смыслового содер жания. Примерами широко распространенных моделей являются карты, схемы организацион ных структур, чертежи зданий.

Модель данных либо описывает данные организации так, как они понимаются на текущий момент, либо отражает то состояние данных, в котором организация хотела бы их видеть. Модель данных содержит набор символов с текстовыми метками, предназначенными для визуального представления требований к данным, в том виде, в котором их сообщили специалисту по моде лированию. При этом количество элементов описываемой области данных может варьироваться от небольшого (если рассматривается отдельный проект) до весьма внушительного (если рассматривается организация). Модель данных является формой документирования требований к дан ным и определений данных. Получаемые в результате процесса моделирования документально оформленные модели — главное средство коммуникации, обеспечивающее передачу требований к данным от сферы бизнеса в блок ИТ, а также (в рамках блока ИТ) от аналитиков, специалистов по моделированию и архитекторов взаимодействующим с ними проектировщикам и разработ чикам баз данных.

1.3.2 Виды моделируемых данных

Моделироваться могут данные четырех основных видов (Edvinsson, 2013). Виды данных, моде лируемые в конкретной организации, отражают приоритеты организации или проекта, которым требуется модель данных.

Информация о категориях. Данные, используемые для классификации объектов и отнесения их к определенным категориям. Например, клиенты могут классифицироваться по сегментам рынка или направлениям бизнеса; продукты — по модели, цвету и размеру; заказы — по ста тусу выполнения; и т. д.

Информация о ресурсах. Основные профили ресурсов, необходимых для осуществления операционной деятельности, например: продукт, клиент, поставщик, оборудование, органи зация, счет. Среди профессионалов в сфере ИТ применительно к сущностям, относящимся к ресурсам, иногда используется термин справочные данные

Информация о бизнес-событиях. Данные, создаваемые в ходе операционной деятельности. Примеры: заказы клиентов, счета поставщиков, платежи, бизнес-встречи. В сфере ИТ приме нительно к сущностям, относящимся к событиям, иногда используется термин транзакцион ные бизнес-данные

Детальная информация о транзакциях. Детализированная информация об операци ях, поступающая обычно из систем оплаты (в магазинах или онлайн). Сюда же относится

Все вышеперечисленные виды данных называют «данными в покое» (data at rest) (статичные дан ные, находящиеся в местах хранения). Но и «данные в движении» (data in motion) (динамичные, перемещающиеся данные) также можно моделировать: например, с помощью описаний систем ных решений, включая протоколы, а также специфических схем для систем обмена сообщениями и систем на основе событий (event-based systems).

1.3.3 Компоненты модели данных

Далее в этой главе подробно обсуждаются причины, по которым различные типы моделей дан ных представляют данные с помощью различных соглашений (см. раздел 1.3.4). Однако основные строительные блоки в большинстве моделей данных одни и те же: сущности, связи, атрибуты и области значений атрибута (домены).

1.3.3.1 СУЩНОСТЬ

В общем смысле — вне контекста моделирования данных — под сущностью понимается предмет, существующий отдельно от других предметов. В рамках моделирования данных сущность — это предмет, о котором организация собирает информацию. Иногда сущности уподобляют «существительным» организации (по аналогии с членами предложения). Действительно, сущность можно рассматривать как ответ на один из фундаментальных вопросов (кто, что, где, когда, почему и как) или сочетание этих вопросов (см. главу 4). Таблица 7 дает определения и приводит примеры общеупотребительных категорий сущностей (Hoberman, 2009).

Таблица 7. Общеупотребительные категории объектов