Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
книги хакеры / DAMA_DMBOK_Свод_знаний_по_управлению_данными.pdf
Скачиваний:
18
Добавлен:
19.04.2024
Размер:
13.88 Mб
Скачать

 

 

 

 

hang

e

 

 

 

 

 

 

 

 

C

 

E

 

 

 

 

 

X

 

 

 

 

 

 

 

-

 

 

 

 

 

d

 

 

 

F

 

 

 

 

 

 

t

 

 

 

D

 

 

 

 

 

 

 

i

 

 

 

 

 

 

 

 

 

 

r

 

P

 

 

 

 

 

NOW!

o

 

 

 

 

 

 

 

 

 

 

 

 

 

 

BUY

 

 

 

w

 

 

to

 

 

 

 

 

Г Л А В А 1 2

w Click

 

 

 

 

 

 

 

 

 

 

 

 

o

m

 

 

w

 

 

 

 

 

 

 

 

 

 

.

 

 

 

 

 

.c

 

 

 

 

p

 

 

 

 

g

 

 

 

 

 

 

df

 

 

n

e

 

 

 

 

 

 

-xcha

 

 

 

 

 

Управление метаданными

Архитектура

Качество

данных

 

данных

 

проектирование

 

Моделирование

данных

операции

 

 

 

 

 

данными

и

 

Хранение

 

 

 

с

Метаданные

Руководство

Безопасность данных

 

данными

 

 

 

 

данных

 

 

и

 

 

 

 

 

документамиинтероперабельность

и

 

 

 

 

 

 

-аналитика

 

 

Интеграция

 

Ведение

 

 

данные

 

данных

хранилищ

 

Справочные

и

 

бизнес

 

 

Управление

 

 

 

 

 

основные

 

контентом

 

 

 

 

и

 

 

 

 

 

 

 

 

 

 

DAMA-DMBOK2 Data Management Framework

1. ВВЕДЕНИЕ

 

 

 

 

hang

e

 

 

 

 

 

 

 

C

 

E

 

 

 

 

X

 

 

 

 

 

 

-

 

 

 

 

 

d

 

 

F

 

 

 

 

 

 

t

 

 

D

 

 

 

 

 

 

 

i

 

 

 

 

 

 

 

 

 

r

P

 

 

 

 

 

NOW!

o

 

 

 

 

 

 

 

 

 

 

 

 

BUY

 

 

 

 

 

 

to

 

 

 

 

 

w Click

 

 

 

 

 

m

 

 

 

 

 

 

w

 

 

 

 

 

 

 

 

 

 

w

 

 

 

 

 

 

 

o

 

 

.

 

 

 

 

 

.c

 

 

 

p

 

 

 

 

g

 

 

 

 

 

df

 

 

n

e

 

 

 

 

 

-x cha

 

 

 

 

Наиболее распространенное определение метаданных (metadata) — «данные о данных» — вводит в заблуждение своей простотой. В реальности к метаданным можно отнести очень широкий спектр сведений, включая информацию о технологических и бизнес-процессах, правила обработки данных, ограничения, определения логической и физической структуры данных и т. д.

Метаданные могут описывать не только данные как таковые (базы данных, элементы данных, модели данных и т. д.), но и представляемые ими объекты (бизнес-процессы, системы и приложения, элементы ИТ-инфраструктуры и т. п.), а также связи (отношения) между данными и объектами. Метаданные помогают организации правильно понимать смысл имеющихся в ее

Управление метаданными

519

 

 

 

 

hang

e

 

 

 

 

 

 

 

C

 

E

 

 

 

 

X

 

 

 

 

 

 

-

 

 

 

 

 

d

 

 

F

 

 

 

 

 

 

t

 

 

D

 

 

 

 

 

 

 

i

 

 

 

 

 

 

 

 

 

r

P

 

 

 

 

 

NOW!

o

 

 

 

 

 

 

 

 

 

 

 

 

BUY

 

 

 

 

 

 

to

 

 

 

 

 

w Click

 

 

 

 

 

m

 

 

 

 

 

 

w

 

 

 

 

 

 

 

 

 

 

w

 

 

 

 

 

 

 

o

 

 

.

 

 

 

 

 

.c

 

 

 

p

 

 

 

 

g

 

 

 

 

 

df

 

 

n

e

 

 

 

 

 

-xcha

 

 

 

 

 

 

 

 

 

hang

e

 

 

 

 

 

 

 

 

C

 

E

 

 

 

 

 

X

 

 

 

 

 

 

 

-

 

 

 

 

 

d

 

 

 

F

 

 

 

 

 

 

t

 

 

 

D

 

 

 

 

 

 

 

i

 

 

 

 

 

 

 

 

 

 

r

 

P

 

 

 

 

 

NOW!

o

 

 

 

 

 

 

 

 

 

 

 

 

 

 

BUY

 

 

 

 

 

 

 

to

 

 

 

 

 

 

w Click

 

 

 

 

 

m

 

 

 

 

 

 

 

w

 

 

 

 

 

 

 

 

 

 

 

w

 

 

 

 

 

 

 

o

 

 

 

 

 

 

 

 

 

 

 

 

 

.

 

 

 

 

 

.c

 

 

 

 

p

 

 

 

 

g

 

 

 

 

 

 

df

 

 

n

e

 

 

 

 

 

 

-x cha

 

 

 

 

распоряжении данных, функционирование систем, структуру и содержание рабочих процессов. Они позволяют проводить оценку качества данных и неразрывно связаны с управлением база ми данных и другими приложениями. Обобщая вышесказанное: метаданные необходимы для обеспечения возможности обработки, сопровождения, интеграции, хранения, защиты, проверки и контроля всех прочих данных организации.

Для полноты понимания незаменимости метаданных в сфере управления данными пред ставьте себе огромную библиотеку с миллионами книг и журналов на полках, но без картотеки. Читателю будет весьма проблематично найти не только интересующую его книгу, но и стеллаж с книгами соответствующей тематики. И совсем другое дело — библиотека с каталогизированной картотекой, не просто содержащей всю необходимую информацию о библиотечном фонде (ка кие книги и периодические издания имеются в наличии, в каких залах и на каких стеллажах они хранятся), но еще и позволяющей отыскивать нужные материалы по различным признакам или исходным данным (предметная область, автор, название и т. п.). Без каталога отыскать в огром ной библиотеке конкретную книгу практически нереально. Таким образом, организация без ме таданных уподобляется библиотеке без карточного каталога.

Для управления данными метаданные нужны не меньше, чем для их поиска и использова ния (свидетельством чему служат регулярные упоминания метаданных на протяжении всей этой книги, посвященной всестороннему описанию универсальной концепции управления данными DAMA-DMBOK). Все крупные организации производят и используют данные в огромных объе мах. Внутри организации на разных уровнях и в различных подразделениях работает множество самых разных людей, и у каждого из них собственный набор представлений о данных, которыми

располагает организация, — но никто не имеет и не может иметь исчерпывающего и достоверно го представления о данных организации. Поэтому и требуется скрупулезный учет данных, а без ведения подобной документации организация рискует перестать понимать саму себя. А метадан ные служат главным средством регистрации, формализации и упорядочения знаний о данных, имеющихся у организации.

Однако управление метаданными не сводится к одному лишь управлению знаниями о данных; управление метаданными — это еще и средство управления риском. Без метаданных не возможно обеспечить выявление и защиту конфиденциальной и чувствительной информации, управление жизненным циклом данных, а также соблюдение внутренних и внешних требований.

Без надежных метаданных организация не имеет представления ни о том, какими данными она располагает; ни о том, что эти данные отражают, откуда берутся, как перемещаются внутри систем и между системами; ни о том, кто имеет доступ к данным; ни об их качестве и средствах контроля качества. Без метаданных организация не сможет не только управлять данными как ценным ресурсом или активом, но и просто хоть как-то ими управлять.

С развитием технологий колоссально выросли темпы и объемы генерирования всевозможных данных, и технические метаданные сделались незаменимым средством управления переда чей и интеграцией данных. Обмен данными в гетерогенных информационных средах на основе

520

Г Л А В А 12

 

 

 

 

hang

e

 

 

 

 

 

 

 

C

 

E

 

 

 

 

X

 

 

 

 

 

 

-

 

 

 

 

 

d

 

 

F

 

 

 

 

 

 

t

 

 

D

 

 

 

 

 

 

 

i

 

 

 

 

 

 

 

 

 

r

P

 

 

 

 

 

NOW!

o

 

 

 

 

 

 

 

 

 

 

 

 

BUY

 

 

 

 

 

 

to

 

 

 

 

 

w Click

 

 

 

 

 

m

 

 

 

 

 

 

w

 

 

 

 

 

 

 

 

 

 

w

 

 

 

 

 

 

 

o

 

 

.

 

 

 

 

 

.c

 

 

 

p

 

 

 

 

g

 

 

 

 

 

df

 

 

n

e

 

 

 

 

 

-xcha

 

 

 

 

УПРАВЛЕНИЕ МЕТАДАННЫМИ

Определение: Планирование, организация и контроль деятельности по обеспечению доступа к качественным, интегрированным метаданным

Цели:

1.Обеспечение единого понимания бизнес-терминов и их согласованного использования

вмасштабах организации

2.Сбор и интеграция метаданных из различных источников

3.Стандартизация доступа к метаданным

4.Обеспечение качества и безопасности метаданных

Бизнесдрайверы

Входные материалы:

 

 

 

Проводимые работы:

 

 

Результаты:

• Бизнес-требования

 

 

 

1. Определение стратегии

 

 

• Стратегия работы

• Проблемные вопросы

 

 

 

работы с метаданными (П)

 

 

с метаданными

в области метаданных

 

 

 

2. Выработка понимания

 

 

• Стандарты метаданных

• Архитектура данных

 

 

 

требований к метаданным (П)

 

 

• Архитектура метаданных

• Бизнес-метаданные

 

 

 

1. Требования бизнес-

 

 

• Метамодель

• Технические метаданные

 

 

 

пользователей

 

 

• Унифицированные

• Метаданные процессов

 

 

 

2. Требования технических

 

 

метаданные

• Операционные

 

 

 

специалистов

 

 

• Хранилища метаданных

метаданные

 

 

 

3. Определение архитектуры

 

 

• Происхождение

 

 

 

метаданных (П)

 

 

• Метаданные,

 

 

 

 

 

метаданных

 

 

 

1. Создание метамодели (Р)

 

 

относящиеся к области

 

 

 

 

 

• Анализ влияния

 

 

 

2. Применение стандартов

 

 

руководства данными

 

 

 

 

 

• Анализ зависимостей

 

 

 

метаданных (К)

 

 

 

 

 

 

 

 

• Процесс контроля

 

 

 

 

3. Управление хранилищами

 

 

 

 

 

 

 

 

метаданных

 

 

 

 

метаданных (К)

 

 

 

 

 

 

 

 

 

 

 

 

 

4. Создание и ведение

 

 

 

 

 

 

 

метаданных (O)

 

 

 

 

 

 

 

1. Интеграция метаданных (O)

 

 

 

 

 

 

 

2. Распространение и доставка

 

 

 

 

 

 

 

метаданных (O)

 

 

 

 

 

 

 

5. Применение метаданных

 

 

 

 

 

 

 

в аналитике и при формировании

 

 

 

 

 

 

 

запросов и отчетов (O)

 

 

 

Поставщики:

 

 

Участники:

 

 

Потребители:

 

 

 

 

• Распорядители

 

 

• Распорядители данных

 

 

• Разработчики приложений

 

 

• Руководители проектов

 

 

• Аналитики

бизнес-данных

 

 

 

 

 

 

• Архитекторы данных

 

 

• Специалисты

• Специалисты

 

 

 

 

 

 

• Бизнес-аналитики

 

 

по интеграции данных

по управлению данными

 

 

 

 

 

 

• Системные аналитики

 

 

• Бизнес-пользователи

• Органы руководства

 

 

 

 

 

 

 

 

 

• Работники

данными

 

 

 

 

 

 

 

 

 

 

интеллектуального труда

• Разработчики моделей

 

 

 

 

 

 

 

 

 

 

• Клиенты и партнеры

данных

 

 

 

 

 

 

• Специалисты в области

• Администраторы

 

 

 

 

 

 

науки о данных

баз данных

 

 

 

 

 

 

• Дата-журналисты

 

 

 

 

 

 

 

 

 

 

 

Технические

 

 

 

 

 

 

 

драйверы

 

 

 

 

 

 

 

 

Методы:

 

Инструменты:

 

 

Метрики:

• Анализ происхождения

 

• Инструменты управления

 

 

• Оценочная ведомость

и влияния данных

 

репозиторием метаданных

 

 

полноты метаданных

• Использование

 

• Репозитории метаданных в других

 

 

• Отдача от использования

метаданных для

 

инструментах

 

 

реестра метаданных

обработки больших

 

 

 

 

• Отчеты об использовании

данных

 

 

 

 

метаданных

 

 

 

 

 

 

 

• Оценочная ведомость

 

 

 

 

 

 

 

качества метаданных

 

 

 

 

 

 

 

 

(П) Планирование, (К) Контроль, (Р) Разработка, (О) Операции

 

 

 

 

hang

e

 

 

 

 

 

 

 

C

 

E

 

 

 

 

X

 

 

 

 

 

 

-

 

 

 

 

 

d

 

 

F

 

 

 

 

 

 

t

 

 

D

 

 

 

 

 

 

 

i

 

 

 

 

 

 

 

 

 

r

P

 

 

 

 

 

NOW!

o

 

 

 

 

 

 

 

 

 

 

 

 

BUY

 

 

 

 

 

 

to

 

 

 

 

 

w Click

 

 

 

 

 

m

 

 

 

 

 

 

w

 

 

 

 

 

 

 

 

 

 

w

 

 

 

 

 

 

 

o

 

 

.

 

 

 

 

 

.c

 

 

 

p

 

 

 

 

g

 

 

 

 

 

df

 

 

n

e

 

 

 

 

 

-x cha

 

 

 

 

Рисунок 84.

Контекстная диаграмма: метаданные

Управление метаданными

521

 

 

 

 

hang

e

 

 

 

 

 

 

 

C

 

E

 

 

 

 

X

 

 

 

 

 

 

-

 

 

 

 

 

d

 

 

F

 

 

 

 

 

 

t

 

 

D

 

 

 

 

 

 

 

i

 

 

 

 

 

 

 

 

 

r

P

 

 

 

 

 

NOW!

o

 

 

 

 

 

 

 

 

 

 

 

 

BUY

 

 

 

 

 

 

to

 

 

 

 

 

w Click

 

 

 

 

 

m

 

 

 

 

 

 

w

 

 

 

 

 

 

 

 

 

 

w

 

 

 

 

 

 

 

o

 

 

.

 

 

 

 

 

.c

 

 

 

p

 

 

 

 

g

 

 

 

 

 

df

 

 

n

e

 

 

 

 

 

-xcha

 

 

 

 

 

 

 

 

 

hang

e

 

 

 

 

 

 

 

 

C

 

E

 

 

 

 

 

X

 

 

 

 

 

 

 

-

 

 

 

 

 

d

 

 

 

F

 

 

 

 

 

 

t

 

 

 

D

 

 

 

 

 

 

 

i

 

 

 

 

 

 

 

 

 

 

r

 

P

 

 

 

 

 

NOW!

o

 

 

 

 

 

 

 

 

 

 

 

 

 

 

BUY

 

 

 

 

 

 

 

to

 

 

 

 

 

 

w Click

 

 

 

 

 

m

 

 

 

 

 

 

 

w

 

 

 

 

 

 

 

 

 

 

 

w

 

 

 

 

 

 

 

o

 

 

 

 

 

 

 

 

 

 

 

 

 

.

 

 

 

 

 

.c

 

 

 

 

p

 

 

 

 

g

 

 

 

 

 

 

df

 

 

n

e

 

 

 

 

 

 

-x cha

 

 

 

 

определений метаданных регламентируется стандартом ISO/IEC 11179 «Регистры метаданных»1 В XML и ряде других форматов документов без метаданных невозможно интерпретировать и ис пользовать остальные данные. В других случаях метаданные используются для маркировки дан ных, предназначенных для обмена, сведениями об их принадлежности, авторстве, конфиденци альности и т. д. (см. главу 8).

Как и любые другие данные, метаданные нуждаются в управлении. С ростом способности организаций собирать и накапливать колоссальные массивы данных роль метаданных в сфере управления данными неуклонно возрастает. Чтобы быть «управляемой на основе данных» (datadriven) организация должна быть «управляемой на основе метаданных» (metadata-driven).

1.1 Бизнес-драйверы

Без метаданных управление остальными данными невозможно. Однако и сами метаданные тре буют управления. Надежные и качественно управляемые метаданные обеспечивают:

повышение доверия к данным за счет предоставления их контекста и поддержки возможно сти измерения качества данных;

повышение ценности стратегической информации (в частности, основных данных) за счет ее многоцелевого использования;

повышение эффективности работы информационных систем через выявление и устранение избыточных данных и процессов;

своевременное выявление и отбраковку устаревших или неверных данных;

оптимизацию планирования и проведения статистических исследований;

лучшее взаимопонимание между потребителями данных и специалистами по ИТ;

точность вводных данных, используемых для аналитического прогнозирования последствий, что способствует минимизации риска провала проектов;

ускорение внедрения за счет сокращения времени, уходящего на разработку систем;

снижение затрат на обучение и негативные последствия текучки кадров за счет исчерпываю щей документации данных, включая контекст, источники и историю;

выполнение требований действующего законодательства и надзорных органов.

Метаданные также способствуют согласованности и непротиворечивости данных и единообраз ному представлению информации, оптимизации потоков данных и рабочих процессов, надле жащей защите чувствительной информации, что особенно важно для отраслей с повышенными нормативно-правовыми требованиями.

Чем выше качество данных, тем выше их ценность для организации. Качество данных за висит от руководства данными. Метаданные играют критически важную роль в осуществле нии руководства данными, поскольку без них невозможно понимание данных в контексте

1 См.: ГОСТ Р ИСО/МЭК 11179. Информационная технология (ИТ). Регистры метаданных (РМД). — Примеч. пер.

522

Г Л А В А 12