9068

Вывод: с каждой итерацией ошибка уменьшается

52

2.4 Контрольные вопросы

Контрольные вопросы к разделу 1.

1.Области применения методов машинного обучения.

2.Характерные особенности и Data Mining (DM):

3.Knowledge Discovery in Databases (KDD).

4.Причины распространения KDD и Data Mining.

5.Как вы понимаете термин «качество данных»?

6.Почему оценке качества данных уделяют большое внимание на всех этапах подготовки данных к анализу?

7.Каковы основные цели оценки качества данных?

8.Какие выводы о качестве данных могут быть сделаны по результатам его оценки?

9.Какие аспекты качества данных можно оценить с помощью профайлинга?

10.Какие приемы можно использовать для визуальной оценки качества данных с помощью таблиц?

11.Какие проблемы в данных можно выявить с помощью графиков и диаграмм?

12.Зачем необходимо выполнять очистку данных?

13.Что включает в себя трансформация данных?

14.В чем отличие трансформации данных от предобработки и очистки?

15.Что понимается в данных под пропущенным значением?

16.Почему пропущенные значения в анализируемых данных необходимо восста-

навливать?

Контрольные вопросы к разделу 2.

1.Каковы цели и задачи визуализации данных в аналитических технологиях?

2.Для чего используется визуализация источников данных?

3.Зачем нужен визуальный контроль данных, после их загрузки в аналитическое приложение?

4.Чем отличаются средства визуализации общего назначения от специализиро-

ванных?

53

5.Какие средства визуализации данных относят к визуализаторам общего назна-

чения и почему?

6.В чем отличие графика от диаграммы? Какие виды диаграмм вам известны?

7.По какому принципу строится гистограмма, и какую информацию о поведе-

нии исследуемой величины из нее можно извлечь?

8.Для каких целей служит визуализатор Статистика?

9.Почему визуализация многомерных данных может оказаться проблематичной c точки зрения пользователя?

10.В чем заключается OLAP-анализ и каковы его цели?

11.Какова структура OLAP-куба?

12.Какие манипуляции с измерениями можно производить, чтобы сделать пред-

ставление куба более информативным?

13.В чем заключаются операции транспонирования и детализации, каковы их це-

ли?

14.Что такое кросс-диаграмма, и для каких целей она используется?

Контрольные вопросы к разделу 3.

1.Дайте определения KDD и Data Mining.

2.Дайте определения задачам Data Mining (классификация, регрессия, кластери-

зация, ассоциативные правила).

3.Какие существуют алгоритмы Data Mining.

4.Способы машинного обучения: обучение с учителем и без учителя. Методы формирования тестовой и обучающей выборки.

5.В чем суть модели Дерево решений.

6.Алгоритмы построения деревьев решений.

7.Описание алгоритмов ID3 и С4.5. Их достоинства и недостатки.

8.Каким свойством деревьев решений обусловлена их высокая объясняющая способность.

9.Критерии оптимизации деревьев решений (упрощение деревьев решений)

Контрольные вопросы к разделу 4.

54

1.Что такое ассоциация?

2.Что представляет собой транзакция в теории ассоциативных правил?

3.Как определяются поддержка и достоверность, и какова их роль в процессе поиска ассоциативных правил?

4.Чем определяется значимость и полезность ассоциативных правил, и какими показателями она характеризуется?

5.Почему стратегия поиска ассоциативных правил путем проверки поддержки и достоверности всех возможных ассоциаций, полученных на основе набора транзакций, неэффективна?

6.Чем определяется частота предметного набора, и какие предметные наборы называются популярными (или частыми)?

7.Какую роль играют популярные наборы в процессе поиска ассоциативных правил с помощью алгоритма a priori?

8.Какое свойство предметных наборов лежит в основе алгоритма a priori?

9.Как образуется иерархия предметов в процессе поиска ассоциативных правил?

Приведите примеры.

10.Каковы преимущества и недостатки поиска ассоциативных правил при рас-

смотрении иерархии предметов?

11.На каких иерархических уровнях чаще встречаются предметы, ассоциации между которыми имеют большую поддержку?

12.Почему, если объект встречается редко на верхних уровнях иерархии, анали-

зировать ассоциации с его потомками на нижних уровнях не имеет смысла?

13.Для каких целей применяют понижение порога минимальной поддержки для нижних уровней иерархии?

Контрольные вопросы к разделу 5.

1.Что представляет искусственная нейронная сеть?

2.Дайте определение искусственного нейрона.

3.Какая операция выполняется в теле нейрона над сигналами, поступающими по входным связям?

55

4.Перечислите и поясните применяемые виды активационных функций.

5.В чем заключается процесс обучения нейронной сети?

6.Что называют многослойным персептроном?

7.Какое основное отличие искусственных нейронов, которые используются для построения нейронных сетей, получивших название персептронов?

8.К какому типу алгоритмов обучения относится алгоритм обратного рас-

пространения, и в чем отличительная черта этих алгоритмов.

9.Для каких целей используется визуализация выходной ошибки модели в

процессе обучения?

10.Почему в процессе анализа данных требуется контроль качества использу-

емых аналитических моделей?

11.Для каких моделей используются таблица сопряженности и диаграмма рас-

сеяния и как с их помощью оценить точность модели?

56

3. Методические указания по подготовке к практическим занятиям

3.1Общие рекомендации по подготовке к практическим занятиям

Входе подготовки к практическим занятиям необходимо изучать основную ли-

тературу, познакомиться с дополнительной литературой. При этом необходимо учесть рекомендации преподавателя и требования учебной программы.

В соответствии с этими рекомендациями и подготовкой полезно дорабатывать свои конспекты лекции, делая в нем соответствующие записи из литературы, реко-

мендованной преподавателем и предусмотренной учебной программой. Целесооб-

разно также подготовить тезисы для возможных выступлений по всем учебным во-

просам, выносимым на практическое занятие.

При подготовке к занятиям можно также подготовить краткие конспекты по вопросам темы. Очень эффективным приемом является составление схем и презен-

таций.

Готовясь к докладу или реферативному сообщению, желательно обращаться за методической помощью к преподавателю. Составить план-конспект своего выступ-

ления. Продумать примеры с целью обеспечения тесной связи изучаемой теории с реальной жизнью. Своевременное и качественное выполнение самостоятельной ра-

боты базируется на соблюдении настоящих рекомендаций и изучении рекомендо-

ванной литературы.

3.2 Примеры задач для практических занятий

Задание для раздела 1.

Рассмотрим проведение аудита данных из текстового файла сотовые оперето-

ры.txt и готовый сценарий audit.ded. В этом файле представлена статистика опроса клиентов телекоммуникационных компаний, полученная в ходе исследования воз-

можности смены одного сотового оператора другим в зависимости от оценки крите-

риев предлагаемых ими услуг. Фрагмент множества данных файла сотовые опере-

торы.txt представлен в таблице.

57

Таблица. Фрагмент набора данных сотовые операторы.txt

При проведении аудита нужно ответить на следующие вопросы:

есть ли в данных дубликаты, противоречия, пропуски, аномалии?

какова доля неполных и некорректных записей в общем объеме?

какие поля представляют интерес для анализа?

интегральная оценка качества данных.

Шаг 1 – изучение статистики

Рис. 21. Статистика по набору данных сотовые опереторы.txt

58

В двух столбцах (рис. 21) присутствуют пропущенные значения. Это значит,

что необходимой операцией будет работа с пропусками.

Шаг 2 – дубликаты и противоречия

Противоречивыми являются группы записей, в которых содержатся строки с одинаковыми входными факторами, но разными выходными. В такой ситуации не-

понятно, какое результирующее значение верно. Противоречивые данные исключа-

ются.

Дубликаты – это записи с одинаковыми входными и выходными данными.

Такие данные приводят к избыточности, поэтому дублирующая информация исклю-

чается.

Для автоматизации процесса поиска дубликатов и противоречий предназначен специальный обработчик Дубликаты и противоречия. Он находится в группе уз-

лов Очистка данных мастера обработки.

Настройка параметров обработчика заключается в указании назначения полей.

Суть обработки состоит в том, что определяются входные и выходные поля. Алго-

ритм ищет во всем наборе записи, для которых одинаковым входным полям соот-

ветствуют одинаковые (дубликаты) или разные (противоречия) выходные поля. На основании этой информации создаются два дополнительных логических поля – Дуб-

ликат и Противоречие, принимающие значения истина или ложь, и дополнитель-

ные числовые поля Группа дубликатов и Группа противоречий, в которые записы-

ваются номер группы дубликатов и группы противоречий, содержащих данную за-

пись. Если запись не является дубликатом или противоречием, то соответствующие поля будут пустыми (null).

В нашем случае целесообразно искать дубликаты в записях со всеми столбца-

ми. Это будут входы (рис. 22). Противоречия разумнее искать по выходному полю

59

Возможна смена оператора, т.е. если встретятся два полностью одинаковых по ха-

рактеристикам телефонных звонков клиента, а поле Возможна смена оператора у

них будет различаться, то это сигнал о вероятной ошибке в данных.

Рис. 22. Назначения полей в обработчике Дубликаты и противоречия При использовании обработчика Дубликаты и противоречия возможно

отображение результатов обработки с помощью одноименного визуализатора Дуб-

ликаты и противоречия (рис. 23).

Рис. 23. Визуализатор «Дубликаты и противоречия» В нашем случае было найдено 27 противоречий и 22 группы дубликатов с об-

щим числом 46 записей. Примем решение удалить противоречия, а от каждой груп-

пы дубликатов оставить одну запись.

Наиболее простой способ сделать это состоит в следующем.

60