книги из ГПНТБ / Сакман Г. Решение задач в системе человек - ЭВМ пер. с англ

Продолжение табл. 9.3

Продолжение табл. 9.3

отладки программы». Как и следовало ожидать, курсан­ ты оценивали время ожидания в режиме пакетной обра­ ботки большей величиной, чем в режиме разделения времени, причем это превышение составляло для всей выборки~ 13%. Курсанты, работающие в режиме разде­ ления времени и не обремененные задержками, связан­ ными с циклом пакетной обработки, имели возможность

Остальные статистически значимые результаты ха­ рактеризуются разбросом и спорадичностью. Однако вы­ является один бесспорно существенный фактор, связан­ ный с положительным отношением к режиму разделения времени, обнаруженным по результатам анкетного опро­ са до и после эксперимента. В литературе по психологии широкое и почти не встречающее критики проникнове­ ние сильных стереотипов в большинство или во все ха­ рактеристики объекта нередко называют «эффектом ореола»; точно так названа и переменная. Первые три пункта анкеты, касающиеся оценки вычислительных си­ стем, отражают более положительное отношение к режи­ му разделения времени. В частности, в табл. 9.3 показа­ но статистически значимое превышение оценок для ре­ жима разделения времени в отношении «Пригодности вычислительной системы» для задачи 3, «Удовлетворен­ ности решением» для задачи 3 и «Пригодности другой вычислительной системы» для задач 1 и 4. Статистиче­ ски значимых результатов с более высокими оценками режима пакетной обработки не было получено.

При подведении итогов описательных результатов сложившийся ранее расплывчатый образ приобретает определенные очертания. Анкета до и после эксперимен­ та свидетельствует о небольшом перевесе симпатий в сторону режима разделения времени, которые иногда менялись в ходе эксперимента из-за неполадок при экс­ плуатации вычислительной системы с разделением вре­ мени. Оценки эффективности деятельности, взятые из

заключений преподавателей и студенческих рабочих журналов, отражают 'почти вдвое большее число испол­ нений программы при решении стандартных задач в ре­ жиме разделения времени по сравнению с пакетной об­ работкой. По таким параметрам, как человеко-часы, оценки и общая затрата времени, они оказываются практически одинаковыми. Результаты анкеты задания подтверждают большее общее предпочтение режима разделения времени, проявленное студентами в ходе экс­ перимента, ц подчеркивают большее время ожидания при пакетной обработке. Таким образом, установлены примерно одинаковая эффективность работы в обоих режимах, меньшая стоимость вычислительной машины для пакетной обработки и сравнительно более положи­ тельное отношение к режиму разделения времени, при­ чем все это осложняется меньшей надежностью в экс­ плуатации СРВ. Такова исходная проблематика приво­ димой ниже интерпретации полученных результатов.

9.2. Интерпретация результатов

Интерпретация в первую очередь охватывает пара­ метры контроля за экспериментом, помогая определить основу анализа работы в условиях открытого и закрыто­ го доступа и отношения к этим режимам работы со сто­ роны пользователей. В заключительной части приводят­ ся основные выводы, полученные при сравнении режи­ мов разделения времени и пакетной обработки.

9.2.1. Параметры контроля за экспериментом

Вообще говоря, тщательно соблюдались и последо­ вательно выполнялись практически все правила контро­ ля за экспериментом, за исключением равноценности эксплуатации вычислительных систем с разделением времени и систем пакетной обработки. Студенты и пре­ подаватели проходили, 'безусловно, адекватный инструк­ таж по методике и представлению экспериментальных данных, что подтверждается фактически всеми резуль­ татами исследования. Объем и состав выборки остава-

лысь постоянными. Например, 414 студентов заполняли анкету до эксперимента и 403 —после эксперимента; разница вполне объяснима обычным студенческим отсе­

образцом для изучения этого фактора. Строго выдер­ живались схемы эксперимента типа «постоянной» схемы и схемы типа «качелей», а также методики регистрации и сбора данных. Результаты предварительного исследо­ вания оказались неоценимыми в отношении предупреж­ дения и устранения недостатков методик.

Выборка состояла в основном из студентов, начинаю­ щих программировать на вычислительной машине, опыт работы на машине в среднем по всей выборке со­ ставлял всего полмесяца. Наблюдалось заметное стрем­ ление к получению высоких оценок на конкурирующем фоне всего училища. Принятые в училище правила обес­ печивали самостоятельную работу каждого студента при минимальном общении с другими пользователями.

Сомнительным параметром эксперимента, не подда­ вавшимся строгому контролю, оказалась равноценная эксплуатация вычислительных систем. Хотя в режимах разделения времени и пакетной обработки использова­ лись одни и те же машина («Барроуз В 5500») и язык программирования (АЛГОЛ), оставался еще тот факт, что пакетный режим был проверен и сравнительно хоро­ шо отлажен до начала эксперимента, тогда как режим разделения времени был новым и почти не испытанным. По мере приобретения опыта методики работы с СРВ быстро менялись. По сравнению с пакетной обработкой эта система обладала меньшей надежностью, и по ряду причин при работе с разделением времени курсанты лег­ че запутывались в своих программах.

Помимо проблемы менее надежной эксплуатации, не­ обходимо обратить внимание на то, что терминалы СРВ пользовались большим спросом. Курсант не мог вос­ пользоваться терминалом тогда, когда ему хотелось, так как он должен был сообщить об этом заранее. Получал он его всего на 15 мин — короткий промежуток времени, в течение которого нередко встречались неполадки в си-

стеме. Более длительное общение с терминалами было возможно лишь в периоды пониженного спроса. Все эти трудности приводили к постоянным жалобам на экс­ плуатацию режима разделения времени в ответах кур­ сантов на свободные вопросы анкет.

Здесь следует также отметить, что режим разделения времени оказывал неблагоприятное влияние на эксплуа­ тацию пакетной обработки. Например, если работа в ре­ жиме разделения времени происходила с 7 до 10 ч вече­ ра, то некоторые задачи, предназначенные для пакетной обработки, отодвигались на задний план.

Сравнительная оценка эксплуатации вычислительных систем по анкете после эксперимента показала значи­ тельное преимущество пакетной обработки перед режи­ мом разделения времени (66% студентов оценили выше пакетную обработку, 20% высказались неопределенно и лишь 14% отдали предпочтение режиму разделения вре­ мени).

С другой стороны, режим разделения времени полу­ чил более высокие оценки за эксплуатацию вычислитель­ ной системы по отдельным заданиям. Например, по шка­ ле оценок эксплуатации вычислительной системы от 0 (очень плохо) до 9 (отлично) режим разделения време­ ни получил среднюю оценку 4,04 против средней оценки пакетной обработки 3,11. Такая картина наблюдалась для всех курсов по заданию 3; аналогичные оценки по заданию 4 составили 4,71 для режима разделения време­ ни и 3,38 для пакетной обработки. ( Эти оценки были получены только для двух последних заданий.) Приве­ денные средние различия статистически значимы на уровне выше 1%.

Таким образом, мы имеем две на первый взгляд про­ тиворечивые совокупности данных по эксплуатации вы­ числительных систем. С одной стороны, анкета после экс­ перимента свидетельствует о бесспорном предпочтении пакетной обработки в смысле эксплуатации. С другой стороны, шкалы оценок рабочих журналов отделений показывают, что СРВ имеет более высокие оценки за эксплуатацию.

Решение этой дилеммы дает словесное объяснение шкал оценок. Анкета после эксперимента специфически

связана с «надежностью эксплуатации», тогда как оцен­ ки рабочих журналов касаются не только надежности эксплуатации, но и трудностей, возникающих с задания­ ми в отделениях. Принимая во внимание все факторы, можно прийти к выводу, что результаты анкеты после эксперимента, вероятно, вполне обоснованы — эксплуа­ тация СПО была более надежной, чем СРВ. Можно сде­ лать также вывод по рабочим журналам, что оценка экс­ плуатации обоих режимов скорее приближалась к «Весьма неудовлетворительно», чем к «Отлично», и что студентам в их затруднениях с заданиями больше помо­ гал режим разделения времени.

Результат этих наблюдений с точки зрения схемы эксперимента сводится к тому, что не удалось обеспе­ чить равноценные условия эксплуатации вычислитель­ ных систем в обоих режимах. Точнее, получилось срав­ нение между относительно надежным режимом пакет­ ной обработки и несколько менее надежным режимом разделения времени, причем эксплуатация обеих систем находилась на одинаковом уровне. Эти факторы учиты­ ваются во всех дальнейших рассуждениях.

Проблема эксплуатации вычислительных машин ил­ люстрирует одну из «ловушек» экспериментирования в реальном мире. Несмотря на то что для объективного сравнения режимов разделения времени и пакетной об­ работки успешно контролировались наиболее сущест­ венные показатели, а эксперимент был правильно спла­ нирован и успешно осуществлен в рамках «реального» преподавания курсов вычислительной техники в Учили­ ще ВВС, синхронизация его во времени оказалась тако­ ва, что один из основных контролируемых параметров не мог быть выдержан строго. Поскольку исследование про­ водилось в реальных условиях, результаты представля­ ются пользователям неотразимо правдоподобными. Они считают, что такие данные не могут быть получены при более строго управляемом, но специальном и искусст­ венном экспериментировании в лаборатории. И хотя экс­ периментированию в реальном мире присущи свой риск и свои ловушки, оно за них и вознаграждает.

Сравнение открытого и закрытого доступа к машине основано на объективных показателях, полученных из студенческих рабочих журналов и заключений препода­ вателей по отделениям, в отличие от данных об отноше­ нии студентов к режимам работы. 1\ таким показателям относятся оценка за задачу, время задержки сдачи за­ дания, скорректированная оценка, человеко-часы, об­ щая затрата времени и число исполнений программы (табл. 9.2).

К интерпретации результатов работы в условиях от­ крытого и закрытого доступа можно подойти с точки зрения эффективности затрат. Здесь существуют два ос­ новных показателя: затраты на содержание вычисли­ тельной машины и трудовые затраты, выраженные в че­ ловеко-часах. Затраты на содержание вычислительной машины, определяемые хотя бы числом исполнений про­ грамм студентов, при работе в режиме разделения вре­ мени устойчиво составляют почти вдвое большую вели­ чину, чем при пакетной обработке: отношение числа ис­ полнений программы при разделении времени к соответ­ ствующей величине при пакетной обработке составляет в среднем 1,92 по всем курсам и заданиям. Этот резуль­ тат является единственным статистически значимым в табл. 9.2. Все остальные показатели работы характери­ зуются разбросом статистической значимости на уровне отдельных заданий и курсов.

Показатель в человеко-часах свидетельствует о до­ вольно устойчивом преимуществе пакетной обработки перед режимом разделения времени: для решения тесто­ вых задач в режиме разделения времени требуется в среднем на 12% больше человеко-часов. Хотя статисти­ ческая значимость средних различий в человеко-часах неустойчива (табл. 9.2), тем не менее общая тенденция прослеживается четко и выигрыш 12% человеко-часов при пакетной обработке может служить лучшей обоб­ щенной оценкой, взятой по объединенной выборке объ­ емом более 1600 человеко-заданий.

Если теперь принять во внимание меньшую надеж­ ность эксплуатации вычислительной машины в режиме разделения времени, то можно доказать, что различие в 12% может быть сведено на нет или даже смещено в направлении предпочтения режима разделения времени. Сторонники пакетной обработки могут возразить на это, что если сократить цикл или организовать «текущую» пакетную обработку, то перевес в человеко-часах снова окажется на стороне пакетной обработки. За неимением объективных методов " измерения влияния надежности системы и регулирования длительности "цикла обработ­ ки в распоряжении курсантов эти доводы должны ос­ таться предположительными. Возможно, все дело в том, что предполагаемые различия в человеко-часах при от­ крытом и закрытом доступе весьма незначительны. От­ сутствие различий по такому обобщенному показателю, как общая затрата времени, подтверждает это предпо­ ложение. С этой точки зрения не наблюдается устойчи­ вого предпочтения ни одного из режимов.

Основным показателем эффективности трудовых за­ трат курсантов является оценка за задачу. Наблюдает­ ся статистически незначимая тенденция к более высо­ ким оценкам при работе в режиме разделения времени. За 9 из 12 задач средние оценки при разделении време­ ни оказались более высокими. Обобщение по всем кур­ сам и заданиям показывает, что при разделении времени итоговая оценка выше на 4%. В отношении времени за­ держки сдачи задания и скорректированной оценки, уст­ раняющей штраф за задержку, никаких закономерно­ стей не наблюдается. Как и результаты по человекочасам, данные по оценкам за задачи не выявляют преи­ муществ ни одного из режимов работы.

Возвращаясь к первоначальному вопросу об эффек­ тивности затрат, заметим, что обобщенные объективные результаты обнаруживают один выдающийся момент. При решении стандартных задач время работы вычисли­ тельной машины в режиме пакетной обработки значи­ тельно сокращается. Поскольку затраты на содержание вычислительной машины уменьшаются, объективные по­ казатели трудовых затрат курсантов и их эффективно­ сти в обоих режимах в условиях данного эксперимента