Шкала отношений в логическом плане является наиболее совершенной и широко применяемой.
Существуют ещё номинальные шкалы, которые могут применяться только для содержательной классификации. Номинальные переменные измеряются в аспекте принадлежности к существенно различным классам.
Например, переменная по содержанию данных ИСТ может быть «измерена» по шкале со следующими категориями: финансовая, юридическая, техническая и т. д.
По характеру измеряемых величин в квалиметрии ИСТ можно различать следующие виды шкал: натуральные (число документов, сканеров, принтеров и т. д.), стоимостные (себестоимость обработки документа, стоимость поиска документа в БД, стоимость хранения файла и т. д.), удельные (коэффициент своевременности документов, коэффициент достоверности данных, процент дефектов и т. д.) и др. В этой связи система измерений КУИОТ должна обеспечить не только количественное отображение значений показателей ИОТ, но также и определение адекватного состава этих показателей. Нужен такой индикатор, который обеспечил бы адекватность определения показателей ИСТ по полноте состава, их содержанию и интенсивности проявления. Таким индикатором представляется нами дефект, который согласно нормативному документу трактуется как «невыполнение требований, связанных с предполагаемым или установленным использованием». В определённых условиях можно согласиться с расплывчатостью такого определения дефекта в международном стандарте. Но в нашем случае целесообразно уточнить его значение –
При измерении ИСТ центральным аспектом является выявление и регистрация интенсивности свойств ИСТ. Для решения задач измерения УИОТ становится недостаточным традиционного понимания интенсивности свойств в измерении. Необходимо более расширенное представление этого аспекта. Так, например, для решения задач экспериментального определения состава показателей ИСТ методом кластер-анализа необходимо измерение каждого дефекта по ряду шкал. В нашем случае это могут быть количество, время и стоимость обнаружения и исправления дефекта и др.
Для обеспечения сопоставимости результаты измерений должны удовлетворять требованиям единства измерений.
3.7. Оценка информационных систем туризма
Очень важной составляющей в совершенствовании КУИОТ является оценка ИСТ. В решении задач оценки ИСТ туризма могут быть применены эвристический, экспертный и аналитический подходы. Они базируются на измерительном, расчётном, наукометрическом и социологическом способах получения значений показателей качества. Наиболее адекватным и перспективным в задачах оценки ИОТ представляется расчётно-аналитический метод [27]. Здесь состав и значения показателей определяются путём непосредственного, прямого наблюдения, регистрации и измерения состояния реально функционирующего объекта – ИСТ. Оценка выполняется на основе набора показателей, которые по агрегированию отображаемых свойств ИСТ образуют иерархическую систему показателей.
Опорным понятием в оценке ИОТ является показатель. В методологии оценки доминирующей задачей является определение системы показателей оценки ИОТ. На этой базе проводится последующие расчёт значений показателей и комплексная оценка как отдельных этапов (участков), так и ИСТ в целом. Важным этапом в оценке является получение значений единичных фактических показателей, так как на основе указанных значений определяются значения других показателей, привлекаемых для оценки. Наиболее трудной задачей является определение адекватных первичных показателей, которые бы обладали способностью отражения не только содержания свойств ИСТ, но также и проявления интенсивности и масштабности этих свойств. Наиболее рациональным определение показателей представляется в нашем случае путём прямого наблюдения и регистрации дефектов по этапам, участкам, устройствам функционирующей ИСТ. С учётом сравнительно больших объёмов обрабатываемой информации в ИСТ регистрацию дефектов целесообразно выполнить выборочным методом. Эффективность регистрации дефектов и последующее решение задачи определяется регламентом, например, методикой заполнения «Ведомости выявленных дефектов ИСТ» [26]. Состав показателей может быть определён путём устранения неоднородности статистической структуры дефектов, например, посредством кластер-анализа, дискриминантного анализа и др.
Оценку ИОТ вообще и конкретной ИСТ в частности следует проводить с учётом содержания управления бизнес-процессами туризма, его экономическими и функциональными особенностями. Вместе с тем целесообразно определить и собственные принципы оценки ИСТ:
1. Обоснованность оценки ИСТ. Оценка выполняется только для такой ИСТ, которая способна выполнять полезные функции в соответствии с её назначением. Если ИСТ не соответствует основным требованиям, например, её продукция никем не востребована, или она не отвечает требованиям пользователей, то оценка ИСТ становится проблематичной.
2. Системность оценки. Оценка производится не отдельным показателем, а посредством системы показателей. Система показателей имеет свойство иерархичности. Показатель любого уровня обобщения определяется соответствующими показателями предшествующего иерархического уровня. Самым низким иерархическим уровнем показателей следует понимать единичные показатели. Более высокие иерархические уровни составляют групповые, интегральные, обобщённые и комплексные показатели.
3. Унифицированность единиц измерения ИСТ. При оценке двух и более ИСТ все разноразмерные показатели должны быть преобразованы и выражены в унифицированных системных единицах измерения.
4. Обязательность определения весомости показателя. При определении значения обобщённого показателя важность каждого показателя, влияющего на значение указанного показателя, должна быть отображена коэффициентом его весомости (значимости), например, в модели линейной регрессии, отображающей и реализующей расчёт значения производительности ИСТ.
5. Определённость суммы значений коэффициентов весомости. Сумма численных значений коэффициентов весомости всех показателей качества на иерархических ступенях оценки имеет одинаковое значение, например 1, или 100%.
6. Учёт эмерджентности в оценке ИСТ. Системные характеристики ИСТ обусловлены свойствами её составных частей. При рассмотрении ИСТ в целом соблюдается условие её эмерджентности, то есть на этапе синтеза ИСТ формируются её новые свойства, которые не принадлежат ни одному из элементов ИСТ в отдельности.
7. Устранение дублирующих показателей ИСТ. При количественной оценке, особенно по комплексному показателю ИСТ, недопустимо использование дублирующих показателей одного и того же свойства.
8. Обязательность эталона для оценки ИСТ. Квалиметрия ИСТ и её продукции не может быть выполнена без наличия эталона ИСТ, как компонента относительной оценки. В роли эталона ИСТ может быть принята идеальная (совершенная) ИСТ по аналогии с совершенной моделью управления ИОТ. Относительная величина значений показателя определяется путём отношения фактического значения показателя к его базовому значению.
9. Приоритет заказчика в оценке качества ИСТ. В задачах практической оценки ИСТ и её продукции приоритет в выборе определяющих показателей остаётся за рациональным потребителем (турфирмой), а не за разработчиком ИСТ. В силу того, что полезный эффект от ИСТ достигается при её эксплуатации, то при оценке ИСТ преимущественно используются показатели потребителя. Эти показатели отражают способность ИСТ соответствовать своему назначению.
10. Достоверность оценки ИСТ. Оценка ИОТ обязана давать практике обоснованные и полезные методы достоверной квалифицированной и количественной оценки различных классов ИСТ. В отношении оценки информационной продукции проблема состоит в том, что у потребителей и производителей турпродукции интересы существенно различаются. Турфирма не всегда заинтересована и часто не может создавать информационную продукцию нужного качества, а продавать турпродукт она стремится по наиболее высокой цене. Турист заинтересован в недорогой турпродукции, но вместе с тем хорошего качества. Поэтому указанные подходы к оценке продукции могут быть разными. Методы и средства оценки УИОТ должны обеспечивать достоверность оценки, отвечать методологическим принципам УИОТ, учитывать общественные интересы, гармонизировать интересы потребителей и производителей.