Научный журнал

Фундаментальные исследования

ISSN 1812-7339

"Перечень" ВАК

ИФ РИНЦ = 1,674

• Авторы
• Резюме
• Файлы
• Ключевые слова
• Литература

Петросян Г.С. 1 Титов В.А. 1

---

1 ФГБОУ ВО «Российский экономический университет имени Г.В. Плеханова»

Управление дефектами является одной из ключевых областей в тестировании программного обеспечения. Существует класс дефектов, которые принято называть плавающими. Одной из наиболее сложных задач при работе с данными дефектами является их локализация. В настоящей работе описываются две модели поиска факторов, оказывающих влияние на частоту проявления плавающего дефекта. Первая модель представляет собой проверку гипотезы о независимости двух случайных величин (проявление дефекта и некоторый внешний фактор) при помощи критерия хи-квадрат. В основе второй модели лежит аппарат одномерного дисперсионного анализа (ANOVA). Каждая из математических моделей сопровождается примерами, а также программным кодом R. С помощью приведенных скриптов на языке R производится ввод исходных данных, тестирование статистических гипотез и построение графиков. Предложенные методы предназначены преимущественно для разработчиков программного обеспечения, также результаты работы могут быть использованы в практической деятельности специалистов по ручному, автоматизированному и нагрузочному тестированию.

Статья в формате PDF

0 KB

тестирование ПО

плавающие дефекты

тестирование статистических гипотез

таблицы сопряженности

критерий хи-квадрат

одномерный дисперсионный анализ

язык программирования R

1. Браунли К.А. Статистическая теория и методология в науке и технике / К.А. Браунли; пер. с анг. М.С. Никулиной, науч. ред. Л.Н. Большевой. – М.: Наука, 1977. – 408 с.

2. Петросян Г.С., Титов В.А. Анализ плавающих дефектов в прикладном программном обеспечении с использованием вероятностных методов // Фундаментальные исследования. – 2016. – № 8–2. – С. 262–266.

3. Петросян Г.С., Титов В.А. Оптимизация процессов тестирования автоматизированных систем при помощи модели TPINEXT // Международный журнал прикладных и фундаментальных исследований. – 2016. – № 11–5. – С. 998–998.

4. Henry Scheffe. The Analysis of Variance. – New York: John Wiley and Sons, 1959. – 267 p.

5. Julian J. Faraway. Practical Regression and Anovausing R [Электронный ресурс]. – Режим доступа: https://cran.r-project.org/doc/contrib/Faraway-PRA.pdf (дата обращения: 20.02.2017).

6. The R Manuals [Электронный ресурс]. – Режим доступа: https://cran.r-project.org/manuals.html (дата обращения: 20.02.2017).

Дефектом в программном обеспечении принято называть несоответствие ПО установленным или предполагаемым требованиям. Примерами дефектов ПО могут служить неверно рассчитанные платежи по кредитам, сбои в работе карточного процессинга в часы пиковой нагрузки, некорректная тарификация абонентов оператора сотовой связи. Одной из основных задач в тестировании и обеспечении качества ПО является работа с дефектами на всех этапах жизненного цикла: анализ и локализация, описание, проверка исправления. Особо сложной представляется задача анализа плавающих дефектов. Особенность данных дефектов заключается в том, что они воспроизводятся лишь с определенной частотой. Иными словами, отсутствует однозначный сценарий, который приводил бы к проявлению ошибки в 100 % случаев.

Работа с плавающими дефектами является одной из наиболее неразработанных проблем в современной литературе по тестированию и обеспечению качества. Также в существующих на данный момент инструментальных средствах тестирования отсутствует функциональность для работы с данным видом дефектов.

Проблема плавающих дефектов подробно рассматривается в работе [2]: дано определение плавающих дефектов, приведена их классификация, рассмотрены основные особенности и риски, связанные с управлением данными дефектами.

Также в работе [2] предлагается решение следующих задач:

- Грамотное описание дефекта.

- Оценка критичности.

Для решения данных задач был использован аппарат теории вероятностей и математической статистики.

Настоящая статья является продолжением работы [2]. Цель статьи – разработка двух математических моделей для локализации плавающего дефекта. Актуальность статьи объясняется тем, что локализация любого дефекта является первым этапом в процессе его исправления.

Перейдём к рассмотрению первой модели.

Предположим, имеется некоторый внешний фактор, который может находиться только в одном из двух различных состояний. Требуется проверить предположение о том, что данный фактор оказывает влияние на вероятность проявления дефекта.

Пусть р1 – вероятность проявления дефекта при состоянии 1 внешнего фактора, а р2 – вероятность проявления дефекта, когда данный фактор находится в состоянии 2.

Проверяется гипотеза H0, утверждающая, что вероятности проявления дефекта не отличаются в зависимости от рассматриваемого фактора.

Для проверки данной гипотезы осуществим несколько попыток воспроизвести дефект при каждом из двух состояний внешнего фактора.

Введём следующие обозначения:

- – количество раз, когда дефект воспроизвёлся при состоянии i фактора (i = 1, 2);

- – количество раз, когда дефект не воспроизвёлся при состоянии i фактора (i = 1, 2);

- – общее число испытаний при состоянии i фактора (i = 1, 2);

- – общее число испытаний, в которых дефект проявился;

- – общее число испытаний, в которых дефект не проявился;

- – общее число испытаний.

Результаты экспериментов удобно представить в виде таблицы сопряженности (табл. 1).

Проверим условия (1) и (2).

Следовательно, для проверки гипотезы можно воспользоваться критерием хи-квадрат.

Из последнего неравенства следует, что гипотеза H0 принимается. Это означает, что миграция данных о клиентах в новую MDM не оказывает значимого влияния на проявление плавающего дефекта. Дефект, вероятнее всего, относится к системе оценки рисков либо к ESB.

Продемонстрируем решение данной задачи в R при помощи расчета p-значения. Выполним следующий скрипт R [6]:

defects<- matrix(c(12, 38, 7, 43), nrow = 2, byrow = TRUE)

chisq.test(defects, correct=FALSE) # тест хи-квадрат

В результате исполнения скрипта будут получены следующие результаты (рис. 1).

Данные результаты необходимо интерпретировать следующим образом:

- X-squared – это величина , рассчитанная по формуле (3);

- p-value – это вероятность того, что случайная величина окажется больше либо равна .

Поскольку , то гипотеза H0 принимается.

Проиллюстрируем тестирование гипотезы графически, выполнив следующий скрипт [6]:

Рис. 2. График плотности вероятности χ2(1) с закрашенной критической областью, с отмеченными на графике расчётным и критическим значениями

В основе второй модели, разработанной в рамках данной статьи, лежит аппарат одномерного дисперсионного анализа (ANOVA).

Рассмотрим внешний фактор, который может находиться в одном из различных состояний. Обозначим через mi – среднее число по попыток до воспроизведения дефекта при i состоянии фактора, i = 1, 2,…,l.

Требуется проверить следующую гипотезу:

Для проверки гипотезы H0 осуществим nk испытаний для каждого из возможных состояний k = 1, 2…l фактора. Результат каждого испытания – число попыток до проявления дефекта.

Введём следующие обозначения:

- nk – число наблюдений при состоянии k фактора;

- – общее число наблюдений.

Доказано [4], что:

,

где

- – сумма квадратов отклонений выборочных средних от общего среднего ;

- – сумма квадратов отклонений наблюдений от выборочных средних групп (внутри групп);

- – распределение Фишера с l – 1 и n – l степенями свободы.

Расчётное значение может быть рассчитано по следующей формуле:

(4)

Если , то гипотеза H0 не противоречит результатам наблюдений и принимается.

Если , то гипотеза H0 отклоняется, и следует считать, что среди значений имеется хотя бы два не равных друг другу.

В формулах выше – критическая точка распределения Фишера с l – 1 и n – l степенями свободы при уровне значимости α.

Вернёмся к примеру с риск-системой. Проверим предположение, что на вероятность проявления дефекта оказывает влияние нагрузка на систему (табл. 3).

Таблица 3

Статистика проявления дефекта в зависимости от уровня нагрузки

Осуществим необходимые расчёты для проверки гипотезы H0:

l = 4,

l – 1 = 3,

n – l = 20,

Q1 = 46,17,

Q2 = 59,67,

H0 в нашем случае отклоняется и принимается гипотеза H1. Можно сделать вывод о значимо различных результатах испытаний при различных уровнях нагрузки. Это означает, что нагрузка на систему оказывает влияние на вероятность проявления дефекта.

Выполним следующий скрипт в R [5]:

Level1<-c(4,2,3,5,5,3) # вектор данных для уровня нагрузки 1

Level2<-c(6,5,4,7,6,8) # вектор данных для уровня нагрузки 2

Level3<-c(7,9,8,7,8,6) # вектор данных для уровня нагрузки 3

Level4<-c(1,7,3,8,5,7) # вектор данных для уровня нагрузки 4

# F-тест

Combined_Groups<-data.frame(cbind(Level1, Level2, Level3, Level4))

Stacked_Groups<-stack(Combined_Groups)

Anova_Results<-aov(values ~ ind, data = Stacked_Groups)

summary(Anova_Results)

Будут получены следующие результаты (рис. 3).

Интерпретация результатов выполнения скрипта:

- Fvalue – величина Fрасч, вычисленная по формуле (4).

- Pr(> F) – это вероятность того, что случайная величина F окажется больше либо равна Fрасч.

Снова получаем, что принимается гипотеза H1.

Рис. 4. Плотность распределения F(2,15)с закрашенной критической областью, с отмеченными на графике расчётным и критическим значениями

Рис. 5. Диаграмма размаха в рамках примера с уровнями нагрузки

Выполним следующий скрипт R для построения диаграммы размаха, чтобы показать неоднородность наблюдений при разных уровнях нагрузки:

boxplot(values ~ ind, data = Stacked_Groups, xlab="Уровень нагрузки", ylab="Количество попыток до проявления дефекта")

Таким образом, разработаны два инструментальных средства на языке программирования R, которые могут быть использованы для локализации плавающих дефектов в цепочке из нескольких автоматизированных систем либо в отдельной системе.

Данные инструментальные средства могут быть использованы в практической деятельности разработчиков и специалистов по тестированию, а также в учебной деятельности. Внедрение данных средств можно рассматривать как этап оптимизации процессов тестирования с использованием методологии TPINext [3] (рассмотренные в статье модели и инструментальные средства соответствуют десятой ключевой области TPINext – «Управление дефектами»).

Библиографическая ссылка