Scientific journal
Fundamental research
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,674

THE CHOICE OF ASSESSMENT METHOD OF THE MATRIX OF LOADINGS IN FACTOR ANALYSIS AND ALGORITHM EVALUATION IN THE ABSENCE OF SOME SPECIFIC FACTORS

Orlova I.V. 1 Turundaevskiy V.B. 2
1 Financial University under the Government of the Russian Federation
2 Moscow state University of Economics
This paper makes a choice between the two most used methods in practice evaluation of the matrix of loadings: principal axis and maximum likelihood method Lawley. Due to a number of reasons, it is recommended to use the maximum likelihood method. However, the method cannot be used if the variance of some specific factors equal to zero. We propose a method of the solution of the problem in this case. The meaning of the method consists in adding to the original artificially generated variables specific factors, in order to transformed data it was possible to replace the maximum likelihood method. The proposed method is suitable for use and in the case of collinearity source characteristics that enhances the use of factor analysis. The article contains 6 subsections: 1. Introduction. 2. The choice of assessment method matrix of loadings on the common facto-ry. 3. Estimation of the matrices L and V. 4. The estimated number of common factors. 5. Case of a degenerate distribution.
observable traits
covariance matrix
correlation matrix
the sample covariance matrix
factor analysis
General factors
specific factors
the matrix of loadings on the factors
degenerate distribution
maximum likelihood method
the distribution Wishart
1. Dubrov A.M., Turundaevskij V.B., Frenkel A.A. O zadachah faktornogo analiza pri otsutstvii chasti specificheskih faktorov // Uchjonye zapiski po statistike. t. 33. Prikladnoj mnogomernyj statisticheskij analiz. M.: Nauka, 1978.
2. Okun Ja. Faktornyj analiz: per. s polsk. M.: Sta tistika, 1974.
3. Harman G. Sovremennyj faktornyj analiz. M.: Sta tistika, 1972.
4. Lawley D.N., Maxwell A.E. Factor Analysis as a Statistical Method, 2nd ed. London: Butterworths, 1971.
5. Lawley D.N. Some new results in maximum likelihood factor analysis. Proceeding of Royal Society of Edinburgh, 1966–1967, v. A67.

1. Пусть x1, x2, …, xp – p наблюдаемых признаков, orlova01.wmf – результаты i-го наблюдения признаков, i = 1, 2, …, n, Х = (xij) – матрица наблюдений (исходных данных). В факторном анализе предполагается, что xj является линейной комбинацией m линейно независимых факторов, так называемых «общих факторов» f1, f2, …, fm, плюс «специфический» для данного признака фактор ei, некоррелированный ни с общими факторами, ни с другими специфическими факторами,

orlova02.wmf (1)

Будем считать xi центрированными, а факторы – ортогональными:

M(xi) = 0; M(fj) = 0;

M(ei) = 0; σ2(fj) = 1;

σ2(ei) = vi; cov(fi, fj) = 0.

Общие факторы fj являются «причиной» корреляций между признаками xi. Эти факторы представляют собой непосредственно не измеряемые, скрытые (латентные) переменные, в той или иной мере связанные с исходными наблюдаемыми переменными. Ковариационная матрица ∑ исходных признаков xi, в соответствии с моделью факторного анализа (1), может быть представлена в виде

orlova03.wmf (2)

где L = (lij) – матрица нагрузок на общие факторы, i = 1, 2, …, p, j = 1, 2, …, m; V – диагональная матрица дисперсий специфических факторов ei. Диагональные элементы матрицы orlova04.wmf представляют собой дисперсии признаков, объясняемые m общими факторами. Эти элементы называются общностями, а сама матрица ∑+ – редуцированной корреляционной матрицей.

Выбор метода оценки матрицы нагрузок на общие факторы

Оценки матрицы нагрузок L обычно получают одним из двух способов: методом главных осей или методом максимального правдоподобия [1, 2, 4]. В методе главных осей в качестве оценок матрицы нагрузок выбирают первые m собственных векторов редуцированной корреляционной матрицы ∑+, соответствующие наибольшим собственным значениям матрицы ∑+. В методе максимального правдоподобия оценка матрицы нагрузок получается путём максимизации функции правдоподобия, считая, что вектор наблюдаемых признаков orlova05.wmf имеет многомерное нормальное распределение. Хотя оба метода направлены на максимальное приближение внедиагональных элементов корреляционной матрицы, тем не менее методы дают несколько различные результаты. При этом, как показали результаты численного моделирования, метод максимального правдоподобия приближает корреляционную матрицу немного лучше метода главных осей, даже если вектор наблюдаемых переменных orlova06.wmfне имеет многомерное нормальное распределение. При этом метод максимального правдоподобия имеет под собой строгое математическое обоснование и оценки максимального правдоподобия обладают рядом хороших свойств, как-то: состоятельность, асимптотическая эффективность и асимптотическая несмещённость. Поэтому выбор метода максимального правдоподобия является предпочтительным. Однако метод максимального правдоподобия для оценки матрицы нагрузок не может применяться в некоторых ситуациях, например когда дисперсии специфических факторов равны нулю. В этой ситуации нами предлагается добавить в процесс оценивания преобразование исходных данных, с тем чтобы к преобразованным данным можно было применить метод максимального правдоподобия. Рассмотрим подробнее метод решения задач факторного анализа в этих ситуациях.

При практическом использовании факторного анализа часто возникают следующие ситуации:

1) некоторые специфические факторы отсутствуют в факторной модели;

2) выборочная ковариационная матрица исходных переменных не является положительно определенной.

Пусть orlova07.wmf – выборка из р-мерной нормальной совокупности N (0, ∑).

Допустим, что вектор orlova08.wmf генеральной совокупности удовлетворяет модели факторного анализа (1)

orlova09.wmf (3)

где orlova10.wmf – вектор наблюдаемых переменных, orlova11.wmf orlova12.wmf – векторы общих и специфических факторов соответственно, не наблюдаемые непосредственно; L = (ljk) – матрица нагрузок orlova13.wmf на общие факторы.

В модели (3) предполагается, что (m + p)-мерный вектор факторов orlova14.wmf имеет нулевое математическое ожидание и ковариационная матрица orlova15.wmf имеет вид

orlova16.wmf

где orlova17.wmf – единичная матрица; orlova18.wmf – диагональная матрица.

Из модели (3) вытекает, что ковариационная матрица вектора orlova19.wmf равна

orlova20.wmf (4)

В приложениях факторного анализа возникают следующие задачи [1]:

1. Получение оценок матриц L и V.

2. Оценка числа общих факторов m.

3. Решение первых двух задач в условиях сильной коррелированности переменных, когда некоторые из них являются линейными комбинациями остальных.

Обозначим через S выборочную ковариационную матрицу вектора orlova21.wmf.

Допустим, что ковариационная матрица ∑ не вырождена. Тогда матрица S имеет распределение Уишарта, и оценка максимального правдоподобия матриц L и V получается из условия максимизации функции Z0 [4, 5]:

orlova22.wmf (5)

В литературе описаны два основных подхода к решению задачи максимизации функции Z0 [2, 3, 4]. В обоих известных методах, основанных на них, предполагается, что все оценки дисперсий специфических факторов orlova23.wmf отличны от нуля. Однако в практических исследованиях встречаются такие матрицы S, для которых некоторые оценки orlova24.wmf близки к нулю. Это может явиться следствием одной из следующих причин:

a) в модели (3) некоторые дисперсии специфических факторов vj равны нулю, т.е. размерность вектора факторов orlova25.wmf меньше m + р. В данной ситуации при любом объеме выборки некоторые оценки orlova26.wmf могут быть близки к нулю;

б) в модели (3) некоторые vj близки к нулю; в этом случае, если объем выборки был бы достаточно велик, все оценки дисперсий orlova27.wmf были бы больше нуля.

В практических расчетах матрица S иногда не является положительно определенной. Это может быть вызвано тем, что

а) в модели факторного анализа (3) больше, чем m, специфических факторов имеют нулевую дисперсию (orlova28.wmf имеет вырожденное распределение);

б) определитель |∑| близок к нулю, и вследствие недостаточно большого объема выборки или ошибок округления матрица S может оказаться не положительно определённой.

Если S не является положительно определенной, то плотность распределения Уишарта равна нулю и мы не можем воспользоваться для оценки матриц нагрузок L и V функцией максимального правдоподобия [4].

Поскольку проверка гипотез о числе общих факторов производится после того, как определены оценки orlova29.wmf и orlova30.wmf [4], то в рассматриваемых ситуациях мы не сможем проверить эти гипотезы. Если максимум функции правдоподобия (5) ищется методом Лоули [4], то число общих факторов m и начальные приближения оценок orlova31.wmf и orlova32.wmf часто находят центроидным методом. Следует отметить, что в рассматриваемых ситуациях мы не сможем оценить число общих факторов также и в центроидном методе.

Итак, в ряде случаев нельзя использовать разработанный аппарат оценок максимального правдоподобия матриц orlova33.wmf и orlova34.wmf и, соответственно, проверить гипотезы о числе общих факторов.

Для решения этих задач можно предложить искусственно увеличивать дисперсии специфических факторов.

Получение оценок матриц L и V

Пусть orlova35.wmf – случайная величина с диагональной ковариационной матрицей, не зависящая от orlova36.wmf. Обозначим через orlova37.wmf выборочную ковариационную матрицу случайного вектора orlova38.wmf и через orlova39.wmf – матрицу выборочных коэффициентов ковариации векторов orlova40.wmf и orlova41.wmf,

orlova42.wmf

где orlova43.wmf, orlova44.wmf – векторы значений orlova45.wmf и orlova46.wmf в i-м наблюдении, n + 1 – объем выборки.

Для того, чтобы дисперсии всех специфических факторов сделать отличными от нуля, прибавим к обеим частям модели (2) вектор orlova47.wmf. Тогда модель (2) примет вид

orlova48.wmf (6)

где orlova49.wmf orlova50.wmf

Матрицы нагрузок на общие факторы L в моделях (3) и (6) совпадают.

Вектор orlova51.wmf имеет многомерное нормальное распределение N(0, Σ0), где Σ0 = Σ + Δ.

Выберем диагональную матрицу Δ таким образом, чтобы S0 – выборочная ковариационная матрица вектора orlova52.wmf стала положительно определенной и оценки дисперсий всех специфических факторов модели (6) стали отличными от нуля.

Выборочная ковариационная матрица S0 вектора orlova53.wmf будет иметь распределение Уишарта w(Σ0, n). Так как S0 положительно определена, плотность распределения Уишарта в точке S0 отлична от нуля [4]. Следовательно, для оценки матриц L и V0 модели (6) применим метод максимального правдоподобия. Функцию максимального правдоподобия получим, заменив в (5) orlova54.wmf на orlova55.wmf, S на S0 и orlova56.wmf на orlova57.wmf. В силу выбора Δ оценки дисперсий специфических факторов положительны. Поэтому для максимизации функции правдоподобия можно воспользоваться любым из двух описанных в литературе подходов. При этом мы получим состоятельные, асимптотически несмещенные и эффективные оценки матриц L и V0. Оценка матрицы нагрузок V на специфические факторы в модели (3) определяется из соотношения

orlova58.wmf.

В практических задачах часто приходится рассматривать в качестве исходной выборочную корреляционную, а не ковариационную матрицу переменных. В этом случае полученную оценку матрицы нагрузок на общие факторы вектора orlova59.wmf необходимо преобразовать, чтобы получить оценку матрицы нагрузок на вектор orlova60.wmf.

Пусть orlova61.wmf – оценка матрицы нагрузок на общие факторы нормированного вектора orlova62.wmf, orlova63.wmf и orlova64.wmf – оценки корреляционных матриц нормированных векторов orlova65.wmf и orlova66.wmf соответственно.

Очевидно,

orlova67.wmf (7)

где orlova68.wmf

Из (7) получаем

orlova69.wmf

Считая orlova70.wmf не зависящей от выборки, легко показать, что

orlova71.wmf

где orlova72.wmf – оценка матрицы L модели (6).

Оценка orlova73.wmf вычисляется по формуле

orlova74.wmf

Оценка числа общих факторов

Для проверки гипотез о числе общих факторов используется статистика [4]

orlova75.wmf

Так как матрицы S0 и orlova76.wmf не вырождены, то можно теперь для модели (6) проверить гипотезы о числе общих факторов.

Числа общих факторов в моделях (6) и (3) равны между собой.

Очевидно, при фиксированной матрице Δ, Pm → 1 по вероятности при n → ∞, где Рm – вероятность принять гипотезу H0 о числе общих факторов в модели (6), равном m.

Рассмотрим зависимость статистики Z1 от выбора матрицы Δ при фиксированном объеме выборки.

Выборочная ковариационная матрица вектора orlova77.wmf равна

orlova78.wmf (8)

Оценка максимального правдоподобия матрицы V0 связана с S0 и orlova79.wmf соотношением [4]

orlova80.wmf (9)

Учитывая (8) и (9), нетрудно получить, что при orlova81.wmf.

orlova82.wmf orlova83.wmf (10)

orlova84.wmf (11)

по вероятности.

При Δjj → ∞ оценки orlova85.wmf по вероятности, откуда, с учетом соотношений (10) и (11), получаем, что статистика Z1 при orlova86.wmf стремится к нулю по вероятности. Следовательно, в этом случае P0 → 1 по вероятности, где P0 – вероятность принять гипотезу H0 о том, что число общих факторов равно нулю.

Поскольку статистика Z1 с ростом дисперсии «шума» убывает, при решении практических задач оценка числа общих факторов вследствие недостаточного объема выборки может оказаться заниженной. Поэтому численные значения Δjj следует выбирать не слишком большими, лишь бы только новые оценки дисперсий специфических факторов в модели (6) не получились равными нулю. Поскольку дисперсии оценок зависят от объема выборки, то и выбор численных значений Δjj будет зависеть в этом случае от объема выборки.

Факторный анализ направлен на анализ структуры внедиагональных элементов ковариационных матриц. Чем меньшие значения Δjj будут выбраны, тем меньше будут отличаться внедиагональные элементы выборочных ковариационных матриц S и S0 и, следовательно, тем меньшее влияние на оценку матрицы нагрузок L окажет наложенный на статистические данные «шум» (при фиксированном объеме выборки). Это также является аргументом в пользу выбора небольших значений Δjj.

Случай вырожденного распределения orlova87.wmf

В практических исследованиях может встретиться ситуация, когда какая-то компонента вектора orlova88.wmf, например х1, является линейной комбинацией остальных. Рассмотрим, как и выше, вектор orlova89.wmf и допустим, что Δ11 > 0 (Δ11 – дисперсия u1). Тогда, если независимые переменные х2, х3,…, хp имеют невырожденное многомерное нормальное распределение, то и вектор orlova90.wmf будет иметь невырожденное нормальное распределение и можно, таким образом, включить х1 в факторную модель (6). Это дает большую свободу в отборе переменных для факторного анализа, а также может быть использовано при построении уравнения регрессии с помощью факторного анализа.

Рецензенты:

Кобелев Н.Б., д.э.н., профессор кафедры «Системный анализ и моделирование экономических процессов», Финансовый университет при Правительстве РФ, Президент НП «Ремесленная палата России», г. Москва;

Киселёва И.А., д.э.н., профессор кафедры «Прикладная математика», МЭСИ, г. Москва.