Scientific journal
Fundamental research
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,441

APPLICATION OF THE MULTISTAGE IDENTIFICATION METHOD IN THE FACTOR ANALYSIS

Durgaryan I.S. 1 Lyaskovskaya I.V. 1 Pashchenko A.F. 1 Paschenko F.F. 1
1 V.A. Trapeznikov Institute of control sciences of Russian academy of sciences
Использование корреляционных функций для нелинейных стохастических систем, а также для систем, на входах которых действуют сигналы с нелинейной структурой, часто не приводит к желательным результатам. Корреляционные функции не являются исчерпывающими характеристиками связи между случайными процессами и могут обращаться в нуль даже тогда, когда существует детерминированная зависимость между входным и выходным процессами системы. Работа посвящена состоятельному методу, основанному на использовании обобщенных корреляционных и дисперсионных функций. В работе рассматривается статический многомерный объект, выходная переменная которого зависит от вектора наблюдаемых входных факторов и вектора ненаблюдаемых или наблюдаемых с большим запаздыванием входных факторов. В постановке задачи и при выводе конечных результатов предполагалось, что прогнозируемые входные факторы зависят от разных векторов косвенных показателей.
Use of correlation functions for nonlinear stochastic systems, and also for systems on inputs of which signals with nonlinear structure are acting, often doesn’t lead to desirable results. Correlation functions are not exhaustive characteristics of dependence between random processes and can turn into zero even when there is a determined dependence between input and output system’s processes. Paper is devoted to the consistent method based on use of generalized correlation and variance functions. In current work the static multidimensional object is considered, output variable of which depends on a vector of observable input factors and a vector of unobservable or observable with large delay input factors. In a problem definition and at a conclusion of the final results it was supposed that predicted input factors depend on different vectors of indirect indicators.
predictive factors
correlation moment
variance functions
predicted factors
1. Golyak I.V. Vestnik Mezhdunarodnoy akademii sistemnyh issledovanij. Informatika, ekologija, ekonomika – Journal of the International academy of system studies. Moscow, 2008. Vol. 11, Part I, pp. 116–118.
2. Efremenko Ph.V, Pashchenko A.F. Sbornyk trudov XX Mezhdunarodnoj konferencii «Matematicheskie metody v tehnike i tehnologiyah (Proc. XX-th Int.conf.» Mathematical methods in science and technologies). Jaroslavl, 2007, Vol. 7, pp. 236–239.
3. Pashchenko F.F. Vvedeniye v sostoyatelnye metody modelirovaniya system. Ch.1- Matematicheskie osnovy modelirovaniya system [Introduction into consistent methods of systems modeling. P.1 Mathematical foundations of systems modeling] Мoscow, Financy i Statistica, 2006.
4. Durgarjan I.S., Pashchenko F.F. Non-parametric identification of nonlinear systems // Proc. of the 7-th IFAC/IFORS Symposium on Identification and system Parameters Estimation. New-York Pergamon Press. 1985 Vol 1. pp. 433–437.
5. Durgaryan I.S., Pashchenko F.F. Information methods in indentification // Trans. Of Ninth Prague Conference on Information theory, statistical decision functions, random processes. Prague 1982. Czechoslovak academy of Sciences. Prague, 1983. pp. 207–214.

Известно, что для нелинейных стохастических систем, а также для систем, на входах которых действуют сигналы с нелинейной структурой, использование корреляционных функций часто не приводит к желательным результатам, поскольку корреляционные функции не являются исчерпывающими характеристиками связи между случайными процессами [4, 5] и могут обращаться в нуль даже тогда, когда существует детерминированная зависимость между входным и выходным процессами системы.

Для устранения негативных явлений, возникающих в этих случаях, предлагается использовать аппарат дисперсионных функций [4, 5].

Однако, как показано в [2, 3], дисперсионные меры связи хотя и являются более мощным статистическим аппаратом, чем корреляционные функции, также как и корреляционные функции не являются состоятельными мерами связи между случайными процессами. Поэтому в работе предлагается состоятельный метод, основанный на использовании обобщенных корреляционных функций и функциональной корреляции и идеях статистической линеаризации.

Метод многоступенчатой идентификации

Рассмотрим линейный статический многомерный объект, выходная переменная Y которого зависит от вектора наблюдаемых входных факторов Eqn59.wmf и вектора ненаблюдаемых или наблюдаемых с большим запаздыванием входных факторов Z = (Z1, ..., Zm). Согласно поставленной задаче, будем предполагать, что значения ненаблюдаемых входных факторов Z1, ..., Zm, соответствующие синхронным значениям сигнала на выходе объекта, достаточно хорошо представляются в виде некоторых функций от наборов косвенных показателей или же процессами авторегрессии.

Ввиду того, что процесс авторегрессии является частным случаем регрессии одного случайного процесса относительно других случайных процессов, будем считать в дальнейшем, что значения ненаблюдаемых входных переменных представимы в виде функций от некоторых наборов наблюдаемых косвенных показателей.

Как известно, наилучшим приближением зависимой случайной величины через независимые переменные в смысле критерия минимума средней квадратической ошибки является условное математическое ожидание. Поэтому будем полагать, что ненаблюдаемые (наблюдаемые с запаздыванием) входы Z1, ..., Zm достаточно хорошо представляются своими условными математическими ожиданиями относительно векторов косвенных показателей Eqn60.wmf т.е.

Eqn61.wmf (1)

Ограничения типа линейности на регрессию Eqn62.wmf не накладываются.

Ненаблюдаемые входы Z1, ..., Zm, прогнозируемые с помощью уравнений (1), будем называть факторными переменными, а уравнения (1) – промежуточными факторами. Факторы Z1, ..., Zm, используя терминологию предикторного управления, можно называть предикторными факторами.

Частными случаями уравнения (1) являются уравнения линейной регрессии:

Eqn63.wmf

Уравнения регрессий (1) можно получить, используя известные методы.

Выбор наборов косвенных переменных для прогноза соответствующих ненаблюдаемых параметров осуществляется на основе алгоритмов выбора информативных переменных методов факторного анализа. В наборы косвенных переменных могут входить и наблюдаемые входные факторы – Eqn64.wmf и наоборот.

Уравнение основной математической модели для прогнозирования выходной переменной объекта будем искать в классе линейных моделей вида

Eqn65.wmf (2)

где b0, bi, i = 1, ..., n, ..., n + m – неизвестные параметры.

При решении практических задач во многих случаях удобнее пользоваться нормированными статистическими характеристиками анализируемых случайных величин и процессов. При этом упрощаются вычисления и становится более наглядным анализ влияния отдельных входных факторов на прогнозируемую выходную величину.

Выразим все переменные и зависимости между ними в стандартизованном масштабе по формулам

Eqn66.wmf

Eqn67.wmf. (3)

При этом уравнение модели (2) примет вид

Eqn68.wmf, (4)

где Eqn69.wmf – коэффициенты стандартизированной модели ‒ находятся из условия квадратичного минимума функционала

Eqn70.wmf (5)

которое приводит к системе из n + m линейных уравнений относительно n + m неизвестных параметров модели (4)

Eqn71.wmf

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Eqn72.wmf (6)

Eqn73.wmf

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Eqn74.wmf

где Eqn75.wmf i, j = 1, ..., n – коэффициент корреляции между случайными величинами Xi, Xj; Eqn76.wmf – коэффициент корреляции между Xi и Y;

Eqn77.wmf Eqn78.wmf

Eqn79.wmf Eqn80.wmf

– нормированные значения соответствующих дисперсионных функций;

Eqn81.wmf – корреляционный момент случайных величин Xiи Xj, а – корреляционный момент между сигналами на выходе и i-м входе объекта; Eqn82.wmf; Eqn83.wmf – различные типы дисперсионных функций (моментов).

Eqn84.wmf

Eqn85.wmf

Eqn86.wmf

Решение системы (6) может быть записано в виде

Eqn87.wmf i = 1, ..., n + m, (7)

где

Eqn88.wmf (8)

– определитель системы (6); Eqn89.wmf – определитель, получающийся из Eqn90.wmf заменой в нем соответствующего столбца столбцом свободных членов системы (6).

В (8) T – знак транспонирования, а матрицы K, θ и θ*равны

Eqn91.wmf

Eqn92.wmf

Eqn93.wmf.

При записи определителя Eqn90.wmf в форме (8) учтено то обстоятельство, что матрицы системы уравнений (6), а также матрицы K и θ*являются симметричными. Этот факт легко следует из определений и свойств корреляционных и дисперсионных функций.

Следует заметить, что матрица системы (6) отличается от корреляционной матрицы системы нормальных уравнений, получающейся в результате применения МНК к стандартной задаче идентификации тем, что ее элементами являются не только коэффициенты корреляции, но и нормированные дисперсионные функции, а на главной диагонали, кроме единиц, стоят элементы Eqn94.wmf. Дело в том, что нормированная взаимная дисперсионная функция Eqn95.wmf равна единице в том и только том случае, когда между случайными величинами Z и Eqn96.wmf существует точная функциональная зависимость. Очевидно, что при решении практических задач надо стремиться к тому, чтобы мера определенности прогноза случайной величины Z при помощи набора косвенных показателей ξ1, ..., ξk была близка к единице, т.е. Eqn97.wmf.

Используя матричные обозначения, уравнение модели представим в виде

YM = VB, (9)

где Eqn98.wmf – [N×1] матрица значений выходной переменной модели; N – число наблюдений;

Eqn99.wmf – [(n + m)×1] матрица параметров модели;

Eqn100.wmf – [N×(n + m)] блочная матрица наблюдаемых и прогнозируемых значений входных сигналов;

Eqn101.wmf – [N×n] матрица значений наблюдаемых факторов X1, ..., Xn;

Eqn102.wmf – [N + m] матрица прогнозируемых значений входных факторов Z1, ..., Zm.

Функционал (4) можно записать в виде

J = ETE, (10)

где Eqn103.wmf – [N×1]матрица невязок,

E = YM – Y.

Минимизируя (10) по всем компонентам вектора параметров B и используя при этом стандартную процедуру минимизации квадратичного функционала, получим уравнение для определения вектора параметров модели (9).

VTVB = VTY, (11)

где

Eqn104.wmf – [N×1] матрица значений выходной переменной модели; N – число наблюдений; T – знак транспонирования.

Решение матричного уравнения (11) в предположении невырожденности матрицы (VTV) имеет вид

B = (VTV)–1VTY. (12)

Предикторные переменные в факторном анализе

В классическом факторном анализе основным предположением связи переменных является равенство

X = LF + E, (13)

где X – вектор-столбец наблюдаемых переменных размерности p×1; L – p×k матрица факторных нагрузок; F – k×1 вектор-столбец факторов (k < p); E – p×1 вектор-столбец остатков, которые предполагаются независимыми как между собой, так и с факторами. Дисперсии остатков (или остаточные дисперсии) образуют матрицу V.

Уравнение (13) постулирует основные предположения факторного анализа о том, что множество наблюдаемых коррелированных переменных X, которые подчиняются многомерному нормальному распределению с корреляционной матрицей C размерности p×p, можно описать меньшим числом гипотетических переменных или факторов F и множеством независимых остатков E.

Рассмотрим модель объекта с выходом Y и входом X = (X1, ..., Xp). Если p велико, возникает желание уменьшить размерность модели, выразив ее входы через меньшее количество k < p некоторых переменных F. Таким образом, получаем схему факторного анализа. Построение модели Y непосредственно по переменным F невозможно, т.к. они являются гипотетическими (ненаблюдаемыми). Однако эти переменные могут быть выражены через наблюдаемые переменные X следующим образом: Eqn105.wmf – для некоррелированных факторов и Eqn106.wmf – для коррелированных факторов, где P – оцененная корреляционная матрица факторов.

Модель объекта будем искать в виде

Eqn107.wmf (14)

где B – вектор-столбец неизвестных коэффициентов размерности k×1. Коэффициенты вектора определим из условия минимума среднеквадратического критерия, т.е. таким образом, чтобы функционал Eqn108.wmf принимал минимальное значение.

Подставляя (14) в Eqn108.wmf и дифференцируя полученное выражение по В, придем к уравнению

Eqn109.wmf (15)

Решая (15) с учетом Eqn110.wmf, получим

Eqn111.wmf (16)

где Eqn112.wmf – матрица размерности k×p, а матрицы Kxx и Kxy определяются соответственно формулами:

Eqn113.wmf (17)

Для коррелированных факторов получим

Eqn114.wmf (18)

Следует отметить, что (16) и (18) получены при условии линейной связи между факторами и входными переменными. Если эта связь нелинейна, то в (16) и (18) вместо (17) будут входить матрицы, элементами которых являются дисперсионные функции.

Заключение

Следует заметить, что в постановке задачи и при выводе конечных результатов предполагалось, что прогнозируемые входные факторы зависят от разных векторов косвенных показателей. В частном случае ненаблюдаемые входные сигналы могут определяться одним и тем же набором косвенных факторов.

Предложенный метод использовался для моделирования загрязнения и хронических заболеваний в Хабаровском крае [1].

Рецензенты:

Гордеев Л.С., д.т.н., профессор кафедры «Кибернетика химико-технологических процессов» Российского химико-технологического университета им Д.И. Менделеева, г. Москва;

Комиссаров Ю.А., д.т.н., профессор, зав. кафедрой «Электротехника и электроника» Российского химико-технологического университета им Д.И. Менделеева, г. Москва.

Работа поступила в редакцию 06.08.2013.