Использование методов нечеткой логики для определения классификационных характеристик случайных процессов
1 2 А.М. Прохоренков, Н.М. Качала
1 Политехнический факультет, кафедра автоматики и вычислительной техники
Экономический факультет, кафедра информационных систем
Аннотация. В работе рассматриваются вопросы необходимости классификации случайных процессов, имеющих место в системах управления технологическими процессами, проводится анализ информативных признаков и существующих подходов к классификации процессов. Предложен подход, при котором классификационными признаками являются класс процесса (стационарный, нестационарный), вид процесса (аддитивный, мультипликативный, аддитивно-мультипликативный) и тип детерминированной составляющей. Предложен алгоритм классификации случайных процессов по одной реализации, основанный на использовании непараметрических критериев, показателя Херста, байесовской процедуре классификации и нечеткой логике.
Abstract. In the paper necessity of random processes" classification in industrial control systems have been considered. Informative signs and existent methods for the classification have been analyzed. The new approach has been suggested. According to it the process type (stationary or non-stationary), process kind (additive, multiplicative or additive-multiplicative) and deterministic constituent"s kind are classification signs. A realization-based algorithm for the random processes" classification has been proposed. It implies application of non-parametric criteria, Hurst items, Bayesian classifying procedure and fuzzy logic.
1. Введение
В настоящее время одним из основных направлений совершенствования систем автоматического управления (САУ) является повышение точности управления и стабилизации технологических параметров в достаточно узких пределах.
Немаловажная роль в решении задачи повышения точности управления отводится измерительной подсистеме, входящей в состав САУ. Случайный характер возмущающих воздействий и управляемых величин предполагает применение процедуры статистической обработки результатов измерений, что обуславливает наличие таких составляющих погрешности, как статистическая погрешность и погрешность, вызванная неадекватностью алгоритма обработки реальному случайному процессу. Причиной последнего вида погрешности является ошибка классификации наблюдаемого процесса. Например, классифицируя нестационарный процесс как стационарный, можно увеличить методическую погрешность при оценке математического ожидания за счет увеличения интервала сглаживания. В свою очередь, усложнение алгоритма измерений с целью уменьшения методической погрешности приводит, как правило, к росту инструментальной погрешности. Установление априори класса процесса во многом предопределяет алгоритм обработки результатов измерений и аппаратные средства.
В САУ необходимость классификации случайных процессов обусловлена также требованиями обоснованного перехода от анализа ансамбля реализаций к анализу одной реализации. Кроме того, знание класса процесса нужно для описания его динамики, прогнозирования его будущих значений и выбора алгоритмов управления.
2. Анализ информативных признаков и подходов к классификации случайных процессов
Распространенный подход при классификации объектов любой природы, в том числе и случайных процессов, состоит в выделении информативных признаков. Проведенный анализ показал, что информативные признаки, используемые при классификации процессов, отличаются разнообразием и определяются поставленной авторами целью классификации.
Все наблюдаемые процессы X(t), которые характеризуют физические явления, в самом общем виде можно классифицировать как детерминированные и случайные.
Детерминированный процесс определяется одной единственной реализацией, описываемой заданной функцией времени. Вследствие неизбежного влияния разнообразных внешних и внутренних факторов по отношению к системе управления детерминированный процесс является абстракцией. В связи с этим в практике исследования процессов рассматривают квазидетерминированный процесс,
реализации которого описываются функциями времени заданного вида аь...,ап), где аь...,ая -независящие от времени случайные параметры.
В отличие от детерминированного процесса, случайный процесс представляется в виде случайной функции Х(/,т), где t - время, те О, О - пространство элементарных событий. Функция Х(/,т) в любой момент времени может принимать различные значения с известным или неизвестным законом распределения.
Отнесение процесса к классу случайных может быть обусловлено либо его физической природой, либо условиями его изучения, приводящими к недостаточности априорных данных. Если в основу классификации положить причины возникновения случайности, то можно выделить несингулярные и сингулярные процессы. К первой группе относятся процессы, для которых невозможно проследить характер причинно-следственных связей, так как они являются результатом суперпозиции большого числа элементарных процессов. Для несингулярных процессов принципиально невозможно осуществлять прогнозирование мгновенных значений. Для процессов второй группы при наличии определенного объема данных прогнозирование их мгновенных значений становится достоверным. Сингулярные процессы могут быть как случайными, так и детерминированными. В системах управления технологическими объектами все процессы следует рассматривать как случайные, и для обработки результатов наблюдений в реальном масштабе времени причина случайности процесса не играет роли.
В теории случайных процессов наиболее общей классификацией, является классификация "по времени" и "по состоянию" (Вентцель, Овчаров, 2000; Коваленко и др., 1983; Левин, 1989). По этим признакам можно выделить четыре класса: 1) процессы с дискретными состояниями и дискретным временем; 2) процессы с дискретными состояниями и непрерывным временем; 3) процессы с непрерывными состояниями и дискретным временем; 4) процессы с непрерывными состояниями и непрерывным временем.
Процессы, протекающие в системах автоматического управления, представляют собой случайные процессы с непрерывными состояниями и непрерывным временем. Использование цифровой измерительной техники приводит к необходимости рассмотрения процессов в дискретные моменты времени и отнесению их к первому или третьему классу.
Исчерпывающей характеристикой случайного процесса является многомерный закон распределения:
^п(хЬ X2, /2; ... ; х^ 4) = Р{Х(^)< XI,Х^)< хъ...,Х(4)< хп}.
На практике, как правило, рассматривают одномерный или двумерный законы распределения случайного процесса, поскольку они содержат достаточный объем информации о свойствах случайного процесса, а прирост количества информации при использовании вероятностных характеристик высшего порядка оказывается незначительным. Кроме того, определение многомерных вероятностных характеристик связано с большими трудностями аппаратной реализации алгоритмов их вычисления.
С учетом изменения вероятностных характеристик во времени случайные процессы подразделяются на стационарные (ССП) и нестационарные процессы (НСП). Вероятностные характеристики ССП одинаковы во всех сечениях. Условием стационарности в узком смысле является инвариантность п-мерной плотности вероятности относительно временного сдвига т. Условия стационарности в широком смысле ограничиваются требованиями независимости от времени математического ожидания М[Х(0] и дисперсии Б[Х(()] и зависимости корреляционной функции лишь от временного сдвига т, то есть:
М[Х(0\=сош1, £[Х(0\=сош1, Ях(Ь, t2)=Rx(т), т=^2 - 1.
На практике в большинстве случаев корреляционная функция является достаточно полной характеристикой ССП, поэтому обычно ограничиваются выявлением стационарности процесса в широком смысле.
Структуру случайного процесса можно установить по корреляционной функции или по известной плотности распределения.
В зависимости от типа законов распределения можно выделить нормальные, равномерные, релеевские, пуассоновские и другие случайные процессы. Отклонения от классической формы распределения говорит о нестационарности процесса. По одной реализации ограниченной длины трудно с достаточной точностью судить о законе распределения случайного процесса, и в большинстве прикладных случаев анализа исследователь не располагает информацией о виде функции распределения. Тогда тип процесса либо постулируется, либо функция распределения не учитывается при анализе.
Более полную информацию о динамических свойствах процесса можно получить по корреляционной функции. Типичной корреляционной функцией ССП является симметричная убывающая функция. Наличие колебательности корреляционной функции свидетельствует о периодичности случайного процесса. Если корреляционная функция апериодически затухающая, то
случайный процесс считается широкополосным. Многополосный случайный процесс характеризуется треугольной корреляционной функцией. Стационарные - в широком смысле - процессы имеют корреляционные функции, которые при неограниченном увеличении т стремятся к постоянной величине или являются периодическими функциями от т. Корреляционная функция постоянного сигнала Х(()=Л является также постоянной функцией Я(т)=А2.
Стационарные процессы, корреляционные функции которых включают экспоненту с отрицательным аргументом, являются эргодическими. Стремление корреляционной функции к некоторой постоянной величине, отличной от нуля, обычно является признаком неэргодичности процесса.
Определение статистических характеристик случайных процессов принципиально возможно двумя путями: определение по одной реализации и по ансамблю реализаций. Если вероятностные характеристики процесса, полученные усреднением по времени, равны аналогичным характеристикам, найденным усреднением по ансамблю, то случайный процесс является эргодическим. Процессы, не обладающие свойством эргодичности, можно обрабатывать только по ансамблю реализаций.
Знание априори об эргодичности процесса значительно упрощает алгоритмическое обеспечение информационно-измерительных и информационно-управляющих комплексов. В условиях реальных технологических процессов и систем управления проверить глобальную эргодичность процессов невозможно, и она принимается как гипотеза.
Для нестационарных процессов характерно изменение во времени их статистических характеристик, поэтому при выполнении классификации это можно учесть. С точки зрения такого подхода, обычно выделяют процессы, которые имеют переменное во времени среднее значение; переменное во времени среднее значение квадрата, переменные во времени среднее и среднее значение квадрата, переменную по времени частотную структуру (Бендат, Пирсол, 1989). Подобная классификация отражает изменение во времени оценок вероятностных характеристик.
Проведенный выше анализ показал, что не может существовать единой классификации процессов в силу независимости классификационных признаков и разнообразия целей классификаций. Можно выделить несколько подходов к классификации процессов. Значительная часть авторов стремится систематизировать информацию о случайных процессах, чтобы показать все их многообразие (Вентцель, Овчаров, 2000; Коваленко и др., 1983; Левин, 1989; Шахтарин, 2002). Наиболее общий подход к классификации как стационарных, так и нестационарных процессов связан с их непрерывным или дискретным представлением (Вентцель, Овчаров, 2000; Коваленко и др., 1983; Левин, 1989).
В прикладных случаях учитывается специфика задач, решению которых должна предшествовать классификация наблюдаемых процессов. Так, например, в (Цветков, 1973; 1984; 1986) проведена классификация процессов в метрологии по признакам стационарности и эргодичности с целью выявления причин и анализа их влияния на методическую погрешность измерений статистических характеристик случайных процессов. В радиотехнике широко используется классификация по спектральным свойствам сигналов (Левин, 1989). Для обоснования перехода от анализа ансамбля реализаций к анализу индивидуальных реализаций в (Бендат, Пирсол, 1989) предлагается выполнить классификацию по типам нестационарности и при этом рассматривается поведение во времени оценок статистических характеристик.
Таким образом, существующие в настоящее время подходы к классификации случайных процессов не позволяют разработать алгоритм их анализа с целью выявления характера нестационарности процесса, вида детерминированных составляющих и их характеристик, необходимых для решения задач оперативного контроля и управления технологическими процессами, по одной реализации. В этой связи актуальными являются решения, направленные на обобщение и совершенствование существующих подходов к классификации случайных процессов.
3. Классификация случайных процессов по одной реализации
Случайные процессы, протекающие в системах управления, можно представить как результат совместного действия детерминированного полезного сигнала и стационарной помехи. В общем случае влияние помехи на полезный сигнал может быть выражено оператором Х(()=У(ф((), £(/)), где ф(/) -полезный сигнал (сигналы), е(() - стационарная помеха. В зависимости от вида оператора V различают следующие модели сигналов (Харкевич, 1965):
аддитивная модель Х(0 = + е(0; (1)
мультипликативная модель Х(/) = ф2(/) е(/); (2)
аддитивно-мультипликативная модель Х(/) = щ(() + ф2(/) е(Г), (3)
где ф1(0, ф20) - детерминированные функции времени, е(1) - стационарный случайный процесс с нулевым математическим ожиданием ше = 0 и постоянной дисперсией Д.
Примером аддитивного процесса может служить выходной сигнал измерительного прибора, когда полезный сигнал суммируется с внутренним шумом прибора. Изменение жесткости мембраны датчика манометра, изменение коэффициента усиления усилителя, изменение опорного напряжения в цифровом вольтметре и другие являются причинами мультипликативной погрешности измерительных систем, которая описывается мультипликативной моделью. Во многих случаях нестационарный процесс погрешностей можно описать в виде аддитивно-мультипликативной модели.
В инженерной практике обычно рассматриваются стационарные в широком смысле процессы, при этом оценивается во времени поведение математического ожидания, дисперсии и корреляционной функции. Поэтому и при классификации нестационарных процессов следует исходить из анализа этих же характеристик.
С учетом принятых допущений математическое ожидание тХ, дисперсия БХ и корреляционная функция RX случайных процессов, представленных моделями (1-3), имеют следующий вид:
аддитивная
мультипликативная
аддитивно-мультипликативная
тХ(0 = ф:(0; Ду(0 = Д;
Rx(tl, /2) = Rs(th /2);
тХ(() = 0; Ду(0 = ^(ОД; Rx(tl, /2) = ^(М^^ША, /2); тХ(Р) = ф1(/); ДКО = Ф22(№; Rx(tl, /2) = Ф2(ЬШ/2ШЬ, /2).
Из приведенных соотношений следует, что математическое ожидание для аддитивной и аддитивно-мультипликативной моделей зависит от детерминированной составляющей ф1(/). Дисперсия и корреляционная функция аддитивной модели полностью характеризуются свойствами стационарной помехи. А для мультипликативной и аддитивно-мультипликативной моделей эти вероятностные характеристики определяются также и детерминированной составляющей ф2(/).
Выражения (4) и (6) показывают, что для процессов, представленных аддитивной и аддитивно-мультипликативной моделями, математическое ожидание можно оценить по одной реализации с помощью той или иной операции, эквивалентной фильтрации низких частот.
Если дисперсия помехи е(Г) постоянная, то определить средний квадрат мультипликативного и аддитивно-мультипликативного процессов (и тем самым получить оценку дисперсии) также можно по одной реализации (Бендат, Пирсол, 1989).
Таким образом, для процессов, представленных моделями (1-3), нет необходимости проверять эргодические свойства нестационарного случайного процесса.
Точность оценки статистических характеристик зависит от типа и параметров детерминированных процессов ф1(/) и ф2(/) (РгокИогвпкоу, 2002), поэтому классификация процессов по виду нестационарности должна быть дополнена классификацией по виду детерминированных процессов.
Классификацию следует рассматривать как необходимый предварительный этап исследования случайных процессов с целью выявления их свойств до проведения основной статистической обработки, поэтому в некотором смысле классификация должна отражать алгоритм анализа наблюдаемого процесса. С учетом сказанного была разработана классификация случайных процессов при наличии одной реализации исследуемого процесса (рис. 1). В качестве классификационных признаков были выбраны класс процесса, вид нестационарности: нестационарность по математическому ожиданию (МО), нестационарность по дисперсии, нестационарность по корреляционной функции (КФ), а также законы изменения математического ожидания и дисперсии. В предлагаемой классификации в качестве детерминированных составляющих рассматриваются наиболее часто встречающиеся в инженерной практике переходные процессы: линейный, экспоненциальный, периодический, периодический затухающий.
Реализация случайного процесса
Стационарный по МО
Н естационарный по МО
СП по дисперсии
НСП по КФ
НСП по дисперсии
СП по КФ НСП по КФ
Линейный
НСП по дисперсии
СП по КФ НСП по КФ
СП по дисперсии
НСП По КФ
Экспоненциальный
Периодический
Периодический затухающий
Рис. 1. Классификация случайных процессов, представленных одной реализацией
4. Постановка задачи классификации случайных процессов
В общем случае под классификацией понимается разделение рассматриваемой совокупности объектов или явлений на однородные, в определенном смысле, группы, либо отнесение каждого из заданного множества объектов к одному из заранее известных классов. Во втором случае имеем задачу классификации при наличии обучающих выборок ("классификация с обучением"). В классическом виде решение данной задачи заключается в выполнении отображения вида:
т.е. отнесение объекта, заданного вектором информативных признаков Я = {гь г2, ..., гп}, к одному из заранее определенных классов {й?ь а2, ..., аШ}.
Процессы, представленные моделями вида (1-3), относятся к классу нестационарных случайных процессов. Для выявления нестационарных свойств предлагается использовать непараметрические критерии (Кендалл, Стьюарт, 1976), показатель Херста (Федер, 1991) и коррелограммы, по результатам применения которых будет формироваться вектор информативных признаков Я.
Значительное большинство непараметрических критериев реагируют на изменение оценки математического ожидания. Таким образом, непараметрические критерии без предварительной обработки наблюдаемого ряда позволяют выделить два класса процессов "стационарные по математическому ожиданию" и "нестационарные по математическому ожиданию".
По значению показателя Херста можно судить как о стационарности процесса по математическому ожиданию, так и о виде детерминированной составляющей. Это позволяет априорно рассматривать три класса процессов: стационарные по математическому ожиданию; нестационарные по математическому ожиданию, изменяющемуся по монотонному закону; нестационарные по математическому ожиданию, изменяющемуся по периодическому закону.
Как было отмечено в разделе 2, корреляционная функция несет информацию о динамических свойствах исследуемого процесса. Выход коррелограммы за 95 % доверительный интервал позволяет в определенной мере судить о том, насколько изучаемый процесс отличается от белого шума.
Невозможность применения процедуры классификации для одновременного выделения классов процессов нестационарных по математическому ожиданию и дисперсии приводит к необходимости двукратного применения процедуры классификации.
Вторая проблема заключается в том, что информативные признаки заданы на разных шкалах. Результат применения отдельно каждого непараметрического критерия измеряется в дихотомической шкале, и признак может принимать два значения "случайный процесс не содержит детерминированную составляющую" - "процесс содержит детерминированную составляющую", или "0" и "1". А показатель Херста измеряется в количественной шкале и принимает значения в диапазоне от нуля до единицы.
Тесты на случайность обладают различной эффективностью при различных видах детерминированных составляющих нестационарных случайных процессов, поэтому в условиях ограниченной априорной информации о свойствах исследуемого процесса решение о классе процесса следует принимать по результатам применения совокупности критериев. В связи с этим предлагается получить некий обобщенный классификационный признак. В основу классификации по непараметрическим критериям предлагается положить байесовскую процедуру для бинарных признаков (Афифи, Эйзен, 1982). Полученные таким образом оценки далее рассматриваются как обобщенный результат применения непараметрических критериев, а апостериорная вероятность - как классификационный признак. При этом шкала измерений становится такая же, что и для показателя Херста.
Третья проблема связана с зависимостью значений выделенных классификационных признаков от длины реализации и параметров исследуемого процесса, которые на этапе классификации процесса неизвестны. Поэтому следует искать ответ на вопрос: "В какой степени исследуемый процесс принадлежит тому или иному классу?". В силу такой постановки вопроса для классификации процессов предлагается использовать методы нечеткой логики.
5. Байесовская процедура классификации
Требуется выполнить классификацию процесса Х(/) на основе наличия или отсутствия п событий. Количество событий (признаков) равно количеству рассматриваемых непараметрических критериев. Определим для каждогоу-го события (у =1, 2, ..., п) случайную величину:
В нашем случае Гу = 1, если в исследуемом процессе Х(/) по критерию у выявлена тенденция изменения математического ожидания, Гу = 0 - в противном случае.
R = (rb r2, ..., rn} ^ye {di, d2, ..., dm},
1, если событие у имеет место, 0, если событие у отсутствует.
Вероятность принадлежности объекта к классу при условии равенства значения признака Ту единице обозначим какру = Рг(ту = 1| ё), тогда Рг(ту = 0| ё,) = 1-ргу для / = 1,2, ... ,т, у=1,2, ... п. Поскольку непараметрические критерии позволяют разбить множество исследуемых процессов на стационарные и нестационарные процессы, то в данном случае т = 2.
Закон распределения Ту для класса имеет вид:
/ (Ту) = РТ (1 - Ру)1-ТУ.
Результаты Ту применения непараметрических критериев являются независимыми, поэтому совместный закон распределения/ (г) для класса можно записать в виде:
/г (Г) =П /г (Ту).
Предположим, что априорные вероятности одинаковы *1 = q2 = 0,5, и стоимости ошибочной классификации равны. Стоимость ошибочной классификации в данном случае связана с потерями, которые могут быть при отнесении стационарного процесса к классу нестационарных или при отнесении нестационарного процесса к стационарному процессу. Условная вероятность Рг(ё, | г) того, что исследуемый процесс принадлежит классу при данном векторе наблюдений (апостериорная вероятность), определяется по формуле (Афифи, Эйзен, 1982):
ъ П РТ (1 - Ру)
Рг(ё/ | г) = ■
П Рку (! - Рку)1-
Процесс Х(0 относится к тому классу для которого величина Рг(ё, | г) максимальна. Величины ру оцениваются по обучающей выборке из процессов, принадлежащих всем рассматриваемым моделям (1-3) и содержащих различные типы детерминированных составляющих. Пусть 51 и 52 - число нестационарных и стационарных по МО процессов, соответственно, 5 = 51 + 52. Обозначим как ^ у число процессов класса /, для которых по у критерию выявлена нестационарность по МО. Тогда ру = wiуlSi. Оценки ру получены для различных длин реализаций случайных процессов.
Для каждого вновь поступающего процесса Х(/), характеризуемого вектором значений признаков (т1, ..., тп), оценка апостериорной вероятности имеем вид:
Рг(ё/ | г) = ■
6. Предлагаемая процедура нечеткой классификации
Каждый классификационный признак Ку задается лингвистической переменной, характеризующейся тройкой элементов <Ку, Ту, Пу>, где Ку - имя переменной; Ту - терм-множество, каждый элемент которого представляется как нечеткое множество на универсальном множестве Пу.
Универсальное множество значений показателя Херста - ПН = . Значения Н в окрестности 0,4 < Н < 0,6 определяют собой область белого шума в нечетком смысле. Значения Н в окрестности 0,3±0,1 говорят о наличии в рассматриваемом временном ряду периодической компоненты. Значения Н, близкие к единице, характеризуют наличие монотонной компоненты в исследуемом процессе.
Определим терм-множество как имена возможных составляющих нестационарных случайных процессов: "периодическая", "стационарная", "монотонная". Функции принадлежности зададим в виде разности двух гауссовых функций, определяемых соотношением:
¿и(х, сг1, с1, сг2, с2) = е а" - е °2 .
Данная функция принадлежности позволяет отразить тот факт, что для каждого типа процесса характерен некоторый диапазон значений показателя Херста - ядро нечеткого множества непустое. Исследования показали, что вероятность ошибки отнесения процесса, содержащего периодическую составляющую, к шуму
выше, чем вероятность ошибки отнесения к шуму монотонного зашумленного процесса. Несимметричная двойная гауссова функция дает возможность отразить этот момент. Функции принадлежности лингвистической переменной "показатель Херста" до настройки нечеткой модели приведены на рис. 2а.
Универсальное множество значений оценки апостериорной вероятности (7) ПРг = . Значения оценки близкие к единице говорят о наличии детерминированной составляющей в исследуемом ряду, а близкие к нулю - о случайности ряда. Терм-множество переменной "непараметрические критерии" определим как {"стационарный", "нестационарный"}. Формализацию термов осуществим с помощью двойной гауссовой функции принадлежности (рис. 2б).
Третью лингвистическую переменную назовем "коррелограмма". Универсальное множество значений этой переменной Пк = - весовой коэффициент правила с номером /р.
В качестве решения выбирают класс с максимальной степенью принадлежности:
Mdi(**), Md2 (**), ..., Mäm (**)),
где символом * обозначен вектор значений классификационных признаков исследуемого процесса.
Настройка представляет собой нахождение параметров функций принадлежности входных переменных и весовых коэффициентов правил, которые минимизируют отклонение между желаемым и действительным поведением нечеткого классификатора на обучающей выборке.
Критерии близости можно определить различными способами. В данной работе использовался критерий, предложенный в (Штовба, 2002). Обучающая выборка формируется из L пар данных, связывающих входы X = (xb x2, ..., xn) с выходом y исследуемой зависимости: (Xq, yq), q = 1, 2, ..., L. Введем следующие обозначения: P - вектор параметров функций принадлежности термов входных; W -вектор весовых коэффициентов правил базы знаний; F(Xq, P, W) - результат вывода по нечеткой базе с параметрами (P,W) при значении входов Xq; ßd(yq) - степень принадлежности значения выходной переменной y в q-ой паре обучающей выборке к решению d,; цdi(Xq, P, W) - степень принадлежности выхода нечеткой модели с параметрами (P, W) к решению d, определяемая по формуле (8) при значениях входов из q-ой пары обучающей выборки. В результате задача оптимизации принимает следующий вид:
1 L m t \ Т Z Sq Z ((yq) - Mdi (Xq, P, W))
Рис. 3. Функция принадлежности лингвистической переменной "показатель Херста" после настройки
= [ 1, если yq = F (Xq, P, W)
где q }