Luck-lady.ru

Настольная книга финансиста
0 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Парный регрессионный анализ

Парный регрессионный анализ

Лекция 3

  1. Корреляционная зависимость
  2. Парная регрессия
  3. Парная линейная регрессия. Метод наименьших квадратов
  4. Свойства оценок МНК.
  5. Сравнение свойств истинных и оцененных зависимостей

-1-

Модели корреляционно-регрессионного анализа представляют собой основной математический инструмент эконометрики. В естественных науках большинство зависимостей между переменными носят функциональный характер. В экономике основные зависимости между переменными носят статистический характер. Это означает, что каждому значению одной переменной может соответствовать множество значений других переменных. Если рассматривается зависимость между одной эндогенной переменной (y) и одной экзогенной переменной (x), то такая зависимость называется парной (корреляционной) зависимостью.

Статистический анализ зависимости обусловлен тем, что всегда существуют неконтролируемые или неучтенные факторы, а так же тем, что существуют ошибки измерения и ошибки выборки. Такие статистические зависимости называют «вероятностными», «стохастическими», «корреляционными».

Примеры статистических зависимостей:

· Зависимость между потреблением y и доходом и составом семьи (x1 x2)

· Зависимость между спросом и ценой (y и х)

· Зависимость между урожайностью почвы (y) и количеством внесенных удобрений (x)

· Зависимость между объемом продаж (у) и вложениями в рекламу (х)

· И множество других зависимостей

В силу неоднозначности статистической зависимости X и Y представляет интерес усредненная по X схема зависимости. То есть измерение условного математического ожидания переменной Y в зависимости от значения x.

Условное математическое ожидание Y обозначается:

Условным математическим ожиданием переменной из двумерной случайной величины (X:Y) называется математическое ожидание, вычисленное при условии что другая переменная приняла определенное значение.

Корреляционной зависимостью между двумя переменными называется функциональная зависимость между значениями одной из них и условным математическим ожиданием другой. Корреляционная зависимость обладает следующими особенностями.

  1. Эта зависимость проявляется во множестве наблюдений.
  2. Эта зависимость является частичной (не полной).

Исходные данные могут быть представлены в виде таблиц, графиков, формул и т.д.

Исходные статистические данные, отраженные на координатной плоскости называются корреляционным полем.

Корреляционная зависимость математически может быть представлена виде:

или (*1)

— условное математическое ожидание y

— условное математическое ожидание x

и — модельная функция регрессии

Эта формула называется модельным уравнением регрессии.

График модельной функции регрессии называется модельной линией регрессии или просто линией регрессии. Описать корреляционную зависимость означает построить уравнение регрессии.

Уравнение регрессии – теоретическое уравнение связи – это функциональная зависимость, которая наилучшим образом аппроксимирует исходную статистическую зависимость.

Генеральная совокупность исходных данных может быть оценена по выборке xi yi размером n (i=1,n). То есть строится оцененное выборочное уравнение регрессии.

Его график – выборочная линия регрессии.

-2-

Виды моделей парной регрессии:

1.

-3-

Парная линейная регрессия. Модель парной линейной регрессии имеет вид:

()

(*3)

это выборочная линейная регрессия.

Для генеральной совокупности парная линейная регрессия имеет вид:

a – есть оценка по выборке параметра α

b – оценка по выборке параметра β.

e – оценка по выборке параметра ε.

Построить выборочное уравнение регрессии, значит найти все его параметры (a и b). Построение уравнения регрессии основывается на методе наименьших квадратов.

Сумма квадратов отклонений фактических значений показателя от теоретических должна быть минимальной. Математически:

— исходное значение экономического показателя.

— значение экономического показателя на уравнение регрессии теоретические

Метод наименьших квадратов для парной линейной регрессии будет иметь вид:

Решая эту модель, найдем оценки параметров a и b. И получим модель парной линейной регрессии вида:

b – называется коэффициентом регрессии, он показывает на сколько единиц в среднем изменится y при изменении x на одну единицу.

-4-

Чтобы оценки a и b по выборке можно было применить к генеральной совокупности должны быть сделаны следующие предположения о случайных отклонениях εi:

  1. εi случайны
  2. Имеют нулевое математическое ожидание
  3. Имеют равную дисперсию.
  4. εi — независимы между собой.

Если выполняются эти предпосылки, то оценки a и b обладают следующими свойствами:

  1. Не смещенность.
  2. Состоятельность. При увеличении числа наблюдений a близко к α, b близко к β.

  1. Эффективность. Оценки имеют наименьшую дисперсию среди всех других линейных оценок. (BLUE – Best Linear Unbiased Estimators)

Линейная регрессия строится по методу наименьших квадратов. Рассмотрим метод наименьших квадратов для парной линейной регрессии. Далее суммирование по всем наблюдениям.

Для решения указанной модели выполним необходимое условие минимума функции F(a,b) и достаточное условие. Найдем частные производные и приравняем их к нулю. (**1)

Преобразуем систему уравнений: (**2)

Читать еще:  Проблемы экономического анализа на предприятиях

n – число наблюдений.

Это система нормальных уравнений (5) для нахождения параметров a и b модели парной линейной регрессии.

Решая систему любым известным методом найдем оценки параметров a и b. Решить систему можно:

1. По методу определителей) (**3)

2. a и b можно найти по формулам(**4)

Существует правило «автоматизма» для построения Системы Нормальных Уравнений (СНУ). Чтобы построить i-ое уравнение системы надо исходное уравнение умножить на коэффициент при i-м неизвестном, просуммировав обе части уравнения и заменив (**5)

Сравнение истинных и оцененных зависимостей

В реальности можно оценить зависимость между расходами и доходами только по выборке.

Парный регрессионный анализ

Одним из методов изучения стохастических связей между признаками является регрессионный анализ.

Регрессионный анализ представляет собой вывод уравнения регрессии, с помощью которого находится средняя величина случайной переменной (признака-результата), если величина другой (или других) переменных (признаков-факторов) известна. Он включает следующие этапы:

выбор формы связи (вида аналитического уравнения регрессии);

оценку параметров уравнения;

оценку качества аналитического уравнения регрессии.

Наиболее часто для описания статистической связи признаков используется линейная форма. Внимание к линейной связи объясняется четкой экономической интерпретацией ее параметров, ограниченной вариацией переменных и тем, что в большинстве случаев нелинейные формы связи для выполнения расчетов преобразуют (путем логарифмирования или замены переменных) в линейную форму.

В случае линейной парной связи уравнение регрессии примет вид:

Параметры данного уравнения а и b оцениваются по данным статистического наблюдения x и y. Результатом такой оценки является уравнение: , где , — оценки параметров a и b, — значение результативного признака (переменной), полученное по уравнению регрессии (расчетное значение).

Наиболее часто для оценки параметров используют метод наименьших квадратов (МНК).

Метод наименьших квадратов дает наилучшие (состоятельные, эффективные и несмещенные) оценки параметров уравнения регрессии. Но только в том случае, если выполняются определенные предпосылки относительно случайного члена ( u) и независимой переменной (x ).

Задача оценивания параметров линейного парного уравнения методом наименьших квадратов состоит в следующем:

получить такие оценки параметров , , при которых сумма квадратов отклонений фактических значений результативного признака — yi от расчетных значений – минимальна.

Формально критерий МНК можно записать так:

Проиллюстрируем суть данного метода графически. Для этого построим точечный график по данным наблюдений ( xi ,yi, i=1;n) в прямоугольной системе координат (такой точечный график называют корреляционным полем). Попытаемся подобрать прямую линию, которая ближе всего расположена к точкам корреляционного поля. Согласно методу наименьших квадратов линия выбирается так, чтобы сумма квадратов расстояний по вертикали между точками корреляционного поля и этой линией была бы минимальной.

Математическая запись данной задачи:

Значения yi и xi i=1; n нам известны, это данные наблюдений. В функции S они представляют собой константы. Переменными в данной функции являются искомые оценки параметров — , . Чтобы найти минимум функции 2-ух переменных необходимо вычислить частные производные данной функции по каждому из параметров и приравнять их нулю, т.е.

В результате получим систему из 2-ух нормальных линейных уравнений:

Решая данную систему, найдем искомые оценки параметров:

Правильность расчета параметров уравнения регрессии может быть проверена сравнением сумм

(возможно некоторое расхождение из-за округления расчетов).

Знак коэффициента регрессии b указывает направление связи (если b>0, связь прямая, если b 0, то связь прямая; если rx, y

Тема 3.Парный регрессионный анализ

3.1. Спецификация модели парной линейной регрессии

3.2. Сравнительный анализ методов определения параметров парной регрессии

3.3. Содержание и особенности применения метода наименьших квадратов (МНК) в расчете параметров парной линейной регрессионной модели. Свойства оценок МНК

3.4. Спецификация модели и вычисление параметров нелинейных парных регрессионных моделей при помощи МНК

3.5. Линеаризация нелинейных моделей

3.6. Оценка качества парных регрессионных моделей

3.7. Ограничения использования регрессионных моделей

Основные положения

Парная регрессионная модель (регрессия) – это эконометрическая модель, описывающая зависимость между двумя факторами. Общий вид такой модели:

(3.1)

Наиболее простой и часто использующейся является линейная парная регрессионная модель, имеющая вид:

(3.2)

Выражение 3.2 представляет собой спецификацию линейной регрессионной модели. Вообще под спецификацией модели понимают аналитическое выражение описывающей модель функции.

Само уравнение линейной регрессии имеет вид:

(3.3)

Следовательно, регрессионную модель можно представить в виде: , где – объясненная на основе построенной модели составляющая y, а ε – чисто случайная составляющая.

Основная задача регрессионного анализа после спецификации модели – оценка неизвестных параметров – α и α1, дающих наибольшее приближение модели к эмпирическим данным:

Читать еще:  Анализ убыточного предприятия

(3.4)

где a и a1 – оценки неизвестных параметров; e – оценка случайной компоненты.

Для определения коэффициентов можно использовать различные методы (рис. 3.1):

Рис. 3.1 Основные методы расчета коэффициентов регрессии

Метод средних применяется в том случае, когда в уравнении регрессии присутствует только один неизвестный параметр (например, a1y = a1x). В этом случае его значение определится следующим образом:

(3.5)

Метод проб заключается в том, что всем параметрам, кроме одного, задаются фиксированные значения, исходя из особенностей эмпирических данных. Значение последнего, неизвестного параметра определяется по методу средних. Например, если зафиксировать значение, принимаемое y при x, равном 0 (нулевой уровень y – y), то параметр a1 определится по формуле:

(3.6)

Эта процедура может повторяться (для различных зафиксированных значений) до тех пор, пока качество теоретической модели не станет удовлетворительным.

Метод выбранных точек основан на визуальном анализе корреляционного поля и выборе точек, наиболее точно отражающих тенденции развития анализируемого явления. Количество точек должно совпадать с количеством неизвестных параметров. Так, для парной линейной регрессии выбирается 2 точки. Через них проходит только одна прямая, уравнение которой определится как решение системы относительно a и a1:

, где (x1;y1) и (x2;y2) – координаты выбранных точек.

В результате решения такой системы можно рассчитать значения a и a1 по формулам:

Перечисленные методы могут применяться для «быстрого», поверхностного анализа параметров уравнения регрессии. Полученные на их основе оценки не обладают свойствами несмещенности, эффективности, состоятельности и достаточности, поэтому для серьезного исследования необходимо применять другие методы. Наибольшее распространение получили такие математические методы, как метод наименьших модулей и метод наименьших квадратов. Существуют также методы, совмещающие достоинства этих методов, и преодолевающие их недостатки (в частности, функция Хубера).

В общем виде смысл математических методов можно определить как решение задачи минимизации функционала F, формируемого на основе суммирования отклонений эмпирических данных от результата расчета (чисто случайных составляющих) по регрессионной модели:

, (3.9)

где g() – функция, определяющая аналитическую форму измерения разброса фактических данных от модели.

Наиболее распространены два вида функции g():

, (3.10)

(3.11)

в том случае, если расчет выполнен по формуле (3.10), говорят о методе наименьших квадратов (МНК), если по формуле (3.11) – о методе наименьших модулей (МНМ).

Результаты сравнительного анализа этих методов приведены ниже:

Рис. 3.2 Сравнительный анализ основных математических методов определения параметров уравнения регрессии.

Для совмещения достоинств этих методов разработана более сложная кусочно заданная функция Хубера :

(3.12)

где с – параметр, показывающий границу, начиная с которой в качестве меры отклонения используется модуль (при меньших – квадрат), чем он больше, тем сильнее чувствительность .

Для снижения чувствительности g() к выбросам (значениям, выбивающимся из общей тенденции) Пиндайк и Рубинфелд ввели функцию:

(3.13)

Рассмотрите сущность и особенности применения метода максимального правдоподобия

Наибольшее распространение в настоящее время получил метод наименьших квадратов. Рассмотрим условия применения МНК, основной алгоритм расчета параметров и свойства оценок параметров, полученных в результате его применения.

Условия применения (предпосылки) МНК (условия Гаусса – Маркова).

1. Математическое ожидание случайного отклонения равно 0 для всех наблюдений: M(ε)=0

2. Дисперсия случайных отклонений постоянна:

3. Случайные отклонения независимы друг от друга:

4. Случайное отклонение независимо от объясняющих переменных регрессионной модели:

5. Модель линейна относительно параметров

Математически условие минимизации квадратов отклонений запишется следующим образом:

(3.14)

найдем минимум F относительно a и a1, вычислив частные производные F по a и a1 и прировняв их к 0:

(3.15)

преобразуем полученную систему:

, (3.16)

раскрыв скобки, получаем стандартную форму нормальных уравнений для вычисления коэффициентов линии регрессии.

(3.17)

решив это уравнение относительно a и a1 , получим оценки параметров теоретического уравнения α и α1, обладающие всеми основными свойствами качественных оценок: (по теореме Гаусса-Маркова): несмещенность, эффективность, состоятельность. Это обуславливает широкое использование МНК в эконометрических расчетах.

Для линейной модели существует упрощенный способ расчета параметров, основанный на решении системы (3.14)

(3.18)

Однако не все фактические данные могут быть описаны при помощи линейной модели. В этом случае используется нелинейная регрессия. Для того, чтобы определить, какую аналитическую форму регрессионной модели выбрать, используют следующий алгоритм (применяется для каждой гипотезы об определенной аналитической форме регрессии) (рис. 3.3). Следует отметить, что этот алгоритм применим только в случае монотонной зависимости между факторами.

Читать еще:  Инновационный анализ предприятия

Рис. 3.3 Алгоритм определения аналитической формы регрессии

Расчет параметров нелинейных регрессионных моделей основан на том же методе, что и для линейной регрессии. Основное требование – уравнение регрессии должно быть либо линейно относительно параметров, либо преобразуемо в такое уравнение (это преобразование называется линеаризацией). В случае параболической модели и полиномиальной модели более высокой степени система уравнений для определения параметров претерпевает очевидные изменения (3.20):

, (3.20)

где a, a1 и a2 – оценки параметров в уравнении регрессии

В случае линеаризации происходит замена переменных в уравнении регрессии с тем, чтобы привести его к линейному виду. Обратите внимание, что линеаризованы могут быть функции с числом параметров, равным числу параметров в соответствующей линейной модели (для парной регрессии – с двумя параметрами), поэтому по сравнению с таблицей 1.1 аналитические выражения для основных функций претерпели определенные изменения.

Рассмотренные модели также можно комбинировать, получая линейные преобразования для других исходных моделей.

Линеаризация основных видов регрессионных моделей

Парный регрессионный анализ

Невозможно понимание событий и процессов, прогнозирование и управление явлениями политической жизни без изучения связей и зависимостей, существующих в политической сфере жизнедеятельности общества. Одна из наиболее распространенных задач политического исследования состоит в изучении связи между некоторыми наблюдаемыми переменными. Помогает решить эту задачу целый класс статистических приемов анализа, объединенных общим названием «регрессионный анализ» (или, как его еще называют, «корреляционно-регрессионный анализ»).

Регрессионный анализ — один из методов многомерного статистического анализа данных, объединяющий совокупность статистических приемов, предназначенных для изучения или моделирования связей между одной зависимой и несколькими (или одной) независимыми переменными. Зависимая переменная по принятой в статистике традиции называется откликом и обозначается как Y Независимые переменные называются предикторами и обозначаются как X. В ходе анализа некоторые переменные окажутся слабо связанными с откликом и будут в конечном счете исключены из анализа. Оставшиеся переменные, связанные с зависимой, могут именоваться еще факторами.

Регрессионный анализ дает возможность предсказать значения одной или нескольких переменных в зависимости от другой переменной (например, склонность к неконвенциональному политическому поведению в зависимости от уровня образования) или нескольких переменных. Рассчитывается он на PC. Для составления регрессионного уравнения, позволяющего измерить степень зависимости контролируемого признака от факторных, необходимо привлечь профессиональных математиков-программистов. Регрессионный анализ может оказать неоценимую услугу при построении прогностических моделей развития политической ситуации, оценке причин социальной напряженности, при проведении теоретических экспериментов. Регрессионный анализ активно используется для изучения влияния на электоральное поведение граждан ряда социально-демографических параметров: пола, возраста, профессии, места проживания, национальности, уровня и характера доходов.

Регрессионный анализ позволяет решать следующие задачи:

1) установить сам факт наличия или отсутствия статистически значимой связи между Y и X;

2) построить наилучшие (в статистическом смысле) оценки функции регрессии;

3) по заданным значениям X построить прогноз для неизвестного У;

4) оценить удельный вес влияния каждого фактора X на Ки соответственно исключить из модели несущественные признаки;

5) посредством выявления причинных связей между переменными частично управлять значениями У путем регулирования величин объясняющих переменных X.

Различают парную и множественную регрессию в зависимости от количества исследуемых признаков. На практике регрессионный анализ обычно выполняется совместно с корреляционным. Уравнение регрессии описывает числовое соотношение между величинами, выраженное в виде тенденции к возрастанию или убыванию одной переменной величины при возрастании или убывании другой. При этом различают линейную и нелинейную регрессии. При описании политических процессов в равной степени обнаруживаются оба варианта регрессии.

Для оценки коэффициентов а и b используют метод наименьших квадратов, предполагающий, что сумма квадратов отклонений каждой точки на диаграмме разброса от линии регрессии должна быть минимальной.

Метод оценки наименьших квадратов дает такие оценки коэффициентов а и Ь, при которых прямая проходит через точку с координатами х и у, т.е. имеет место соотношение у = ах + Ь. Графическое изображение уравнения регрессии называется теоретической линией регрессии. При линейной зависимости коэффициент регрессии представляет на графике тангенс угла наклона теоретической линии регрессии к оси абсцисс. Знак при коэффициенте показывает направление связи. Если он больше нуля, то связь прямая, если меньше — обратная.

Ссылка на основную публикацию
Adblock
detector