Luck-lady.ru

Настольная книга финансиста
0 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Метод регрессионного анализа

Применение корреляционно-регрессионного анализа

В системе статистической обработки данных и аналитики часто используется сочетание методик корреляции и регрессии. Создателем корреляционно-регрессионного анализа считается Фрэнсис Гальтон, который разработал теоретическую основу методологии в 1795 году. В конце 19 века многие европейские ученые в области теории статистики углубили познания в вопросе использования количественных измерителей для отражения связей между явлениями.

Что такое корреляционно-регрессионный анализ (КРА) предприятия?

Корреляционно-регрессионный анализ (КРА) на предприятиях используется для выявления связей между несколькими факторами хозяйственной деятельности и оценки степени взаимозависимости выбранных для анализа критериев. Методика использует два алгоритма действий:

  1. Корреляция, которая направлена на построение моделей связей.
  2. Регрессия, используемая для прогнозирования событий на основе наиболее подходящей для ситуации модели связей.

Анализ проводится в несколько шагов:

  • постановка задач проведения исследования;
  • массовый сбор информации: систематизация статистических данных по конкретным показателям деятельности предприятия в динамике за несколько периодов;
  • этап создания модели связей;
  • анализ функционирования модели, оценка ее эффективности.

Для проведения КРА необходимо использовать показатели в едином измерителе, все они должны иметь числовое значение.

ОБРАТИТЕ ВНИМАНИЕ! Для достоверности данных и работоспособности модели сведения должны быть собраны за длительный отрезок времени.

Для полноты анализа надо устранить количественные ограничения на показатели модели, должно соблюдаться условие постоянной временной и территориальной структуры рассматриваемой совокупности элементов.

Где используется корреляционно-регрессионный анализ?

Основные ситуации применения КРА:

  1. Тестирование отношения между несколькими величинами: выявляется, что именно этот показатель является влияющим, а второй – зависимым.
  2. Определение связи между двумя переменными факторами без уточнения причинно-следственного блока сведений.
  3. Расчет показателя по изменению значения другого фактора.

Корреляционно-регрессионная методика анализа может применяться для подготовки данных о разных сторонах деятельности компании. В бизнесе построение моделей зависимости одного показателя от других факторов и дальнейшая эксплуатация выведенной математической формулы позволяют отслеживать оперативное изменение текущей ситуации в выбранном сегменте хозяйствования и быстро принимать управленческие решения.

Например, благодаря КРА можно постоянно отслеживать уровень рыночной стоимости предприятия. Для этого на начальных этапах проводится сбор информации о динамике изменения рыночной стоимости и статистических показателей всех возможных факторов влияния:

  • уровень выручки;
  • рентабельность;
  • размер активов;
  • сумма непогашенной дебиторской или кредиторской задолженности;
  • резерв сомнительных долгов и др.

Для каждого критерия строится модель, которая выявляет, насколько сильно фактор может влиять на рыночную стоимость бизнес-проекта. Когда все модели построены, оценивается их работоспособность и адекватность. Из комплекса данных выбирается тот тип взаимосвязей, который отвечает требованиям объективности и достоверности. На основе полученной схемы связей создается уравнение, которое позволит получать прогнозные данные об изменении рыночной стоимости при условии изменения значения конкретного фактора.

Методику можно применять при формировании ценовой политики, составлении бизнес-планов, проработке вопроса о расширении ассортиментного ряда и в других сегментах предпринимательства.

Задачи, виды и показатели корреляционно-регрессионного анализа

Задачи КРА заключаются в:

  • идентификации наиболее значимых факторов влияния на конкретный показатель деятельности предприятия;
  • количественном измерении тесноты выявленных связей между показателями;
  • определении неизвестных причин возникновения связей;
  • всесторонней оценке факторов, которые признаны наиболее важными для рассматриваемого показателя;
  • выведении формулы уравнения регрессии;
  • составлении прогноза возможного результата деятельности при изменении ключевых связанных факторов с учетом возможного влияния других факторных признаков.

КРА подразумевает использование нескольких видов корреляционных и регрессионных методов. Зависимости выявляются при помощи корреляций таких типов:

  • парная, если связь устанавливается с участием двух признаков;
  • частная – взаимосвязь оценивается между искомым показателем и одним из ключевых факторов, при этом условием задается постоянное значение комплекса других факторов (то есть числовое выражение всех остальных факторов в любых ситуациях будет приниматься за определенную неизменную величину);
  • множественная – основу исследования составляет влияние на показатель деятельности не одного фактора, а сразу нескольких критериев (двух и более).

СПРАВОЧНО! Выявленные показатели степени тесноты связей отражаются коэффициентом корреляции.

На выбор коэффициента влияет шкала измерения признаков:

  1. Шкала номинальная, которая предназначена для приведения описательных характеристик объектов.
  2. Шкала ординальная нужна для вычисления степени упорядоченности объектов в привязке к одному и более признакам.
  3. Шкала количественная используется для отражения количественных значений показателей.

Регрессионный анализ пользуется методом наименьших квадратов. Регрессия может быть линейной и множественной. Линейный тип предполагает модель из связей между двумя параметрами. Например, при наличии таких двух критериев, как урожайность клубники и полив, понятно, что именно объем поступающей влаги будет влиять на объем выращенной и собранной клубники. Если полив будет чрезмерным, то урожай пропадет. Урожайность же клубники никак не может воздействовать на систему полива.

Множественная регрессия учитывает более двух факторов одновременно. В случае с клубникой при оценке ее урожайности могут использоваться факторы полива, плодородности почвы, температурного режима, отсутствия слизняков, сортовые особенности, своевременность внесения удобрений. Все перечисленные показатели в совокупности оказывают комплексное воздействие на искомое значение – урожайность ягод.

Система показателей анализа формируется критериями классификации. Например, при экстенсивном типе развития бизнеса в качестве показателей могут выступать такие факторы:

  • количество сотрудников;
  • число заключенных договоров за отчетный период;
  • посевные площади;
  • прирост поголовья скота;
  • расширение дилерской сети;
  • объем основных фондов.

При интенсивном типе развития могут применяться следующие показатели:

  • производительность труда;
  • рентабельность;
  • урожайность;
  • фондоотдача;
  • ликвидность;
  • средний объем поставок в отчетном периоде по одному договору.

Оценка

Для оценки достоверности и эффективности модели связей необходимо построить матрицу коэффициентов. Коэффициент в случае парной корреляции вычисляется по формуле:

Читать еще:  Анализ эффективности оборотных средств

Диапазон значений коэффициента ограничивается показателями от -1 до +1. Если итоговое значение было получено со знаком плюс, то между рассматриваемыми переменными имеется прямая связь. Если в результате расчетов значение оказалось отрицательным, то связь будет обратной, то есть при увеличении одного из показателей другой связанный с ним фактор будет уменьшаться. Пример прямой связи – увеличение посевных площадей будет способствовать росту объема собираемой с полей продукции. Пример обратной связи – увеличение посевных площадей сопровождается снижением урожайности.

Качественный аспект тесноты связи между рассматриваемыми в аналитических расчетах показателями можно оценивать, основываясь на шкале Чеддока.

В соответствии с ее нормами связь будет расцениваться как сильная при значении коэффициента корреляции по абсолютным данным величины выше 0,7. Положительный или отрицательный знак сопровождает числовое значение – неважно, ориентироваться необходимо только на число. Если коэффициент после вычислений оказался ниже 0,3, то связь можно считать слабой.

Для дальнейших этапов анализа выбираются факторы с высокой степенью связанности. Все остальные критерии, для которых установлена слабая связь, отбрасываются. На основании полученных сведений определяется вид математического уравнения регрессии. Рассчитывается численное значение оценки параметров регрессии, определяются качества полученной модели регрессии.

Регрессионный анализ

Регрессионный анализ является одним из самых распространённых методов обработки результатов наблюдений и в ряде случаев выступает основой для таких методов как планирование эксперимента, многомерный статистический анализ, дисперсионный анализ и др.

В регрессионном анализе различают результирующую (зависимую) переменную и объясняющие (предикторные) переменные . Функция называется функцией регрессии и показывает, каким будет в среднем значение переменной , если переменные примут конкретные значения. Уравнения регрессионной связи могут быть представлены в следующем виде:

ε(X) – случайная остаточная составляющая (регрессионные остатки),

(X) – ее математическое ожидание.

Наличие остаточной составляющей связано, во-первых, с существованием факторов, не учтенных в объясняющих переменных, и, во-вторых, со случайной погрешностью в измерении результирующего фактора.

Стандартный подход основан на предположении, функция регрессии описывается линейной зависимостью вида:

(6.9)

где p – число объясняющих переменных

– значение i-й компоненты j-й объясняющей переменной;

b=( , . ) – неизвестные параметры регрессии.

Ранг матрицы X = p+1 2 . Независимость дисперсий остатков от значений объясняющих переменных называется гомоскедастичностью регрессионных остатков.

Следующим требованием является максимальность ранга матрицы , что означает, что не должно существовать строгой линейной зависимости между объясняющими переменными.

Таблица 6.1 — Рейтинг регионов по уровню развития малого и среднего предпринимательства[11]

Для решения уравнений регрессии в общем случае используется метод наименьших квадратов (МНК), позволяющий подобрать такие оценки параметров функции регрессии , при которых регрессионные значения результирующего показателя как можно меньше отличались от наблюденных значений . В тех случаях, когда вводится дополнительное предположение о нормальном распределении регрессионных остатков, используется метод максимального правдоподобия.

После того, как получены коэффициенты регрессионной зависимости, следует определить величину степени стохастической взаимосвязи результирующей переменной и факторов . Она определяется через общую дисперсию показателя, факторную и остаточную дисперсии.

Вариация результирующей переменной обусловлена варьированием значений объясняющей переменной и поведением случайных остатков i. Общая дисперсия результирующей переменной равна

,

где ⎼ среднее значение переменной .

Факторная дисперсия результирующей переменной отражает только влияние основных факторов:

,

где — теоретические значения результирующего показателя, полученные путем подстановки соответствующих значений факторных признаков в уравнение регрессии.

Остаточная дисперсия результирующего показателя y отражает влияние только остаточных факторов:

При наличии корреляционной связи результирующей переменной и факторов выполняется соотношение

, причем .

Для анализа общего качества уравнения линейной многофакторной регрессии используется коэффициент детерминации R 2 , рассчитываемый по формуле

Он определяет долю вариативности результирующего показателя, обусловленную изменением факторных признаков.

Многие важные зависимости в экономике являются нелинейными. В качестве примера таких регрессионных моделей можно привести зависимость между объемом произведенной продукции и основными факторами производства, функции спроса.

Если предварительный анализ показывает, что искомая зависимость нелинейна, то выполняются следующие шаги.

Производится попытка так преобразовать анализируемые переменные y, x1, x2, . xp, чтобы искомая зависимость была представлена в виде линейного соотношения между преобразованными переменными. Такой процесс называют процедурой линеаризации модели, а сами модели называются внутренне линейными [30].

Например, если рассматривается экспоненциальная модель вида

, (6.10)

то после логарифмирования получим модель, имеющую форму линейной регрессии:

(6.11)

Аналогичные свойства имеют зависимости гиперболического типа и логарифмического типа.

Если же линеаризующее преобразование подобрать не удается, то есть модель внутренне нелинейна, то в этом случае требуется привлечение соответствующих методов нелинейной оптимизации [31].

Регрессионный анализ

Материал из MachineLearning.

Регрессионный анализ — метод моделирования измеряемых данных и исследования их свойств. Данные состоят из пар значений зависимой переменной (переменной отклика) и независимой переменной (объясняющей переменной). Регрессионная модель есть функция независимой переменной и параметров с добавленной случайной переменной. Параметры модели настраиваются таким образом, что модель наилучшим образом приближает данные. Критерием качества приближения (целевой функцией) обычно является среднеквадратичная ошибка: сумма квадратов разности значений модели и зависимой переменной для всех значений независимой переменной в качестве аргумента. Регрессионный анализ — раздел математической статистики и машинного обучения. Предполагается, что зависимая переменная есть сумма значений некоторой модели и случайной величины. Относительно характера распределения этой величины делаются предположения, называемые гипотезой порождения данных. Для подтверждения или опровержения этой гипотезы выполняются статистические тесты, называемые анализом остатков. При этом предполагается, что независимая переменная не содержит ошибок. Регрессионный анализ используется для прогноза, анализа временных рядов, тестирования гипотез и выявления скрытых взаимосвязей в данных.

Читать еще:  Анализ потребителей компании

Содержание

Определение регрессионного анализа

Регрессия — зависимость математического ожидания (например, среднего значения) случайной величины от одной или нескольких других случайных величин (свободных переменных), то есть . Регрессионным анализом называется поиск такой функции , которая описывает эту зависимость. Регрессия может быть представлена в виде суммы неслучайной и случайной составляющих.

где — функция регрессионной зависимости, а — аддитивная случайная величина с нулевым матожиданием. Предположение о характере распределения этой величины называется гипотезой порождения данных. Обычно предполагается, что величина имеет гауссово распределение с нулевым средним и дисперсией .

Задача нахождения регрессионной модели нескольких свободных переменных ставится следующим образом. Задана выборка — множество значений свободных переменных и множество соответствующих им значений зависимой переменной. Эти множества обозначаются как , множество исходных данных . Задана регрессионная модель — параметрическое семейство функций зависящая от параметров и свободных переменных . Требуется найти наиболее вероятные параметры :

Функция вероятности зависит от гипотезы порождения данных и задается Байесовским выводом или методом наибольшего правдоподобия.

Линейная регрессия

Линейная регрессия предполагает, что функция зависит от параметров линейно. При этом линейная зависимость от свободной переменной необязательна,

В случае, когда функция линейная регрессия имеет вид

здесь — компоненты вектора .

Значения параметров в случае линейной регрессии находят с помощью метода наименьших квадратов. Использование этого метода обосновано предположением о гауссовском распределении случайной переменной.

Разности между фактическими значениями зависимой переменной и восстановленными называются регрессионными остатками (residuals). В литературе используются также синонимы: невязки и ошибки. Одной из важных оценок критерия качества полученной зависимости является сумма квадратов остатков:

Здесь — Sum of Squared Errors.

Дисперсия остатков вычисляется по формуле

Здесь — Mean Square Error, среднеквадратичная ошибка.

На графиках представлены выборки, обозначенные синими точками, и регрессионные зависимости, обозначенные сплошными линиями. По оси абсцисс отложена свободная переменная, а по оси ординат — зависимая. Все три зависимости линейны относительно параметров.

Нелинейная регрессия

Нелинейные регрессионные модели — модели вида

которые не могут быть представлены в виде скалярного произведения

где — параметры регрессионной модели, — свободная переменная из пространства , — зависимая переменная, — случайная величина и — функция из некоторого заданного множества.

Значения параметров в случае нелинейной регрессии находят с помощью одного из методов градиентного спуска, например алгоритма Левенберга-Марквардта.

О терминах

Термин «регрессия» был введён Фрэнсисом Гальтоном в конце 19-го века. Гальтон обнаружил, что дети родителей с высоким или низким ростом обычно не наследуют выдающийся рост и назвал этот феномен «регрессия к посредственности». Сначала этот термин использовался исключительно в биологическом смысле. После работ Карла Пирсона этот термин стали использовать и в статистике.

В статистической литературе различают регрессию с участием одной свободной переменной и с несколькими свободными переменными — одномерную и многомерную регрессию. Предполагается, что мы используем несколько свободных переменных, то есть, свободная переменная — вектор . В частных случаях, когда свободная переменная является скаляром, она будет обозначаться . Различают линейную и нелинейную регрессию. Если регрессионную модель не является линейной комбинацией функций от параметров, то говорят о нелинейной регрессии. При этом модель может быть произвольной суперпозицией функций из некоторого набора. Нелинейными моделями являются, экспоненциальные, тригонометрические и другие (например, радиальные базисные функции или персептрон Розенблатта), полагающие зависимость между параметрами и зависимой переменной нелинейной.

Различают параметрическую и непараметрическую регрессию. Строгую границу между этими двумя типами регрессий провести сложно. Сейчас не существует общепринятого критерия отличия одного типа моделей от другого. Например, считается, что линейные модели являются параметрическими, а модели, включающие усреднение зависимой переменной по пространству свободной переменной —непараметрическими. Пример параметрической регресионной модели: линейный предиктор, многослойный персептрон. Примеры смешанной регрессионной модели: функции радиального базиса. Непараметрическая модель — скользящее усреднение в окне некоторой ширины. В целом, непараметрическая регрессия отличается от параметрической тем, что зависимая переменная зависит не от одного значения свободной переменной, а от некоторой заданной окрестности этого значения.

Есть различие между терминами: «приближение функций», «аппроксимация», «интерполяция», и «регрессия». Оно заключается в следующем.

Приближение функций. Дана функция дискретного или непрерывного аргумента. Требуется найти функцию из некоторого параметрическую семейства, например, среди алгебраических полиномов заданной степени. Параметры функции должны доставлять минимум некоторому функционалу, например,

Термин аппроксимация — синоним термина «приближение функций». Чаще используется тогда, когда речь идет о заданной функции, как о функции дискретного аргумента. Здесь также требуется отыскать такую функцию , которая проходит наиболее близко ко всем точкам заданной функции. При этом вводится понятие невязки — расстояния между точками непрерывной функции и соответствующими точками функции дискретного аргумента.

Интерполяция функций — частный случай задачи приближения, когда требуется, чтобы в определенных точках, называемых узлами интерполяции совпадали значения функции и приближающей ее функции . В более общем случае накладываются ограничения на значения некоторых производных производных. То есть, дана функция дискретного аргумента. Требуется отыскать такую функцию , которая проходит через все точки . При этом метрика обычно не используется, однако часто вводится понятие «гладкости» искомой функции.

Регрессия и классификация тесно связаны друг с другом. Термин алгоритм в классификации мог бы стать синонимом термина модель в регрессии, если бы алгоритм не оперировал с дискретным множеством ответов-классов, а модель — с непрерывно-определенной свободной переменной.

Читать еще:  Анализ результатов предприятия

Линейная регрессия в машинном обучении

Линейная регрессия ( Linear regression ) — модель зависимости переменной x от одной или нескольких других переменных (факторов, регрессоров, независимых переменных) с линейной функцией зависимости.

Линейная регрессия относится к задаче определения «линии наилучшего соответствия» через набор точек данных и стала прос тым предшественником нелинейных методов, которые используют для обучения нейронных сетей. В этой статье покажем вам примеры линейной регрессии.

Применение линейной регрессии

Предположим, нам задан набор из 7 точек (таблица ниже).

Цель линейной регрессии — поиск линии, которая наилучшим образом соответствует этим точкам. Напомним, что общее уравнение для прямой есть f (x) = m⋅x + b, где m — наклон линии, а b — его y-сдвиг. Таким образом, решение линейной регрессии определяет значения для m и b, так что f (x) приближается как можно ближе к y. Попробуем несколько случайных кандидатов:

Довольно очевидно, что первые две линии не соответствуют нашим данным. Третья, похоже, лучше, чем две другие. Но как мы можем это проверить? Формально нам нужно выразить, насколько хорошо подходит линия, и мы можем это сделать, определив функцию потерь.

Функция потерь — метод наименьших квадратов

Функция потерь — это мера количества ошибок, которые наша линейная регрессия делает на наборе данных. Хотя есть разные функции потерь, все они вычисляют расстояние между предсказанным значением y( х) и его фактическим значением. Например, взяв строку из среднего примера выше, f(x)=−0.11⋅x+2.5, мы выделяем дистанцию ошибки между фактическими и прогнозируемыми значениями красными пунктирными линиями.

Одна очень распространенная функция потерь называется средней квадратичной ошибкой (MSE). Чтобы вычислить MSE, мы просто берем все значения ошибок, считаем их квадраты длин и усредняем.

Вычислим MSE для каждой из трех функций выше: первая функция дает MSE 0,17, вторая — 0,08, а третья — 0,02. Неудивительно, что третья функция имеет самую низкую MSE, подтверждая нашу догадку, что это линия наилучшего соответствия.

Рассмотрим приведенный ниже рисунок, который использует две визуализации средней квадратичной ошибки в диапазоне, где наклон m находится между -2 и 4, а b между -6 и 8.

Слева: диаграмма, изображающая среднеквадратичную ошибку для -2≤m≤4, -6≤p≤8 Справа: тот же рисунок, но визуализирован как контурный график, где контурные линии являются логарифмически распределенными поперечными сечениями высоты.

Глядя на два графика, мы видим, что наш MSE имеет форму удлиненной чаши, которая, по-видимому, сглаживается в овале, грубо центрированном по окрестности (m, p) ≈ (0.5, 1.0). Есл и мы построим MSE линейной регрессии для другого датасета, то получим аналогичную форму. Поскольку мы пытаемся минимизировать MSE, наша цель — выяснить, где находится самая низкая точка в чаше.

Больше размерностей

Вышеприведенный пример очень простой, он имеет только одну независимую переменную x и два параметра m и b. Что происходит, когда имеется больше переменных? В общем случае, если есть n переменных, их линейная функция может быть записана как:

Один трюк, который применяют, чтобы упростить это — думать о нашем смещении «b», как о еще одном весе, который всегда умножается на «фиктивное» входное значение 1. Другими словами:

Добавление измерений, на первый взгляд, ужасное усложнение проблемы, но оказывается, постановка задачи остается в точности одинаковой в 2, 3 или в любом количестве измерений. Существует функция потерь, которая выглядит как чаша — гипер-чаша! И, как и прежде, наша цель — найти самую нижнюю часть этой чаши, объективно наименьшее значение, которое функция потерь может иметь в отношении выбора параметров и набора данных.

Итак, как мы вычисляем, где именно эта точка на дне? Распространенный подход — обычный метод наименьших квадратов, который решает его аналитически. Когда есть только один или два параметра для решения, это может быть сделано вручную, и его обычно преподают во вводном курсе по статистике или линейной алгебре.

Проклятие нелинейности

Увы, обычный МНК не используют для оптимизации нейронных сетей, поэтому решение линейной регрессии будет оставлено как упражнение, оставленное читателю. Причина, по которой линейную регрессию не используют, заключается в том, что нейронные сети нелинейны.

Различие между линейными уравнениями, которые мы составили, и нейронной сетью — функция активации (например, сигмоида, tanh, ReLU или других).

Эта нелинейность означает, что параметры не действуют независимо друг от друга, влияя на форму функции потерь. Вместо того, чтобы иметь форму чаши, функция потерь нейронной сети более сложна. Она ухабиста и полна холмов и впадин. Свойство быть «чашеобразной» называется выпуклостью, и это ценное свойство в многопараметрической оптимизации. Выпуклая функция потерь гарантирует, что у нас есть глобальный минимум (нижняя часть чаши), и что все дороги под гору ведут к нему.

Минимум функции

Но, вводя нелинейность, мы теряем это удобство ради того, чтобы дать нейронным сетям гораздо большую «гибкость» при моделировании произвольных функций. Цена, которую мы платим, заключается в том, что больше нет простого способа найти минимум за один шаг аналитически. В этом случае мы вынуждены использовать многошаговый численный метод, чтобы прийти к решению. Хотя существует несколько альтернативных подходов, градиентный спуск остается самым популярным методом.

Ссылка на основную публикацию
Adblock
detector