Регресионен модел: Разлика между версии

Изтрито е съдържание Добавено е съдържание
Aefremov (беседа | приноси)
Редакция без резюме
Aefremov (беседа | приноси)
мРедакция без резюме
Ред 4:
него той нарича тенденцията родителите с по-висок ръст от нормалния да имат
деца с по-близък ръст до средния. Този факт Галтон нарекъл „regression to
mediocrity“. От съвременна гледна точка това название е неподходящо <ref name=Vandev>[http://www.fmi.uni-sofia.bg/fmi/statist/Personal/Vandev/lectures/applstat1.pdf Димитър Въндев, Д., (2013) ''Записки по приложна статистика 1'']</ref>, имайки
предвид сегашния смисъл на регресионния модел, а
именно - описание на връзката между множество от входни и друго множество
от изходни величини
<ref name=Casella>Casella, G. Casella, S. Fienberg and I. Olkin, (1998) ''Applied Regression Analysis - A Research Tool''. Springer-Verlag, New York</ref>,
<ref name=Chattefuee>Chattefuee, S. Chattefuee and A. S. Hadi, (2006) ''Regression Analysis by Example.'' John Wiley & Sons, Inc., Hoboken, New Jersey</ref>. Понякога входовете се наричат въздействия, независими
или описателни променливи/характеристики, атрибути, а ако моделът е статичен, също се
наричат фактори, регресори, предиктори и др. Изходите се наричат още:
Ред 16:
между тях. Например фактори, регресори и предиктори в динамичен регресионен
модел обикновено са изместени във времето входно-изходни величини
<ref name=Nelles>Nelles, O. Nelles, (2001) ''Nonlinear System Identification. From Classical Approaches
to Neural Networks and Fuzzy Models''. Springer-Verlag, Berlin Heidelberg</ref> (или
техни функции). Затова е желателно, когато се набляга на зависимостта на
Ред 24:
 
В някои източници се прави разлика между фактор и регресор
<ref name=Bojanov>Божанов, Е. Божанов, и И. Вучков, (1973) ''Статистически методи за моделиране и оптимизране на многофакторни обекти.'', Техника, София]</ref>
, като под регресор се има предвид променлива, която участва в модела, а фактор е реална,
физическа величина. В този смисъл, ако даден фактор се трансформира, например
Ред 33:
е получен. Още повече че често в литературата векторът на регресорите се означава
с буквата <math>\varphi</math> (от фактори)
<ref name=Garipov_II>Емил Гарипов, E., (2004) ''Част II. Идентификация чрез дискретни стохастични регресионни модели.'' ТУ - София, ISBN 954-438-392-1</ref>.
 
==Общ вид на регресионен модел==
Ред 60:
Често регресионните модели се представят като изходът им <math>\hat{y}_k</math> се замени с измерения изход на
системата
<ref name=Isenman>Isenman, A. J. Isenman, (2008) ''Modern Multivariate Statistical Techniques. Regression, Classification, and Manifold Learning.'' Springer-Verlag</ref>
<ref name=DouglasMontgomery>DouglasMontgomery, C. Montgomery, Elizabeth AP. Peck,and G. Geoffrey Vining, (2012) ''Introduction to Linear Regression Analysis.'' Wiley, ISBN: 978-0-470-54281-1</ref>
, т.е.
: <math>
Ред 78:
Това позволява прилагането на линейната теория, която е добре развита и предлага унифицирани решения, както за изграждане на модела, така и за неговото използване. В някои източници
<ref name=Vandev/>,
<ref name=Mateev>[http://www.fmi.uni-sofia.bg/lecturers/vois/pmat/Regression.pdf Матеев, П. Матеев, (2012) ''Линеен регресионен модел. Метод на най-малките квадрати. Теорема на Гаус-Марков'', София]</ref>
под „линеен“ се разбира модел, изходът на който е линейна функция на параметрите, докато в
<ref name=Garipov_I>Емил Гарипов, E. (2004) ''Идентификация на системи Част I. Въведение.'' ТУ - София, ISBN 954-438-391-3</ref>, <ref name=Vuchkov>Иван Вучков, И., (1996) ''Идентификация.'' ИК Юрапел, София</ref> и др., ако моделът е линеен, то изходът му зависи линейно от входа. По тази причина, ако изходът на модел е линеен по параметри, в статията това изрично се указва.
 
По-долу се използват съкращенията:
Ред 104:
модел. Това означава, че горното умножение трябва да се извърши между
матрица и вектор, както е показано на фигурата. Така възникват две групи представяния на линейните по параметри MIMO регресионни модели записани в общ вид
<ref name=Efremov_2014>[http://anp.tu-sofia.bg/aefremov/publications/EfremovITC14_01.pdf Alexander Efremov, A., (2014) General Forms of a Class of Multivariable Regression Models. ''In: Journal of Information Technologies and Control''. Sofia, Bulgaria]</ref>,
<ref name=Efremov_2013>[http://anp.tu-sofia.bg/aefremov/publications/EfremovSAI13_01.pdf Alexander Efremov, A., (2013) Generalized representations multivariable linear parameterized models ''In: International Conference of Automatics and Informatics'', pp. I-233 - I-236. Sofia, Bulgaria]</ref>. При едното параметрите се подреждат във вектор, а факторите - в матрица с
подходяща структура, докато при другото представяне факторите са във вектор,
а параметрите в матрица. Първият запис на MIMO модел в общ вид е
Ред 122:
съдържа стойностите на регресорите
<ref name=Vuchkov/>,
<ref name=Dayal>Dayal, B. S. Dayal and J. F. MacGregor, (1997) Multi-output process identification. ''In: Journal of Process Control'', volume 7, № 4, pp. 269–282</ref>,
<ref name=Den_Hof>P. Den Hof, P., (1994) Model sets and parametrizations for identification of multivariable equation error models. ''In: Automatica'', volume 30, № 3, pp. 433–446</ref>,
<ref name=Fassois>Fassois, S. D. Fassois, (2001) MIMO LMS-ARMAX identification of vibrating structures – part I: the method. ''In: Mechanical Systems and Signal Processing'', volume 15, № 4, pp. 723–735</ref>,
<ref name=Yiu>Yiu, J. Yiu and S. Wang, (2007) Multiple ARMAX modelling scheme for forecasting air conditioning system performance, ''In: Energy Conversion and Management'', volume 48, pp. 2276–2285</ref>
. На пръв поглед няма значение как се
формира <math>\hat{y}_k</math> - и в двата случая изходът е линейна функция на
параметрите и на факторите. Въпреки това горните две представяния са свързани с различни особености, които са важни още на ниво уточняване на структурата на модела.
 
Възможни структури на матриците и векторите в общите записи, както и предимствата и недостатъците на представянията са разгледани подробно в <ref name=Efremov>Александър Ефремов, А., (2013) ''Идентификация на многомерни системи'', DAR-RH, ISBN 978-954-9489-34-7</ref>.
 
===MISO и SISO модели===
Line 154 ⟶ 155:
Под нелинейни модели се има предвид такива, които не може да се представят в линеен по параметри вид.
Също така, в някои източници
<ref>Ищев, К. Ищев, (2007) ''Теория на автоматичното управление.'' ТУ - София</ref>
, когато се набляга на връзката между входните и изходните величини, ако тя е нелинейна, такъв модел също се нарича нелинеен, независимо дали изходът е линейна функция на параметрите. Например нека изходът на модела е
: <math>
Line 174 ⟶ 175:
===Пример: логистичен модел===
 
Един често използван нелинеен модел в практиката е логистичният. Той се използва във финансите
<ref name=Thomas> LynThomas, CL. Thomas, David BD. Edelman and Jonathan NJ. Crook, (2002) Credit Scoring & Its Applications (Monographs on Mathematical Modeling and Computation), SIAM - society of industrial and applied mathematics, ISBN-13: 978-0898714838</ref>
, медицината
<ref> [http://www.biometrica.tomsk.ru/logit_1.htm] Leonov, V. Leonov, (2012) Logistic regression in medicine and biology. ''In Biostatistics'', in Russian.</ref>
, автоматиката - за откриване на повреди, в психологията
<ref>IrvingWeiner, BI. Weiner, John AJ. Schinka and Wayne FW. Velicer, (2003) ''Handbook of Psychology, Research Methods in Psychology'', John Wiley & Sons, Inc.</ref>
и др.). За описание на свойствата на модела е представен вариант с един изход. MISO логистичният модел има вида
: <math>
y_k ={\tfrac{1}{1+ e^{-\varphi_k^T \theta } }} + e_k.
</math>
Моделът намира приложение, когато изходът на обекта има смисъл на вероятност. Например в системите за оценка на кредитния риск
<ref name=Thomas>www.experian.com</ref>
<math>y_k</math> приема стойности между 0 и 1 (0 - „лош“, 1 - „добър“ кредитополучател). В този случай предствянето като линейна по параметри функция
: <math>
\tilde{y}_k = \ln {\tfrac{y_k }{1-y_k }} = \varphi_k^T \theta + e_k,