Metóda najmenších štvorcov (LSM) umožňuje odhadnúť rôzne veličiny pomocou výsledkov mnohých meraní obsahujúcich náhodné chyby.

Charakteristika MNC

Hlavnou myšlienkou tejto metódy je, že súčet štvorcových chýb sa považuje za kritérium presnosti riešenia problému, ktoré sa má minimalizovať. Pri použití tejto metódy je možné použiť numerický aj analytický prístup.

Konkrétne, ako numerická implementácia, metóda najmenších štvorcov zahŕňa vykonanie čo najväčšieho počtu meraní neznámej náhodnej premennej. Navyše, čím viac výpočtov, tým presnejšie bude riešenie. Na tomto súbore výpočtov (počiatočných údajov) sa získa ďalší súbor navrhnutých riešení, z ktorých sa potom vyberie to najlepšie. Ak je množina riešení parametrizovaná, potom sa metóda najmenších štvorcov zredukuje na nájdenie optimálnej hodnoty parametrov.

Ako analytický prístup k implementácii LSM na súbore počiatočných údajov (meraní) a navrhovanom súbore riešení sú definované niektoré (funkčné), ktoré možno vyjadriť vzorcom získaným ako určitá hypotéza, ktorú je potrebné potvrdiť . V tomto prípade sa metóda najmenších štvorcov redukuje na nájdenie minima tejto funkcionality na množine štvorcových chýb počiatočných údajov.

Všimnite si, že nie samotné chyby, ale druhé mocniny chýb. prečo? Faktom je, že často sú odchýlky meraní od presnej hodnoty pozitívne aj negatívne. Pri určovaní priemeru môže jednoduchý súčet viesť k nesprávnemu záveru o kvalite odhadu, pretože vzájomné zrušenie kladných a záporných hodnôt zníži vzorkovaciu silu súboru meraní. A následne aj presnosť hodnotenia.

Aby sa tomu zabránilo, štvorcové odchýlky sa spočítajú. Ba čo viac, na vyrovnanie rozmeru nameranej hodnoty a konečného odhadu sa na extrakciu používa súčet štvorcových chýb.

Niektoré aplikácie nadnárodných spoločností

MNC sa široko používa v rôznych oblastiach. Napríklad v teórii pravdepodobnosti a matematickej štatistike sa metóda používa na určenie takej charakteristiky náhodnej premennej, ako je štandardná odchýlka, ktorá určuje šírku rozsahu hodnôt náhodnej premennej.

Aproximácia experimentálnych údajov je metóda založená na nahradení experimentálne získaných údajov analytickou funkciou, ktorá sa v uzlových bodoch najviac zhoduje s počiatočnými hodnotami (údaje získané počas experimentu alebo experimentu). V súčasnosti existujú dva spôsoby, ako definovať analytickú funkciu:

Zostrojením n-stupňového interpolačného polynómu, ktorý prejde priamo cez všetky body dané pole údajov. V tomto prípade je aproximačná funkcia reprezentovaná ako: interpolačný polynóm v Lagrangeovom tvare alebo interpolačný polynóm v Newtonovom tvare.

Zostrojením n-stupňového aproximačného polynómu, ktorý prejde blízko k bodom z daného dátového poľa. Aproximačná funkcia teda vyhladzuje všetok náhodný šum (alebo chyby), ktoré sa môžu vyskytnúť počas experimentu: namerané hodnoty počas experimentu závisia od náhodných faktorov, ktoré kolíšu podľa vlastných náhodných zákonov (chyby merania alebo prístroja, nepresnosť alebo experimentálne chyby). V tomto prípade je aproximačná funkcia určená metódou najmenších štvorcov.

Metóda najmenších štvorcov(v anglickej literatúre Ordinary Least Squares, OLS) je matematická metóda založená na definícii aproximačnej funkcie, ktorá je postavená v tesnej blízkosti bodov z daného poľa experimentálnych údajov. Blízkosť začiatočnej a aproximačnej funkcie F(x) je určená numerickou mierou, a to: súčet kvadrátov odchýlok experimentálnych dát od aproximačnej krivky F(x) by mal byť najmenší.

Fitovacia krivka vytvorená metódou najmenších štvorcov

Používa sa metóda najmenších štvorcov:

Riešiť preurčené sústavy rovníc, keď počet rovníc presahuje počet neznámych;

Hľadať riešenie v prípade obyčajných (nie preurčených) nelineárnych sústav rovníc;

Na aproximáciu bodových hodnôt pomocou nejakej aproximačnej funkcie.

Aproximačná funkcia metódou najmenších štvorcov je určená z podmienky minimálneho súčtu štvorcových odchýlok vypočítanej aproximačnej funkcie z daného poľa experimentálnych dát. Toto kritérium metódy najmenších štvorcov je napísané ako nasledujúci výraz:

Hodnoty vypočítanej aproximačnej funkcie v uzlových bodoch,

Špecifikované pole experimentálnych údajov v uzlových bodoch.

Kvadratické kritérium má množstvo „dobrých“ vlastností, ako je diferencovateľnosť, ktorá poskytuje jedinečné riešenie aproximačného problému s polynomiálnymi aproximačnými funkciami.

V závislosti od podmienok úlohy je aproximačná funkcia polynóm stupňa m

Stupeň aproximačnej funkcie nezávisí od počtu uzlových bodov, ale jej rozmer musí byť vždy menší ako rozmer (počet bodov) daného poľa experimentálnych dát.

∙ Ak je stupeň aproximačnej funkcie m=1, tak tabuľkovú funkciu aproximujeme priamkou (lineárna regresia).

∙ Ak je stupeň aproximačnej funkcie m=2, potom aproximujeme tabuľkovú funkciu kvadratickou parabolou (kvadratická aproximácia).

∙ Ak je stupeň aproximačnej funkcie m=3, tak tabuľkovú funkciu aproximujeme kubickou parabolou (kubickou aproximáciou).

Vo všeobecnom prípade, keď je potrebné zostrojiť aproximačný polynóm stupňa m pre dané tabuľkové hodnoty, podmienka pre minimálny súčet štvorcových odchýlok nad všetkými uzlovými bodmi sa prepíše do nasledujúceho tvaru:

- neznáme koeficienty aproximačného polynómu stupňa m;

Počet špecifikovaných hodnôt tabuľky.

Nevyhnutnou podmienkou existencie minima funkcie je nulová rovnosť jej parciálnych derivácií vzhľadom na neznáme premenné . Výsledkom je nasledujúci systém rovníc:

Transformujme výsledný lineárny systém rovníc: otvorte zátvorky a presuňte voľné členy na pravú stranu výrazu. Výsledkom je, že výsledný systém lineárnych algebraických výrazov bude napísaný v tejto forme:

Tento systém lineárnych algebraických výrazov možno prepísať do maticovej formy:

Výsledkom bola sústava lineárnych rovníc rozmeru m + 1, ktorá pozostáva z m + 1 neznámych. Tento systém je možné riešiť pomocou ľubovoľnej metódy na riešenie lineárnych algebraických rovníc (napríklad Gaussova metóda). V dôsledku riešenia sa nájdu neznáme parametre aproximačnej funkcie, ktoré poskytujú minimálny súčet kvadrátov odchýlok aproximačnej funkcie od pôvodných údajov, t.j. najlepšia možná kvadratická aproximácia. Malo by sa pamätať na to, že ak sa zmení čo i len jedna hodnota počiatočných údajov, všetky koeficienty zmenia svoje hodnoty, pretože sú úplne určené počiatočnými údajmi.

Aproximácia počiatočných údajov lineárnou závislosťou

(lineárna regresia)

Ako príklad uveďme metódu na určenie aproximačnej funkcie, ktorá je uvedená ako lineárny vzťah. V súlade s metódou najmenších štvorcov sa podmienka pre minimálny súčet odchýlok štvorcových zapíše takto:

Súradnice uzlových bodov tabuľky;

Neznáme koeficienty aproximačnej funkcie, ktorá je daná ako lineárny vzťah.

Nevyhnutnou podmienkou existencie minima funkcie je nulová rovnosť jej parciálnych derivácií vzhľadom na neznáme premenné. Výsledkom je nasledujúci systém rovníc:

Transformujme výsledný lineárny systém rovníc.

Výslednú sústavu lineárnych rovníc riešime. Koeficienty aproximačnej funkcie v analytickej forme sa určia nasledovne (Cramerova metóda):

Tieto koeficienty poskytujú konštrukciu lineárnej aproximačnej funkcie v súlade s kritériom pre minimalizáciu súčtu štvorcov aproximačnej funkcie z daných tabuľkových hodnôt (experimentálne dáta).

Algoritmus na implementáciu metódy najmenších štvorcov

1. Počiatočné údaje:

Vzhľadom na množstvo experimentálnych údajov s počtom meraní N

Udáva sa stupeň aproximačného polynómu (m).

2. Algoritmus výpočtu:

2.1. Pre zostavenie sústavy rovníc s dimenziou sa určujú koeficienty

Koeficienty sústavy rovníc (ľavá strana rovnice)

- index čísla stĺpca štvorcovej matice sústavy rovníc

Voľné členy sústavy lineárnych rovníc (pravá strana rovnice)

- index čísla riadku štvorcovej matice sústavy rovníc

2.2. Zostavenie sústavy lineárnych rovníc s dimenziou .

2.3. Riešenie sústavy lineárnych rovníc na určenie neznámych koeficientov aproximačného polynómu stupňa m.

2.4 Určenie súčtu štvorcových odchýlok aproximačného polynómu od počiatočných hodnôt cez všetky uzlové body

Nájdená hodnota súčtu kvadrátov odchýlok je minimálna možná hodnota.

Aproximácia s inými funkciami

Treba poznamenať, že pri aproximácii počiatočných údajov v súlade s metódou najmenších štvorcov sa ako aproximačná funkcia niekedy používa logaritmická funkcia, exponenciálna funkcia a výkonová funkcia.

Aproximácia denníka

Zvážte prípad, keď je aproximačná funkcia daná logaritmickou funkciou tvaru:

Metóda najmenších štvorcov je jednou z najbežnejších a najrozvinutejších vďaka jej jednoduchosť a efektívnosť metód na odhad parametrov lineárnych. Zároveň je potrebné dbať na určitú opatrnosť pri jeho používaní, pretože modely postavené pomocou neho nemusia spĺňať množstvo požiadaviek na kvalitu svojich parametrov a v dôsledku toho „nezodpovedajú“ vzorom vývoja procesov.

Pozrime sa podrobnejšie na postup odhadu parametrov lineárneho ekonometrického modelu metódou najmenších štvorcov. Takýto model vo všeobecnej forme môže byť reprezentovaný rovnicou (1.2):

yt = a 0 + a 1 x 1 t +...+ a n x nt + ε t.

Počiatočný údaj pri odhade parametrov a 0 , a 1 ,..., a n je vektor hodnôt závislej premennej r= (y 1 , y 2 , ... , y T)“ a matice hodnôt nezávislých premenných

v ktorom prvý stĺpec pozostávajúci z jednotiek zodpovedá koeficientu modelu .

Metóda najmenších štvorcov dostala svoj názov na základe základného princípu, že odhady parametrov získané na jej základe musia spĺňať: súčet štvorcov chyby modelu by mal byť minimálny.

Príklady riešenia úloh metódou najmenších štvorcov

Príklad 2.1. Obchodný podnik má sieť 12 predajní, o ktorých činnosti sú uvedené v tabuľke. 2.1.

Vedenie spoločnosti by chcelo vedieť, ako závisí veľkosť ročenky od predajnej plochy predajne.

Tabuľka 2.1

Číslo predajne	Ročný obrat, milióny rubľov	Obchodná plocha, tis. m2

Riešenie najmenších štvorcov. Označme - ročný obrat -tého obchodu, milióny rubľov; - predajná plocha predajne, tisíc m2.

Obr.2.1. Bodový graf pre príklad 2.1

Určiť formu funkčného vzťahu medzi premennými a zostrojiť bodový graf (obr. 2.1).

Na základe rozptylového diagramu môžeme konštatovať, že ročný obrat je pozitívne závislý od predajnej plochy (t.j. y sa zvýši s rastom o ). Najvhodnejšia forma funkčného spojenia je − lineárne.

Informácie pre ďalšie výpočty sú uvedené v tabuľke. 2.2. Pomocou metódy najmenších štvorcov odhadujeme parametre lineárneho jednofaktorového ekonometrického modelu

Tabuľka 2.2

Touto cestou,

Preto so zvýšením obchodnej oblasti o 1 000 m 2, ak sú ostatné veci rovnaké, priemerný ročný obrat sa zvyšuje o 67,8871 milióna rubľov.

Príklad 2.2. Vedenie podniku si všimlo, že ročný obrat nezávisí len od predajnej plochy predajne (pozri príklad 2.1), ale aj od priemerného počtu návštevníkov. Príslušné informácie sú uvedené v tabuľke. 2.3.

Tabuľka 2.3

Riešenie. Označte - priemerný počet návštevníkov th obchodu za deň, tisíc ľudí.

Určiť formu funkčného vzťahu medzi premennými a zostrojiť bodový graf (obr. 2.2).

Na základe rozptylového diagramu môžeme konštatovať, že ročný obrat pozitívne súvisí s priemerným počtom návštevníkov za deň (t. j. y sa bude zvyšovať s rastom o ). Forma funkčnej závislosti je lineárna.

Ryža. 2.2. Napríklad bodový graf 2.2

Tabuľka 2.4

Vo všeobecnosti je potrebné určiť parametre dvojfaktorového ekonometrického modelu

y t \u003d a 0 + a 1 x 1 t + a 2 x 2 t + ε t

Informácie potrebné pre ďalšie výpočty sú uvedené v tabuľke. 2.4.

Odhadnime parametre lineárneho dvojfaktorového ekonometrického modelu metódou najmenších štvorcov.

Touto cestou,

Vyhodnotenie koeficientu = 61,6583 ukazuje, že pri zachovaní všetkých ostatných okolností pri zvýšení predajnej plochy o 1 tisíc m 2 vzrastie ročný obrat v priemere o 61,6583 miliónov rubľov.

Metóda najmenších štvorcov

Metóda najmenších štvorcov ( MNK, OLS, Obyčajné najmenšie štvorce) - jedna zo základných metód regresnej analýzy na odhadovanie neznámych parametrov regresných modelov zo vzorových údajov. Metóda je založená na minimalizácii súčtu štvorcov regresných zvyškov.

Je potrebné poznamenať, že samotnú metódu najmenších štvorcov možno nazvať metódou riešenia problému v akejkoľvek oblasti, ak riešenie pozostáva z alebo spĺňa určité kritérium na minimalizáciu súčtu štvorcov niektorých funkcií neznámych premenných. Preto je možné metódu najmenších štvorcov použiť aj na približnú reprezentáciu (aproximáciu) danej funkcie inými (jednoduchšími) funkciami, pri hľadaní množiny veličín vyhovujúcich rovniciam alebo obmedzeniam, ktorých počet presahuje počet týchto veličín. , atď.

Podstata MNC

Nech nejaký (parametrický) model pravdepodobnostnej (regresnej) závislosti medzi (vysvetlenou) premennou r a mnoho faktorov (vysvetľujúce premenné) X

kde je vektor neznámych parametrov modelu

- Náhodná chyba modelu.

Nech sú aj vzorové pozorovania hodnôt uvedených premenných. Nech je číslo pozorovania (). Potom sú to hodnoty premenných v -tom pozorovaní. Potom pre dané hodnoty parametrov b je možné vypočítať teoretické (modelové) hodnoty vysvetlenej premennej y:

Hodnota zvyškov závisí od hodnôt parametrov b.

Podstatou LSM (obyčajného, ​​klasického) je nájsť také parametre b, pre ktoré je súčet štvorcov rezíduí (angl. Zvyšný súčet štvorcov) bude minimálny:

Vo všeobecnom prípade možno tento problém vyriešiť numerickými metódami optimalizácie (minimalizácie). V tomto prípade sa hovorí o nelineárne najmenšie štvorce(NLS alebo NLLS - anglicky. Nelineárne najmenšie štvorce). V mnohých prípadoch je možné získať analytické riešenie. Na vyriešenie úlohy minimalizácie je potrebné nájsť stacionárne body funkcie tak, že ju derivujeme vzhľadom na neznáme parametre b, derivácie priradíme k nule a vyriešime výslednú sústavu rovníc:

Ak sú náhodné chyby modelu normálne rozdelené, majú rovnaký rozptyl a nie sú navzájom korelované, odhady parametrov najmenších štvorcov sú rovnaké ako odhady metódy maximálnej pravdepodobnosti (MLM).

LSM v prípade lineárneho modelu

Nech je regresná závislosť lineárna:

Nechaj r- stĺpcový vektor pozorovaní vysvetľovanej premennej a - matica pozorovaní faktorov (riadky matice - vektory hodnôt faktorov v danom pozorovaní, po stĺpcoch - vektor hodnôt daného faktora vo všetkých pozorovaniach) . Maticová reprezentácia lineárneho modelu má tvar:

Potom sa vektor odhadov vysvetľovanej premennej a vektor regresných zvyškov budú rovnať

podľa toho sa súčet druhých mocnín regresných zvyškov bude rovnať

Diferencovaním tejto funkcie vzhľadom na vektor parametra a prirovnaním derivácií k nule dostaneme systém rovníc (v maticovom tvare):

.

Riešenie tohto systému rovníc dáva všeobecný vzorec pre odhady najmenších štvorcov pre lineárny model:

Na analytické účely sa ukazuje ako užitočné posledné znázornenie tohto vzorca. Ak údaje v regresnom modeli vycentrovaný, potom v tomto znázornení má prvá matica význam výberovej kovariančnej matice faktorov a druhá je vektorom kovariancií faktorov so závislou premennou. Ak je navyše údaj aj normalizované na SKO (teda v konečnom dôsledku štandardizované), potom prvá matica má význam výberovej korelačnej matice faktorov, druhý vektor - vektor výberových korelácií faktorov so závislou premennou.

Dôležitá vlastnosť odhadov LLS pre modely s konštantou- priamka zostrojenej regresie prechádza ťažiskom vzorových údajov, to znamená, že rovnosť je splnená:

Najmä v extrémnom prípade, keď jediným regresorom je konštanta, zistíme, že odhad OLS jedného parametra (samotnej konštanty) sa rovná strednej hodnote vysvetľovanej premennej. To znamená, že aritmetický priemer, známy svojimi dobrými vlastnosťami zo zákonov veľkých čísel, je tiež odhadom najmenších štvorcov - spĺňa kritérium pre minimálny súčet odchýlok na druhú od neho.

Príklad: jednoduchá (párová) regresia

V prípade párovej lineárnej regresie sú výpočtové vzorce zjednodušené (vystačíte si s maticovou algebrou):

Vlastnosti odhadov OLS

V prvom rade si všimneme, že pre lineárne modely sú odhady najmenších štvorcov lineárne odhady, ako vyplýva z vyššie uvedeného vzorca. Pre nestranné odhady OLS je potrebné a postačujúce splniť najdôležitejšiu podmienku regresnej analýzy: matematické očakávanie náhodnej chyby podmienenej faktormi sa musí rovnať nule. Táto podmienka je splnená najmä vtedy, ak

1. matematické očakávanie náhodných chýb je nulové a
2. faktory a náhodné chyby sú nezávislé náhodné premenné.

Druhá podmienka – podmienka exogénnych faktorov – je zásadná. Ak táto vlastnosť nie je splnená, potom môžeme predpokladať, že takmer všetky odhady budú extrémne neuspokojivé: dokonca nebudú konzistentné (to znamená, že ani veľmi veľké množstvo údajov v tomto prípade neumožňuje získať kvalitatívne odhady). V klasickom prípade sa silnejšie predpokladá determinizmus faktorov, na rozdiel od náhodnej chyby, ktorá automaticky znamená, že exogénna podmienka je splnená. Vo všeobecnosti pre konzistentnosť odhadov stačí splniť podmienku exogenity spolu s konvergenciou matice k nejakej nesingulárnej matici s nárastom veľkosti vzorky do nekonečna.

Aby boli okrem konzistentnosti a nezaujatosti efektívne aj odhady (zvyčajných) najmenších štvorcov (najlepšie v triede lineárnych neskreslených odhadov), je potrebné splniť ďalšie vlastnosti náhodnej chyby:

Tieto predpoklady možno formulovať pre kovariančnú maticu vektora náhodnej chyby

Lineárny model, ktorý spĺňa tieto podmienky, sa nazýva klasický. Odhady OLS pre klasickú lineárnu regresiu sú nezaujaté, konzistentné a najefektívnejšie odhady v triede všetkých lineárnych neskreslených odhadov (v anglickej literatúre sa niekedy používa skratka Modrá (Najlepší lineárny nezaložený odhad) je najlepší lineárny nezaujatý odhad; v domácej literatúre sa častejšie uvádza Gauss-Markovova veta). Ako je ľahké ukázať, kovariančná matica vektora odhadov koeficientov sa bude rovnať:

Zovšeobecnené najmenšie štvorce

Metóda najmenších štvorcov umožňuje široké zovšeobecnenie. Namiesto minimalizovania súčtu štvorcov rezíduí je možné minimalizovať nejakú kladne definitívnu kvadratickú formu reziduálneho vektora , kde je nejaká symetrická kladná matica s definitívnou váhou. Obyčajné najmenšie štvorce sú špeciálnym prípadom tohto prístupu, keď je matica váh úmerná matici identity. Ako je známe z teórie symetrických matíc (alebo operátorov), pre takéto matice existuje rozklad. Preto môže byť špecifikovaný funkcionál reprezentovaný nasledovne, to znamená, že tento funkcionál môže byť reprezentovaný ako súčet druhých mocnín niektorých transformovaných "zvyškov". Môžeme teda rozlíšiť triedu metód najmenších štvorcov – LS-metód (Least Squares).

Je dokázané (Aitkenova veta), že pre zovšeobecnený lineárny regresný model (v ktorom nie sú kladené žiadne obmedzenia na kovariančnú maticu náhodných chýb) sú najefektívnejšie (v triede lineárnych neskreslených odhadov) odhady tzv. zovšeobecnené OLS (OMNK, GLS - Generalized Least Squares)- LS-metóda s váhovou maticou rovnajúcou sa inverznej kovariančnej matici náhodných chýb: .

Dá sa ukázať, že vzorec pre GLS odhady parametrov lineárneho modelu má tvar

Kovariančná matica týchto odhadov sa bude rovnať

V skutočnosti podstata OLS spočíva v určitej (lineárnej) transformácii (P) pôvodných údajov a aplikácii obvyklých najmenších štvorcov na transformované údaje. Účelom tejto transformácie je, že pre transformované dáta náhodné chyby už spĺňajú klasické predpoklady.

Vážené najmenšie štvorce

V prípade diagonálnej váhovej matice (a teda kovariančnej matice náhodných chýb) máme takzvané vážené najmenšie štvorce (WLS - Weighted Least Squares). V tomto prípade je vážený súčet štvorcov rezíduí modelu minimalizovaný, to znamená, že každé pozorovanie dostane „váhu“, ktorá je nepriamo úmerná rozptylu náhodnej chyby v tomto pozorovaní: . V skutočnosti sa údaje transformujú vážením pozorovaní (vydelením množstvom úmerným predpokladanej štandardnej odchýlke náhodných chýb) a na vážené údaje sa použijú normálne najmenšie štvorce.

Niektoré špeciálne prípady aplikácie LSM v praxi

Lineárna aproximácia

Zvážte prípad, keď v dôsledku štúdia závislosti určitej skalárnej veličiny od určitej skalárnej veličiny (môže to byť napríklad závislosť napätia od sily prúdu: , kde je konštantná hodnota, odpor vodiča ), boli tieto množstvá zmerané, v dôsledku čoho sa hodnoty a získali ich zodpovedajúce hodnoty. Namerané údaje by sa mali zaznamenať do tabuľky.

Tabuľka. Výsledky merania.

Meranie č.
1
2
3
4
5
6

Otázka znie takto: akú hodnotu koeficientu je možné zvoliť, aby najlepšie popísala závislosť? Podľa najmenších štvorcov by táto hodnota mala byť taká, že súčet štvorcových odchýlok hodnôt od hodnôt

bol minimálny

Súčet štvorcových odchýlok má jeden extrém - minimum, čo nám umožňuje použiť tento vzorec. Z tohto vzorca nájdeme hodnotu koeficientu. Aby sme to dosiahli, transformujeme jeho ľavú stranu takto:

Posledný vzorec nám umožňuje nájsť hodnotu koeficientu, ktorý bol v úlohe požadovaný.

Príbeh

Až do začiatku XIX storočia. vedci nemali isté pravidlá na riešenie sústavy rovníc, v ktorej je počet neznámych menší ako počet rovníc; Dovtedy sa používali osobitné metódy v závislosti od typu rovníc a dômyselnosti kalkulačiek, a preto rôzne kalkulačky vychádzajúce z rovnakých pozorovacích údajov dospeli k rôznym záverom. Gaussovi (1795) sa pripisuje prvá aplikácia metódy a Legendre (1805) ju nezávisle objavil a publikoval pod jej moderným názvom (fr. Methode des moindres quarres ). Laplace dal túto metódu do súvislosti s teóriou pravdepodobnosti a americký matematik Adrain (1808) uvažoval o jej pravdepodobnostných aplikáciách. Metóda je rozšírená a vylepšená ďalším výskumom Enckeho, Bessela, Hansena a iných.

Alternatívne využitie nadnárodných spoločností

Myšlienku metódy najmenších štvorcov možno použiť aj v iných prípadoch, ktoré priamo nesúvisia s regresnou analýzou. Faktom je, že súčet štvorcov je jednou z najbežnejších mier blízkosti pre vektory (euklidovská metrika v konečných rozmeroch).

Jednou z aplikácií je „riešenie“ systémov lineárnych rovníc, v ktorých je počet rovníc väčší ako počet premenných

kde matica nie je štvorcová, ale obdĺžniková.

Takýto systém rovníc vo všeobecnom prípade nemá riešenie (ak je poradie v skutočnosti väčšie ako počet premenných). Preto je možné tento systém „riešiť“ len v zmysle výberu takého vektora, aby sa minimalizovala „vzdialenosť“ medzi vektormi a . Na tento účel môžete použiť kritérium na minimalizáciu súčtu štvorcových rozdielov ľavej a pravej časti rovníc systému, teda . Je ľahké ukázať, že riešenie tohto minimalizačného problému vedie k riešeniu nasledujúcej sústavy rovníc

Príklad.

Experimentálne údaje o hodnotách premenných X a pri sú uvedené v tabuľke.

Výsledkom ich zosúladenia je funkcia

Použitím metóda najmenších štvorcov, aproximovať tieto údaje s lineárnou závislosťou y=ax+b(nájdite parametre a a b). Zistite, ktorý z dvoch riadkov je lepší (v zmysle metódy najmenších štvorcov), zarovná experimentálne údaje. Urobte si kresbu.

Podstata metódy najmenších štvorcov (LSM).

Problémom je nájsť lineárne koeficienty závislosti, pre ktoré je funkcia dvoch premenných a a b má najmenšiu hodnotu. Teda vzhľadom na dáta a a b súčet štvorcových odchýlok experimentálnych údajov od nájdenej priamky bude najmenší. Toto je celý zmysel metódy najmenších štvorcov.

Riešenie príkladu sa teda redukuje na nájdenie extrému funkcie dvoch premenných.

Odvodenie vzorcov na hľadanie koeficientov.

Zostaví sa a vyrieši systém dvoch rovníc s dvoma neznámymi. Hľadanie parciálnych derivácií funkcie vzhľadom na premenné a a b, prirovnávame tieto deriváty k nule.

Výslednú sústavu rovníc riešime ľubovoľnou metódou (napr substitučná metóda alebo ) a získajte vzorce na hľadanie koeficientov pomocou metódy najmenších štvorcov (LSM).

S údajmi a a b funkciu má najmenšiu hodnotu. Dôkaz o tejto skutočnosti je uvedený.

To je celá metóda najmenších štvorcov. Vzorec na nájdenie parametra a obsahuje súčty , , a parameter n- množstvo experimentálnych údajov. Hodnoty týchto súm sa odporúča vypočítať samostatne. Koeficient b zistené po výpočte a.

Je čas pripomenúť si pôvodný príklad.

Riešenie.

V našom príklade n=5. Tabuľku vyplníme pre pohodlie výpočtu súm, ktoré sú zahrnuté vo vzorcoch požadovaných koeficientov.

Hodnoty vo štvrtom riadku tabuľky sa získajú vynásobením hodnôt v 2. riadku hodnotami v 3. riadku pre každé číslo i.

Hodnoty v piatom riadku tabuľky sa získajú umocnením hodnôt v 2. riadku pre každé číslo i.

Hodnoty posledného stĺpca tabuľky sú súčty hodnôt v riadkoch.

Na zistenie koeficientov používame vzorce metódy najmenších štvorcov a a b. Nahradíme v nich zodpovedajúce hodnoty z posledného stĺpca tabuľky:

teda y = 0,165 x + 2,184 je požadovaná približná priamka.

Zostáva zistiť, ktorý z riadkov y = 0,165 x + 2,184 alebo lepšie aproximuje pôvodné údaje, t. j. urobiť odhad pomocou metódy najmenších štvorcov.

Odhad chyby metódy najmenších štvorcov.

Aby ste to dosiahli, musíte vypočítať súčty štvorcových odchýlok pôvodných údajov z týchto riadkov a , menšia hodnota zodpovedá riadku, ktorý sa najlepšie približuje pôvodným údajom z hľadiska metódy najmenších štvorcov.

Od , potom riadok y = 0,165 x + 2,184 sa lepšie približuje pôvodným údajom.

Grafické znázornenie metódy najmenších štvorcov (LSM).

Na grafoch vyzerá všetko skvele. Červená čiara je nájdená čiara y = 0,165 x + 2,184, modrá čiara je , ružové bodky sú pôvodné údaje.

Na čo to je, na čo sú všetky tieto približné hodnoty?

Osobne používam na riešenie problémov vyhladzovania údajov, problémov s interpoláciou a extrapoláciou (v pôvodnom príklade môžete byť požiadaní, aby ste našli hodnotu pozorovanej hodnoty r pri x=3 alebo kedy x=6 podľa metódy MNC). Ale o tom si povieme viac neskôr v inej časti stránky.

Dôkaz.

Takže keď sa nájde a a b funkcia nadobúda najmenšiu hodnotu, je potrebné, aby v tomto bode bola matica kvadratického tvaru diferenciálu druhého rádu pre funkciu bol pozitívny jednoznačný. Ukážme to.