stat-skrypt.pdf

1Wnioskowaniestatystyczne podstawowepojƒcia

1.1Parametryrozk“adu,pr ó balosowa

Wewnioskowaniustatystycznympr ó bujemynapodstawielosowejpr ó bkizpewnejpopulacjiwnio-

skowa¢natematca“ejpopulacji.Mo»emynaprzyk“adzmierzy¢wzrost 50losowowybranychstu-

dent ó winapodstawieotrzymanychwynik ó wwnioskowa¢natematwarto–ci–redniejczywariancji

tegowzrostuw–r ó dwszystkichstudent ó w.

Domodelowaniatakiejsytuacjiu»ywasiƒzazwyczajnastƒpuj¡cegoformalizmu.Zak“adamy,

»ececha,kt ó r¡badamymapewiennieznanyrozk“adpochodz¡cyzeznanejrodzinyrozk“ad ó w

D = f 2 : P g,gdzieP = (;F;P )gparametryzowanejprzezparametr.

Chocia»nieznamy,azatemtak»erozk“aduP ,tojednakco–onimwiemy.Znamymianowicie

warto–cici¡guzmiennychlosowychX 1 ;:::;X n orozk“adzieP .Takici¡gnazywamypr ó b¡losow¡.

Je–lizmiennetes¡niezale»ne,tom ó wimyopr ó bieprostej.

Przyk“ad:Wprzyk“adziezewzrostemstudent ó wmogliby–myza“o»y¢,»ewzrostmarozk“ad

normalnyonieznanejwarto–ci–redniej iwariancji 2 (cooczywi–ciezwielupowod ó wniema

szansyby¢prawd¡,alezapewnejestniez“ymprzybli»eniem).Mogliby–mywtedyprzyj¡¢ =

(0;1) [0;1)iD = f(; 2 ) 2 : N(; 2 )g.

Wynikipomiaruwzrostu50student ó wmo»emymodelowa¢zmiennymilosowymi X 1 ;:::;X 50 .

WszystkieX i maj¡tensamrozk“adN(; 2 ),przyczymwarto–ci ani 2 nieznamy.Ci¡g

X 1 ;:::;X 50 jestwtymprzypadkupr ó b¡losow¡.Oilenielosujemystudent ó w zezwracaniem

pr ó batawog ó lnymprzypadkuniejestprosta(dlaczego?),alete»niepope“nimyzregu“ydu»ego

b“ƒduzak“adaj¡c,»ejest.

1.2Podstawoweproblemy

Naszymcelemjestwnioskowanienatematparametrunapodstawiewarto–cizmiennychX 1 ;:::;X 50 .

Zajmiemysiƒm.in.nastƒpuj¡cymitrzemaproblemami:

Estymacjapunktowa:Poda¢warto–¢parametru.

Estymacjaprzedzia“owa:Poda¢(ma“y)przedzia“,kt ó ryzawieraparametr.

Testowaniehipotez:Odpowiedzie¢napytaniewrodzaju: Czy > a? .

Oczywi–cierozwi¡zaniepierwszegoztychproblem ó wwprostyspos ó bprowadzidorozwi¡zania

pozosta“ychdw ó ch.Niematojednakwiƒkszegoznaczenia,poniewa»»adnegoztychproblem ó w

wog ó lnymprzypadkurozwi¡za¢siƒnieda.Mo»najejednakrozwi¡zywa¢ wprzybli»eniu ,tzn.

opracowa¢metody,kt ó re:

podaj¡ dobre oszacowaniawarto–ciparametru,

podaj¡(ma“y)przedzia“,kt ó ryzdu»ymprawdopodobie«stwemzawieraparametr ,

pozwalaj¡w sensowny spos ó bodpowiada¢napytaniawrodzaju: Czy > a? .

(s“owa dobre i sensowny zostan¡sprecyzowanewdalszejczƒ–ciwyk“adu).Om ó wieniemtakich

w“a–niemetodzajmiemysiƒwkilkukolejnychwyk“adach.

1.3Statystykiiestymatory

Zanimprzejdziemydoestymacjipunktowej,zde niujemydwafundamentalnepojƒcia:statystykƒ

iestymator.

Statystyk¡nazywamydowoln¡funkcjƒS(X 1 ;:::;X n )pr ó bylosowej.Statystykamis¡naprzy-

k“admin(X 1 ;:::;X n ),max(X 1 ;:::;X n ),

P i=1 X i

n ,alete»X 1 + 5X 3 oraz10003 + X 1 X 2 X 5 .

Statystykis¡oczywi–ciezmiennymilosowymi,okre–lonyminatejsamejprzestrzenico X 1 ;:::;X n .

Estymatoremparametru 2 nazywamydowoln¡statystykƒprzyjmuj¡c¡warto–ciw.Ta

de nicjanieniesiezbytwieletre–ci.Intuicyjnie,estymatorparametrutotakastatystyka,kt ó rej

rzeczywi–cieu»ywamydoszacowaniawarto–ci (wieluautor ó wu»ywategosformu“owaniajako

de nicjiestymatora,aletrudnonazwa¢jede nicj¡).

Uwaga:Mo»esiƒzdarzy¢,»einteresujenasnieca“yparametr ,ajedynieniekt ó rejegosk“a-

dowe.Mo»enas,naprzyk“ad,interesowa¢–redniwzroststudent ó w,aleniewariancjawzrostu.

Pojƒciaestymatorawoczywistyspos ó bprzenosisiƒnatƒsytuacj¡.Mo»nate»mowi¢oestymacji

punktowej,przedzia“owejitestowaniuhipotez.

2Estymacjapunktowa

Wtymrozdzialepostaramysiƒu–ci–li¢pojƒcie"dobregooszacowania",kt ó repojawi“osiƒwe

wcze–niejszychrozwa»aniach.Wog ó lnymprzypadkurozk“ad,zkt ó regopochodzipr ó balosowa

jestzale»nyodpewnegoparametru,itenw“a–nieparametrstaramysiƒ"dobrzeoszacowa¢".W

tymrozdziale,dlauproszczenia,ograniczymysiƒdoestymacjiwarto–cioczekiwanejiwariancji,

alepodobnerozwa»aniamo»naprzeprowadza¢tak»ewinnychprzypadkach(patrz¢wiczenia).

2.1Estymacjawarto–cioczekiwanej

Wjakispos ó boszacowa¢nieznan¡warto–¢–redni¡populacji ,je–limamydan¡pr ó bƒlosow¡

X 1 ;:::;X n .Naturalnympomys“emjestu»ycienastƒpuj¡cegoestymatora

n ,

aleka»dyzponi»szychpomys“ ó wte»wydajesiƒdzia“a¢nienajgorzej

P i=1 X i

^ 2 (X 1 ;:::;X n ) = X 1 ,

n=2 ,

^ 4 (X 1 ;:::;X n ) = P i=1 i X i ,gdzie i > 0i P i=1 i = 1,

P n=2

i=1 X i

^ 5 (X 1 ;:::;X n ) =

P i=1 X i

^ 6 (X 1 ;:::;X n ) =

P i=1 X i

+ 1.

Ka»dyzestymator ó w^ 2 ^ 6 intuicyjniewydajesiƒgorszyod^ 1 ,aledlawiƒkszo–ciznichtrudno

powiedzie¢dlaczego.

Uwaga:Przyjƒli–mytu(ibƒdziemyprzyjmowa¢wdalszejczƒ–citegowyk“adu)do–¢popularn¡

wliteraturzeumowƒpolegaj¡c¡naoznaczaniuestymator ó wparametru symbolem ^ ,wtym

przypadkuestymator ó wwarto–cioczekiwanej symbolem^ zodpowiednimindeksem.

Uwaga:Ka»dazde nicji^ 1 ^ 6 opisujetaknaprawdƒca“yci¡gestymator ó wparametryzowan¡

rozmiarempr ó byn.Dlauproszczenia,niebƒdziemytegofaktuzregu“yzaznacza¢explicite.Warto

otymjednakpamiƒta¢.

2.1.1Estymatorynieobci¡»one

Obliczmywarto–¢oczekiwan¡estymatora^ 1 .

E^ 1 (X 1 ;:::;X n ) = E

P i=1 X i

P i=1 EX i

= n

n = ;

^ 1 (X 1 ;:::;X n ) =

^ 3 (X 1 ;:::;X n ) =

n1 ,

azatemwarto–ci¡oczekiwan¡tegoestymatorajestwarto–¢estymowanejwielko–cit.j. .M ó wimy,

»e^ 1 jestnieobci¡»onymestymatorem.

Wog ó lnymprzypadkum ó wimy,»e ^ jestnieobci¡»onym(ang.unbiased)estymatorem,je–li

E ^ = .R ó »nicƒE ^ nazywamyobci¡»eniem(ang.bias)estymatora,wprzypadkuestymator ó w

nieobci¡»onychjestonar ó wna0.

Nieobci¡»ono–¢wydajesiƒbardzonaturaln¡ipo»¡dan¡w“asno–ci¡estymatora.Zwr ó ¢my

uwagƒ,»eestymatory^ 5 i^ 6 nies¡nieobci¡»oneiztegow“a–niepowoduuwa»amyjeza gorsze

od^ 1 .

Wpraktycepojƒcienieobci¡»ono–ciokazujesiƒjednakniejednokrotniezbytrygorystyczneco

mo»nazobaczy¢nanastƒpuj¡cymprzyk“adzie.

ZadaniePrzeprowadzamys¡badaniarozk“aduliczbytelefon ó wnaminutƒwhelpdesku.Zak“a-

damy,»erozk“adliczbytelefon ó wnaminutƒjestrozk“ademPoissonaonieznanymparametrze .

Przypu–my,»einteresujenasestymacjaprawdopodobie«stwaptego,»ewci¡gudw ó chkolejnych

minutnieodbierzemy»adnegotelefonu.Poka»,»edlapr ó byjednoelementowej,jedynyestymator

nieobci¡»onytegoprawdopodobie«stwatop(X 1 ) = (1) X 1 .

Przyk“adtenpokazuje,»eestymatorynieobci¡»oneniekoniecznies¡lepszeodobci¡»onych.W

sytuacjizzadaniadu»osensowniejszyjestnaprzyk“adestymatorotrzymanymetod¡najwiƒkszej

wiarygodno–ci(om ó wion¡wdalszejczƒ–ciwyk“adu) p(X 1 ) = e 2X 1 .

Dobrymos“abieniempojƒcianieobci¡»ono–cijesttzw.asymptotycznanieobci¡»ono–¢.M ó -

wimy,»eestymator ^ n (X 1 ;:::;X n )(aw“a–ciwieci¡gestymator ó w zobaczuwagawpoprzednim

podrozdziale)jestasymptotycznienieobci¡»ony,je–lilim n!1 E ^ n (X 1 ;:::;X n ) = .

Zwr ó ¢myuwagƒ,»eestymator ^ 5 jestasymptotycznienieobci¡»onychocia»niejestnieobci¡-

»ony.

2.1.2Estymatoryzgodne

Wde nicjiasymptotycznejnieobci¡»ono–cidlaestymatora ^ obserwowali–myzachowanieE ^ n (X 1 ;:::;X n )

dlan ! 1.Naturalnewydajesiƒjednakwymaganie,abynietylkoE ^ n (X 1 ;:::;X n ) ! ,ale

tak»e ^ n (X 1 ;:::;X n ) ! dlan !1.

Estymator ^ parametrunazywamyestymatorem(s“abo)zgodnymje–lidladowolnego" > 0

n!1 P(j ^ n (X 1 ;:::;X n ) j <= ") = 1:

Uwaga:De nicjatazapewneprzypominaczytelnikowi(jaksiƒzachwilƒoka»es“usznie)s“abe

prawowielkichliczb.Mo»nate»wprowadzi¢mocn¡wersjƒtejde nicji»¡daj¡caby

P( lim

n!1

^ n (X 1 ;:::;X n ) = ) = 1:

Sprawd„my,czynaszeestymatorywarto–cioczekiwanej ^ 1 ^ 6 s¡zgodne.Zacznijmyod^ 1 .

Musimysprawdzi¢,czydladowolnego" > 0zachodzi

P i=1 X i

n!1 P(j

lim

j <= ") = 1;

aletojestdok“adnietezas“abegoprawawielkichliczb(zmocnegoprawawielkichliczbwynikaw

analogicznyspos ó b,»e^ 1 jestzgodnywmocnymsensie).Podobniemo»napokaza¢,»ezgodne

s¡estymatory^ 3 , ^ 4 i ^ 5 .Niejestzgodnyestymator ^ 2 itojestjegog“ ó wnawada poniewa»

estymatortenkorzystajedyniezwarto–ci X 1 jako–¢estymacjiniepoprawiasiƒwrazzewzrostem

rozmiarupr ó by.

ZadanieZnaszychrozwa»a«wynika,»eestymatornieobci¡»onymo»enieby¢zgodny(estymator

^ 2 ).Podajprzyk“adestymatorazgodnego,kt ó ryniejest(nawetasymptotycznie)nieobci¡»ony.

lim

2.1.3Efektywno–¢

Naszdotychczasowerozwa»anianiepozwalaj¡por ó wna¢estymator ó w^ 1 , ^ 3 i ^ 4 .Intuicyjnie

wydajesiƒ,»eestymator^ 1 najefektywniejwykorzystujewarto–cizmiennychX 1 ;:::;X n sumuj¡c

wszystkiezjednakowymiwsp ó “czynnikami.Jakzachwilƒzobaczymy,madziƒkitemunajmniejsz¡

wariancjƒ.

Zacznijmyodobliczeniawariancji ^ 1 .Niech 2 bƒdziewariancj¡rozk“adu,zkt ó regopochodzi

naszapr ó baX 1 ;:::;X n .Wtedy

Var(^ 1 ) =Var

P i=1 X i

= Var P i=1 X i

n 2

= n 2

n 2

= 2

n :

Analogiczneobliczeniadlapozosta“ychdw ó chestymator ó wdaj¡

Var(^ 3 ) = 2

n=2

oraz

Var(^ 4 ) = (

i ) 2 :

i=1

ZadaniePoka»,»ewyra»enieopisuj¡cewariancjƒestymatora ^ 4 przyjmujewarto–¢najmniejsz¡,

gdywszystkie i = 1=n,tzn.gdy^ 4 = ^ 1 .

Je–li ^ 1 i ^ 2 s¡dwomanieobci¡»onymiestymatoramipewnegoparametruiVar( ^ 1 ) <Var( ^ 2 ),

tom ó wimy,»e ^ 1 jestefektywniejszyod ^ 2 .Azatemestymator^ 1 nietylkointuicyjnieefektywniej

wykorzystujewarto–cizmiennychX 1 ;:::;X n alete»jestjestefektywniejszyod^ 3 i ^ 4 wsensie

powy»szejde nicji.

Wartowtymmiejscuzwr ó ci¢uwagƒ,»epor ó wnywaniewariancjiestymator ó wor ó »nymob-

ci¡»eniuniekonieczniemasens.Dlategopojƒcieefektywno–cide niujemytylkodlaestymator ó w

nieobci¡»onych.Czasemrozszerzasiƒjenaestymatoryasymptotycznienieobci¡»one.

Wog ó lnymprzypadkuwygodniejestbada¢tzw.–rednib“¡dkwadratowyestymatora(ang.

meansquareerror,wskr ó cieMSE)zde niowanynastƒpuj¡co

MSE( ^ ) = E( ^ (X 1 ;:::;X n ) ) 2 :

Oznaczaj¡cdlauproszczeniarachunk ó w ^ (X 1 ;:::;X n )przez ^ mamy

MSE( ^ ) = E( ^ ) 2 = E(( ^ E( ^ ))+(E( ^ ))) 2 = E( ^ E( ^ )) 2 +2E( ^ E( ^ ))(E( ^ ))+E(E( ^ )) 2 :

Pierwszyzwyraz ó wtejsumyjestwariancj¡ ^ ,ostatnijestr ó wnykwadratowiobci¡»enia ^ ,a

–rodkowy,jak“atwozauwa»y¢,jestr ó wnyzeru.Azatem

MSE( ^ ) =Var( ^ ) + (E ^ ) 2 :

Podsumujmynaszerozwa»aniadotycz¡ceestymator ó wwarto–cioczekiwanejprzypominaj¡c

listƒrozwa»anychestymator ó wwrazzichw“asno–ciami:

n ,nieobci¡»ony,zgodny,efektywny,

^ 2 (X 1 ;:::;X n ) = X 1 ,nieobci¡»ony,niezgodny,

P i=1 X i

n=2 ,nieobci¡»ony,zgodny,mniejefektywnyni» ^ 1 ,

^ 4 (X 1 ;:::;X n ) = P i=1 i X i ,nieobci¡»ony,zgodny,mniejefektywnyni» ^ 1 chyba,»e

wszystkie i = 1=n,wtedy^ 4 = ^ 1 ,

P n=2

i=1 X i

^ 1 (X 1 ;:::;X n ) =

^ 3 (X 1 ;:::;X n ) =

^ 5 (X 1 ;:::;X n ) =

P i=1 X i

n1 ,obci¡»ony,aleasymptotycznienieobci¡»ony,zgodny,

^ 6 (X 1 ;:::;X n ) =

P i=1 X i

+ 1,obci¡»ony,nawetasymptotycznie,niezgodny.

Var( ^ ) ,gdzie ^ 0 jestnajefektywniejszym(tzn.onajmniejszejwa-

riancji)nieobci¡»onymestymatorem.Takzde niowanaefektywno–¢jestliczb¡zprzedzia“u

[0; 1].De nicjatawygl¡dananiezbytprzydatn¡,bonibysk¡dmo»emyzna¢najefektywniejszy

estymator?Okazujesiƒ,»edasiƒpoda¢ograniczeniedolnenawariancjƒdowolnegonieobci¡»o-

negoestymatoraparametru.Je–linaszestymatormatak¡w“a–niewariancjƒ,towiemy,»ejest

najefektywniejszy.Osobomzainteresowanymtymw¡tkiempolecamznalazieniewdowolnympod-

rƒcznikustatystyki(lubwWikipedii)informacjinatemattwierdzeniaRao-Cramera.Twierdzenie

toniestetywykraczapozazakrestegowyk“adu.

2.2Estymacjawariancji

Uzbrojeniwkryteriaocenyestymator ó wspr ó bujmyznale„¢dobry(tzn.nieobci¡»ony,zgodnyi

efektywny)estymatordlawariancji.Naturalnymkandydatemwydajesiƒ

^ 2 (X 1 ;:::;X n ) =

P i=1 (X i ) 2

;

gdziejestwarto–ci¡oczekiwan¡.Oczywi–ciewzorutegomo»emyu»y¢tylkowprzypadku,gdy

warto–¢oczekiwanajestzg ó ryznana,aestymujemyjedyniewariancjƒ.Sprawd„my,czy ^ 2 jest

wtymprzypadkudobrymestymatoremwariancji.Mamy

E( ^ 2 (X 1 ;:::;X n )) = E

P i=1 (X i ) 2

P i=1 E(X i ) 2

= n 2

= 2 ;

azatemtakzde niowanyestymator ^ 2 jestnieobci¡»ony.

ZadaniePoka»,»e ^ 2 jestzgodnymestymatoremwariancji.Wtymceluobliczwariancjƒesty-

matoraiu»yjnier ó wno–ciCzebyszewa.

Analizaefektywno–citegoestymatorawog ó lnymprzypadkuniejest“atwa.Mo»napokaza¢,

»eje–lirodzinarozk“ad ó wzkt ó r¡mamydoczynieniajestrodzin¡rozk“ad ó wnormalnych,to

powy»szyestymatormaefektywno–¢1.

Acoje–linieznamywarto–cioczekiwanej?Naturalnympomys“emjestu»yciezamiastnieznanej

warto–ciwarto–ciestymatora^ (X 1 ;:::;X n ) =

P i=1 X i

n ,tj.

P i=1 (X i ^ (X 1 ;:::;X n )) 2

^ 2 (X 1 ;:::;X n ) =

Niejestjednakjasne,czytakzde niowanyestymatorjestnieobci¡»ony.Abytosprawdzi¢obliczmy

jegowarto–¢oczekiwan¡(dlauproszczeniarachunk ó wzamiast ^ (X 1 ;:::;X n )bƒdziemypisa¢po

prostu^).

P i=1 (X i ^ ) 2

P i=1 E(X i ^ ) 2

P i=1 E(X i )

P i=1 E(X i ^ )

P i=1 E(^ 2 )

Przedewszystkimzauwa»my,»e–rodkowywyraztejsumymo»na,korzystaj¡czliniowo–ci

warto–cioczekiwanej,przekszta“ci¢nastƒpuj¡co

P i=1 E(X i ^ )

= 2E(^ 2 );

Uwaga:Wstatystycede niujesiƒte»formalnietzw.efektywno–¢nieobci¡»onegoestymatora

^ parametru.Jesttoiloraz Var( ^ 0 )

Plik z chomika:

Inne pliki z tego folderu:

Inne foldery tego chomika: