М.В. КАРТАШОВ iМОВiРНiСТЬ, ПРОЦЕСИ,...

Оригiнали с.1-2 наведенi у файлi VSP_HDR.DOC

КИЇВСЬКИЙ НАЦIОНАЛЬНИЙ УНIВЕРСИТЕТ IМЕНI ТАРАСАШЕВЧЕНКА

М.В. КАРТАШОВ

IМОВIРНIСТЬ, ПРОЦЕСИ,

СТАТИСТИКА

Посiбник

ЗатвердженоМiнiстерством освiти i науки України

як посiбник для студентiв унiверситетiв,що навчаються за спецiальностями”Математика” та ”Статистика”

КиївВидавничо-полiграфiчний центр

’Київський унiверситет’2008

УДК 519.2 (075.8)ББК 22.17Укр.я73

Л31

Рецензенти:

д-р фiз.-мат. наук, проф. О.I. Клесов,д-р фiз.-мат. наук, проф. Є.О.Лєбєдєв,д-р фiз.-мат. наук, проф. М.I.Портенко

Рекомендовано до друку вченою радою механiко-математичногофакультету, протокол N 8 вiд 10 квiтня 2006 року

Карташов М.В.

Л31 Iмовiрнiсть, процеси, статистика : Посiбник. – К.: Видавничо-полiграфiчний центр ’Київський унiверситет’, 2008.– 494 с.ISBN

Посiбник мiстить матерiал курсiв ”Теорiя ймовiрностей”, ”Математична ста-тистика” та ”Додатковi роздiли теорiї ймовiрностей” i призначений для студентiвунiверситетiв, математичних та статистичних спецiальностей. Виклад ґрунтує-ться на поняттi iнтеграла Лебега, однак всi необхiднi властивостi останньоговизначаються та виводяться, що сприяє доступностi курсу.

У курсах статистики та додаткових роздiлiв теорiї ймовiрностей наводятьсяпрямi посилання на вiдповiднi теореми курсу теорiї ймовiрностей за їх назвами,що мiстяться у предметному покажчику.

Основнi поняття та теореми iлюстровано на прикладах. Для повнiшого засво-єння курсiв наведенi вправи для самостiйного розв’язання.

Формулювання термiнiв i назв теорем та подальшi посилання на них видiля-ються шрифтом. У додатку вмiщено їх алфавiтний перелiк.

Для студентiв унiверситетiв.

УДК 519.2 (075.8)ББК 22.17Укр.я73

Гриф надано Мiнiстерством освiти i науки України,лист N 14/18-Г-1029 вiд 07.11.2006 року

ISBN c© М.В.Карташов, 2008

ПередмоваПосiбник мiстить матерiал двосеместрових лекцiй з теорiї ймовiрно-

стей, математичної статистики, та семестрового курсу додаткових роздiлiвтеорiї ймовiрностей i випадкових процесiв, якi викладалися для студен-тiв спецiальностей "Математика", "Статистика"третього курсу механiко-математичного факультету Київського нацiонального унiверситету iменiТараса Шевченка протягом 1988-2006 рр. Обсяг матерiалу розрахованийна 137 лекцiйних годин, по 3 та 5 годин на тиждень вiдповiдно у першомута другому семестрах.

На вiдмiну вiд попередньої традицiї [5], виклад спирається на понят-тя iнтеграла Лебега (а не Фреше), як це зроблено в [4, 6, 7]. Необхiднiвластивостi iнтеграла доводяться для подальших посилань. Без доведен-ня використовуються початковi результати загальної теорiї мiри – теоре-ми Каратеодорi про продовження мiри, Фубiнi про кратний та повторнийiнтеграли, про замiну змiнної та Радона – Нiкодима про абсолютно не-перервнi мiри. Вiдповiдний курс викладається на факультетi одночасноз курсом теорiї ймовiрностей [1], однак для повного засвоєння предметуволодiння основами теорiї мiри не обов’язкове. Водночас необхiдними єзнання фундаментальних понять лiнiйної алгебри та аналiзу [2] – таких,як базис, ортонормованiсть, процедура Грама – Шмiдта, границя, ряди,неперервнiсть, похiдна, iнтеграл Рiмана, комплекснозначнi функцiї. Дляповнiшого засвоєння курсу та при розв’язаннi задач корисним є володiнняосновами дискретної математики [3].

У курсах статистики та додаткових роздiлiв теорiї ймовiрностей наво-дяться прямi посилання на вiдповiднi теореми курсу теорiї ймовiрностейза їх назвами, що мiстяться у предметному покажчику.

У посiбнику прийнято унiфiковану систему термiнiв та назв теорем. Удодатку вмiщено повний їх перелiк зi вказiвкою на сторiнку. Новi фор-мулювання та подальшi посилання на них видiляються шрифтом. У еле-ктронному варiантi такi посилання є iнтерактивними.

При створеннi посiбника використанi пiдручники [4 – 10].Укладач щиро вдячний своїм вчителям – професорам Анатолiю Яко-

вичу Дороговцеву, Михайлу Йосиповичу Ядренку, Анатолiю Володими-ровичу Скороходу, Володимиру Семеновичу Королюку, Юрiю МакаровичуБерезанському – за їх блискучi лекцiї з математичного аналiзу, теорiїймовiрностей, математичної статистики та функцiонального аналiзу.

Особлива подяка рецензентам посiбника – професорам О.I. Клесову,Є.О.Лєбєдєву та М.I.Портенку, за цiннi зауваження й поради.

Роздiл 1

Теорiя ймовiрностей

Вступ

Створення теорiї ймовiрностей пов’язане з iменами Г. Галiлея, Б.Пас-каля, П.Ферма, Х. Гюйгенса, Я. Бернуллi, А.Муавра (XVI – XVIII ст). Цiвченi вивчали випадковi явища, що спостерiгаються в азартних iграх.

Iмовiрнiснi проблеми теорiї похибок вимiрювань i стрiльби, статисти-ки народонаселення розв’язувалися в працях П.Лапласа, С.Пуассона,К. Гаусса, Т. Байеса, Ж.Бертрана в XVIII – XIX столiттях.

У XIX – XX ст. значнi досягнення в теорiї ймовiрностей та статистицiбули отриманi П.Чебишевим, А.Марковим, А.Ляпуновим, П. Буняковсь-ким, зокрема, у виглядi граничних теорем.

Сучасна теорiя ймовiрностей була створена в працях Р.Мiзеса, Е. Боре-ля, С. Бернштейна, А. Колмогорова, А.Хiнчина, Б. Гнеденка, П.Левi,Ю.Прохорова, та iнших вчених.

Теорiя ймовiрностей – це роздiл математики, в якому вивчаютьсяматематичнi моделi випадкових (стохастичних) явищ.

З погляду ймовiрнiсникiв, усi природнi та соцiальнi явища можна кла-сифiкувати на такi групи:

(д) Детермiнованi. За вченням картезiанцiв, для таких явищ доситьлише вказати початковi умови – i ми знатимемо все про їх майбутнє,розв’язуючи вiдповiднi рiвняння динамiки. На практицi детермiнованихявищ немає.

(нн) Недетермiнованi неповторюванi. Наприклад: наявнiсть життяна Марсi. Висловлювання щодо його iмовiрностi не можна обґрунтуватина пiдставi iнших спостережень – адже цей феномен унiкальний.

5

(нпн) Недетермiнованi повторюванi з непередбачуваною поведiнкоючастот. Приклад: для прогнозу поведiнки послiдовних цифр числа π ста-тистика не може бути застосована.

(нпс) Недетермiнованi повторюванi зi стiйкiстю частот – для нихвiдносна частота подiї має певну границю при нескiнченному зростаннiкiлькостi спостережень.

Явища з останньої групи називаються випадковими. Їх iснування напрактицi доведено всiм досвiдом застосувань теорiї ймовiрностей i можебути проiлюстровано дослiдами видатних математикiв, якi проводили серiїпiдкидань монети та обчислювали частоти реверса:

Ж.Бюффон 4000 пiдкидань частота реверса = 0.5080П.Морган 4800 пiдкидань частота реверса = 0.5005К.Пiрсон 24000 пiдкидань частота реверса = 0.5005В.Феллер 10000 пiдкидань частота реверса = 0.4979

Для побудови теорiї ймовiрностей використовувалися такi пiдходи.(1) Суб’єктивний пiдхiд, згiдно з яким iмовiрнiсть є нормованою

мiрою впевненостi експерта. Труднощi виникають у зв’язку iз формалi-зацiєю пiдходу.

(2) Класичний пiдхiд виходить з iдеї симетрiї, рiвноможливостi. Неро-зрiзненнi подiї повиннi мати однакову ймовiрнiсть – часто цього цiлкомдосить для побудови теорiї. Однак цей пiдхiд не спроможний описатиексперимент iз нескiнченною кiлькiстю елементарних подiй, наприклад, звибором випадкової точки на вiдрiзку.

(3) Частотне визначення ймовiрностi як границi частот, що iснує згi-дно з постулюванням стiйкостi частот. Це цiлком спроможна конструкцiя,однак доведення вiдносно складних теорем (на кшталт закону великихчисел) стають занадто складними для засвоєння студентами.

(4) Аксiоматичний пiдхiд: iз частотного означення (ймовiрнiсть є грани-цею частот) отримуємо певнi властивостi ймовiрностей, але не доводимоїх, а просто постулюємо як аксiоми з урахуванням стiйкостi частот.

Останнiй, аксiоматичний пiдхiд, належить А.М.Колмогорову (DieGrundbegriffe der Wahrscheinlichkeitstheorie, Berlin, 1933) i сьогоднi є за-гальновизнаним при побудовi теорiї ймовiрностей.

Роздiл мiстить матерiал семестрового курсу теорiї ймовiрностей, що розрахо-ваний на 54 години лекцiй та 36 годин практичних занять. Для повноти доданопосилання на основнi результати теорiї мiри, якi викладаються паралельно. Крiмтого, в тих же часових рамках викладаються також двi теми з теорiї випадковихпроцесiв: процес Пуассона i вiнерiвський процес.

6 Теорiя ймовiрностей

1.1. Стохастичний експеримент, подiїта операцiї над ними

Теорiя ймовiрностей, як будь-який iнший роздiл чистої математики, по-будована аксiоматично, тобто має певнi основнi вихiднi поняття, якiне визначаються всерединi теорiї, та аксiоми, що пов’язують цi понят-тя. Основними поняттями теорiї ймовiрностей є поняття стохастичногоексперименту, елементарної подiї та простору елементарних подiй.Отже, наступнi висловлювання та означення слiд розумiти як поясненняабо iнтерпретацiї, що лежать поза математикою.

Стохастичний експеримент – це певне випробування, спостереженнячи дослiд, результат якого не можна передбачити однозначно (наприклад,пiдкидання монети чи грального кубика), або ж можна передбачити (на-приклад, неправильна вiдповiдь на iспитi).

Певний фiксований результат стохастичного експерименту, який не мо-жна виразити через сукупнiсть iнших результатiв (чи спричинити ними),називається елементарною подiєю. Зокрема, рiзнi елементарнi подiї не мо-жуть вiдбутися одночасно. Множина всiх елементарних подiй називаєтьсяпростором елементарних подiй.

Отже, в результатi проведення стохастичного експерименту завждивiдбувається одна i тiльки одна елементарна подiя з простору елемен-тарних подiй.

Оскiльки у теорiї ймовiрностей фiзична природа елементарних подiйта простору елементарних подiй не має суттєвого значення, то просторомелементарних подiй може бути довiльна абстрактна множина, а елемен-тарна подiя є будь-яким елементом цiєї множини.

У теорiї ймовiрностей простiр елементарних подiй позначається сим-волом грецького алфавiту Ω, а елементарна подiя – через ω .

1.1.1. Приклади стохастичних експериментiвта просторiв елементарних подiй

1. Пiдкидання однiєї монети. Простiр елементарних подiй має виглядΩ = А,Р, оскiльки результат пiдкидання, що вiдрiзняється вiд аверсаA, або реверса P, вважається неможливим.

2. Пiдкидання двох монет. Оскiльки фiксацiя результату пiдкидан-ня двох монет потребує задання впорядкованої пари з двох елементiв

1.1. Стохастичний експеримент, подiї та операцiї над ними 7

– результатiв пiдкидання першої та другої монети, то простiр елемен-тарних подiй мiстить пари можливих варiантiв пiдкидань однiєї монети:Ω = АА,АР,РА,РР.

3. Пiдкидання гральної костi. Ω = 1,2,3,4,5,6, оскiльки гральнакость має шiсть граней, а падiння на ребро вважається неможливим.

4. Пiдкидання монети до першого успiху. Можна припустити, щоуспiх обов’язково має вiдбутися за якоїсь скiнченної кiлькостi пiдкидань,а тому Ω = У, НУ, ННУ,...,НН...НУ,.... З тим же результатом можнаототожнити простiр елементарних подiй iз множиною натуральних чи-сел N = n, n ≥ 1. Для реалiзацiї можливостi нескiнченної кiлькостiпiдкидань треба постулювати, що простiр Ω мiстить спецiальну точку∞ = НН...Н....

5. Вибiр випадкової точки на одиничному вiдрiзку. У цьому випадкуΩ = [0, 1], оскiльки кожна така точка однозначно задається своєю коорди-натою з вiдрiзку [0, 1].

1.1.2. Випадковi подiї

Зi стохастичним експериментом можна пов’язати певне висловлюван-ня про його результат. Оскiльки для кожної елементарної подiї можнавстановити, справедливе дане висловлювання чи нi, то довiльному ви-словлюванню вiдповiдає певна множина елементарних подiй, а саме: такапiдмножина простору елементарних подiй, для елементiв якої справджу-ється дане висловлювання. Випадковими подiями називаються пiдмно-жини простору елементарних подiй, що є вiдповiдними прообразамипевних висловлювань про результат стохастичного експерименту.

Приклади1. Пiдкидання двох монет, Ω = АА,АР,РА,РР. Тодi

подiя Перший аверс=АА,АР, Хоча б один аверс=АА,АР,РА.2. Пiдкидання монети до першого успiху, Ω = У, НУ,..,Н...НУ,....

подiя Знадобиться не бiльше трьох пiдкидань = У,НУ,ННУ.3. Пiдкидання гральної костi. Ω = 1,2,3,4,5,6. Тодi

подiя Випаде непарна кiлькiсть очок =1, 3, 5.4. Вибiр випадкової точки на одиничному вiдрiзку, Ω = [0, 1]. Клас

усiх випадкових подiй має мiстити всi iнтервали [0, x) та їх перетворення.Зауважимо, що не всi пiдмножини простору елементарних подiй по-

виннi бути випадковими подiями. Пiдмножин може бути бiльше, нiж мо-жна сформулювати висловлювань, враховуючи злiченну кiлькiсть остан-


нiх. Iнше обґрунтування необхiдностi обмеження класу пiдмножин да-ється теоремою Банаха – Тарського: тривимiрну одиничну кулю можнарозбити на скiнченну кiлькiсть частин, якi в результатi перемiщень за-повнюють кулю радiуса 2 – внаслiдок невимiрностi цих частин.

1.1.3. Властивостi класу випадкових подiй

Клас усiх випадкових подiй у даному стохастичному експериментi бу-демо позначати через F.

Оскiльки клас висловлювань замкнений вiдносно операцiй заперечен-ня, кон’юнкцiї, диз’юнкцiї та iнших теоретико-множинних операцiй i мi-стить також суперечливi висловлювання, то природно прийняти вiдповiднiвластивостi класу F всiх випадкових подiй – пiдмножин Ω.

1. Множина Ω ⊂ Ω (”щось та вiдбудеться”) є випадковою подiєю:Ω ≡ ω : ω ∈ Ω ∈ F, яка називається унiверсальною.

2. Множина ∅, що не мiстить жодної елементарної подiї (”нiчого невiдбудеться”), є випадковою подiєю: ∅ ≡ ω : ω /∈ Ω ∈ F, i називаєтьсянеможливою подiєю.

3. Належнiсть елементарної подiї ω випадковiй подiї A, позначенняω ∈ A, вiдображається висловлюваннями: ω сприяє A, або ж подiя Aвiдбувається при данiй елементарнiй подiї ω.

4. Справедливiсть включення A ⊂ B визначає, що подiя A спричи-няє подiю B (або ж мiститься в нiй). Альтернативна iнтерпретацiя: якщовiдбувається A, то вiдбувається i B.

5. Для подiї A її доповнення (або заперечення) A ≡ ω : ω /∈ A євипадковою подiєю: A ∈ F, яка полягає в тому, що не вiдбудеться A.

6. Для двох подiй A,B їх об’єднання A∪B ≡ ω : ω ∈ A або ω ∈ B євипадковою подiєю, яка полягає в тому, що вiдбудеться A або B.

7. Для двох випадкових подiй A,B їх перерiз (або ж перетин) – мно-жина A ∩ B ≡ ω : ω ∈ A та ω ∈ B є випадковою подiєю, яка полягає втому, що подiї A i B вiдбудуться одночасно.

8. Якщо A ∩ B = ∅, то подiї A,B називаються несумiсними (або жтакими, що не перетинаються).

9. Для двох подiй A,B їх рiзниця A \ B ≡ ω : ω ∈ A та ω /∈ B євипадковою подiєю, яка полягає в тому, що вiдбудеться A i одночасно невiдбудеться B.

10. Для двох подiй A,B їх симетрична рiзниця A∆B є випадковоюподiєю, яка полягає в тому, що з подiй A,B вiдбудеться точно одна подiя,

1.1. Стохастичний експеримент, подiї та операцiї над ними 9

тобто A∆B = (A\B) ∪ (B\A).

11. Подiї послiдовностi (An, n ≥ 1) називаються попарно несумiсними,якщо Ai ∩ Aj = ∅ для всiх i 6= j.

12. Для послiдовностi випадкових подiй (An, n ≥ 1) їх злiченне об’єд-нання ∪An ≡ ω : ∃n ≥ 1 : ω ∈ An є випадковою подiєю: ∪An ∈ F, якаполягає в тому, що вiдбудеться хоча б одна подiя iз цiєї послiдовностi.

13. Злiченний перерiз ∩An ≡ ω : ω ∈ An, ∀n ≥ 1 є випадковою по-дiєю, яка полягає в тому, що вiдбудуться всi подiї iз даної послiдовностi.

14. Нехай (An, n ≥ 1) – монотонно неспадна послiдовнiсть подiй, тобтоAn ⊂ An+1, ∀n ≥ 1. Їх монотонною границею A (що позначається якAn ↑ A ≡ lim An) є випадкова подiя, яка полягає в тому, що вiдбудетьсяпринаймнi одна подiя даної послiдовностi (а отже, i кожна, починаючи здеякого номера), тобто A = ∪An. У такому випадку кажуть, що подiї An

монотонно збiгаються до A.

15. Нехай (An, n ≥ 1) – монотонно незростаюча послiдовнiсть подiй,тобто An+1 ⊂ An, ∀n ≥ 1. Їх монотонною границею A є випадкова подiя,яка полягає в тому, що вiдбудуться одночасно всi подiї послiдовностi,тобто A = ∩An (це позначається як An ↓ A ≡ lim An). У такому випадкукажуть, що подiї An монотонно збiгаються до A.

16. Для послiдовностi подiй (An, n ≥ 1) їх верхня границя lim An євипадковою подiєю, яка полягає в тому, що подiї даної послiдовностiвiдбудуться нескiнченно часто, тобто вiдбудуться всi подiї з деякої не-скiнченної пiдпослiдовностi Ank

. Цю подiю можна зобразити у виглядi:limAn = ∩m≥1 ∪n≥m An. Дiйсно, елементарна подiя ω належить правiйчастинi рiвностi тодi й тiльки тодi, коли для довiльного номера m ≥ 1знайдеться номер n ≥ m такий, що ω ∈ An, тобто коли вiдбудеться не-скiнченна кiлькiсть серед подiй An.

17. Для послiдовностi подiй (An, n ≥ 1) їх нижня границя lim An євипадковою подiєю, яка полягає в тому, що вiдбудуться всi подiї даноїпослiдовностi починаючи з деякого номера. Ця подiя позначається через:limAn = ∪m≥1 ∩n≥m An. Дiйсно, елементарна подiя ω належить правiйчастинi рiвностi тодi й тiльки тодi, коли знайдеться номер m ≥ 1 такий,що ω ∈ An при всiх n ≥ m, тобто коли вiдбудуться всi подiї An, починаючиз деякого номера.

Мiж теоретико-ймовiрнiсними поняттями випадкових подiй i операцiйнад ними, та теоретико-множинними поняттями множин i їх перетворень,є пряма вiдповiднiсть, що iлюструється у такiй таблицi.


Позначення У теорiї ймовiрностей У теорiї множин

ΩПростiр елементарнихподiй, унiверсальна подiя

Унiверсальна множина

ω Елементарна подiя Елемент множини∅ Неможлива подiя Порожня множинаA Випадкова подiя Множинаω ∈ A ω сприяє подiї A ω належить AA Заперечення подiї A Доповнення множини AA ⊂ B Подiя A спричиняє B A мiститься в BA ∩B Вiдбудуться подiї A та B Перерiз множин A i B

∩n≥1AnВiдбудуться всiподiї An одночасно

Перерiз множин An

A ∩B = ∅ Подiї A i B несумiснi A i B не перетинаютьсяA ∪B Вiдбудеться подiя A або B Об’єднання A i B

∪n≥1AnВiдбудеться хоча бодна з подiй An

Об’єднання множин An

A\B Вiдбудеться подiяA, та не B

Рiзниця множин A та B

A∆BВiдбудеться точноодна з подiй A,B

Симетрична рiзниця A,B

An ↑ AПодiї An не спадаютьта мають границю A

An ⊂ An+1, ∪n≥1An = A

An ↓ AПодiї An не зростаютьта мають границю A

An+1 ⊂ An, ∩n≥1An = A

limAnПодiї An вiдбуваютьсянескiнченно часто

∩m≥1 ∪n≥m An

limAn

Подiї An вiдбуваютьсявсi, починаючиз деякого номера

∪m≥1 ∩n≥m An

Вправи(1) Довести, що: (а) A\B = A\(A ∩ B), (б) A∆B = (A ∪ B)\(A ∩ B), (в)

(A∆B)∆C = A∆(B∆C), (г) A ∪B = A ∩ B, (д) A∆B = A∆B,(е) (A ∩B) ∩ C = A ∩ (B ∩ C), (є) (A ∪B) ∩ C = (A ∩ C) ∪ (B ∩ C).

(2) Для довiльної послiдовностi випадкових подiй (An, n ≥ 1) має мiсце зо-браження ∪n≥1An = ∪n≥1Bn, з попарно несумiсними подiями вигляду: B1 = A1,Bn = An\ ∪n−1

k=1 Ak, n > 1.

(3) Обчислити limAn, limAn у випадку, коли: (а) Ω = R, а випадковi подiїAn = (−∞, an), (б) A2n+1 = A, A2n = B, (в) An ↑ A, (г) An ↓ A.

1.2. Аксiоми теорiї ймовiрностей та властивостi ймовiрностi 11

1.2. Аксiоми теорiї ймовiрностейта властивостi ймовiрностi

Перелiк наведених вище властивостей класу F випадкових подiй мо-жна подовжити. Одночасно доцiльно вiдшукати тi з них, що породжуютьвсi iншi. Тим самим приходимо до таких аксiом класу випадкових подiй.

1.2.1. Аксiоми класу випадкових подiй

Нехай F – клас усiх випадкових подiй у деякому стохастичному екс-периментi iз простором елементарних подiй Ω. Тодi, як вiдмiчено у роздiлiпро властивостi класу випадкових подiй, цей клас має такi властивостi:

(F1 – нормованiсть) Ω ∈ F.(F2 – доповнення ) З A ∈ F випливає, що A ∈ F.(F3 – злiченнi об’єднання ) Якщо An ∈ F – злiченна послiдовнiсть,

то ∪An ∈ F.Клас пiдмножин унiверсальної множини Ω, який задовольняє умови

(F1) – (F3), називається сигма-алгеброю (чи σ-алгеброю) пiдмножин Ω.Клас F називається алгеброю, якщо замiсть умови (F3) виконується

слабша умова(F3′– об’єднання) З A,B ∈ F випливає A ∪B ∈ F.Очевидно, ця властивiсть еквiвалентна умовi(F3′′– скiнченнi об’єднання) З Ak ∈ F, k = 1, n, випливає ∪n

k=1Ak ∈ F.Приклад. Для довiльної подiї A ⊂ Ω клас ∅, A, A, Ω є алгеброю i

одночасно σ-алгеброю.Першу групу аксiом теорiї ймовiрностей можна сформулювати так:

”Клас F усiх випадкових подiй є сигма-алгеброю”.Для побудови сигма-алгебр, виходячи iз заданих алгебр, використову-

ють такий метод.Означення. Сигма-алгебра F породжена класом випадкових подiй A,

що позначається як F ≡ σ[A], якщо вона є найменшою з тих сигма-алгебр, що мiстять цей клас:

F =⋂

S⊃A, S σ−алгебраS.

Теорема (про монотонний клас). Якщо клас множин F мiститьалгебру A та замкнений вiдносно монотонної збiжностi An ↑ A, то вiнмiстить породжену сигма-алгебру σ[A].

Доведення пропонується як вправа.


Вправи(1) Довести, що з наведених аксiом випливають всi вказанi вище властивостi

класу випадкових подiй.(2) Визначення породженої сигма-алгебри коректне, оскiльки хоча б одна

вказана сигма-алгебра S iснує (клас S = 2Ω усiх пiдмножин Ω), причому перерiзбудь-якої кiлькостi сигма-алгебр є сигма-алгеброю.

(3) Клас A є алгеброю тодi й тiльки тодi, коли (а) Ω ∈ A, (б) з A,B ∈ A

випливає A\B ∈ A.(4) Випадковi подiї (Hn, n ≥ 1) попарно несумiснi. Довести тотожнiсть

σ[Hn, n ≥ 1] = ∪i⊂IHi, I ⊂ N.(5) Для σ-алгебри F i C /∈ F σ[F ∪ C] = (A1 ∩C) ∪ (A2 ∩C), Ak ∈ F.(6) Клас пiдмножин R вигляду F ∩ G, де F – вiдкрита, а G – замкнена

множина, утворює алгебру, але не є сигма-алгеброю.(7) Нехай Ω = 1, 2, 3, 4, 5, 6. Знайти всi елементи найменшої алгебри, яка

мiстить подiї A = 1, 2, B = 4, 5, 6.(8) Для злiченного простору Ω = ωn, n ≥ 1 описати найменшi алгебру та

сигма-алгебру, якi мiстять усi одноточковi множини.

1.2.2. Аксiоми ймовiрностi

У теорiї ймовiрностей iз кожною випадковою подiєю пов’язують число-ву мiру її вiрогiдностi – ймовiрнiсть. Iмовiрнiсть розглядається як границявiдносних частот, тобто вiдношень кiлькостi сприятливих для висловлю-вання випробувань до кiлькостi всiх випробувань. Можна вiдмiтити такiосновнi властивостi частот:

(невiд’ємнiсть) Частота(Довiльного_висловлювання)≥ 0.(нормованiсть) Частота(Унiверсального_висловлювання)= 1,

адже воно справджується в кожному випробуваннi.(адитивнiсть) Частота(А або Б)=Частота(А)+Частота(Б),

якщо висловлювання A,Б не можуть справджуватися одночасно.Справедливiсть адитивностi засвiдчує наступна дiаграма:

ОООАОБББААООООАААБООООООХОXХХХХООООХХХХООО

Кiлькiсть символiв А та Б дорiвнює (1+2+3)+(3+1) = 6+4, кiлькiстьоб’єднуючих символiв Х дорiвнює 1 + 5 + 4 = 10 = 6 + 4.

Отже, ймовiрнiсть як границя частот має бути невiд’ємною, нормова-ною та адитивною функцiєю випадкових подiй (як образiв висловлю-вань щодо результату експерименту). Звiдси приходимо до означення.


Означення. Iмовiрнiстю називається числова функцiя IP на класi F

всiх випадкових подiй з такими властивостями:(Р1 – невiд’ємнiсть) IP(A) ≥ 0, ∀A ∈ F.

(Р2 – нормованiсть) IP(Ω) = 1.

(Р3 – сигма-адитивнiсть) Для послiдовностi подiй (An, n ≥ 1), щопопарно несумiснi (тобто Ai ∩ Aj = ∅, ∀i 6= j), справедлива рiвнiсть

IP(⋃

n≥1An

)=

∑n≥1

IP(An).

Для обґрунтування останньої аксiоми (P3) зауважимо, що її твердже-ння еквiвалентне такiй парi тверджень:

(Р3′ – адитивнiсть) Для подiй A,B, що несумiснi,

IP(A ∪B) = IP(A) + IP(B).

(P4 – неперервнiсть в нулi). Для довiльної послiдовностi подiй (An)таких, що An+1 ⊂ An, та ∩n≥1An = ∅, має мiсце збiжнiсть

limn→∞ IP(An) = 0.

Перша властивiсть повнiстю вiдповiдає властивостi частот, а запере-чення другої виглядало б не досить обґрунтованим.

Означення. Функцiя P називається адитивною ймовiрнiстю, якщозамiсть аксiоми (Р3) виконується слабша умова (Р3′).

За iндукцiєю неважко довести (вправа), що властивiсть адитивностi(Р3′) еквiвалентна скiнченнiй адитивностi:

(Р3′′ – скiнченна адитивнiсть) Для довiльної скiнченної послiдовностiподiй (Ak, 1 ≤ k ≤ n), що попарно несумiснi,

IP(⋃

1≤k≤nAk

)=

∑1≤k≤n

IP(Ak).

Другу групу аксiом теорiї ймовiрностей можна сформулювати так:”Iмовiрнiсть є невiд’ємною нормованою сигма-адитивною функцiєюна класi всiх випадкових подiй”.

Отже, аксiоматика теорiї ймовiрностей зводиться до постулювання iсну-вання ймовiрнiсного простору (Ω, F, IP), що має такi елементи:

Ω – простiр елементарних подiй (абстрактна множина),F – клас усiх випадкових подiй – пiдмножин Ω, якi утворюють сигма-

алгебру з властивостями (F1 – F3), аIP – iмовiрнiсть на сигма-алгебрi подiй F iз властивостями (Р1 – Р3).


1.2.3. Властивостi ймовiрностi

З аксiом теорiї ймовiрностей випливають такi властивостi ймовiрностi.Теорема (про основнi властивостi ймовiрностей). Справедливi такi

властивостi ймовiрностi.1. Iмовiрнiсть неможливої подiї: IP(∅) = 0. Дiйсно, за означенням подiї

Ak ≡ ∅, k = 1, n, попарно несумiснi, а тому додатнiсть IP(∅) суперечила бтотожностi IP(∅) = IP(∪n

k=1∅) =∑n

k=1 IP(∅), що є наслiдком адитивностiабо ж сигма-адитивностi (тут n ≤ ∞). Зауважимо також, що з IP(A) = 0не випливає, що A – неможлива подiя.

2. Iмовiрнiсть доповнення подiї A ∈ F :

IP(A) = 1− IP(A),

оскiльки Ω = A ∪ A, де доданки несумiснi, отже 1 = IP(Ω) = IP(A ∪ A) =IP(A) + IP(A).

3. Iмовiрнiсть вкладеної рiзницi: для A,B ∈ F, A ⊂ B

IP(B \ A) = IP(B)− IP(A),

оскiльки B = A ∪ (B \A), де доданки несумiснi: IP(B) = IP(A ∪ (B \A)) =IP(A) + IP(B \ A).

4. Монотоннiсть iмовiрностi: для A,B ∈ F, A ⊂ B

IP(A) ≤ IP(B),

виводиться з невiд’ємностi та попереднього пункту:

IP(B)− IP(A) = IP(B\A) ≥ 0.

5. Множина значень iмовiрностi:

IP(A), A ∈ F ⊂ [0, 1],

оскiльки ∅ ⊂ A ⊂ Ω i має мiсце монотоннiсть iмовiрностi.6. Iмовiрнiсть об’єднання двох подiй A,B ∈ F :

IP(A ∪B) = IP(A) + IP(B)− IP(A ∩B),

оскiльки A ∪ B = A ∪ (B \ A ∩ B), де доданки несумiснi, а ймовiрнiстьдругого визначається властивiстю ймовiрностi вкладеної рiзницi :

IP(A ∪B) = IP(A ∪ (B \ A ∩B)) = IP(A) + IP(B \ A ∩B) =

IP(A) + IP(B)− IP(A ∩B).


7. Формула включення–виключення для подiй (Ak, k = 1, n) :

IP(⋃

1≤k≤nAk) =

∑1≤ i≤ n

IP(Ai)−∑

1≤i<j≤nIP(Ai ∩ Aj)+

∑1≤i<j<k≤n

IP(Ai ∩ Aj ∩ Ak)− ... + (−1)n−1 IP(A1 ∩ ... ∩ An).

При n = 2 це є властивiсть 6, а для n > 2 формула доводиться за iнду-кцiєю з властивостi ймовiрностi об’єднання. Нехай формула справедливадля заданого n. Позначимо B = ∪n

k=1Ak, тодi

IP(⋃

n+1k=1Ak) = IP(B ∪ An+1) = IP(B) + IP(An+1)− IP(B ∩ An+1) =

∑1≤k≤n IP(Ak)−

∑1≤k<j≤n IP(Ak ∩Aj) + ... + IP(An+1)− IP(∪n

k=1(Ak ∩An+1))

=∑

1≤k≤n+1 IP(Ak)−∑

1≤k<j≤n IP(Ak ∩Aj) + ...−∑1≤k≤n IP(Ak ∩An+1) + ...,

звiдки за iндукцiєю дiстанемо дане твердження.8. Напiвадитивнiсть iмовiрностi:

IP(⋃

1≤k≤nAk

)≤

∑1≤k≤n

IP(Ak).

Для доведення позначимо B1 = A1, Bk = Ak\ ∪k−1j=1 Aj. Тодi подiї Bk по-

парно несумiснi, Bk ⊂ Ak i ∪ 1≤k≤nBk = ∪ 1≤k≤nAk. Звiдси за адитивнiстюта монотоннiстю ймовiрностей

IP(⋃

1≤k≤nAk) = IP(⋃

1≤k≤nBk) =∑

k≤n IP(Bk) ≤∑

k≤n IP(Ak).

9. Неперервнiсть iмовiрностi.(a) Якщо An ↑ A, то IP(An) ↑ IP(A).(б) Якщо An ↓ A, то IP(An) ↓ IP(A).

Для доведення (a) позначимо B1 = A1, Bn = An \ An−1, n > 1. Тодi Bn

попарно несумiснi, ∪k≤nBk = An, ∪Bk = A,

IP(A) =∑

IP(Bn) = limn→∞∑

k≤n IP(Bk) = limn→∞ IP(An),

де остання рiвнiсть виводиться з адитивностi, а збiжнiсть є монотонною.Для доведення (б) застосуємо (а) для доповнень: An ↑ A, 1− IP(An) =

IP(An) ↑ IP(A) = 1− IP(A).10. Злiченна напiвадитивнiсть iмовiрностi:

IP(⋃

Ak

)≤

∑IP(Ak)

випливає iз напiвадитивностi та неперервностi ймовiрностi :

IP (⋃

Ak) = limn→∞ IP(⋃

1≤k≤n Ak

) ≤ limn→∞∑

1≤k≤n IP(Ak).


11. Еквiвалентнiсть неперервностi в нулi та сигма-адитивностi для ади-тивної ймовiрностi. Для того, щоб адитивна ймовiрнiсть IP на алгебрiподiй A була сигма-адитивною, необхiдно i достатньо, щоб вона бу-ла неперервною в нулi на A,тобто для будь-якої послiдовностi подiйAn ∈ A таких, що An ↓ ∅, повинна мати мiсце збiжнiсть IP(An) ↓ 0.

Доведення. Якщо функцiя IP сигма-адитивна, то вона неперервна внулi за властивiстю неперервностi ймовiрностi.

Нехай функцiя IP адитивна на алгебрi A та неперервна в нулi, а An ∈ A

довiльнi подiї, що попарно несумiснi. Позначимо Bn = ∪k>nAk. Тодi Bn ↓∅ та IP(Bn) ↓ 0. Оскiльки внаслiдок скiнченної адитивностi IP(∪Ak) =IP(∪k≤nAk) + IP(Bn) =

∑k≤n IP(Ak) + IP(Bn) → ∑

k≥1 IP(Ak), n → ∞, тоймовiрнiсть IP сигма-адитивна на алгебрi A.

12. Продовження неперервної ймовiрностi на сигма-алгебру.Для того, щоб адитивна ймовiрнiсть IP на алгебрi подiй A мала про-

довження до сигма-адитивної ймовiрностi на породженiй сигма-алгебрiF = σ[A], необхiдно i достатньо, щоб вона була неперервною в нулi наалгебрi A

Доведення. Якщо ймовiрнiсть IP сигма-адитивна, то вона неперервнав нулi за властивiстю неперервностi.

Нехай ймовiрнiсть IP адитивна на алгебрi A та неперервна в нулi. ТодiIP сигма-адитивна на алгебрi A, як показано у попереднiй властивостi.За цiєї умови iснування та єдинiсть сигма-адитивного продовження наσ-алгебру F стверджується у теоремi Каратеодорi про продовження мiри,яка доводиться в курсi теорiї мiри та iнтеграла.

Вправи(1) Нехай Ak ∈ F, IP(Ak) = 1, k ≥ 1. Довести, що IP(∩k≥1Ak) = 1.(2) Довести (а) рiвнiсть IP(A∆B) = IP(A) + IP(B) − 2 IP(A ∩ B), (б) не-

рiвнiсть трикутника IP(A∆B) ≤ IP(A∆C) + IP(C∆B), (в) нерiвнiсть рiзницьIP((∪Ai)∆(∪Bi)) ≤

∑i IP(Ai∆Bi).

(3) Для довiльних подiй A,B довести нерiвнiстьIP(A ∪B)IP(A ∩B) ≤ IP(A)IP(B).

(4) Довести (а) нерiвнiсть Буля: IP(A∩B) ≥ 1− IP(A)− IP(B), (б) нерiвнiстьIP(

⋃nk=1 Ak) ≥ IP(

⋂nk=1 Ak) + 1− n.

(5) Послiдовнiсть подiй An збiгається до границi A, якщо A = limAn =limAn. Довести, що тодi IP(A) = lim IP(An).

(6) Довести, що для ймовiрностi IP на алгебрi A функцiяIP∗(B) = inf(

∑n≥1 IP(An), An ∈ A, ∪n≥1An ⊃ B)

є неспадною i сигма-адитивною за B ⊂ Ω, та є ймовiрнiстю на σ[A].

1.3. Приклади ймовiрнiсних просторiв 17

(7) Нехай F = σ[A], а IP – iмовiрнiсть на F. Довести, що для довiльної A ∈ F

знайдуться An ∈ A такi, що IP(A∆An) → 0, n →∞.(8) Розглянемо алгебру A+ пiдмножин R+\0, що породжується системою

напiвiнтервалiв вигляду (a, b], де 0 ≤ a < b. Визначимо функцiю m(A) =1I0∈Cl(A) для A ∈ A+, де Cl(A) – замикання множини A. Довести, що функцiяm адитивна, але не є сигма-адитивною.

(9) Нехай Ω – нескiнченна множина, а F мiстить всi скiнченнi пiдмножиниΩ та їх доповнення. Довести, що функцiя ν(A) = 1I|A|=∞ є адитивною та не єсигма-адитивною на F.

(10) Нехай F – сигма-алгебра, IP – iмовiрнiсть на F i C ⊂ Ω, C /∈ F. Якподовжити IP до ймовiрностi на σ[F ∪ C] ?

(11) Нехай (Ak, k = 1, n) – випадковi подiї. Визначимо S0 = 1, таSk =

∑1≤i1<...<ik≤n IP(Ai1 ∩ ... ∩ Aik).

(а) Нехай Bm – подiя, що полягає у тому, що одночасно вiдбудеться точно mподiй з сукупностi (Ak). Довести, що IP(Bm) =

∑nk=m(−1)k−mCm

k Sk.(б) Нехай Cm – подiя, що полягає у тому, що одночасно вiдбудеться принаймнim подiй з сукупностi (Ak). Довести, що IP(Cm) =

∑nk=m(−1)k−mCm−1

k−1 Sk.(в) Довести для всiх m ≤ n/2 нерiвностi Бонферонi:∑2m

k=1(−1)k−1Sk ≤ IP(∪nk=1Ak) ≤

∑2m−1k=1 (−1)k−1Sk.

(г) Довести тотожнiсть Пуанкаре IP(∪nk=1Ak) =

∑nk=1(−1)k−1Sk.

(д) Довести нерiвностi Фреше: Sk+1/Ck+1n ≤ Sk/C

kn при k < n.

(е) Довести нерiвностi Гумбела: (Ck+1n − Sk+1)/C

kn−1 ≤ (Ck

n − Sk)/Ck−1n−1.

1.3. Приклади ймовiрнiсних просторiв

Для застосувань iмовiрнiсних методiв на практицi необхiдно будуватиймовiрнiснi простори. Зокрема, необхiдним елементом розв’язання будь-якої ймовiрнiсної задачi є побудова вiдповiдного ймовiрнiсного простору.Тому розглянемо конкретнi приклади таких просторiв.

1.3.1. Класичне означення ймовiрностей

Нехай простiр Ω = ω1, ..., ωn – скiнченний, а клас подiй F мiститьвсi пiдмножини Ω.

Припустимо, що всi елементарнi подiї рiвноймовiрнi (рiвноможливi, си-метричнi, статистично нерозрiзненнi). Тодi їх iмовiрностi мають бути одна-ковими i в сумi повиннi становити 1. Отже, IP(ωk) = 1/n, k = 1, n.Оскiльки кожна подiя є об’єднанням одноточкових елементарних подiй,


то ймовiрнiсть будь-якої подiї має дорiвнювати сумi доданкiв 1/n по всiхm елементарних подiях, що їй сприяють, тобто дорiвнювати вiдношеннюm/n. Звiдси дiстанемо таке означення.

Означення. Будемо говорити, що для даного ймовiрнiсного просто-ру (Ω, F, IP) зi скiнченним простором елементарних подiй Ω прийнятекласичне означення ймовiрностей, якщо для будь-якої подiї A ⊂ Ω їїймовiрнiсть дорiвнює вiдношенню кiлькостi елементарних подiй, щосприяють A, до кiлькостi усiх елементарних подiй:

IP(A) = |A| / |Ω| ,де |A| – кiлькiсть елементiв (потужнiсть) множини A.

Зауваження. Якщо у формулюваннi задачi явно не вказано на вибiрозначення ймовiрностей, однак |Ω| < ∞ i присутнi ключовi слова випад-ково, навмання ... – то треба обрати саме класичне означення.

Приклади1. Пiдкидання симетричної гральної костi. Iмовiрнiсть парної кiль-

костi очок дорiвнює |2, 4, 6| /6 = 3/6 = 1/2.

2. Пiдкидання навмання двох симетричних монет. Iмовiрнiсть хочаб одного аверса |АР,РА,АА| /4 = 3/4.

3. Випробування до першого успiху – не може бути описане класи-чним означенням. Дiйсно, припустимо рiвноможливiсть злiченної кiлько-стi випробувань. Якщо спiльна (однакова для рiзних елементарних по-дiй) ймовiрнiсть додатна, то їх злiченна сума нескiнченна, якщо ж во-на нульова – то i сума нульова. У кожному випадку сума ймовiрностейелементарних подiй не дорiвнює одиницi. Це суперечить аксiомам теорiїймовiрностей.

4. Послiдовне пiдкидання n симетричних монет як модель випадковогоблукання. Простiр елементарних подiй має вигляд

Ω = ω = (ε1ε2...εn), εk ∈ +1,−1 = +1,−1n,

де εk = +1, якщо k -е випробування завершилося аверсом, i εk = −1 упротилежному випадку. Всього є 2n елементарних подiй, з них призводятьдо k аверсiв та рештi n−k реверсiв подiї, що вiдповiдають сполученням iзn елементiв по k. Ця кiлькiсть дорiвнює Ck

n. Оскiльки монета симетрична,то всi елементарнi подiї вважаються рiвноможливими, iмовiрнiсть кожноїдорiвнює 2−n.

Розглянемо таку модель блукання. Припустимо, що частинка в моментk змiнює свою координату (стрибає) на величину εk. Позначимо через


Sn = ε1 + ... + εn результуюче положення частинки. Тодi ймовiрнiстьнаявностi k додатних та n− k вiд’ємних стрибкiв дорiвнює

IP(Sn = k − (n− k)) = Ckn / 2n, k = 0, n.

Зокрема, при n = 2 m та k = m iмовiрнiсть повернення в 0 дорiвнює

IP(S2m = 0) = 2−2mCm2m.

5. Задача про збiг. Навмання розкладено n листiв до n конвертiв задресами. Простiр елементарних подiй збiгається з множиною усiх пе-рестановок порядку n, а саме – перестановок листiв по вiдношенню доправильних адрес.

Розглянемо подiї A = хоча б один лист дiйшов за призначенням,Ak = k-ий лист дiйшов за призначенням. За формулою включення -виключення

IP(A) = IP(∪nk=1Ak) =

∑1≤i≤n

IP(Ai)−∑

1≤i<j≤nIP(Ai ∩ Aj) + .. + (−1)n−1 IP(A1 ∩ ... ∩ An) =

C1n

(n− 1)!

n!− C2

n

(n− 2)!

n!+ ... + (−1)n−1Cn

n

0!

n!=

1 − 1

2!+

1

3!− ... + (−1)n−1 1

n!→ 1− 1

e, n →∞.

Вправи(1) У групi n студентiв. Яка ймовiрнiсть того, що хоча б у двох з них однаковi

днi народження ? Для яких n ця ймовiрнiсть не менша за 0.5 ?

(2) Кожна з n рiзних частинок потрапляє в одну з m комiрок. (а) Знайтиймовiрнiсть того, що для кожного k = 1,m у k-ту комiрку потрапить nk ча-стинок. (б) Знайти ймовiрнiсть потрапляння у фiксовану комiрку k частинок. Заякої умови iснує границя цiєї ймовiрностi при n,m →∞? Знайти цю границю.(в) Яка ймовiрнiсть того, що буде зайнято рiвно l комiрок ?

(3) Кожна з n iдентичних (нерозрiзнимих) частинок потрапляє в одну з m ко-мiрок. Рiвноможливими є всi розмiщення, що вiдрiзняються кiлькiстю частиноку комiрках. Знайти ймовiрностi з пунктiв (а) – (в) попередньої вправи.

(4) Кожна з n iдентичних частинок потрапляє в одну з m комiрок. Рiвномо-жливими є всi розмiщення, що задовольняють заборонi Паулi - у кожнiй комiрцiможе бути не бiльше однiєї частинки. Знайти ймовiрностi з пунктiв (а) – (в)вправи 2.


1.3.2. Дискретний iмовiрнiсний простiр

Не завжди можна вважати, що елементарнi подiї рiвноможливi. Тодiзастосовують таке узагальнення.

Нехай простiр Ω = ω1, ..., ωn, ... – дискретний (скiнченний або злi-ченний), клас випадкових подiй F мiстить всi пiдмножини Ω, i заданапевна ймовiрнiсть IP на F. Тодi визначенi ймовiрностi окремих елементар-них подiй pk = IP(ωk).

Вправа. Сигма-алгебра випадкових подiй F = 2Ω тодi й тiльки тодi, коливимiрнi всi одноточковi множини: ωn ∈ F для всiх n.

Оскiльки для довiльної злiченної множини A =⋃

k: ωk ∈ Aωk, то завластивiстю сигма-адитивностi

IP(A) =∑

k: ωk∈Apk , де pk = IP(ωk).

Числова послiдовнiсть (pk, k ≥ 1) задовольняє умови pk ≥ 0,∑

pk = 1 iназивається дискретним розподiлом iмовiрностей.

Отже, для кожної ймовiрностi IP на F визначений дискретний розподiлна одноточкових множинах.

Навпаки, для кожного дискретного розподiлу (pk, k ≥ 1) наведенаформула для ймовiрностi IP(A) задає загальне означення ймовiрностей удискретному ймовiрнiсному просторi.

Теорема (про сигма-адитивнiсть дискретної ймовiрнiсної мiри).Для кожного дискретного розподiлу ймовiрностей (pk) функцiя

IP(A) =∑

k: ωk∈Apk, A ∈ F,

є адитивною ймовiрнiстю та неперервною в нулi, а тому є ймовiрнiстю.Доведення. Невiд’ємнiсть та нормованiсть очевиднi. Адитивнiсть є на-

слiдком адитивностi суми.Можна вважати, що Ω = N. Якщо An ↓ ∅, то an ≡ inf An ↑ ∞, та

IP(An) =∑

k: ωk∈An

pk ≤∑

k≥an

pk → 0, n →∞.

Еквiвалентнiсть неперервностi в нулi та сигма-адитивностi встановлено утеоремi про основнi властивостi ймовiрностей ¡

Приклади1. Пiдкидання монети до першого успiху. Простiр елементарних по-

дiй має вигляд Ω = ωn = (Н...НУ), n ≥ 1. Спiвставимо елементарнуподiю ωn з елементарною подiєю в серiї з n пiдкидань монети, що мiститьn− 1 реверс (неуспiх) та 1 аверс (успiх). Виходячи з цього спiвставлення,


природно постулювати, що pn = IP(ωn) = 2−n, n ≥ 1. Ця послiдовнiстьдiйсно є дискретним розподiлом. Тому ймовiрнiсть парної кiлькостi пiд-кидань до першого успiху дорiвнює

∑∞k=1 2−2k = 1/3.

2. Нехай при пiдкиданнi монети, окрiм випадiння аверсу (А) та реверсу(Р), можливе падiння на ребро (О). У цьому випадку простiр елементар-них подiй має вигляд Ω = ωn = (r1, ...rn−1,А), rk ∈ P,О, n ≥ 1. Зрiвноможливостi елементарних подiй випливає, що IP(ωn) = 3−n. Iмо-вiрнiсть отримати хоча б один успiх дорiвнює

∑∞n=1 2n−13−n = 1, а парної

кiлькостi пiдкидань до першого успiху –∑∞

k=1 22k−13−2k = 2/5.3. Нехай p, q, r – заданi числа з вiдрiзку [0, 1]. За яких умов знайдеться

ймовiрнiсний простiр та подiї A,B на ньому такi, що IP(A) = p, IP(B) = q,IP(A ∩B) = r ?

Розглянемо такi подiї:

H1 = A\B, H2 = B\A, H3 = A ∩B, H4 = A ∪B.

Очевидно, що в довiльному ймовiрнiсному просторi подiї Hk попарно не-сумiснi, ∪4

k=1Hk = Ω, σ[A,B] = σ[H1, ..., H4]. Отже, подiї Hk можнарозглядати (i будувати) як елементарнi, а для цього їх iмовiрностi маютьутворювати дискретний розподiл iмовiрностей. Оскiльки

IP(H1) = p− r, IP(H2) = q − r, IP(H3) = r, IP(H4) = 1− (p + q − r),

то шукана необхiдна i достатня умова має вигляд:0 ≤ r ≤ p, r ≤ q, p + q − r ≤ 1.

Вправи(1) Довести, що множина IP(A), A ∈ F ⊂ [0, 1] є замкненою.(2) Нехай Ω = ωn, n ≥ 1 – дискретний простiр з розподiлом ймовiрностей

pn = IP(ωn). Довести, що рiвнiсть IP(A), A ⊂ Ω = [0, 1] виконується тодi йтiльки тодi, коли pn ≤

∑k>n pk для всiх n ≥ 1.

(3) Нехай (Ω, F, IP) – довiльний iмовiрнiсний простiр. Випадкова подiя Aназивається атомом, якщо IP(A) > 0 та для будь-якої подiї з B ⊂ A випливаєабо IP(B) = 0, або IP(A\B) = 0. Атоми A,B вважаються однаковими, якщоIP(A∆B) = 0. Довести такi твердження:. (а) Якщо A,B є атомами, то абоIP(A ∩ B) = 0, або IP(A∆B) = 0. (б) Множина всiх атомiв на даному просторiне бiльш нiж злiченна. (в) Iснує розбиття Ω = ∪n≥0An на попарно несумiснiподiї такi, що An, n ≥ 1, є атомами, а A0 не мiстить жодного атома. (г) Длядовiльного p ∈ [0, IP(A0)] знайдеться подiя A така, що IP(A) = p.

(4) Нехай Ω = ωn, n ≥ 1 – дискретний простiр з iмовiрнiстю IP, а послi-довнiсть множин Ωn ⊂ Ω така, що Ωn ↑ Ω, n → ∞. Довести, що для кожноїподiї A ⊂ Ω IP(A) = limn→∞ IPn(A), де IPn(A) ≡ IP(A ∩ Ωn)/IP(Ωn).


1.3.3. Геометричне означення ймовiрностей

На прикладi задачi про випадковий вибiр точки на вiдрiзку [a, b) ба-чимо, що iснують стохастичнi експерименти з незлiченною кiлькiстю еле-ментарних подiй. Хоча окремi елементарнi подiї тут виглядають рiвномо-жливими, класичне означення застосувати неможливо – всi ймовiрностiелементарних подiй мають бути нульовими, тому що сума незлiченноїкiлькостi додатних чисел нескiнченна. Тому природно перейти вiд iмовiр-ностей окремих точок до ймовiрностей iнтервалiв.

Нехай Ω = [a, b), сигма-алгебра подiй F мiстить всi iнтервали [x, y),i на F задана деяка ймовiрнiсть IP. Припущення про рiвноможливiстьокремих точок можна проiнтерпретувати так, що ймовiрнiсть потрапляннявипадкової точки до певного iнтервалу залежить лише вiд його довжини,а не вiд розташування цього iнтервалу. З цього припущення, адитивностi,нормованостi та неперервностi ймовiрностi випливає, що

IP([x, y)) = (y − x)/(b− a) = |[x, y)| / |[a, b)| .Дiйсно, iмовiрностi IP([a + (b− a)k−1

n, a + (b− a) k

n)) при k = 1, n мають

не залежати вiд k та в сумi становити 1, отже кожна з них дорiвнює 1/n.Звiдси виводимо, що IP([a, a + (b − a) k

n)) = k

n. Обираючи пiдпослiдовнiсть

k/n ↑ (y − a)/(b− a), iз неперервностi ймовiрностi отримуємо рiвнiсть

IP([a, y)) = |[a, y)| / |[a, b)| .У загальному випадку за припущення рiвноможливостi приходимо до

такого означення.Означення. Нехай простiр Ω ⊂ Rd є обмеженою множиною евклiдо-

вого простору Rd, а клас F мiстить усi пiдмножини Ω iз визначенимd-вимiрним об’ємом. Будемо говорити, що у просторi (Ω, F, IP) прийня-то геометричне означення ймовiрностей, якщо для всiх A ∈ F

IP(A) = |A| / |Ω| ,де |A| – d-вимiрний об’єм множини A, тобто довжина при d = 1, площапри d = 2, об’єм при d = 3 i так далi.

Зауваження. Якщо у формулюваннi задачi явно не вказано на вибiрозначення ймовiрностей, але Ω ⊂ Rd i присутнi ключовi слова випадково,навмання – то треба обрати саме геометричне означення.

Приклади1. Задача про зустрiч. Двi особи домовилися про зустрiч мiж 12-ю та

1-ю годиною пополуднi. Вiдомо, що моменти їх приходу до мiсця зустрiчi


– випадковi. Прийшовши до мiсця, кожен чекає на iншого протягом чвертiгодини, а потiм залишає мiсце зустрiчi. Яка ймовiрнiсть того, що зустрiчвiдбудеться?

Простiр елементарних подiй має вигляд

Ω = [0, 1]× [0, 1] = ω = (ω1, ω2) : ωi ∈ [0, 1].Ключове слово ”випадковими” слiд трактувати на користь прийняття

геометричного означення ймовiрностей. Подiя, що вiдповiдає зустрiчi, маєвигляд

A = ω = (ω1, ω2) ∈ Ω : |ω1 − ω2| ≤ 1/4.Тому IP(A) = |A| / |Ω| = (1− (3/4)2)/1 = 7/16.2. Парадокс Бертрана. Випадково обирається хорда одиничного кола.

Подiя A полягає в тому, що довжина хорди не перевищує 1. Розглянемотакi пiдходи до обчислення ймовiрностi цiєї подiї.

(а) Хорда обирається за випадковим положенням її вершин. Унаслi-док iнварiантностi довжини вiдносно поворотiв одну вершину можна за-фiксувати. Тому Ω = [0, 2π], множина елементарних подiй, якi сприяютьподiї A, мiстить двi дуги довжини π/3, а ймовiрнiсть A дорiвнює

IP(A) = (π/3 + π/3)/2π = 1/3.

(б) Хорда визначається випадковою точкою перетину iз заданим ра-дiусом. Простiр Ω = [0, 1]. Сприяють подiї A точки радiуса, що ближчi докола нiж точка перетину iз перпендикулярною хордою одиничної довжини.Тому

IP(A) = 1−√

3/2.

(в) Хорда визначається випадковою точкою перетину з перпенди-кулярним до цiєї хорди радiусом всерединi кола. Простiр елементарнихподiй Ω мiстить всi точки всерединi кола, а елементарнi подiї з A утворю-ють кiльце внутрiшнього радiуса

√3/2. Тому

IP(A) = (π − π(√

3/2)2)/π = 1/4.

Рiзнi вiдповiдi на наведенi задачi вказують на те, що одне й те саме”текстове” формулювання задачi може призводити до рiзних iмовiрнiснихпросторiв i, як наслiдок, до рiзних теоретико-ймовiрнiсних задач. Томупарадокс Бертрана є цiлком уявним.

3. Задача Бюффона. Голка навмання кидається на площину iз систе-мою паралельних прямих на однаковiй вiдстанi 2 a одна вiд одної. ПодiяA полягає в тому, що має мiсце перетин голки iз однiєю з прямих.


Простiр елементарних подiй задається парами (x, ϕ), де x ∈ [0, a] –вiдстань вiд центра голки до найближчої прямої, а ϕ ∈ [0, π] – кут мiжголкою та напрямом прямих, тобто Ω = [0, a] × [0, π]. Оскiльки Ω є пiд-множиною евклiдового простору, а вибiр виконується навмання, то слiдприйняти геометричне означення ймовiрностей.

Перетин голки iз найближчою прямою можливий тодi й тiльки тодi,коли вiдстань x не перевищує довжини l sin ϕ проекцiї голки на ортого-нальний до прямих напрям. За припущення 2 l ≤ 2 a вiдповiдна множинаелементарних подiй мiстить всi пари (x, ϕ) такi, що x ≤ l sin ϕ. Обчислю-ючи за геометричним означенням площу вказаної множини, знаходимо

IP(A) =w π

0l sin ϕ dϕ / πa = 2 l/πa.

Цей результат дає можливiсть статистичного оцiнювання числа π че-рез частоту перетинiв νn(A) з формули π ≈ 2 ln / a νn(A).

Вправи(1) У сферi радiусу R навмання обрано N точок. Знайти ймовiрнiсть того,

що вiдстань до центру найближчої точки не перевищуватиме r. За яких умовграниця цiєї ймовiрностi при N, R →∞ є додатною ?

(2) Яка ймовiрнiсть того, що з трьох навмання узятих вiдрiзкiв довжини небiльше a можна побудувати трикутник ?

(3, Лаплас) Знайти ймовiрнiсть перетину голки довжини l < 1, що пiдкинутанавмання, зi сторонами довжини 1 клiтчастого паперу на столi.

(4) Якої товщини має бути монета, щоб ймовiрнiсть її падiння на ребро пiслявипадкового пiдкидання дорiвнювала 1/3 ?

1.4. Умовнi ймовiрностi

Умовнi ймовiрностi використовуються у випадку, коли в ходi стоха-стичного експерименту стає вiдомою певна iнформацiя про його промiжнiрезультати.

Приклад. Нехай у просторi Ω = ω1, ..., ωn прийнято класичне озна-чення ймовiрностей, A,B ⊂ Ω, nA = |A| , nB = |B| , nAB = |A ∩B| . Заозначенням, IP(A) = nA/n. Припустимо, стає вiдомим, що подiя B вжевiдбулася. Тодi кiлькiсть усiх можливих у подальшому елементарних по-дiй зменшиться з n до nB, а тих, що сприяють A, з nA до nAB. Отже, вновому (умовному) стохастичному експериментi ймовiрнiсть A дорiвнює

IPB(A) = nAB / nB = (nAB/n) / (nB/n) = IP(A ∩B) / IP(B).

1.4. Умовнi ймовiрностi 25

1.4.1. Означення та властивостi

Означення. Нехай A,B ∈ F i IP(B) > 0. Умовною ймовiрнiстю подiї Aза умови подiї B називається вiдношення ймовiрностi їх перерiзу доймовiрностi умови:

IP(A | B) ≡ IP(A ∩B) / IP(B).

Приклади1. Змiна шансiв на хоча б одну шiстку при двох пiдкиданнях костi,

якщо вiдома сума очок. Iмовiрнiсть хоча б однiєї шiстки при 2 пiдкида-ннях костi дорiвнює 1 − (5/6)2 = 11/36. Якщо ж стає вiдомим, що сумаочок дорiвнює 8, то вiдповiдна умовна ймовiрнiсть дорiвнює

|(26), (62)| / |(26), (35), (44), (53), (62)| = 2/5 > 11/36.2. Вибiр двох тузiв iз колоди без повернення. Iмовiрнiсть обрати

другим туза за умови, що першою картою без поверення обрано туза,дорiвнює 3/51, на вiдмiну вiд безумовної ймовiрностi 4/52.

Зауваження. Якщо текстове формулювання задачi мiстить зворот ”Вi-домо, що ...” щодо результату стохастичного експерименту, а задача по-лягає у знаходженнi ймовiрностi певної подiї, то мається на увазi знахо-дження саме умовної ймовiрностi вказаної подiї, за умови, що вiдбуласянаведена на початку подiя.

Теорема (про властивостi умовної ймовiрностi). Нехай B ∈ F iIP(B) > 0. Тодi

(а) IP( · | B) ≥ 0,(б) IP(Ω | B) = IP(B | B) = 1,(в) IP(∪An | B) =

∑IP(An | B) для попарно несумiсних An ∈ F.

Доведення(а) Невiд’ємнiсть є наслiдком означення та невiд’ємностi ймовiрностi.(б) Нормованiсть випливає з рiвностi IP(B ∩B) = IP(B).(в) За означенням умовної ймовiрностi внаслiдок сигма-адитивностi

ймовiрностi з попарної несумiсностi подiй An ∩B отримуємо:

IP(∪An | B) = IP((∪An) ∩B)/IP(B) = IP(∪(An ∩B))/IP(B) =∑

IP(An ∩B)/IP(B) =∑

IP(An | B) ¡Наслiдок. Умовна ймовiрнiсть IP(A | B) як функцiя подiї A має всi

основнi властивостi ймовiрностей, що випливають з аксiом та викла-денi в теоремi про основнi властивостi ймовiрностей. Дiйсно, тверджен-ня (а),(б),(в) теореми повнiстю вiдповiдають аксiомам теорiї ймовiрностей(P1),(P2),(P3).


1.4.2. Iмовiрнiсть перерiзу випадкових подiй

Умовна ймовiрнiсть визначається через вихiдну, початкову ймовiрнiсть,що одночасно описує як промiжний, так i заключний етапи стохастичногоексперименту. При формулюваннi складних стохастичних експериментiвчасто дiють зворотним чином: спочатку задають iмовiрностi промiжнихрезультатiв та умовнi ймовiрностi заключних результатiв експерименту, авже через них обчислюють сумiснi ймовiрностi всiх подiй.

Наприклад: вибiр 2 тузiв без повернення можна описати за допомогоюймовiрностей вибору тузiв чи iнших карт на першому етапi та умовнихiмовiрностей вибору тузiв на другому кроцi за умовою, що першим обранотуза чи iншу карту. Тому наступна теорема не є тавтологiєю.

Теорема (про ймовiрнiсть перерiзу подiй). Нехай A,B ∈ F, причомуIP(B) > 0. Тодi

IP(A ∩B) = IP(B) · IP(A | B).

Доведення очевидне ¡Зауваження. У випадку, коли IP(B) = 0, наведена формула також

справедлива, оскiльки за монотоннiстю ймовiрностi IP(A∩B) ≤ IP(B) = 0,а права частина завжди нульова. Тому доцiльно визначити IP(A | B) = 0у випадку, коли IP(B) = 0.

Теорема (про ймовiрнiсть перерiзу n подiй). Нехай Ak ∈ F такi,що IP(Ak) > 0, k = 0, n. Тодi

IP(⋂

0≤k≤nAk

)= IP(A0)

∏1≤k≤n

IP(Ak | A0 ∩ ... ∩ Ak−1).

Доведення. Формула виводиться з теореми про ймовiрнiсть перерiзуподiй за iндукцiєю.

Вправи(1) При пiдкиданнi n гральних костей випала принаймнi одна шiстка. Яка

ймовiрнiсть того, що їх не менше k ?(2) Кидають три гральних костi. Яка ймовiрнiсть того, що випаде принаймнi

одна шiстка, якщо вiдомо, що всi три очки, що випали, є рiзними ? Як ця умовнаймовiрнiсть вiдрiзняється вiд безумовної ?

1.4.3. Формула повної ймовiрностi

Розглянемо деякий двохетапний стохастичний експеримент (напри-клад, послiдовний вибiр 2 карт без повернення). Фiксуючи результат пер-шого етапу, ми не отримаємо елементарну подiю – тому що наразi невiдо-

1.4. Умовнi ймовiрностi 27

мий результат другого етапу. Одночасно подiї, що пов’язанi з результата-ми першого етапу, мають всi характернi властивостi елементарних подiй:вони попарно несумiснi та в об’єднаннi складають весь простiр Ω.

Означення. Послiдовнiсть подiй (Hk, k ≥ 1) називається повноюгрупою подiй (гiпотез), якщо Hi ∩ Hj = ∅ при i 6= j, та ∪Hk = Ω.Еквiвалентне означення полягає в тому, що (Hk, k ≥ 1) утворюютьрозбиття простору Ω, тобто в результатi проведення стохастичногоексперименту вiдбувається одна i тiльки одна подiя з повної групи:∀ω ∈ Ω ∃!n ≥ 1 : ω ∈ Hn.

Теорема (формула повної ймовiрностi). Нехай (Hk, k ≥ 1) – повнагрупа подiй. Для кожної подiї A ∈ F виконується рiвнiсть

IP(A) =∑

k≥1IP(A | Hk) IP(Hk).

Доведення. Оскiльки A = ∪ k≥1(A ∩ Hk), де подiї в правiй частинiпопарно несумiснi, то за властивiстю сигма-адитивностi та за теоремоюпро ймовiрнiсть перерiзу подiй

IP(A) =∑

k≥1IP(A ∩Hk) =

∑k≥1

IP(A | Hk) IP(Hk) ¡

Зауваження. Дана формула справедлива i у випадку, коли IP(Hk) = 0для деяких k, оскiльки за означенням добуток нуля на будь-яке число єнульовим.

Приклади1. Випадковий вибiр кулi з випадково обраної урни. Маємо n урн, у

k -й урнi k бiлих куль та n − k чорних. Навмання обирається урна, а знеї – випадкова куля. Яка ймовiрнiсть того, що куля бiла ? Для розв’яза-ння позначимо через A вiдповiдну подiю та визначимо повну групу подiйHk = обрано k -у урну. Тодi за класичним означенням iмовiрностейотримуємо IP(Hk) = 1/n та IP(A | Hk) = k/n. Отже, шукана ймовiрнiстьдорiвнює IP(A) =

∑nk=1(k/n)/n = (n + 1)/2n.

2. Який бiлет бiльш щасливий: обраний першим чи останнiм сту-дентом ? Екзамен складають n студентiв, якi послiдовно обирають безповернення по одному бiлету з первiсної загальної кiлькостi m. Ця кiль-кiсть мiстить k ≤ m щасливих бiлетiв. Позначимо через An, n ≥ 1, подiю,що полягає у виборi щасливого бiлета n-м студентом. Тодi кожна з парподiй (An, An) є повною групою подiй. За класичним означенням iмовiр-ностей IP(A1) = k/m. Тому за формулою повної ймовiрностi

IP(A2) = IP(A2 | A1)IP(A1) + IP(A2 | A1)IP(A1) = k−1m−1

km

+ km−1

m−km

= km

.За iндукцiєю доводимо, що IP(Aj) = k/m при j ≤ m.


Вправи(1) У кожнiй з m урн знаходяться k бiлих та n − k чорних куль. З першої

урни навмання обрали кулю та переклали у другу, потiм випадково обрану кулюз другої урни переклали у третю i так далi. Знайти ймовiрнiсть витягнути бiлукулю з останньої урни.

(2) Iмовiрнiсть того, що у випадково обранiй сiм’ї n дiтей, дорiвнює αpn приn ≥ 1, та 1 − αp/(1 − p) при n = 0, а ймовiрнiсть народження хлопчика – q.(а) Знайти ймовiрнiсть того, що сiм’я має k дiтей – хлопчикiв. (б) Вiдомо, що усiм’ї хоча б один хлопчик. Яка ймовiрнiсть того, що хлопчикiв не менше двох ?

(3) Урна мiстить n пронумерованих куль. З неї навмання з поверненням kразiв обирають кулю та записують її номер. Яка ймовiрнiсть того, що середзаписаних є точно m рiзних номерiв ?

1.4.4. Формула Байєса

Наступна формула дає можливiсть послiдовно уточнювати ймовiрностiповної групи подiй за результатами спостережень на пiдставi промiжнихрезультатiв стохастичного експерименту.

Теорема (формула Байєса). Нехай (Hk, k ≥ 1) – повна група подiй,i B ∈ F iз IP(B) > 0. Тодi

IP(Hk | B) =IP(B | Hk) IP(Hk)∑j≥1 IP(B | Hj) IP(Hj)

.

Доведення. За означенням умовної ймовiрностi та за формулою повноїймовiрностi

IP(Hk | B) = IP(Hk ∩B)/IP(B) = IP(B | Hk)IP(Hk) /∑

IP(B | Hj) IP(Hj) ¡

Приклади1. Оцiнка невiдомого складу урни за кольором навмання обраної ку-

лi. Урна мiстить n куль, iз них k ∈ [0, n] бiлi (гiпотеза Hk), iншi – чорнi.Всi апрiорнi припущення щодо вмiсту урни рiвноможливi. З урни нав-мання обрано кулю, яка виявилася бiлою. Як треба змiнити ймовiрностiгiпотез щодо складу урни?

Нехай A – подiя, що полягає у виборi бiлої кулi. За умовою рiвномо-жливостi гiпотез IP(Hk) = 1/(n + 1),

IP(Hk | A) = kn

1n+1

(∑nk=0

kn

1n+1

)−1= 2k

n(n+1).

2. Вiдсоток виробництва бракованої продукцiї одного з двох заво-дiв. На ринку представлено продукцiю двох телевiзiйних заводiв. Перший

1.5. Незалежнi випадковi подiї 29

продукує 10000 телевiзорiв на рiк, другий – 80000. Перший завод має двапроценти бракованої продукцiї, другий – 0.5 процента. Навмання обранийтелевiзор виявився бракованим. Який з виробникiв є для нього найбiльшiмовiрним ?

Позначимо через Hk, k = 1, 2, гiпотезу щодо походження телевiзора зk-го заводу, A – подiю, що полягає в тому, що навмання обраний телевiзорє бракованим. Тодi

IP(H1) = 10000/(10000 + 80000) = 1/9,

IP(H1 | A) = 0.02·1/90.02·1/9+0.005·8/9

= 1/3, IP(H2 | A) = 2/3.

Вправи(1, Льюiс Керрол) В урнi знаходиться одна куля невiдомого кольору – бiла

чи чорна. В урну поклали бiлу кулю. Пiсля цього навмання обрана з урни кулявиявилася бiлою. Яка ймовiрнiсть того, що первiсно в урнi була бiла куля ?

(2) Урна мiстить m > 3 бiлих куль та n чорних. Випадково втрачено однукулю. Для перевiрки складу урни з неї навмання витягли без повернення двi кулi.Вони виявилися бiлими. Яка ймовiрнiсть того, що втрачена куля була бiлою ?

1.5. Незалежнi випадковi подiї

У теорiї ймовiрностей використовується специфiчне поняття незале-жностi, яке можна назвати статистичною незалежнiстю (на вiдмiну вiдпричинної). Двi подiї вважають незалежними, якщо наявна iнформацiяпро одну з них не змiнює шансiв для iншої. Як вказував А.М.Колмогоров,насамперед поняття незалежностi вiдрiзняє предмет теорiї ймовiрностейвiд теорiї мiри.

1.5.1. Незалежнi подiї та їх перетворення

Означення. Нехай A,B ∈ F i IP(B) > 0. Подiя A не залежить вiдподiї B, якщо IP(A | B) = IP(A).

З означення умовної ймовiрностi отримуємо еквiвалентне, але бiльшзагальне та симетричне означення попарної незалежностi.

Означення. Двi подiї A,B називаються незалежними, якщо

IP(A ∩B) = IP(A) IP(B).

Зауваження. При формулюваннi складних стохастичних експеримен-тiв часто вказують iмовiрностi результатiв окремих їх етапiв, а такожпостулюють незалежнiсть подiй з рiзних етапiв. Тому наведене означення


незалежностi використовується як певна теорема про ймовiрнiсть перерiзунезалежних подiй, що дозволяє обчислити ймовiрнiсть перерiзу.

Приклади1. Повторне пiдкидання костi. Нехай подiя Ak полягає у випаданнi

шiстки у k-му пiдкиданнi. Тодi класичне означення ймовiрностей зво-диться до постулювання тотожностi IP(A1 ∩ A2) = 1/36. Еквiвалентнимпiдходом є прийняття рiвноможливостi IP(Ak) = 1/6 та постулюваннянезалежностi подiй Ak.

2. Подiї, що пов’язанi iз координатами випадкової точки в квадра-тi. Нехай Ω = [0, 1]2, прямокутник A = A1 × A2. За умови випадковостiзгiдно з геометричним означенням iмовiрностi IP(A) = |A| / |Ω| . Якщо жпостулювати випадковiсть вибору координат точки та незалежнiсть коор-динат, маємо еквiвалентний вираз IP(A) = (|A1| /1)× (|A2| /1) = |A| /1.

Теорема (про перетворення незалежних подiй).(а) Довiльна подiя A не залежить вiд Ω та ∅.

(б) Якщо подiї A i B незалежнi, то A i B також незалежнi.(в) Якщо подiя A не залежить вiд B1 та вiд B2, причому

B1 ⊂ B2, то A i B2 \B1 також незалежнi.(г) Якщо подiя A не залежить вiд подiй Bn, n ≥ 1, що є попарно

несумiсними : Bi∩ Bj = ∅,∀i 6= j, то подiї A i ∪n≥1Bn – незалежнi.Доведення(а) IP(A ∩ Ω) = IP(A) = IP(A) IP(Ω).

(б) IP(A∩B) = IP(B \ A∩B) = IP(B)− IP(A∩B) = IP(B)− IP(A)IP(B) =IP(A)IP(B).

(в) IP(A ∩ (B2 \B1)) = IP(A ∩B2 \ A ∩B1) = IP(A ∩B2)− IP(A ∩B1) =IP(A)(IP(B2)− IP(B1)) = IP(A) IP(B2 \B1).

(г) IP(A ∩ (∪n≥1Bn)) = IP(∪n≥1(A ∩Bn)) =∑

n≥1 IP(A ∩Bn) =∑n≥1 IP(A)IP(Bn) = IP(A)

∑n≥1 IP(Bn) = IP(A)IP(∪n≥1Bn) ¡

1.5.2. Незалежнiсть подiй з послiдовностi,приклад Бернштейна

Поняття незалежностi можна поширити на послiдовностi подiй.Означення. Подiї з послiдовностi (Ak, k = 1, n) називаються попар-

но незалежними, якщо для всiх i 6= j подiї Ai та Aj незалежнi.Бiльш загальне поняття незалежностi стосується ймовiрностей одно-

часної появи довiльної кiлькостi подiй.

1.5. Незалежнi випадковi подiї 31

Означення. Подiї з послiдовностi (Ak, k = 1, n) називаються не-залежними в сукупностi, якщо для довiльних натуральних m ∈ (1, n], iдовiльних натуральних 1 ≤ k1 < k2 < ... < km ≤ n

IP(Ak1 ∩ Ak2 ∩ ... ∩ Akm) =∏

1≤ i ≤mIP(Aki

).

Очевидно, що з незалежностi в сукупностi випливає попарна неза-лежнiсть подiй послiдовностi (Ak, k = 1, n) – умови другого означеннямiстяться у першому при m = 2. Приклад С.Н.Бернштейна доводить хи-бнiсть оберненого твердження – з попарної незалежностi не випливаєнезалежнiсть у сукупностi.

Розглянемо правильний тетраедр iз 4 гранями. Першi три пофарбованов синiй, жовтий та червоний кольори вiдповiдно. Остання грань роздiленана три рiвнi частини, якi теж пофарбованi в синiй, жовтий та червонийкольори вiдповiдно.

Тетраедр навмання пiдкинули i вiн впав на одну з граней. Нехай С,Ж та Ч – випадковi подiї, якi полягають у тому, що на нижнiй гранiтетраедра присутнiй синiй, жовтий та червоний колiр вiдповiдно. Тодi

IP(С) = IP(Ж) = IP(Ч) = 2/4 = 1/2,

IP(С∩Ж) = IP(Ж∩Ч) = IP(С∩Ч) = 1/4 = IP(С∩Ж∩Ч) 6= 1/8.Отже, подiї С,Ж,Ч незалежнi попарно, але залежнi в сукупностi.Вправи(1) Подiя A не залежить вiд себе самої тодi й тiльки тодi, коли IP(A) ∈ 0, 1.(2) Скiльки iснує пар незалежних подiй у ймовiрнiсному просторi з простою

кiлькiстю елементарних подiй при класичному означеннi ймовiрностей ?(3) Обчислити ймовiрнiсть об’єднання незалежних у сукупностi подiй через

iмовiрностi окремих подiй.(4) Вiдомi ймовiрностi трьох незалежних подiй IP(Ai) = pi, i = 1, 3. Пiсля

проведення випробування виявилось, що якiсь двi подiї з Ai вiдбулися, а третя– нi. Знайти ймовiрнiсть того, що за цих умов вiдбулася подiя A1.

(5) Гравцi A i B змагаються на шаховому турнiрi з iмовiрностями перемогиу кожнiй партiї a та b вiдповiдно та ймовiрнiстю нiчиєї c = 1−a− b. Результатипартiй незалежнi. Турнiр виграє той, хто пережене супротивника хоча б на дваочки. (а) Знайти ймовiрнiсть перемоги A. (б) Яка ймовiрнiсть того, що турнiр незавершиться? (в) Розв’язати попереднi завдання для кiлькостi партiй r > 2.

(6) Випадковi подiї (Ak, k = 1, n) незалежнi у сукупностi. (а) Довести, щоподiї з породженої алгебри A[(Ak, k = 1, n− 1)] не залежать вiд An. (б) Позна-чимо Aδ = A при δ = 1, та Aδ = A при δ = 0. Довести, що для довiльнихδk ∈ 0, 1 випадковi подiї (Aδk

k , k = 1, n) незалежнi у сукупностi.


1.6. Дискретнi випадковi величини

Поняття випадкової подiї дозволяє вивчати якiснi (дихотомiчнi) на-слiдки стохастичних експериментiв. На практицi важливо вивчати такожкiлькiснi результати (наприклад: кiлькiсть аверсiв при двох пiдкиданняхмонети). Для визначення такої кiлькостi необхiдно кожнiй елементарнiйподiї поставити у вiдповiднiсть певне число – кiлькiсний результат експе-рименту, тобто визначити функцiю на просторi елементарних подiй. Томурозглянемо таке означення.

Означення. Дискретною випадковою величиною називається вiдобра-ження ξ : Ω → R, яке має скiнченну або злiченну множину значень:ξ(Ω) ≡ ξ(ω), ω ∈ Ω = x1, ...xn, .., причому для кожного можливогозначення xn його прообраз: ω : ξ(ω) = xn є випадковою подiєю, тобто

ω : ξ(ω) = xn ∈ F,∀xn.

Остання умова (вимiрнiсть) є суттєвою, тому що при її порушеннi ймо-вiрностi деяких висловлювань щодо значень ξ не були б визначеними.

Зауваження. Множина значень xn може бути числовою, чи множи-ною векторiв, або навiть пiдмножиною довiльного лiнiйного простору.

У подальшому будемо вважати, що всi значення xn є рiзними.

1.6.1. Розподiл дискретної величини

Означення. Розподiлом дискретної випадкової величини ξ(ω) зi зна-ченнями xn називається послiдовнiсть iмовiрностей

(pn = pξ(xn) ≡ IP(ξ = xn), n ≥ 1).

Ця послiдовнiсть є невiд’ємною i в сумi становить 1, тобто є дискре-тним розподiлом iмовiрностей.

Зауваження. Оскiльки аргументом будь-якої випадкової величини ξ(ω)завжди є елементарна подiя ω, то при запису випадкової величини цейаргумент часто не вказують i просто пишуть ξ. Крiм того, при записуймовiрностей подiй, пов’язаних iз випадковою величиною, для скороченнячасто опускають вказiвку на елементарну подiю:

ξ = x ≡ ω : ξ(ω) = x.Зокрема, за домовленiстю IP(ξ = x) ≡ IP(ω : ξ(ω) = x).

1.6. Дискретнi випадковi величини 33

Розподiл дискретних випадкових величин зображують у таблицi:[

ξ x1 x2 ... xn ...IP p1 p2 ... pn ...

].

Теорема (про розподiл функцiї вiд дискретної величини). Нехай ξ– дискретна випадкова величина з розподiлом (pn = pξ(xn)) та значен-нями xn. Тодi для довiльної функцiї g справедлива рiвнiсть

IP(g(ξ) ∈ B) =∑

n: g(xn)∈Bpξ(xn).

Зауважимо, що значення g(xn) можуть бути однаковими.Доведення є наслiдком зображення

g(ξ) ∈ B =⋃

n: g(xn)∈Bξ = xn,

де подiї справа попарно несумiснi, оскiльки всi значення xn – рiзнi ¡

1.6.2. Iндикаторна та проста випадковi величини

Означення. Нехай A – випадкова подiя. Її iндикаторною величиною1IA називається дво-значна випадкова величина

1IA(ω) =

1, ω ∈ A0, ω /∈ A.

Якщо iнтерпретувати значення 1 як "успiх", а 0 – як "неуспiх", тоспостереження величини 1IA називають випробуванням Бернуллi, а її роз-подiл називається розподiлом Бернуллi :

IP(1IA = x) = px(1− p)1−x, x ∈ 0, 1.Означення. Дискретна випадкова величина називається простою

величиною, якщо вона має скiнченну множину значень.Очевидно, що сума, добуток, функцiї вiд простих величин – простi.Якщо ξ – проста випадкова величина з рiзними значеннями x1, ..., xn,

то Ck = ξ = xk ∈ F є повною групою подiй i має мiсце зображення

ξ =∑n

k=1xk1ICk

.

Вправа. Довести, що: 1IA∩B = 1IA 1IB, 1IA∪B = 1IA + 1IB − 1IA∩B,1IA∆B = |1IA − 1IB| , 1I∪An =

∑1IAn для попарно несумiсних An, 1IA = 1− 1IA,

1IA = lim 1IAn , якщо An ↑ A або An ↓ A, limn→∞An = ∑ 1IAn = ∞.


1.6.3. Схема стохастичних випробувань Бернуллi

Значна кiлькiсть дискретних розподiлiв пов’язана з таким стохасти-чним експериментом.

Означення. Схемою випробувань Бернуллi називається стохасти-чний експеримент, що зводиться до послiдовностi:

(а) незалежних у сукупностi випробувань,(б) кожне з яких є дихотомiчним – закiнчується одним iз двох

результатiв: успiх або неуспiх, причому(в) iмовiрнiсть успiху не залежить вiд номера випробування.Для побудови ймовiрнiсного простору, який вiдповiдає схемi Бернуллi,

позначимо через n кiлькiсть випробувань, p – iмовiрнiсть успiху в одномувипробуваннi, q = 1−p – iмовiрнiсть неуспiху. Якщо ототожнити значення1 з успiхом та 0 iз неуспiхом, то елементарна подiя матиме вигляд

ω = (ω1, ..., ωn), ωk ∈ 0, 1.Отже, шуканий простiр елементарних подiй є дискретним, множина

елементарних подiй дорiвнює Ω = ω = 0, 1n, сигма-алгебра подiймiстить усi пiдмножини: F = 2Ω.

Для знаходження ймовiрностей зафiксуємо ε = (ε1, ..., εn) ∈ 0, 1n тарозглянемо одноточкову подiю

ε = ω : ω = ε =⋂n

k=1ω : ωk = εk.

За умовою подiї пiд знаком перерiзу незалежнi в сукупностi, оскiлькистосуються рiзних випробувань. Крiм того, iмовiрнiсть результату εk уk-му випробуваннi дорiвнює

IP(ω : ωk = εk) = p1Iεk=1 + q1Iεk=0 = pεkq1−εk .

Звiдси за зазначеною вище незалежнiстю у сукупностi отримуємо

IP(ω : ω = ε) = IP (⋂n

k=1ω : ωk = εk) =∏n

k=1 IP(ω : ωk = εk) =∏n

k=1 pεkq1−εk = pνn(ε)qn−νn(ε),

де функцiя νn(ω) дорiвнює загальнiй кiлькостi успiхiв (частотi успiхiв), щомiстяться в елементарнiй подiї ω = (ω1, ..., ωn) :

νn(ω) =∑n

k=1ωk = |k : ωk = 1| .

Як в усякому дискретному ймовiрнiсному просторi, iмовiрнiсть будь-якої подiї дорiвнює сумi ймовiрностей сприятливих елементарних подiй.


1.6.4. Бiномiальний розподiл

Означення. Дискретна випадкова величина ξ має бiномiальний роз-подiл iз параметрами n та p, позначення ξ ' B(n, p), якщо вона збiга-ється з загальною кiлькiстю успiхiв у схемi випробувань Бернуллi з nвипробуваннями та ймовiрнiстю успiху p в одному випробуваннi.

Для обчислення розподiлу величини ξ зауважимо, що за означеннямξ(ω) = νn(ω), де νn – визначена вище кiлькiсть успiхiв у випробуванняхБернуллi. Тому

IP(ξ = k) =∑

ω: ξ(ω)=kIP(ω) =

∑ω: νn(ω)=k

pνn(ω)qn−νn(ω) =

|ω : ξ(ω) = k| pk qn−k.

Оскiльки кiлькiсть елементарних подiй у подiї ξ = k дорiвнює кiль-костi сполучень (k-елементних пiдмножин n-елементної множини) Ck

n, то

IP(ξ = k) = pn(k) ≡ Ckn pk (1− p)n−k, k = 0, n.

Ця послiдовнiсть називається бiномiальним розподiлом iмовiрностей.Теорема (про властивостi бiномiальних iмовiрностей). Бiномiальнi

ймовiрностi pn(k) не спадають при k ≤ np + p, та не зростають приk > np + p, тому найбiльш iмовiрне значення бiномiального розподiлудорiвнює k = [np + p].

Доведення. Обчислимо послiдовнi вiдношення

pn(k) / pn(k − 1) = 1 + (np + p− k) / k(1− p).

Права частина менша за 1 тодi й тiльки тодi, коли k > np + p, звiдкивипливає необхiдний висновок ¡

Вправи(1, задача Банаха про сiрниковi коробки) Один математик завжди носить iз

собою по коробцi сiрникiв у кожнiй кишенi. Кожного разу для виймання сiрникавiн навмання обирає кишеню. Знайти ймовiрнiсть того, що у момент, коли вiнвперше витягне порожню коробку, iнша мiститиме точно k сiрникiв.

(2, задача Бертрана про балотування) Кандидат A набрав при голосуваннia голосiв, а кандидат B – b голосiв, причому a > b. Голосування a + b виборцiвпроводиться послiдовно, один за одним. Яка ймовiрнiсть того, що депутат Aлiдирував весь час ?

(3) Яка ймовiрнiсть того, що в нескiнченiй серiї випробувань Бернуллi aуспiхiв поспiль вперше вiдбудуться ранiше, нiж b неуспiхiв ?

(4) У якому випадку найбiльш iмовiрне значення бiномiального розподiлудосягається у двох точках ?


1.6.5. Полiномiальний розподiл

Означення. Полiномiальною схемою випробувань називається послi-довнiсть з n незалежних випробувань, результат кожного з яких на-лежить множинi 1, k та має дискретний розподiл p = (pi, i = 1, k).

Результатом таких випробувань є вектор ν(n) = (νn1, ..., νnk), що мi-стить частоти νni для i-го результату у n випробуваннях. З незалежностiвипробувань випливає формула для полiномiального розподiлу

IP(νn1 = i1, ...νnk = ik) =n!

i1!...ik!pi1

1 ...pikk .

1.6.6. Геометричний розподiл

Означення. Дискретна випадкова величина ξ має геометричнийрозподiл iз параметром p, позначення ξ ' G(p), якщо вона збiгаєтьсяз кiлькiстю випробувань до першого успiху в нескiнченнiй послiдовно-стi випробувань Бернуллi з iмовiрнiстю успiху p в одному випробуван-нi.

За властивiстю неперервностi ймовiрностi, iмовiрностi подiй у схемi знеобмеженою кiлькiстю випробувань є граничними при n →∞ для схемиз n випробуваннями. Тому для кожного 1 ≤ k < n

IPn(ξ = k) =∑

ωk+1,..ωn∈0,1IPn((0...01ωk+1...ωn)) =

IPn(⋃

ωk+1,..ωn∈0,1(0...01ωk+1...ωn)) = IPk((0..01)) = (1− p)k−1p.

Отже, геометричний розподiл iмовiрностей має вигляд

IP(ξ = k) = (1− p)k−1p, k = 1, 2, ....

Iнодi розглядають також величину, що дорiвнює кiлькостi неуспiхiв допершого успiху, з розподiлом IP(ξ = k) = (1− p)kp, k = 0, 1, ...

Випадкова величина ξ має розподiл Паскаля з параметром a > 0, якщовона має геометричний розподiл з параметром p = 1/(1 + a).

1.6.7. Негативний бiномiальний розподiл

Означення. Дискретна випадкова величина ξ має негативний бiно-мiальнй розподiл iз параметрами p, r, позначення ξ ' G(p, r), якщовона збiгається з кiлькiстю випробувань до r-го успiху в нескiнченнiй


послiдовностi випробувань Бернуллi з iмовiрнiстю успiху p в одномувипробуваннi. Розподiл має вигляд

IP(ξ = k) = Cr−1k−1 (1− p)k−rpr, k = r, r + 1, ...

Зауважимо, що кожна сприятлива елементарна подiя довжини k мi-стить k− r неуспiхiв та r успiхiв, причому останнiм має бути успiх. Томуймовiрнiсть такої подiї дорiвнює (1 − p)k−rpr, а загальна кiлькiсть їх збi-гається з кiлькiстю розмiщень r − 1 успiху на перших k − 1 мiсцi.

1.6.8. Гiпергеометричний розподiл

Розглянемо такий стохастичний експеримент. В озерi плаває всього Nриб, iз них n щук, а iншi – карасi. Рибалка виловив m риб. Дискретнавипадкова величина ξ, що дорiвнює кiлькостi щук у виловi, має гiпергео-метричний розподiл iз параметрами N,n, m, позначення ξ ' H(N,n, m).

Для обчислення розподiлу величини ξ приймемо класичне означенняймовiрностей та зауважимо, що кiлькiсть всiх елементарних подiй дорiв-нює кiлькостi способiв обрати m риб iз загального числа N, тобто Cm

N

. Кiлькiсть елементарних подiй, що сприяють подiї ξ = k, очевидно,дорiвнює за основним правилом комбiнаторики Ck

n Cm−kN−n – добутковi кiль-

костi способiв обрати k щук iз загальної кiлькостi n та m − k карасiв iзкiлькостi N − n. Отже, гiпергеометричний розподiл має вигляд

IP(ξ = k) =Ck

nCm−kN−n

CmN

, k = 0, min(n,m).

Зауваження. Якщо проiнтерпретувати N як загальну кiлькiсть виро-бiв, що виготовленi на пiдприємствi, n – як кiлькiсть бракованих середних, m – як обсяг вибiркової партiї, що була перевiрена вiддiлом контро-лю якостi, то випадкова кiлькiсть виявлених бракованих виробiв матимегiпергеометричний розподiл. Цей факт використовують, зокрема, при ста-тистичному контролi якостi продукцiї.

1.6.9. Розподiл Пуассона

Означення. Дискретна випадкова величина ξ має розподiл Пуассоназ параметром λ > 0, позначення ξ ' Π(λ), якщо

IP(ξ = n) =λn

n!e−λ, n = 0, 1, 2...


Нормованiсть пуассонiвських iмовiрностей випливає з формули роз-кладу в ряд Тейлора функцiї exp(λ). Розподiл Пуассона широко викори-стовується в теорiї ймовiрностей та статистицi для моделювання випад-кових потокiв подiй, таких як кiлькiсть телефонних викликiв за певнийчас, кiлькiсть захворювань за перiод, кiлькiсть випадково обраних точоку певному об’ємi тощо. Одночасно вiн є граничним для бiномiальногорозподiлу.

Вправи(1) Довести, що негативний бiномiальний розподiл задовольняє таку реку-

рентну тотожнiсть: IP(ξ = k) = IP(ξ = k − 1)(k − 1)/(k − r).(2) Найбiльш iмовiрне значення k величини ξ з гiпергеометричним розподi-

лом дорiвнює (n + 1)(m + 1)/(N + 2) − 1. Вказiвка: вiдношення послiдовнихiмовiрностей має вигляд (k + 1)(N − n−m + k + 1)/(n− k)(m− k).

(3) Величини ξNnm мають гiпергеометричний розподiл ξNnm ' H(N, n, m).Довести, що IP(ξNnm = k) → Ck

mpk(1− p)m−k при N →∞, n/N → p, k ≥ 0.(4) Довести, що розподiл Пуассона задовольняє таку рекурентну тотожнiсть:

IP(ξ = k) = IP(ξ = k − 1)λ/k.(5) Знайти найбiльш iмовiрне значення для розподiлу Пуассона.

1.6.10. Граничнi теореми Пуассонаi Муавра – Лапласа

Схемою серiй випробувань Бернуллi називається подвiйна послiдов-нiсть випробувань, у якiй в n-iй серiї (пiдпослiдовностi) мiститься nвипробувань Бернуллi з iмовiрнiстю успiху pn в одному випробуваннi.

Теорема (гранична теорема Пуассона). Розглянемо схему серiй ви-пробувань Бернуллi, в якiй n-та серiя мiстить n випробувань з iмовiр-нiстю успiху pn. Позначимо через νn – кiлькiсть успiхiв у n-iй серiї.Припустимо, що одночасно n →∞ i pn → 0 так, що npn → λ > 0. Тодi

limn→∞ IP(νn = k) =λk

k!e−λ, ∀k = 0, 1, ....

Доведення. Обчислимо

IP(νn = k) = Ckn pk

n (1− pn)n−k = ank(npn)k

k!

(1− npn

n

)n

,

де ank = (1− pn)−k∏

1≤i<k(1− in) → 1, n →∞, за умовою. Крiм того, при

кожному фiксованому k має мiсце збiжнiсть

(npn)k → λk,(1− npn

n

)n

→ e−λ, n →∞ ¡


Приклад. За 1 хв сервер виконав 2000 з’єднань у мережi, з iмовiрнi-стю 0.001 кожне з них було перерване через перевантаження, незалежновiд iнших. Тодi ймовiрнiсть того, що перервалися принаймнi 2 з’єднання,наближено дорiвнює IP(ν2000 ≥ 2) ≈ 1− e−2 − 21

1!e−2 ≈ 0.594.

Теорема Пуассона дiє у випадку, коли ймовiрнiсть успiху pn прямує донуля. Якщо вона вiддiлена вiд нуля, слiд застосувати таку теорему.

Теорема (локальна гранична теорема Муавра – Лапласа). Розгля-немо схему серiй випробувань Бернуллi, в якiй n-та серiя мiстить nвипробувань з iмовiрнiстю успiху p, q = 1 − p. Позначимо через νn –кiлькiсть успiхiв у n-iй серiї. Припустимо, що числа n i k одночаснопрямують до нескiнченностi так, що нормоване та центроване зна-чення k є обмеженим:

xnk ≡ (k − np) /√

npq = O(1), n, k →∞.

Тодi має мiсце асимптотична еквiвалентнiсть (тобто вiдношенняправої та лiвої частин прямує до одиницi):

IP(νn = k) ∼ 1√npq

ϕ(xnk), n, k →∞,

де функцiя ϕ(x) = exp (−x2/2) /√

2π, x ∈ R, є так званою стандартноюнормальною щiльнiстю розподiлу.

Доведення теореми спирається на формулу Стiрлiнга

n! ∼√

2πn(n/e)n.

Зауважимо, що в данiй граничнiй схемi має мiсце одночасна збiжнiстьn → ∞, k → ∞, n − k → ∞, причому ε ≡ (k − np)/n = O(1/

√n). Тому

з виразу для бiномiального розподiлу ймовiрностей pn(k) пiдстановкоюk = n(p + ε) дiстанемо

ln(√

2π npq pn(k))

= 12ln npq + (n + 1

2) ln n− n−

(k + 12) ln k + k − (n− k + 1

2) ln(n− k) + n− k + k ln p + (n− k) ln q + o(1) =

12ln npq + 1

2ln n

k(n−k)+ n ln n− k ln k − (n− k) ln(n− k)+

k ln p + (n− k) ln q + o(1) =

12ln npq + 1

2ln n

n(p+ε)n(q−ε)+ n ln n −

−n(p+ε) ln n(p+ε)−n(q−ε) ln n(q−ε)+n(p+ε) ln p+n(q−ε) ln q +o(1) =

−n(p + ε) ln(1 + ε/p)− n(q − ε) ln(1− ε/q) + o(1) =


−n(p + ε)(ε/p− (ε/p)2/2)− n(q − ε)(−ε/q − (ε/q)2/2) + o(1) =

−nε− nε2/p + nε2/2p + nε− nε2/q + nε2/2q + o(1) =

−nε2/2pq + o(1) = −x2nk/2 + o(1), n →∞ ¡

Теорема (iнтегральна гранична теорема Муавра – Лапласа). Заприпущень локальної теореми при довiльних a < b для випадкових ве-личин ξn ≡ (νn − np)/

√npq має мiсце при n →∞ збiжнiсть

IP (a < ξn < b) → Φ(b)− Φ(a), n →∞,

дo стандартної нормальної функцiї розподiлу Φ(x) ≡ r x

−∞ ϕ(y)dy.Доведення виводиться з локальної граничної теореми Муавра- Лапла-

са, оскiльки за теоремою про розподiл функцiї вiд дискретної величиниймовiрнiсть у лiвiй частинi дорiвнює сумi

∑k: (k−np)/

√npq ∈ (a,b)

pn(k) =∑np+b

√npq

k=np+a√

npq(√

npq pn(k)) /√

npq,

що є iнтегральною сумою дляr b

aϕ(y)dy ¡

Зауважимо, що iнтегральна теорема є наслiдком бiльш загальної кла-сичної центральної граничної теореми, яка буде розглядатися нижче.

Приклад. При 720 пiдкиданнях гральної костi розглядатимемо якуспiх випадання шiстки. Для такої схеми випробувань Бернуллi

np = 120,√

npq =√

720 · 1/6 · 5/6 = 10,

i справедлива наближена рiвнiсть

IP(90 < ν720 < 150) = IP(−3 <ν720 − 120

10< 3) ≈ Φ(3)− Φ(−3) ≈ 0.997.

Зауваження. Випадкова величина ξn ≡ (νn−np)hn пропорцiйна крокуhn = 1/

√npq та є дискретною, тому догранична ймовiрнiсть у iнтеграль-

нiй граничнiй теоремi Муавра – Лапласа змiнюється стрибками у точкахвигляду xnk = (k − np)hn, k ∈ Z+, на вiдмiну вiд граничної ймовiрностi,що є неперервною за a, b.

Для уникнення похибок у таких випадках використовують таку по-правку на неперервнiсть: якщо дискретна випадкова величина ξ має крокh (тобто ξ ∈ hZ), при її апроксимацiї притримуються правил:

IP(ξ = x) ≡ IP(x− h/2 < ξ < x + h/2),

IP(ξ ≤ x) ≡ IP(ξ < x + h/2), IP(ξ < x) ≡ IP(ξ ≤ x− h/2).

1.7. Загальне означення випадкової величини та вектора 41

Наприклад, для ξn = (νn − np)hn:

IP(νn = k) = IP(ξn = xnk) ≡IP(xnk − hn/2 < ξn < xnk + hn/2) ≈ Φ(xnk + hn/2)− Φ(xnk − hn/2).

Аналогiчно, при апроксимацiї дискретного розподiлу IP(ξn = xnk) на-ближення hnϕ(xnk) уточнюють поправкою Шеппарда вигляду

IP(νn = k) ≈ Φ(xnk + hn/2)− Φ(xnk − hn/2) ≈ hnϕ(xnk) + ϕ′′(xnk)h3n/24,

де використано розклад у ряд Тейлора функцiї Φ порядку 3.Вправи(1) При np = λ сума модулiв рiзниць мiж iмовiрностями IP(νn = k) та їх

граничними значеннями у граничнiй теоремi Пуассона не перевищує 2 λ2/n.

(2) Величини (ξn, n ≥ 1) незалежнi, IP(ξk = 1) = pk = 1 − IP(ξk = 0),Sn = ξ1 + ... + ξn, µn =

∑nk=1 pk, σ2

n =∑n

k=1 pk(1 − pk), xnk = (k − µn)/σn.Довести, що за умов σn → ∞, xnk = O(1), k, n → ∞, справедливе асимптоти-чне зображення IP(Sn = k) ∼ (2πσ2

n)−1/2 exp(−x2nk/2), k, n →∞.

(3) Довести аналог (а) теореми Пуассона при n/N → p, n →∞, (б) Муавра–Лапласа для числа успiхiв при виборi без повернення (для гiпергеометричногорозподiлу числа успiхiв).

1.7. Загальне означеннявипадкової величини та вектора

Для формулювання загального означення слiд структурувати клас мно-жин у просторi значень випадкової величини.

1.7.1. Борелєва сигма-алгебра, борелєвi множини

Розглянемо на числовiй осi R клас напiвiнтервалiв

I(R) = [a, b), −∞ ≤ a < b ≤ ∞.Скiнченнi об’єднання попарно несумiсних напiвiнтервалiв є алгеброю

пiдмножин R (вправа):

A(R) = A = ∪nk=1[ak, bk), −∞ ≤ a1 < b1 < a2 < ... < bn ≤ ∞.

Нагадаємо, що перерiз будь-якого класу σ-алгебр завжди є σ-алгеброю,яка називається найменшою σ-алгеброю з даного класу.


Означення. Борелєвою сигма-алгеброю B(R) називається наймен-ша σ-алгебра, яка мiстить алгебру A(R), (або клас I(R), що еквiва-лентно). Iнакше кажучи, σ-алгебра B(R) породжена алгеброю A(R):B(R) = σ[A(R)]. Будь-який елемент B ∈ B(R) називається борелєвоюмножиною, або ж борелiвською множиною.

Вправи(1) Борелєвими є всi iнтервали та вiдрiзки, одноточковi множини, всi вiдкритi

множини (як злiченнi об’єднання вiдкритих iнтервалiв) та замкненi множини (якдоповнення вiдкритих). Сигма-алгебра, що породжена вiдкритими пiдмножина-ми R, збiгається з борелєвою сигма-алгеброю.

(2) Берiвська сигма-алгебра, що породжується класом неперервних функцiй:σ[x : f(x) < a, a ∈ R, f ∈ C(R)] збiгається з борелєвою.

(3) Нехай IP – iмовiрнiсть на B(R). Довести, що для довiльного ε > 0 тадля довiльної множини A ∈ B(R) знайдуться компактна множина C та вiдкритамножина D такi, що C ⊂ A ⊂ D та IP(D\C) ≤ ε.

(4) Розглянемо простiр функцiй Ω = x : R→ 0, 1 з топологiєю поточко-вої збiжностi. Довести, що цей простiр є компактним. Визначимо функцiї xn ∈ Ωрiвностями xn(t) = [2nt]− 2[2n−1t], де [x] – цiла частина x. Нехай x – довiльнагранична точка послiдовностi xn, що належить Ω внаслiдок компактностi. Дове-сти, що x(b + t) = x(t) та x(b − t) = 1 − x(t) для всiх бiнарно-рацiональнихчисел b та всiх t, що не є такими. Вивести звiдси, що функцiя x не є борелєвою.

(5) Приклад неборелєвої множини, пов’язаний з мiрою Лебега L. Нехай O –коло одиничної довжини з множиною Q рацiональних точок на ньому. Оберемоза аксiомою вибору по одному елементу з кожного класу еквiвалентностi прициклiчному додаваннi з фактор-множиною Q. Отримана множина A є шуканою,оскiльки ∪q∈Qa + q, a ∈ A = O, причому множини в об’єднаннi попарнонесумiснi i повиннi були б мати однакову довжину (мiру Лебега), що неможливо.

Аналогiчно, система n-вимiрних кутiв

I(Rn) = A = (−∞, a) =∏n

k=1(−∞, ak), ak ∈ R ∪∞

у n-вимiрному просторi породжує алгебру A(Rn) скiнченних об’єднаньнапiввiдкритих паралелепiпедiв, що не перетинаються.

Означення. Борелєвою σ-алгеброю B(Rn) у Rn називається наймен-ша сигма-алгебра, яка мiстить алгебру A(Rn).

Зауважимо, що прямий добуток B1 × ... × Bn множин Bk ∈ B(R) єборелєвою множиною. Дiйсно, клас множин

Bk ∈ B(R) : Rk−1 ×Bk × Rn−k ∈ B(Rn)


мiстить всi напiвiнтервали i є σ-алгеброю, тому збiгається з B(R). Отже,

B1 × ...× Bn =⋂n

k=1

(Rk−1 ×Bk × Rn−k

) ∈ B(Rn).

Означення. Функцiя g : Rk → Rn називається борелєвою, якщо

x : g(x) ∈ Bn ∈ B(Rk), ∀Bn ∈ B(Rn).

Зокрема, всi неперервнi функцiї є борелєвими. Дiйсно, прообраз вiд-критого iнтервалу для неперервної функцiї є вiдкритою множиною – отже,борелєвою. Оскiльки клас множин, прообразами яких є борелєвi множи-ни, є σ-алгеброю та мiстить всi вiдкритi напiвiнтервали (−∞, a), то цейклас збiгається з борелєвою σ-алгеброю.

1.7.2. Загальне означення випадкової величини

Iснують стохастичнi експерименти, в результатi яких можна спостерi-гати незлiченну кiлькiсть числових або навiть векторних значень. Томурозглянемо таке узагальнення поняття дискретної випадкової величини.

Означення. Випадковою величиною називається така числова фун-кцiя ξ : Ω → R, що для довiльної борелєвої множини B ⊂ R її прообраз:ω : ξ(ω) ∈ B є випадковою подiєю, тобто:

ω : ξ(ω) ∈ B ∈ F, ∀B ∈ .B(R).

Функцiї ξ, якi задовольняють наведену умову, називаються вимiрни-ми вiдносно сигма-алгебри F. Отже, для випадкових величин (вимiрнихфункцiй) можна говорити про ймовiрнiсть подiї ξ ∈ B.

Тут i надалi буде використовуватись скорочений запис – аргумент уфункцiї ξ(ω) будемо опускати, а фiгурнi дужки, що мiстять випадковiвеличини, означатимуть множину вiдповiдних елементарних подiй:

ξ ∈ B ≡ ω : ξ(ω) ∈ B.Узагальненою випадковою величиною (або ж невласною) будемо нази-

вати функцiю зi значеннями в множинi R = R∪−∞,∞, яка задовольняєту саму умову вимiрностi.

Приклади недискретних випадкових величин.1. Випадкова точка на вiдрiзку. В експериментi з вибором точки на

одиничному вiдрiзку маємо Ω = [0, 1]. Функцiя ξ(ω) = ω набуває незлi-ченну кiлькiсть значень.

2. Час до зустрiчi. В задачi про зустрiч (при геометричному означеннiймовiрностей ) час до зустрiчi двох осiб має континуум можливих значень.


Цей час як функцiя елементарної подiї ω = (ω1, ω2), де ωi ∈ [0, 1] – моментприходу на мiсце зустрiчi i-ї особи, дорiвнює: ξ(ω) = max(ω1, ω2).

Приклад функцiї, що не є випадковою величиною: iндикаторна вели-чина ξ = 1IC множини, яка не є випадковою подiєю: C /∈ F.

1.7.3. Критерiй вимiрностi, вимiрнiсть суперпозицiї

Теорема (про критерiй вимiрностi скалярної функцiї). Нехайξ : Ω → R – довiльна функцiя. Вона є випадковою величиною тодi йтiльки тодi, коли прообраз кожного напiвiнтервалу (−∞, x) є випад-ковою подiєю : ξ < x ∈ F, ∀x ∈ R.

Доведення. З властивостей операцiї обчислення прообразу випливає,що клас борелєвих множин

B∗ξ = B ∈ B(R) : ξ ∈ B ∈ F

є сигма-алгеброю, оскiльки прообрази доповнення та об’єднання множинзбiгаються з вiдповiдними доповненням чи об’єднанням прообразiв. З iн-шого боку, за означенням випадкової величини клас B∗

ξ мiстить всi напiв-iнтервали. Оскiльки клас напiвiнтервалiв породжує борелєву σ-алгебру,то B∗

ξ = B(R) i твердження теореми є наслiдком вказаного означення ¡У багатьох застосуваннях доводиться мати справу з функцiями вiд

випадкових величин. Тому важливим є твердження про суперпозицiю.Теорема (про вимiрнiсть суперпозицiї). Нехай ξ – випадкова ве-

личина, а g : R → R – борелєва функцiя. Тодi суперпозицiя g(ξ) євипадковою величиною.

Доведення. Обчислимо g(ξ) < x = ξ ∈ g(−1)((−∞, x)) ∈ F, оскiль-ки g(−1)((−∞, x)) – борелєва множина за означенням g ¡

1.7.4. Випадковий вектор

Означення. Випадковим вектором у просторi Rn називається такафункцiя ξ : Ω → Rn, що для довiльної борелєвої множини B її прообразξ ∈ B є випадковою подiєю : ω : ξ(ω) ∈ B ∈ F, ∀B ∈ B(Rn).

Вправа. Як i для величин, довести, що функцiя ξ = (ξ1, ...ξn) : Ω → Rn

є випадковим вектором тодi й тiльки тодi, коли для довiльного кута ξ < x ≡ξ1 < x1, ..., ξn < xn ∈ F при всiх x = (x1, ..., xn) ∈ Rn.

Теорема (про вимiрнiсть функцiї вiд випадкового вектора). Нехайξ – випадковий вектор у Rn, а g : Rn → Rm – борелєва функцiя. Тодiсуперпозицiя g(ξ) є випадковим вектором у Rm.


Доведення цiлком аналогiчне доведенню теореми про вимiрнiсть су-перпозицiї для скалярних величин.

Зокрема, кожна координата випадкового вектора є випадковою величи-ною, оскiльки координатна функцiя πk : Rn → R неперервна i є борелєвою.Виконується й обернене твердження: вектор, утворений з n випадковихвеличин, є випадковим вектором у Rn. Дiйсно, прообраз n-вимiрного кутає перерiзом прообразiв кутiв для координатних вiдображень:

ξ < x =⋂n

k=1ξk < xk ∈ F.

Теорема (про перетворення випадкових величин). Якщо ξ, η – ви-падковi величини, то |ξ| , ξ + η, ξ − η, ξ · η, ξ/η, max(ξ, η) також євипадковими величинами.

Доведення випливає з неперервностi (отже, борелєвостi) функцiй |x| ,x + y, x− y, x · y, x/y, max(x, y) вiд випадкового вектора (ξ, η) ¡

1.7.5. Вимiрнiсть границi випадкових величин

Теорема (про вимiрнiсть границi випадкових величин). Нехай(ξn, n ≥ 1) – випадковi величини такi, що границя ξ(ω) = lim ξn(ω)iснує при всiх ω ∈ Ω. Тодi ξ – випадкова величина.

Доведення випливає з тотожностi

lim ξn < x =⋃

k≥1

⋃m≥1

⋂n≥mξn < x− 1/k.

Її справедливiсть обґрунтовується тим, що при iснуваннi границi lim ξn

вона збiгається з верхньою границею limξn, а остання строго менша зачисло x тодi й тiльки тодi, коли для деякого k < ∞ всi члени послiдовностiменшi за x− 1/k, починаючи з деякого номера ¡

Наслiдок. Якщо (ξn, n ≥ 1) – випадковi величини, то limξn, limξn

також є випадковими величинами (можливо, невласними ).Доведення ґрунтується на двох попереднiх теоремах i випливає з то-

го, що вказанi граничнi значення є монотонними границями випадковихвеличин. Зокрема, limn→∞ξn = limN→∞ limm→∞ max N≤ n ≤N+m ξn ¡

Вправи(1) Якщо ξ, η – випадковi величини, то ξ = η – випадкова подiя.(2) Якщо (ξn, n ≥ 1) випадковi величини, то inf ξn, sup ξn є також випадко-

вими величинами, можливо, невласними.


1.7.6. Апроксимацiя простими величинами

В подальшому символом xn ↑ x, n → ∞, будемо позначати монотоннонеспадну збiжнiсть числової послiдовностi xn до x, тобто такi властивостi:(1) xn ≤ xn+1 при всiх n та (2) limn→∞ xn = x. Аналогiчний змiст матимезапис xn ↓ x. Запис [a] означає цiлу частину числа a.

Теорема (про апроксимацiю випадкових величин простими).(а) Нехай ξ – невiд’ємна випадкова величина. Тодi iснує послiдов-

нiсть простих величин ξn така, що 0 ≤ ξn(ω) ↑ ξ(ω), n →∞, ∀ω ∈ Ω.

(б) Нехай ξ – довiльна випадкова величина. Тодi iснує послiдовнiстьпростих величин ξn таких, що limn→∞ ξn = ξ та |ξn| ≤ |ξ| при всiх ω.

Доведення. Розглянемо таку послiдовнiсть дiйсних функцiй на R+ :

ϕn(x) ≡∑n2n−1

k = 0k2−n 1Ix ∈ [k2−n, (k+1)2−n) + n 1In ≤ x = min(2−n[2nx], n).

З означення iндикаторної функцiї виводимо, що(1) 0 ≤ ϕn(x) ≤ x,

(2) 0 ≤ x− ϕn(x) ≤ 2−n при x < n, та(3) ϕn(x) ≤ ϕn+1(x) при всiх x ≥ 0, n ≥ 1.

Остання властивiсть монотонностi є наслiдком того, що при переходiвiд розбиття з кроком 2−n до кроку 2−n−1 лiва частина графiка функцiїϕn на вiдрiзку [k2−n, (k + 1)2−n) не змiнюється, а права зростає.

З (1),(2) i (3) остаточно виводимо, що для кожного x ≥ 0

0 ≤ ϕn(x) ↑ x, n →∞.

(а) Покладемо ξn = ϕn(ξ). Тодi ξn є простою випадковою величиною,оскiльки ϕn – борелєва функцiя та має скiнченну множину значень. Зостаннього спiввiдношення для ϕn випливає шукане твердження (а) тео-реми: 0 ≤ ξn = ϕn(ξ) ↑ ξ, n →∞, для всiх ω ∈ Ω.

(б) Визначимо додатну та вiд’ємну частини величини ξ :

ξ+ = max(ξ, 0), ξ− = max(−ξ, 0),

невiд’ємнi випадковi величини за теоремою про вимiрнiсть суперпозицiї.Нехай ξ±n – простi величини, якi внаслiдок (а) апроксимують випадковi

величини ξ+ та ξ− вiдповiдно. Тодi ξn = ξ+n − ξ−n є шуканою простою

величиною, оскiльки ξ = ξ+ − ξ− = lim ξ+n − lim ξ−n , = lim(ξ+

n − ξ−n , ) =lim ξn, причому |ξn| = ξ+

n + ξ−n ≤ ξ+ + ξ− = |ξ| ¡

1.8. Функцiя розподiлу випадкової величини та її властивостi 47

1.8. Функцiя розподiлу випадковоївеличини та її властивостi

Сукупнiсть iмовiрностей подiй вигляду ξ = x не завжди повнiстюописує величину ξ . Наприклад, для випадкової точки на вiдрiзку всiцi ймовiрностi нульовi. Тому в загальному випадку на вiдмiну вiд дис-кретного для визначення розподiлу випадкової величини використовуютьпрообрази iнтервалiв.

Означення. Функцiєю розподiлу випадкової величини ξ називаєтьсяфункцiя Fξ(x) дiйсного аргументу x, яка задається рiвнiстю

Fξ(x) = IP(ξ < x), x ∈ R.

1.8.1. Властивостi функцiї розподiлу

Теорема (про основнi властивостi функцiї розподiлу). Нехай ви-падкова величина ξ має функцiю розподiлу F ≡ Fξ. Тодi ця функцiя

(1) неспадна: F (x) ≤ F (y), ∀ x ≤ y,

(2) нормована: F (−∞) = 0, F (+∞) = 1,

(3) неперервна злiва: F (x− 0) = F (x), ∀ x ∈ R.

Зауваження. Тут та надалi символом F (x− 0) позначається монотон-на границя F (x − 0) = limy↑x, y<x F (y). Аналогiчно визначаються границiF (−∞) = limy↓−∞ F (y), F (+∞) = limy↑+∞ F (y). Iснування та єдинiстьграниць у (2) та (3) випливає з монотонностi (1) функцiї розподiлу.

Альтернативне означення функцiї розподiлу має вигляд IP(ξ ≤ x), щовiдрiзняється властивiстю неперервностi справа.

Доведення(1) Нерiвнiсть є наслiдком монотонностi ймовiрностi, тому що при x <

y має мiсце включення ξ < x ⊂ ξ < y.(2) Границя монотонної функцiї не залежить вiд вибору апроксимуючої

послiдовностi аргументiв. Тому y можна вважати цiлозначними. Оскiль-ки послiдовнiсть подiй ξ < n монотонно не зростає при n ↓ −∞, а∩ n<0ξ < n = ∅, то ξ < n ↓ ∅. Отже, за неперервнiстю ймовiрностi

F (−∞) = limn↓−∞ F (n) = limn↓−∞ IP(ξ < n) = IP(∅) = 0.

Аналогiчно, з ξ < n ↑ Ω при n ↑ ∞ дiстанемо

F (+∞) = limn↑∞ F (n) = limn↑∞ IP(ξ < n) = IP(Ω) = 1.


(3) Клас вiдкритих напiвiнтервалiв (−∞, x), x ∈ R, є неперервнимзлiва для монотонної збiжностi: (−∞, y) ↑ (−∞, x) при y ↑ x, оскiльки(−∞, x) = ∪ n≥1(−∞, x− 1/n). Тому має мiсце монотонна збiжнiсть :

ξ ∈ (−∞, y) = ξ < y ↑ ξ < x = ξ ∈ (−∞, x) при y ↑ x.

Отже, за неперервнiстю ймовiрностей

F (x− 0) = limn→∞

F (x− 1/n) = limn→∞

IP(ξ < x− 1/n) = IP(ξ < x) = F (x)¡

Теорема (про властивостi функцiї розподiлу). Нехай величина ξмає функцiю розподiлу Fξ. Тодi

(a) IP(a ≤ ξ < b) = Fξ(b)− Fξ(a),(б) IP(ξ = x) = Fξ(x + 0)− Fξ(x),(в) IP(ξ ≥ x) = 1− Fξ(x),(г) IP(ξ ≤ x) = Fξ(x + 0),(д) IP(ξ > x) = 1− Fξ(x + 0).Доведення(а) З формули для ймовiрностi вкладеної рiзницi подiй отримуємо

IP(a ≤ ξ < b) = IP(ξ < b\ξ < a) = IP(ξ < b)− IP(ξ < a).

(б) Зi спiввiдношення ξ = x = ∩n>1x ≤ ξ < x + 1/n, неперервностiймовiрностi та твердження (а) дiстанемо при n →∞ :

IP(ξ = x) = lim IP(x ≤ ξ < x + 1/n) = lim(Fξ(x + 1/n)− Fξ(x)).

(в) Є наслiдком означення функцiї розподiлу та формули про ймовiр-нiсть доповнення.

(г,д) Виводяться з означення функцiї розподiлу та (б) ¡Означення. Будь-яка функцiя F : R→ R, яка задовольняє умови (1),

(2) i (3), називається функцiєю розподiлу .Означення. Нехай F – довiльна функцiя розподiлу. Назвемо адитив-

ною мiрою Лебега – Стiлтьєса, породженою F (або, коротше, адитив-ною мiрою F ), таку функцiю F на алгебрi A(R) пiдмножин R вигляду

A =⋃n

k=1[ak, bk), де −∞ ≤ a1 < b1 < a2 < ... < bn ≤ ∞,

значення якої задається рiвнiстю

F (A) =∑n

k=1(F (bk)− F (ak)) .

Теорема (про адитивну мiру Лебега – Стiлтьєса). Адитивна мiра Fє невiд’ємною, нормованою та скiнченно-адитивною функцiєю на A(R).Зокрема, F напiвадитивна та монотонна.

1.8. Функцiя розподiлу випадкової величини та її властивостi 49

Доведення. Невiд’ємнiсть є очевидним наслiдком монотонностi (не-вiд’ємностi приростiв) функцiї розподiлу F, нормованiсть виводиться знормованостi F. Для доведення адитивностi зауважимо, що з несумiсно-стi множин A,B ∈ A(R) випливає попарна несумiснiсть iнтервалiв, якiскладають цi множини. Тому сума приростiв F на iнтервалах з об’єднанняA∪B перегрупуванням зводиться до суми вiдповiдних сум для A та B, щоi доводить адитивнiсть. Згiдно з теоремою про основнi властивостi ймо-вiрностей напiвадитивнiсть та монотоннiсть є наслiдками невiд’ємностiта адитивностi ¡

1.8.2. Неперервнiсть у нулi мiри Лебега – Стiлтьєса

Теорема (про неперервнiсть у нулi мiри Лебега – Стiлтьєса). Ади-тивна мiра Лебега – Стiлтьєса F є неперервною в нулi на A(R), i якнаслiдок, сигма-адитивною на A(R).

Доведення. Нехай An ∈ A(R), An ↓ ∅. Оберемо довiльне ε > 0.1. Оберемо c > 0 так, щоб F ([−c, c)) = F (−c) + 1 − F (c) < ε. Це

можливо за умови нормованостi функцiї розподiлу.2. Позначимо Bn = An∩ [−c, c) ∈ A(R). Тодi за монотоннiстю адитивної

мiри F

F (An\Bn) = F (An ∩ [−c, c)) ≤ F ([−c, c)) < ε.

3. Оскiльки Bn ∈ A(R), то Bn = ∪mnk=1[ank, bnk), де iнтервали попарно

несумiснi. Оберемо cnk ∈ [ank, bnk) так, щоб∑mn

k=1(F (bnk)− F (cnk)) ≤ ε2−n.

Це можливо, оскiльки функцiя розподiлу F неперервна злiва в кожнiйточцi bnk, отже остання сума прямує до нуля, коли cnk ↑ bnk для всiх k.

Визначимо множини

Cn ≡⋃mn

k=1[ank, cnk) ⊂ Dn ≡

⋃mn

k=1[ank, (cnk + bnk)/2] ⊂ Bn.

За побудовою Cn ∈ A(R), та

F (Bn\Cn) =∑mn

k=1(F (bnk)− F (cnk)) ≤ ε2−n.

4. Множина Dn ⊂ Bn ⊂ An замкнена та обмежена – отже, компактна.Послiдовнiсть Dn ⊂ Bn ⊂ [−c, c] належить компактовi [−c, c], причомує нецентрованою: ∩Dn ⊂ ∩An = ∅. За теоремою про нецентровану по-слiдовнiсть компактних пiдмножин компакту (що еквiвалентна iснуванню


скiнченного пiдпокриття вiдкритого покриття [−c, c]\Dn компакту [−c, c])iснує скiнченне m таке, що ∩m

k=1Dk = ∅. Тому

∩nk=1Ck ⊂ ∩n

k=1Dk ⊂ ∩mk=1Dk = ∅, ∀n ≥ m.

5. Обчислимо при n ≥ m з урахуванням того, що Bn ⊂ Bk при n ≥ k,а мiра F напiвадитивна :

F (Bn) = F (Bn \ ∩nk=1 Ck) = F (∪n

k=1(Bn \Ck)) ≤F (∪n

k=1(Bk \Ck)) ≤∑n

k=1 F (Bk \Ck) ≤∑

k≥1 ε2−k = ε.

6. Залишилося зазначити, що

F (An) ≤ F (An\Bn) + F (Bn) ≤ 2 ε, ∀n ≥ m.

Отже, F (An) → 0 при n →∞, тобто мiра F неперервна в нулi.Еквiвалентнiсть неперервностi в нулi та сигма-адитивностi для ади-

тивних мiр доведена у теоремi про основнi властивостi ймовiрностей ¡Теорема (про iснування мiри Лебега – Стiлтьєса). Нехай F – до-

вiльна функцiя розподiлу. На борелєвiй сигма-алгебрi B(R) iснує єдинаневiд’ємна, нормована та сигма-адитивна мiра F така, що

F ((−∞, x)) = F (x), ∀x ∈ R.

Доведення. За теоремою про адитивну мiру Лебега – Стiлтьєса по-будуємо адитивну ймовiрнiсть F на алгебрi, як це зроблено вище. Напiдставi iї σ-адитивностi на алгебрi A(R) застосуємо теорему Каратеодорiпро продовження мiри з алгебри на породжену σ-алгебру B(R) ¡

Означення. Iмовiрнiсна мiра F на B(R), що побудована за остан-ньою теоремою, називається мiрою Лебега – Стiлтьєса, яка породженафункцiєю розподiлу F .

1.8.3. Обчислення ймовiрностейчерез функцiю розподiлу

Теорема (про обчислення ймовiрностей, пов’язаних iз випадковоювеличиною). Нехай випадкова величина ξ має функцiю розподiлу Fξ.Тодi для довiльної борелєвої множини B ∈ B(R) виконується рiвнiсть

IP(ξ ∈ B) = Fξ(B),

де Fξ – мiра Лебега – Стiлтьєса, що породжена функцiєю розподiлу Fξ.Доведення. За означенням сформульована рiвнiсть має мiсце для на-

пiвiнтервала B = (−∞, x). З iншого боку, вирази в обох частинах як

1.9. Абсолютно неперервнi величини 51

функцiї множини B є сигма-адитивними мiрами. Для лiвої частини цевипливає з властивостей прообразу для вiдображення ξ та σ-адитивностiймовiрностi IP, а для правої частини виконується за означенням. Тому затеоремою Каратеодорi про продовження мiри вказанi мiри збiгаються навсiй породженiй σ-алгебрi B(R) ¡

Враховуючи останню теорему, розподiлом випадкової величини ξ бу-демо називати вiдповiдну мiру Лебега – Стiлтьєса Fξ на B(R).

1.8.4. Функцiї вiд випадкової величини

Теорема (про обчислення розподiлу функцiї вiд випадкової ве-личини). Якщо випадкова величина ξ має функцiю розподiлу Fξ(x), афункцiя g : R→ R – борелєва, то для всiх B ∈ B(R)

IP(g(ξ) ∈ B) = Fξ(g(−1)(B)),

де g(−1)(·) – прообраз вiдображення g.Доведення є очевидним наслiдком теореми про обчислення ймовiрно-

стей, пов’язаних iз випадковою величиною, оскiльки за означенням про-образу вiдображення g(ξ) ∈ B = ξ ∈ g(−1)(B) ¡

Наслiдок (про збереження однакової розподiленостi). Якщо випад-ковi величини ξk, k = 1, 2, однаково розподiленi, тобто мають однаковiфункцiї розподiлу , а g – борелєва функцiя, то величини g(ξk) такожоднаково розподiленi.

Доведення. Якщо F – спiльний розподiл випадкових величин ξk (тоб-то породжена мiра Лебега – Стiлтьєса ), то

IP(g(ξ1) ∈ B) = F (g(−1)(B)) = IP(g(ξ2) ∈ B), ∀B ∈ B(R) ¡Наслiдок (про розподiл лiнiйного перетворення випадкової вели-

чини). Для лiнiйної функцiї g(x) = a+bx, b > 0, функцiя розподiлу лiнiй-ного перетворення ζ = a + bξ має вигляд IP(ζ < x) = IP(ξ < (x− a)/b) =Fξ((x− a)/b). Доведення очевидне ¡

1.9. Абсолютно неперервнi величини

Дискретна функцiя розподiлу (функцiя розподiлу дискретної випадко-вої величини ) є сталою в кожному околi своєї точки неперервностi тазбiгається з сумою своїх стрибкiв на iнтервалi (−∞, x). Функцiя розпо-дiлу простої величини чисто розривна та кусково-стала. Дiйсно, якщо


величина ξ набуває значень xn, n ≥ 1 iз iмовiрностями pn, n ≥ 1, то:Fξ(x) = IP

(⋃n: xn<x

ξ = xn)

=∑

n: xn<xpn.

Вправи(1) Функцiя розподiлу має не бiльш нiж злiченну множину точок розриву.(2) Довести, що неперервна функцiя розподiлу рiвномiрно неперервна.(3) Для випадкових величин ξ1, ξ2 вiдомi ймовiрностi IP(max(ξ1, ξ2) = a),

IP(min(ξ1, ξ2) = a), IP(ξ1 = a). Обчислити ймовiрнiсть IP(ξ2 = a).(4) Точка x ∈ R називається точкою зростання функцiї розподiлу F, якщо

F (x+ε) > F (x−ε) для всiх ε > 0. Множина точок зростання називається носi-єм цiєї функцiї. (а) Побудуйте приклад дискретної функцiї розподiлу, носiй якоїзбiгається з R. (б) Довести, що носiй довiльної функцiї розподiлу є замкненоюмножиною. (в) Якщо функцiя розподiлу F неперервна, то її носiй є доверше-ною множиною, тобто у будь-якому околi довiльної його точки мiститься хоча бодна iнша його точка. (г) Для довiльної замкненої множини C ⊂ R побудуватифункцiю розподiлу, що має носiй C.

1.9.1. Абсолютно неперервнi функцiї розподiлу

Наступний клас мiстить виключно неперервнi функцiї розподiлу.Означення. Випадкова величина ξ та її функцiя розподiлу Fξ нази-

ваються абсолютно неперервними, якщо iснує функцiя fξ(x) така, що

Fξ(x) =w x

−∞fξ(y)dy, ∀x ∈ R.

Iнтеграл у цьому означеннi слiд розумiти як:(а) iнтеграл Рiмана – Стiлтьєса для кусково-неперервної функцiї fξ(x),(б) iнтеграл Лебега – Стiлтьєса для вимiрної функцiї fξ(x).

Означення. Функцiя fξ(x) називається щiльнiстю розподiлу випад-кової величини ξ та функцiї розподiлу Fξ.

Зауваження. Поняття iнтеграла Лебега як часткового випадку мате-матичного сподiвання разом iз його основними властивостями викладененижче в роздiлi про загальне означення математичного сподiвання.

З нормованостi та монотонностi функцiї розподiлу випливають такiвластивостi щiльностi:

(1 –невiд’ємнiсть) fξ(x) ≥ 0 та(2 –нормованiсть)

r∞−∞ fξ(y)dy = 1.

Будь-яка невiд’ємна iнтегровна нормована функцiя є щiльнiстю певноїфункцiї розподiлу, оскiльки з властивостей iнтегралу (Рiмана або Лебега)


випливають характеристичнi властивостi (1 – 3) функцiї розподiлу.Якщо функцiя розподiлу диференцiйовна, то з формули Ньютона –

Лейбнiца (для iнтеграла Рiмана) або ж iз теореми Радона – Нiкодима(для iнтеграла Лебега) випливає, що щiльнiсть (майже всюди) збiгаєтьсяз похiдною функцiї розподiлу

fξ(x) = F ′ξ(x) = dFξ(x)/dx.

В кожнiй точцi неперервностi x за теоремою про середнє має мiсцезображення IP(x ≤ ξ < x + h) =

r x+h

xfξ(y)dy = hfξ(x) + o(h), h → 0, тому

fξ(x) можна iнтерпретувати як ”щiльнiсть iмовiрностi” в околi точки x.

1.9.2. Обчислення ймовiрностей через щiльнiстьрозподiлу

Теорема (про обчислення ймовiрностей, пов’язаних iз неперерв-ною величиною). Якщо випадкова величина ξ абсолютно неперервна зщiльнiстю fξ(x), то

IP(ξ ∈ B) =w

Bfξ(x)dx, ∀B ∈ B(R).

Доведення. Шукана рiвнiсть виконується за означенням для напiвiн-тервалiв B = (−∞, x). З iншого боку, обидвi частини рiвностi як функцiїB є сигма-адитивними мiрами. Тому за теоремою Каратеодорi про продов-ження мiри вони збiгаються на породженiй σ-алгебрi B(R) ¡

Наслiдок (про щiльнiсть лiнiйного перетворення випадкової вели-чини). Нехай випадкова величина ξ має щiльнiсть розподiлу fξ. Тодiлiнiйне перетворення ζ = a + bξ має щiльнiсть fζ(x) = b−1fξ((x− a)/b).

Доведення виводиться з означення щiльностi та з формули замiнизмiнної в iнтегралi y = (u− a)/b :

IP(ζ < x) = IP(ξ < (x− a)/b) =w (x−a)/b

−∞fξ(y)dy = b−1

w x

−∞fξ((u− a)/b)du ¡

1.9.3. Класифiкацiя функцiй розподiлу

Одночасно з класами абсолютно неперервних та дискретних функцiйрозподiлу iснує екзотичний клас сингулярних функцiй розподiлу, якi єнеперервними, але множина їх точок зростання має нульову довжину.

Очевидно, що вказанi три класи розподiлiв не перетинаються. Вияв-ляється, що їх опукла оболонка вичерпує весь клас функцiй розподiлу.


Теорема (теорема Лебега про зображення функцiї розподiлу). Длядовiльної функцiї розподiлу F iснують: дискретна Fd, абсолютно непе-рервна Fa i сингулярна Fs функцiї розподiлу та три числа α, β, γ ≥ 0,такi, що α + β + γ = 1 та

F (x) = αFd(x) + βFa(x) + γFs(x), ∀x ∈ R.

Доведення не наводиться.Вправи(1) Якщо Q = xn.n ≥ 1 множина рацiональних точок, то функцiя F (x) =∑

n≥1: xn<x 2−n є дискретною функцiєю розподiлу, що не є кусково-сталою.

(2) Функцiя Кантора визначається формулою F (x) =∑

k: xk=2 2−k на щiль-нiй множинi D точок x ∈ [0.1], якi мають рацiональний розклад у тернарнiйсистемi зчислення такого вигляду x = 0, x1...xn...2222.., де xk ∈ 0, 1, 2, тапродовжується за неперервнiстю на [0, 1]. Довести неперервнiсть F на D, одно-значнiсть продовження та сингулярнiсть цiєї функцiї.

(3) Нехай f – обмежена щiльнiсть розподiлу, що дорiвнює нулю поза iнтер-валом [0, 1], g = f/ sup f, а (ξ, η) – випадкова точка всерединi квадрату [0, 1]2.Довести, що випадкова величина ξ за умови, що η ≤ f(ξ), має щiльнiсть f.

1.9.4. Рiвномiрний розподiл

Означення. Випадкова величина ξ має рiвномiрний розподiл на вiд-рiзку [a, b], позначення ξ ' U(a, b), якщо її щiльнiсть є сталою всереди-нi цього вiдрiзку, та дорiвнює нулю поза ним.

Отже, ймовiрнiсть потрапляння величини у множину всерединi вiд-рiзку як iнтеграл вiд щiльностi пропорцiйна довжинi цiєї множини i незалежить вiд її положення – тобто виконується умова рiвноймовiрностiзначень. З умови нормованостi виводимо, що щiльнiсть розподiлу рiвно-мiрної на [a, b] випадкової величини дорiвнює

fξ(x) = (b− a)−11Ix ∈ [a,b],

а функцiя розподiлу має вигляд

Fξ(x) =

0, x < a,(x− a)/(b− a), x ∈ [a, b],

1, x > b.


1.9.5. Нормальний (Гауссiв) розподiл

(а) Означення. Випадкова величина ξ має стандартний нормальнийрозподiл, позначення ξ ' N(0, 1), якщо її щiльнiсть дорiвнює

ϕ(x) =1√2π

exp(−x2/2), ∀x ∈ R,

тобто функцiя розподiлу має вигляд

Fξ(x) = Φ(x) ≡w x

−∞ϕ(y)dy.

Зауважимо, що саме такi щiльнiсть та функцiя розподiлу є граничнимив iнтегральнiй граничнiй теоремi Муавра – Лапласа. Часто цей розпо-дiл називають також гауссовим розподiлом. Нормованiсть: Φ(∞) = 1 єнаслiдком виразу для iнтеграла Пуассона, що вiдомий з курсу математи-чного аналiзу.

(б) Означення. Випадкова величина ξ має нормальний розподiл iзпараметрами µ i σ > 0 (що позначається як ξ ' N(µ, σ2)), якщо їїможна зобразити у виглядi лiнiйного перетворення ξ = µ + σ ζ, де ζ– стандартна нормальна величина, тобто має стандартний нормальнийрозподiл. Нормальна щiльнiсть розподiлу величини ξ має вигляд

fξ(x) =1√2πσ

exp

(−(x− µ)2

2σ2

), ∀x ∈ R.

Це рiвняння можна взяти за iнше означення величини ξ.Щiльнiсть fξ(x) обчислюється за наслiдком про розподiл лiнiйного

перетворення випадкової величини.

1.9.6. Логнормальний розподiл

Означення. Випадкова величина ξ має логнормальний розподiл, по-значення ξ ' LN(µ, σ2), якщо її логарифм має нормальний розподiл звiдповiдними параметрами: ln ξ ' N(µ, σ2).

Випадкову величину ξ можна зобразити у виглядi ξ = exp(ζ), деζ ' N(µ, σ2). Оскiльки нормальний розподiл є граничним для сум вели-кого числа незалежних величин, то логнормальний розподiл є граничниму мультиплiкативних схемах, що мiстять добутки незалежних факторiв.


1.9.7. Функцiя iнтенсивностi розподiлу

Нехай випадкова величина ξ має щiльнiсть розподiлу f(x) i функцiюрозподiлу F (x). Значення f(x) (за припущенням неперервностi f) можнаiнтерпретувати як границю

f(x) = limh→0 h−1IP(x ≤ ξ < x + h) = limh→0 h−1w x+h

xf(y)dy.

На практицi одночасно з безумовною ймовiрнiстю IP(x ≤ ξ < x + h)важливе значення вiдiграє умовна ймовiрнiсть IP(x ≤ ξ < x + h | ξ ≥ x).Саме вона вказує на частку вiдмов за одиницю часу серед тих приладiв,якi не вiдмовили на початок поточного перiоду, в той час як безумовнаймовiрнiсть задає частку вiдмов серед усiх приладiв, що спостерiгалися зсамого початку випробувань. Розглянемо такий приклад. Нехай ξ – числорокiв до вiдмови електричної лампи i IP(ξ = 1) = 0.9, IP(ξ = 2) = 0.1. Уякий рiк експлуатацiї лампи перегоряють iнтенсивнiше ? Для вiдповiдi напитання припустимо, що на початку було 1000 ламп. Тодi у середньому

Рiк Початково Вiдмов Iмовiрнiсть Залишок Iнтенсивнiсть1 1000 900 900/1000=0.9 100 900/1000=0.92 100 100 100/1000=0.1 0 100/ 100=1.0

i роком найбiльш iнтенсивних вiдмов є другий рiк, а не перший.Вiдповiдним умовним аналогом щiльностi є функцiя, що дорiвнює гра-

ницi для умовних iмовiрностей

λ(x) = limh↓0 h−1IP(x ≤ ξ < x + h | ξ ≥ x).

За означенням умовної ймовiрностi

IP(x ≤ ξ < x + h | ξ ≥ x) = IP(x ≤ ξ < x + h, ξ ≥ x)/IP(ξ ≥ x) =

IP(x ≤ ξ < x + h) / IP(ξ ≥ x) = h f(x/(1− F (x)) + o(h), h → 0.

Звiдси приходимо до такого означення.Означення. Функцiєю iнтенсивностi невiд’ємної випадкової величини,

що має щiльнiсть f(x) i функцiю розподiлу F (x), називається функцiя

λ(x) = f(x)/(1− F (x)), x ≥ 0.

За означенням для всiх точок неперервностi x щiльностi f

IP(x ≤ ξ < x + h | ξ ≥ x) = hλ(x) + o(h), h → 0.

Теорема (про обчислення розподiлу через функцiю iнтенсивно-стi). Нехай випадкова величина ξ невiд’ємна, абсолютно неперервна i


має функцiю iнтенсивностi λ(x). Тодi її функцiя розподiлу та щiль-нiсть мають при x ≥ 0 вигляд

F (x) = 1− exp(−w x

0λ(y)dy

), f(x) = λ(x) exp

(−w x

0λ(y)dy

).

Доведення. Обчислимо iнтегралr x

0λ(y)dy =

r x

0(1− F (y))−1f(y)dy =

r x

0(1− F (y))−1dF (y) =

r F (x)

F (0)(1− u)−1du = − ln(1− F (x)),

iз замiною змiнної u = F (y) та урахуванням того, що щiльнiсть f(x) є(майже скрiзь) похiдною для функцiї розподiлу F (x). Розв’язком цьогорiвняння є наведена рiвнiсть для F (x). Iз монотонностi та нормованостiфункцiї розподiлу виводимо характеристичнi властивостi iнтенсивностi

λ(x) ≥ 0,w ∞

0λ(x)dx = ∞.

Далi, замiною змiнної u =r x

0λ(y)dy обчислимо iнтеграл

w t

0λ(x) exp

(−w x

0λ(y)dy

)dx = 1− exp

(−w t

0λ(y)dy

)= F (t),

звiдки за означенням щiльностi дiстанемо зображення для щiльностi ¡

1.9.8. Показниковий (експоненцiйний) розподiл

Означення. Випадкова величина ξ має показниковий розподiл (абоекспоненцiйний розподiл) iз параметром λ > 0, позначення ξ ' Exp(λ),якщо вона абсолютно неперервна, невiд’ємна i має сталу функцiю iн-тенсивностi, що дорiвнює λ.

Отже, щiльнiсть i функцiя розподiлу величини ξ дорiвнюють

f(x) = λ exp(−λx), F (x) = 1− exp(−λx), ∀x ≥ 0.

Теорема (про вiдсутнiсть пiслядiї для показникового розподiлу).Показникова випадкова величина ξ має властивiсть вiдсутностi пiсля-дiї, тобто для довiльних t, s ≥ 0 має мiсце тотожнiсть

IP(ξ ≥ t + s | ξ ≥ t) = IP(ξ ≥ s).

Цю властивiсть можна проiнтерпретувати так: за умови ”вижи-вання” показникова величина повнiстю забуває своє минуле.

Доведення теореми є очевидним наслiдком мультиплiкативностi екс-поненти exp(−λx) та означення умовної ймовiрностi:

IP(ξ ≥ t + s | ξ ≥ t) = IP(ξ ≥ t + s, ξ ≥ t) / IP(ξ ≥ t) =


IP(ξ ≥ t + s) / IP(ξ ≥ t) = exp(−λ(t + s)) / exp(−λt) = IP(ξ ≥ s) ¡Вправа. Довести, що в класi невiд’ємних та необмежених величин власти-

вiсть вiдсутностi пiслядiї мають лише показниковi величини. Вказiвка: вiдсу-тнiсть пiслядiї еквiвалентна мультиплiкативностi Q(t + s) = Q(t) Q(s) для ймо-вiрностi виживання Q(t) = IP(ξ ≥ t), а єдиним монотонним розв’язком рiвнянняQ(t + s) = Q(t) Q(s) з Q(0) = 1 є експонента.

1.9.9. Розподiл Вейбула

Важливими є розподiли зi змiнною iнтенсивнiстю.Означення. Випадкова величина ξ має розподiл Вейбула з параме-

трами λ > 0 i a > 0, якщо її функцiя iнтенсивностi є степеневою:

λ(x) = λa(λx)a−1.

Отже, при x > 0 щiльнiсть та функцiя розподiлу Вейбула мають вигляд

f(x) = λa(λx)a−1 exp(−(λx)a), F (x) = 1− exp(−(λx)a).

Функцiя розподiлу Вейбула використовується в теорiї стохастичнихмоделей як бiльш реальний замiнник показникової функцiї розподiлу,оскiльки властивiсть вiдсутностi пiслядiї у бiльшостi застосувань не єприйнятною. Дiйсно, бiльш реалiстичний характер поведiнки функцiї iн-тенсивностi полягає в тому, що на початковому етапi вона спадає (ефектпочаткових конструктивних вiдмов), лише потiм наступає перiод вiдносноїсталостi, що змiнюється етапом неухильного зростання (ефект старiння).

1.9.10. Розподiл Гомпертца

Означення. Випадкова величина ξ має розподiл Гомпертца з параме-трами λ, µ > 0 i a > 0, якщо її функцiя iнтенсивностi є показниковою:

λ(x) = λ + µ exp(αx), x ≥ 0.

Розподiл Гомпертца використовується у демографiї як математична мо-дель тривалостi життя людини.

1.9.11. Бета-розподiл

Означення. Випадкова величина ξ має бета-розподiл на (0, 1) з па-раметрами α, β > 0, якщо її щiльнiсть розподiлу має вигляд:

f(x) = xα−1(1− x)β−1/B(α, β), x ∈ (0, 1),


де B(α, β) – повна бета-функцiя.При α = β = 1 даний розподiл збiгається з рiвномiрним розподiлом. У

iнших ипадках вiн вiдбиває можливу помiрну варiативнiсть щiльностi.

1.9.12. Розподiл Парето

Зазначенi вище функцiї розподiлу прямують до одиницi при x → ∞ зекспоненцiйною швидкiстю. Для розподiлу Парето ця швидкiсть є степе-невою, що є суттєвим у деяких моделях.

Означення. Випадкова величина ξ має розподiл Парето, якщо длядеяких λ > 0, α > 0 її функцiя розподiлу при x ≥ 1/λ дорiвнює

IP(ξ < x) = 1− (λx)−α.

1.9.13. Розподiл Кошi

Означення. Випадкова величина ξ має розподiл Кошi, якщо її мо-жна зобразити у виглядi ξ = tg ϕ, де випадковий кут ϕ є рiвномiрнорозподiленим на вiдрiзку (−π/2, π/2).

Оскiльки ϕ ∈ (−π/2, π/2), то

IP(ξ < x) = IP(ϕ < arctg x) =1

2+

1

πarctg x, x ∈ R,

i щiльнiсть ξ має вигляд fξ(x) = 1π

11+x2 , x ∈ R.

Вправи(1) Випадкова величина ξ має неперервну функцiю розподiлу F (x). Довести,

що випадкова величина F (ξ) рiвномiрно розподiлена на вiдрiзку [0, 1].

(2) Випадкова величина ξ рiвномiрно розподiлена на [0, 1]. Довести, що ви-падкова величина − ln ξ має показниковий розподiл.

(3) Випадкова величина ξ рiвномiрно розподiлена на [0, 1]. Для довiльноїфункцiї розподiлу F позначимо лiву обернену F (−1)(y) ≡ sup(x : F (x) < y).Довести, що випадкова величина F (−1)(ξ) має функцiю розподiлу F.

(4) Випадкова величина ξ має показниковий розподiл з параметром λ.(а) Довести, що при α > 0 величина ξ1/α має розподiл Вейбула з параметра-ми λ1/α, α. (б) Знайти розподiл випадкової величини [ξ].

(5) Випадкова величина ξ має розподiл Кошi. Довести, що величини: (а) 1/ξ,(б) 2ξ/(1− ξ2), (в) (3ξ − ξ3)/(1− 3ξ2) мають розподiл Кошi.


1.10. Математичне сподiвання дискретноївипадкової величини

Дискретний розподiл або функцiя розподiлу випадкової величини єдосить складними функцiональними характеристиками. Тому доцiльнорозглянути бiльш простi числовi характеристики випадкових величин.Перша з них – математичне сподiвання або ж середнє значення, хара-ктеристика положення.

Розглянемо такий приклад. Нехай проста випадкова величина ζ на-буває значень x1, ..., xm з iмовiрностями p1, ..., pm. Припустимо, що спо-стерiгаються n незалежних реалiзацiй ζ1, ..., ζn величини ζ . Тодi сукупнесереднє цих значень можна подати у виглядi

µn =1

n

∑n

k=1ζk =

1

n

∑n

k=1

∑m

i=1xi1Iζk=xi =

1

n

∑m

i=1xi

∑n

k=11Iζk=xi =

∑m

i=1xi

νn(xi)

n,

де νn(xi) – кiлькiсть тих спостережень iз числа n, що дорiвнюють xi. Заприпущенням стiйкостi частот, з якого ми постулювали поняття ймовiр-ностi, νn(xi)/n → IP(ζ = xi) = pi при n →∞. Тому µn →

∑xi pi, n →∞.

Отже, сума в правiй частинi є граничною для вибiркових середнiх i маєвiдiгравати суттєве значення.

Означення. Нехай ξ – дискретна випадкова величина з множиноюрiзних значень xn, n ≥ 1 та розподiлом (pn ≡ IP(ξ = xn), n ≥ 1).Математичним сподiванням дискретної величини ξ називається сума ряду

IEξ ≡∑

n≥1xn pn,

за умови, що ряд збiгається абсолютно (для простих величин це так).Зауваження. Враховуючи наведену вищу асимптотичну властивiсть,

а також для скорочення, математичне сподiвання випадкової величиниiнколи називають її середнiм значенням. Хоча з наведених далi прикла-дiв неважко зробити висновок, що середнє, як значення, може нiколи ненабуватися.

Вiдмiтимо також, що дане означення поширюється на випадок, колидискретна випадкова величина ξ набуває векторнi значення: xn ⊂ Rd.

Зауваження. Позначення IEξ походить вiд Expectation. Деякi авторипозначають математичне сподiвання величини ξ через IMξ. Є.Б.Динкiн таВ.М.Шуренков запропонували використовувати символ IPξ.

1.10.Математичне сподiвання дискретної випадкової величини 61

1.10.1. Математичне сподiвання функцiївiд дискретної величини

Теорема (про обчислення математичного сподiвання функцiї вiддискретної величини). Нехай ξ – дискретна випадкова величина з мно-жиною рiзних значень xn, n ≥ 1, а g – числова функцiя. Тодi

IEg(ξ) =∑

n≥1g(xn) IP(ξ = xn).

Зауважимо, що на вiдмiну вiд означення математичного сподiваннясеред значень g(xn) можуть бути однаковi.

Доведення. Випадкова величина ζ = g(ξ) дискретна. Позначимо черезzn = g(xj), j ≥ 1 множину всiх рiзних її значень. Тодi за означенням

IEg(ξ) =∑

n zn IP(g(ξ) = zn) =∑

n zn IP(∪ j: g(xj) = znξ = xj) =∑

n zn

∑j: g(xj) = zn

IP(ξ = xj) =∑

n

∑j: g(xj) = zn

g(xj)IP(ξ = xj) =∑

j g(xj)IP(ξ = xj) ¡

1.10.2. Властивостi математичного сподiваннядискретної величини

Теорема (про властивостi математичного сподiвання дискретноївеличини). Нехай ξ, η – дискретнi випадковi величини. Математичнесподiвання має такi властивостi:

(а – позитивнiсть) Якщо ξ ≥ 0, то IEξ ≥ 0.(б – однорiднiсть) IE(cξ) = cIEξ.(в – адитивнiсть) IE(ξ + η) = IEξ + IEη.(г – монотоннiсть) Якщо ξ ≥ η, то IEξ ≥ IEη.(д – неперервнiсть знизу) Нехай ξn, η – простi величини такi, що

0 ≤ ξn ↑ ξ ≡ lim ξn ≥ η при всiх ω. Тодi limn→∞ IEξn ≥ IEη.ДоведенняВластивiсть (а) очевидна, оскiльки всi значення ξ невiд’ємнi.Твердження (б) випливає з означення, оскiльки величина cξ набуває

значень cx1, ..., cxn, ... iз тими самими ймовiрностями.Для доведення (в) припустимо, що ξ набуває рiзнi значення xi, а η

набуває рiзних значень yj. За теоремою про обчислення математично-го сподiвання функцiї вiд дискретної величини (ξ, η), яка дорiвнює сумig((ξ, η)) = ξ + η:


IE(ξ + η) =∑

i,j(xi + yj) IP(ξ = xi, η = yj) =∑

i,j xi IP(ξ = xi, η = yj) +∑

i,j yj IP(ξ = xi, η = yj) =∑

i xi

∑j IP(ξ = xi, η = yj) +

∑j yj

∑i IP(ξ = xi, η = yj) =

∑i xi IP(ξ = xi) +

∑j yj IP(η = yj) = IEξ + IEη.

Рiвнiсть кратних та повторних сум випливає з абсолютної збiжностi ре-зультуючих рядiв. Передостання рiвнiсть є наслiдком сигма-адитивностiймовiрностi та таких тотожностей: ξ = xi = ∪jξ = xi, η = yj, iη = yj = ∪iξ = xi, η = yj, де доданки справа попарно несумiснi.

Монотоннiсть (г) є очевидним наслiдком (а) та (в):

0 ≤ IE(ξ − η) = IEξ − IEη.

Для доведення (д) зауважимо, що iснування границi випливає з моно-тонностi послiдовностi IEξn внаслiдок (г).

Розглянемо для довiльного ε > 0 випадковi подiї An = ξn ≥ η− ε. Заумовою An ↑ Ω, звiдки за неперервнiстю ймовiрностi IP(An) ↑ 1, n → ∞.Оскiльки величина η проста, то iї найбiльше значення m = maxω∈Ω η(ω) єскiнченною сталою.

Для всiх ω за означенням An справедлива нерiвнiсть

ξn ≥ (η − ε)1IAn ≥ η1IAn − ε =

η − η1IAn− ε ≥ η − 1IAn

max η − ε = η −m 1IAn− ε,

отже, за монотоннiстю математичного сподiвання маємо при n →∞lim IEξn ≥ lim IE(η −m 1IAn

− ε) = IEη −m lim IP(An)− ε = IEη − ε,

оскiльки IP(An) → 0. Переходячи в останнiй нерiвностi до границi ε → 0,доводимо потрiбну нерiвнiсть ¡

1.10.3. Приклади обчислення математичногосподiвання дискретних величин

1. Iндикаторна величинаIE1IA = 1 · IP(A) + 0 · IP(A) = IP(A).2. Рiвномiрний розподiлНехай IP(ξ = k) = 1/n, k = 1, n. Тодi IEξ =

∑nk=1 k/n = (n + 1)/2.

3. Бiномiальний розподiлНехай ξ ' B(n, p). Тодi IEξ = np. Наведемо три способи обчислення.

(а) IEξ =∑n

k=0 kCkn pkqn−k = np

∑nk=1

(n−1)!(k−1)!(n−k)!

pk−1qn−k = np.

1.11. Загальне означення математичного сподiвання 63

(б) Розглянемо генератрису: ϕ(z) ≡ IEzξ =∑n

k=0 zkCkn pkqn−k =

(pz + q)n. Оскiльки IEξ = ϕ′(z) |z=1, то IEξ = np(pz + q)n−1 |z=1= np.(в) Нехай χk = 1IYk

– iндикаторна величина успiху в k-му випро-буваннi Бернуллi. Тодi IEχk = p i ξ =

∑nk=1 χk, отже, за адитивнiстю

математичного сподiвання IEξ =∑n

k=1 IEχk = np.4. Геометричний розподiл. Для ξ ' G(p) за методом генератрисIEξ =

∑k≥1 k qk−1p = p

(∑k≥1 qk

)′q

= p/(1− q)2 = 1/p.

5. Розподiл Пуассона. Для ξ ' Π(λ) за означеннямIEξ =

∑k≥0 k λk

k!e−λ = λ

∑k≥1

λk−1

(k−1)!e−λ = λ.

Вправи(1) Знайти математичне сподiвання числа листiв, що дiйдуть до адресата, у

задачi про збiг iз роздiлу про дискретний iмовiрнiсний простiр.(2) k куль послiдовно кидають навмання у n урн. Знайти математичне сподi-

вання числа непорожнiх урн.(3) Довести, що математичне сподiвання випадкової величини з гiпергеоме-

тричним розподiлом та параметрами N, n,m дорiвнює nm/N.(4) Довести, що для цiлозначної невiд’ємної величини

IEξ =∑

n≥1 IP(ξ ≥ n) =∑

n≥0 IP(ξ > n).(5) Нехай IP(B) > 0, а ξ – дискретна випадкова величина. Визначимо умовне

математичне сподiвання IE(ξ | B) ≡ IE(ξ1IB)/IP(B). Довести, що: (а) для ньо-го виконуються всi властивостi математичного сподiвання дискретної величини,(б) IE(ξ | B) =

∑n≥1 xnIP(ξ = xn | B), де xn, n ≥ 1 – значення ξ.

(6) Довести, що для простої невiд’ємної величини ξlimn→∞ IEξn+1/IEξn = limn→∞ n

√IEξn = maxω ξ(ω).

1.11. Загальне означення математичногосподiвання

1.11.1. Невiд’ємнi випадковi величини

Нагадаємо, що запис ξn ↑ ξ означає монотонну збiжнiсть випадковихвеличин: ξn ≤ ξn+1, limn→∞ ξn = ξ, ∀ω ∈ Ω.

Означення. Нехай ξ ≥ 0. Математичним сподiванням невiд’ємної ви-падкової величини ξ назвемо монотонну границю

IEξ = limn→∞ IEξn ≤ ∞,

де ξn – простi величини такi, що 0 ≤ ξn ↑ ξ, n →∞.


Зауваження. Iснування вказаної послiдовностi ξn випливає з теоремипро апроксимацiю випадкових величин простими, а iснування скiнченоїабо нескiнченної границi математичних сподiвань IEξn ↑ IEξ, n → ∞, єнаслiдком монотонностi цiєї послiдовностi. Остання виводиться з твер-дження монотонностi теореми про властивостi математичного сподiваннядискретної величини.

1.11.2. Коректнiсть визначення математичногосподiвання

Теорема (про коректнiсть визначення математичного сподiвання).Границя lim IEξn в означеннi математичного сподiвання iснує, скiнчен-на або нескiнченна, i не залежить вiд вибору простих величин ξn та-ких, що 0 ≤ ξn ↑ ξ. Математичне сподiвання IEξ визначене коректно.

Доведення. Iснування границi обґрунтовано в зауваженнi. Для дове-дення її єдиностi припустимо, що одночасно з ξn простi величини ξ′n такi,що 0 ≤ ξ′n ↑ ξ. Тодi 0 ≤ ξn ↑ ξ ≥ ξ′k для кожного k. Отже, за властивiстю(д) неперервностi знизу математичного сподiвання дискретної величи-ни має мiсце нерiвнiсть limn→∞ IEξn ≥ IEξ′k. Переходячи тут до границik → ∞, отримуємо limn→∞ IEξn ≥ limk→∞ IEξ′k. Переставивши ξ′n i ξn мi-сцями, виводимо рiвнiсть lim IEξn = lim IEξ′k, незважаючи на скiнченнiстьчи нескiнченнiсть границь ¡

Теорема (про iнварiантне зображення математичного сподiвання).Справедлива рiвнiсть

IEξ = sup (IEη : η проста , 0 ≤ η ≤ ξ) .

Доведення. Якщо η проста, 0 ≤ η ≤ ξ, а 0 ≤ ξn ↑ ξ, ξn – простi, товеличини max(η, ξn) ↑ ξ i також простi. Звiдси IEη ≤ IE max(η, ξn) ↑ IEξза монотоннiстю математичного сподiвання дискретних величин та затеоремою про коректнiсть визначення математичного сподiвання, отжеIEη ≤ IEξ. Тому верхня межа в правiй частинi рiвностi теореми не пе-ревищує IEξ.

З iншого боку, ця верхня межа досягається на деякiй послiдовностi заозначенням верхньої межi i вiдповiдна границя не менша за IEξ ¡

1.11.3. Iнтегровнi невiд’ємнi випадковi величини

Означення. Невiд’ємна випадкова величина ξ називається iнтегров-ною, якщо IEξ < ∞.


Теорема (про властивостi iнтегровних невiд’ємних величин).(а) Якщо 0 ≤ ξ ≤ ζ i ζ iнтегровна, то ξ iнтегровна i IEξ ≤ IEζ.

(б) Якщо 0 ≤ ξ, ζ iнтегровнi, то сума ξ + ζ також iнтегровна i

IE(ξ + ζ) = IEξ + IEζ.

Доведення(а) Випливає з теореми про iнварiантне зображення математичного

сподiвання, оскiльки вiдповiднi множини простих величин є вкладеними:

η : η проста, 0 ≤ η ≤ ξ ⊂ η : η проста, 0 ≤ η ≤ ζ,а операцiї обчислення математичного сподiвання дискретної величини таобчислення верхньої межi числової множини монотоннi.

(б) Якщо 0 ≤ ξn ↑ ξ та 0 ≤ ζn ↑ ζ, n → ∞, де ξn, ζn – простi, то0 ≤ ξn+ζn ↑ ξ+ζ, причому сума ξn+ζn є простою випадковою величиною.Отже, з теорем про коректнiсть визначення математичного сподiвання тапро властивостi математичного сподiвання дискретної величини

IE(ξ + ζ) = lim IE(ξn + ζn) = lim IEξn + lim IEζn = IEξ + IEζ < ∞за властивiстю границi суми збiжних числових послiдовностей ¡

1.11.4. Математичне сподiвання знакозмiннихвипадкових величин

Нагадаємо, що додатною та вiд’ємною частинами знакозмiнної вели-чини ξ називаються невiд’ємнi випадковi величини

ξ+ = max(ξ, 0), ξ− = max(−ξ, 0),

З означення отримуємо (вправа): ξ = ξ+−ξ−, ξ+ ·ξ− = 0, ξ+ +ξ− = |ξ| .Означення. Знакозмiнна випадкова величина ξ називається iнте-

гровною, якщо невiд’ємна величина |ξ| = ξ+ + ξ− є iнтегровною. За цiєїумови математичним сподiванням ξ називається число

IEξ = IEξ+ − IEξ−.

Зауваження. З теореми про властивостi iнтегровних невiд’ємних вели-чин виводимо, що iнтегровнiсть ξ еквiвалентна одночаснiй iнтегровностiвипадкових величин ξ±.


1.11.5. Властивостi математичного сподiвання

Означення. Висловлювання щодо результату стохастичного експе-рименту виконується майже напевне (скорочення: м.н.), якщо ймовiр-нiсть множини сприятливих елементарних подiй дорiвнює одиницi.

Теорема (про властивостi математичного сподiвання).(1 – нормованiсть) IEc = c.

(2 – центрованiсть) Якщо ξ = 0 м.н., то IEξ = 0.

(3 – невiд’ємнiсть) Якщо ξ ≥ 0 м.н., то IEξ ≥ 0.

(4 – додатнiсть) Якщо ξ ≥ 0, i IEξ = 0, то ξ = 0 м.н.(5 – адитивнiсть) Якщо ξ, ζ – iнтегровнi, то IE(ξ + ζ) = IEξ + IEζ.(6 – однорiднiсть) IE(cξ) = cIE(ξ).

(7 – монотоннiсть) Якщо ξ ≤ ζ м.н., то IEξ ≤ IEζ.

(8 – iнварiантнiсть) Якщо ξ = ζ м.н., то IEξ = IEζ.

(9 – опуклiсть) |IEξ| ≤ IE |ξ| .Зауважимо, що властивiсть лiнiйностi математичного сподiвання по-

лягає в однорiдностi та адитивностi.ДоведенняРiвнiсть (1) очевидна, адже стала є простою випадковою величиною.При доведеннi (2) можна вважати, що ξ ≥ 0, оскiльки в загальному

випадку з ξ = 0 м.н.та зi включень ξ = 0 ⊂ ξ± = 0 випливає ξ± = 0м.н., а тодi за означенням IEξ = IEξ+ − IEξ− = 0. Далi, з 0 ≤ ζ ≤ ξ, деζ – проста, а ξ = 0 м.н., виводимо, що ζ = 0 м.н. Тодi ζ =

∑nk=1 ck1IAk

, деc1 = 0, IP(A1) = 1, IP(Ak) = 0,∀k > 1, i IEζ = 0 · 1 + 0 = 0. Тому за теоремоюпро iнварiантне зображення математичного сподiвання IEξ = 0.

В умовах (3) маємо ξ− = 0 м.н. i внаслiдок (2) IEξ− = 0. Оскiлькиξ+ ≥ 0, з невiд’ємностi математичного сподiвання дискретної величини татеореми про iнварiантне зображення математичного сподiвання дiстанемоIEξ+ ≥ 0. Тому IEξ = IEξ+ − IEξ− ≥ 0.

Для доведення (4) припустимо, що ξ 6= 0 м.н. Тодi IP(ξ ≥ ε) > 0 длядеякого ε > 0, тому що

ξ ≥ 0 ∩ ξ 6= 0 = ξ > 0 = ∪k>0ξ > 1/k.Оскiльки ξ ≥ ε 1I ξ ≥ ε для всiх ω, то за теоремою про iнварiантне

зображення математичного сподiвання

IEξ ≥ IEε 1I ξ ≥ ε = ε IP(ξ ≥ ε) > 0,

що суперечить умовi.


Для доведення (5) зауважимо, що у випадку невiд’ємних ζ, ξ ≥ 0 ади-тивнiсть доведена вище. Для знакозмiнних величин запишемо тотожнiсть

ξ+ + ζ+ − (ξ + ζ)+ = ξ− + ζ− − (ξ + ζ)− ≡ η.

Оскiльки (x + y)+ ≤ x+ + y+, то 0 ≤ η ≤ ξ+ + ζ+, отже η – невiд’ємнаi iнтегровна за теоремою про властивостi iнтегровних невiд’ємних вели-чин. З адитивностi математичного сподiвання для невiд’ємних величинвипливає рiвнiсть IE(ξ± + ζ± − η) = IE(ξ± + ζ±)− IEη.

З урахуванням означення η звiдси остаточно виводимо

IE(ξ + ζ) = IE(ξ + ζ)+ − IE(ξ + ζ)− =

IE(ξ+ + ζ+ − η)− IE(ξ− + ζ− − η) =

IE(ξ+ + ζ+)− IEη − IE(ξ− + ζ−) + IEη =

IEξ+ + IEζ+ − IEξ− − IEζ− = IEξ + IEζ.

Для c ≥ 0, ξ ≥ 0 доведення (6) випливає зi збiжностi 0 ≤ cξn ↑ cξ таоднорiдностi математичного сподiвання дискретних величин :

IE(cξ) = lim IE(cξn) = lim cIE(ξn) = cIEξ.

У загальному випадку скористаємося адитивнiстю (5) та тотожнiстюcξ = c+ξ+ − c−ξ+ − c+ξ− + c−ξ−.

Доведення твердження (7). За умовою ζ − ξ ≥ 0 м.н., тому внаслiдок(3) та (5, 6) IEζ − IEξ = IE(ζ − ξ) ≥ 0.

Доведення (8) випливає з твердження (7), якщо його застосувати донерiвностей ξ ≤ ζ, −ξ ≤ −ζ.

Властивiсть (9) отримуємо з (7) та нерiвностей − |ξ| ≤ ξ ≤ |ξ| ¡

1.11.6. Перехiд до границi пiд знакомматематичного сподiвання

У даному роздiлi збiжнiсть випадкових величин будемо розумiти якпоточкову, тобто збiжнiсть при всiх ω ∈ Ω.

Теорема (теорема Лебега про монотонну збiжнiсть). Нехай вели-чини (ξn) такi, що: 0 ≤ ξn ↑ ξ, n →∞, для всiх ω. Тодi IEξn ↑ IEξ ≤ ∞.

Доведення. За теоремою про апроксимацiю випадкових величин про-стими оберемо для кожного n простi 0 ≤ ζnk ↑ ξn при k →∞. Позначимо

ζk = maxn≤k ζnk.


Тодi ζk – простi невiд’ємнi випадковi величини, та не спадають:

ζk = maxn≤k

ζnk ≤ maxn≤k

ζn,k+1 ≤ maxn≤k+1

ζn,k+1 = ζk+1.

Крiм того, з нерiвностi ζnk ≤ ξn та монотонностi ξn виводимо, що

ζk = maxn≤k ζnk ≤ maxn≤k ξn = ξk.

Томуζnk ≤ ζk ≤ ξk ≤ ξ, ∀n ≤ k, ∀ω.

Позначимо монотонну границю ζ = lim ζk. Тодi з останнiх нерiвностей приk → ∞ отримуємо ξn ≤ ζ ≤ ξ, звiдки при n → ∞ маємо ζ = ξ. За те-оремою про коректнiсть визначення математичного сподiвання lim IEζk =IEζ = IEξ. Отже, з тих же нерiвностей за монотоннiстю математичногосподiвання

IEξ = lim IEζk ≤ lim IEξk ≤ IEξ,

тобто lim IEξk = IEξ, незалежно вiд того, скiнченне IEξ чи нi ¡Теорема (теорема Лебега про мажоровану збiжнiсть). Нехай вели-

чини (ξn) мажоруються iнтегровною величиною: |ξn| ≤ η, та IEη < ∞.(а –Нерiвностi Фату). Тодi

IE limn→∞ξn ≤ limn→∞IEξn ≤ limn→∞IEξn ≤ IE limn→∞ξn.

(б –Мажорована збiжнiсть) Якщо додатково ξn → ξ, n →∞, то

IEξn → IEξ, IE |ξn − ξ| → 0, n →∞.

Зауваження. Для справедливостi лiвої нерiвностi Фату достатньо ви-конання умови невiд’ємностi: ξn ≥ 0.

Доведення(а) Доведемо лiву нерiвнiсть. Позначимо ζn = inf k≥n ξk.За означенням нижньої границi ζn ↑ limξn i ζn ≥ inf k≥n(−η) = −η.

Отже, 0 ≤ ζn + η ↑ lim ξn + η. За адитивнiстю математичного сподiваннята за теоремою Лебега про монотонну збiжнiсть

IElimξn + IEη = IE(limξn + η) = IE lim(ζn + η) = lim IE(ζn + η) =

lim IEζn + IEη = limIEζn + IEη ≤ limIEξn + IEη,

оскiльки IEζn ≤ IEξn за монотоннiстю математичного сподiвання.Звiдси випливає лiва нерiвнiсть Фату. Дане доведення справедливе

також для довiльних невiд’ємних величин ξn, якщо в ньому обрати η ≡ 0.Права нерiвнiсть Фату виводиться з лiвої пiсля пiдстановки −ξn за-

мiсть ξn та lim(−ξn) = −limξn, lim(−ξn) = −limξn.


Перше твердження (б) випливає з (а), якщо врахувати, що за означе-нням границi числової послiдовностi limξn = limξn = ξ, звiдки

IEξ = IE limξn ≤ lim IEξn ≤ lim IEξn ≤ IE limξn = IEξ,

тобто всi нерiвностi тут є рiвностями.Для доведення другого твердження пункту (б) теореми застосуємо

перше до мажоровано збiжної послiдовностi

ξ′n = |ξn − ξ| → 0, 0 ≤ ξ′n ≤ 2 η ¡Вправи(1) Випадкова величина ξ iнтегровна тодi й тiльки тодi, коли при деякому

h > 0 абсолютно збiгається ряд I(ξ, h) ≡ ∑n∈Z nh IP(nh ≤ ξ < nh + h). Ця

збiжнiсть не залежить вiд h > 0, причому IEξ = limh→0 I(ξ, h).(2) Довести справедливiсть формули для математичного сподiвання дискре-

тної (не простої) випадкової величини.(3) Нехай ξn → ξ i ηn → η, n →∞, м.н., та |ξn| ≤ ηn, причому IEηn → IEη.

Довести, що IEξn → IEξ, n →∞.(4) Нехай ξ – iнтегровна випадкова величина. Довести абсолютну неперерв-

нiсть iнтеграла Лебега: для кожного ε > 0 знайдеться δ > 0 таке, що з A ∈ F,IP(A) ≤ δ випливає, що |IEξ1IA| ≤ ε.

(5) Випадкова величина ξ називається узагальнено iнтегровною за умови,коли min(IEξ+, IEξ−) < ∞. В цьому разi IEξ ≡ IEξ+ − IEξ− визначено коректно.Вивести для таких величин твердження теореми про властивостi математичногосподiвання.

(6) Довести, що IP(limAn) ≤ lim IP(An) ≤ lim IP(An) ≤ IP(limAn).(7) Довести σ-адитивнiсть математичного сподiвання: для iнтегровної вели-

чини ξ та попарно несумiсних An ∈ F : IEξ1I∪n≥1An =∑

n≥1 IEξ1IAn .(8) Довести, що в теоремi про монотонну збiжнiсть умову 0 ≤ ξ1 можна

замiнити на η ≤ ξ1 з iнтегровною η.(9) Навести приклад послiдовностi (ξn, n ≥ 1) випадкових величин таких,

що ξn → 0, n →∞, але IEξn ≥ 1 внаслiдок порушення умови мажорованостi.

1.11.7. Абстрактний iнтеграл Лебега

Якщо ξ – iнтегровна або невiд’ємна випадкова величина на ймовiрнi-сному просторi (Ω, F, IP), то для її математичного сподiвання використо-вують також таке позначення:w

Ωξ(ω)IP(dω) ≡ IEξ.


Вимiрним простором будемо називати пару, що складається з абстра-ктної множини Ω з видiленою сигма-алгеброю F її пiдмножин, або жтрiйку, з додатковим третiм елементом – мiрою µ на F.

Означення. Iнтегралом Лебега за мiрою µ вiд вимiрної функцiї ξ(ω)на вимiрному просторi (Ω, F, µ) називається числоw

Ωξ(ω)µ(dω) ≡ µ(Ω)

wΩ

ξ(ω)IP(dω),

у припущеннi невiд’ємностi або iнтегровностi ξ, де ймовiрнiсть IP на F

визначається як IP(A) = µ(A)/µ(Ω). Iнтегровна величина ξ називаєтьсяiнтегровною за мiрою µ.

Iнтегралом вiд ξ на множинi A ∈ F :wA

ξ(ω)IP(dω)

називається iнтеграл на Ω вiд функцiї ξ(ω)1IA(ω).Зауваження. Iнтеграл Лебега має всi властивостi, що викладенi в те-

оремах: про коректнiсть визначення математичного сподiвання, про iнва-рiантне зображення математичного сподiвання, про властивостi iнтегров-них невiд’ємних величин, про властивостi математичного сподiвання, втеоремi Лебега про монотонну збiжнiсть, теоремi Лебега про мажорованузбiжнiсть. Те саме стосується iнтегралiв Лебега – Стiлтьєса та за мiроюЛебега нижче.

1.11.8. Iнтеграли Лебега – Стiлтьєсата за мiрою Лебега

Означення. Нехай F – нормована мiра Лебега – Стiлтьєса на B(R),а g(x) – борелєва функцiя. Iнтеграл Лебега – Стiлтьєса вiд функцiї g замiрою F визначається як математичне сподiвання випадкової величиниg : Ω → R на ймовiрнiсному просторi (Ω, F, IP) ≡ (R,B(R), F ), тобто якмонотонна границя iнтегралiв вiд апроксимуючих простих борелєвихфункцiй iз лiнiйним продовженням на знакозмiннi борелєвi функцiї.

Обидва позначення для iнтеграла Лебега – Стiлтьєсаw ∞−∞

g(x)dF (x) =wR

g(x)F (dx)

мають однаковий змiст.Iнтегралом Лебега – Стiлтьєса вiд борелєвої функцiї g за довiльною

скiнченною мiрою µ на B(R) називається добуток числа µ(R) на iнтегралза нормованою мiрою µ(·)/µ(R).


Iнша конструкцiя такого iнтегралу використовує поняття невласноїфункцiї розподiлу – неспадної обмеженої неперервної злiва функцiї, щовiдрiзняється вiд функцiї розподiлу лише властивiстю нормованостi, тоб-то на додатний множник. Доводиться, що кожна мiра на B(R) породжу-ється приростами деякої невласної функцiї розподiлу. Iнтеграл Лебега зацiєю мiрою називається iнтегралом Лебега – Стiлтьєса.

Нагадаємо, що iнтегралом Рiмана – Стiлтьєса на [a, b] вiд кусково-неперервної функцiї g називається спiльна границя верхнiх та нижнiхiнтегральних сум вигляду

limd(π)→0

∑n

k=0gk(F (ak+1)− F (ak)) ≡ (LS)

w[a,b]

g(x)F (dx),

де π = a = a0 < a1 < .. < an+1 = b – розбиття вiдрiзку [a, b] з дiаметромd(π), а gk – вiдповiдно верхнi або нижнi межi функцiї g на вiдрiзках[ak, ak+1] цього розбиття.

Теорема (про збiжнiсть iнтегралiв Рiмана – Стiлтьєса та Лебега– Стiлтьєса). Нехай F – неспадна обмежена неперервна злiва функцiя,функцiя g – кусково-неперервна на iнтервалi [a, b], i її точки розривувiдрiзняються вiд точок розриву F. Тодi iнтеграл Рiмана – Стiлтьєсата iнтеграл Лебега – Стiлтьєса збiгаються:

(RS)w b

ag(x)dF (x) = (LS)

w[a,b]

g(x)F (dx).

Доведення не наводиться.Означення. Мiрою Лебега на класi обмежених борелєвих множин

B ⊂ [a, b] називається функцiя L(B) ≡ (b − a)Fab(B), що подовжує-ться на всi B ∈ B(R) як L(B) = limm,n→∞ L(B ∩ [−m,n]). Тут функцiярiвномiрного розподiлу дорiвнює:

Fab(x) =

0, x < a,(x− a)/(b− a), x ∈ [a, b],

1, x > b.

Означення. Нехай g(x) – борелєва функцiя. Iнтеграл за мiрою Лебегана вiдрiзку [a, b] вiд g визначається як нормований iнтеграл Лебега –Стiлтьєса за мiрою (b− a)Fab(·) :

w b

ag(x)dx ≡ (b− a)

w ∞−∞

g(x)dFab(x).

Зауваження. Можна довести, що для кусково-неперервних функцiй giнтеграл за мiрою Лебега збiгається з iнтегралом Рiмана.

Вправа. Довести, що мiра Лебега iнварiантна вiдносно зсувiв.


1.11.9. Теореми Фубiнi та Радона – Нiкодима.

Теорема Фубiнi застосовується для обчислення кратних iнтегралiв.Означення. Вимiрний простiр (Ω, F, µ) називається прямим добу-

тком вимiрних просторiв (Ωk,Fk, µk), k = 1, 2, якщо:(а) Ω = Ω1 × Ω2 ≡ ω = (ω1, ω2), ωk ∈ Ωk.(б) F = F1 ⊗ F2 ≡ σ[A1 × A2, A1 ∈ F1, A2 ∈ F2].(в) µ(A1 × A2) = µ1(A1)µ2(A2), ∀Ak ∈ Fk.Теорема (теорема Фубiнi про кратний та повторнi iнтеграли). Не-

хай простiр (Ω,F, µ) = (Ω1,F1, µ1) ⊗ (Ω2,F2, µ2) є прямим добутком, аξ(ω) = ξ(ω1, ω2) випадкова величина на (Ω,F, µ)

Якщо величина ξ iнтегровна за мiрою µ, то функцiя ξ(·, ω2) дляµ2-майже всiх ω2 iнтегровна за мiрою µ1, величина

rΩ1

ξ(ω1, ω2)µ1(dω1)є iнтегровною за мiрою µ2 i справедлива рiвнiстьw

Ωξ(ω)µ(dω) =

wΩ2

[wΩ1

ξ(ω1, ω2)µ1(dω1)]µ2(dω2).

Для невiд’ємної величини ξ має мiсце обернене: зi збiжностi повторно-го iнтегралу випливає iнтегровнiсть ξ та збiжнiсть обох iнтегралiв.

Доведення не наводиться.Означення. Числова функцiя µ : F → R на вимiрному просторi (Ω,F)

називається сигма-скiнченною мiрою, якщо iснує послiдовнiсть Cn ∈ F

таких, що кожне зi звужень µ(· ∩Cn) є мiрою на F. Iнтеграл Лебега затакою мiрою µ визначається як границя iнтегралiв за звуженнями.

Прикладами сигма-скiнченних мiр є точкова мiра та мiра Лебега.Означення. Нехай ν – мiра, а µ – сигма-скiнченна мiра на просторi

(Ω,F). Мiра ν абсолютно неперервна вiдносно мiри µ, позначення ν ¿ µ,якщо для кожної множини A ∈ F iз µ(A) = 0 випливає ν(A) = 0.

Теорема (теорема Радона – Нiкодима). Нехай (Ω, F, µ) – вимiрнийпростiр зi сигма-скiнченною мiрою µ, а мiра ν задана на F i абсолю-тно неперервна вiдносно мiри µ : ν ¿ µ. Тодi знайдеться F-вимiрнаiнтегровна за мiрою µ функцiя f на Ω така, що

ν(A) =w

Af(ω)µ(dω), ∀A ∈ F.

Ця функцiя f називається щiльнiстю мiри ν вiдносно µ та позначає-ться через

f(ω) =dν

dµ(ω).

Доведення не наводиться.


1.11.10. Обчислення математичного сподiвання

Теорема (про обчислення математичного сподiвання функцiї вiдвипадкової величини). Нехай випадкова величина ξ має функцiю роз-подiлу Fξ(x), що породжує вiдповiдну мiру Лебега – Стiлтьєса Fξ(·) наB(R), а g(x) – довiльна борелєва функцiя. Випадкова величина g(ξ)iнтегровна тодi й тiльки тодi, коли функцiя g(x) iнтегровна за мiроюFξ(·), i за цим припущенням

IEg(ξ) =w ∞−∞

g(x) dFξ(x).

Зокрема, дане твердження справедливе при g(x) ≡ x.

Зауваження. Це твердження можна розглядати як теорему про замiнузмiнної ω на x за допомогою вiдображення ξ в iнтегралi Лебегаw

Ωg(ξ(ω))IP(dω) =

wR

g(x)IP(ξ(−1)(dx)) =wR

g(x)Fξ(dx).

Доведення. Нехай g(x) =∑

ck1Ix∈Bkпроста функцiя. Тодi тотожнiсть

(завжди визначених) iнтегралiв випливає з лiнiйностi математичного спо-дiвання та iнтеграла Лебега – Стiлтьєса, а також iз теореми про обчисле-ння ймовiрностей,пов’язаних iз випадковою величиною ξ :

IEg(ξ) =∑

g(ck)IP(ξ ∈ Bk) =∑

g(ck)Fξ(Bk) =w ∞−∞

g(x) dFξ(x).

Нехай g(x) – невiд’ємна борелєва функцiя. Розглянемо простi боре-лєвi функцiї gn(x) = ϕn(g(x)), де дiйснi функцiї ϕn визначенi в теоремiпро апроксимацiю випадкових величин простими. З цiєї теореми випли-ває поточкова монотонна збiжнiсть 0 ≤ gn(x) ↑ g(x), n → ∞. Шуканурiвнiсть для g(x) дiстанемо граничним переходом n → ∞ з рiвностi, щовже доведена для простих функцiй gn(x), за теоремами Лебега про моно-тонну збiжнiсть для математичного сподiвання та для iнтеграла Лебега– Стiлтьєса. Зауважимо, що рiвнiсть є справедливою як для iнтегров-них, так i для неiнтегровних невiд’ємних g. Тому функцiї g(ξ) та g(x) єiнтегровними одночасно.

Для знакозмiнних g використаємо лiнiйнiсть математичного сподiван-ня та iнтеграла Лебега – Стiлтьєса :

IEg(ξ) = IEg+(ξ)− IEg−(ξ) =w ∞−∞

g+(x) dFξ(x)−w ∞−∞

g−(x) dFξ(x) ¡

Теорему про обчислення математичного сподiвання функцiї вiд дис-кретної величини наведено вище.


Теорема (про обчислення математичного сподiвання функцiї вiднеперервної величини). Нехай випадкова величина ξ має щiльнiстьfξ(x), а g(x) – довiльна борелєва функцiя. Випадкова величина g(ξ)iнтегровна тодi й тiльки тодi, коли функцiя g(x)fξ(x) iнтегровна замiрою Лебега на R, i має мiсце тотожнiсть

IEg(ξ) =w ∞−∞

g(x) fξ(x) dx.

Зауваження. Якщо функцiї g(x), fξ(x) кусково неперервнi, то iнтегралЛебега в правiй частинi можна обчислювати як iнтеграл Рiмана.

Доведення. Розглянемо клас L борелєвих функцiй g, для яких має мi-сце рiвнiсть

r∞−∞ g(x)dFξ(x) =

r∞−∞ g(x)fξ(x) dx.За теоремою про обчисле-

ння ймовiрностей, пов’язаних iз неперервною величиною, клас L мiститьвсi iндикаторнi функцiї g(x) = 1IB(x) для борелєвих B. За лiнiйнiстювiн мiстить всi простi функцiї g(x). За теоремами Лебега про монотоннузбiжнiсть та про мажоровану збiжнiсть клас L замкнений вiдносно моно-тонної та мажорованої збiжностi. Тому L мiстить всi iнтегровнi функцiї.

Отже, остаточно дана теорема випливає з теореми про обчисленняматематичного сподiвання функцiї вiд випадкової величини ¡

Розглянемо приклади обчислення математичного сподiвання.1. Рiвномiрний розподiл: для ξ ' U(a, b) :

IEξ =r b

ax(b− a)−1dx = (a + b)/2.

2. Показниковий розподiл: для ξ ' Exp(λ) :

IEξ =r∞0

x λ exp(−λx)dx = 1/λ.

3. Нормальний розподiл: для ξ ' N(µ, σ2) :

IEξ = IE(µ + σ ζ) = µ + σ IEζ = µ,де ζ – стандартна нормальна величина, IEζ =

r∞−∞ x 1√

2πexp(−x2/2)dx = 0.

Наслiдок: параметр µ нормального розподiлу збiгається з математи-чним сподiванням вiдповiдної нормальної величини.

4. Розподiл Кошi. Вiдповiдна випадкова величина не є iнтегровною,оскiльки iнтеграл

r∞−∞ x 1

1+x2 dx не є абсолютно збiжним.Вправи(1) Довести, що суму абсолютно збiжного ряду можна подати у виглядi iнте-

грала Лебега за лiчильною мiрою λ(B) =∑

n∈Z 1In∈B.

(2) Довести, що клас борелєвих функцiй, якi є iнтегровними за нормованоюмiрою Лебега – Стiлтьєса, мiстить всi обмеженi та деякi необмеженi функцiї.

(3) Невiд’ємна випадкова величина ξ iнтегровна тодi й тiльки тодi, коли(а)r∞0

(1− Fξ(x))dx < ∞, або (б) ∃a > 0 :r∞a

(− ln Fξ(x))dx < ∞.

1.12. Дисперсiя та її властивостi 75

(4) Випадкова величина |ξ|α з α > 0, iнтегровна тодi й тiльки тодi, колиIE |ξ|α =

r∞−∞ |x|α−1 (Fξ(−x) + 1− Fξ(x))dx < ∞.

(5) Довести, що для iнтегровних випадкових величин ξ, η :IEξ =

r∞0

(Fξ(−x) + 1− Fξ(x))dx,IEξ − IEη =

r∞−∞(IP(η < x ≤ ξ)− IP(ξ < x ≤ η))Isign(x)dx.

(6) Нехай IP(|ξ| ≥ x) = o(xα), x → ∞, для деякого α > 0. Довести, що:(а) IE |ξ|β < ∞ для всiх β ∈ (0, α), (б) твердження (а) не має мiсця при β = α.

(7) Випадкова величина ξ така, що IP(|ξ| ≥ αn) = o(IP(|ξ| ≥ n), n → ∞,для кожного α > 1. Довести, що IE |ξ|β < ∞ при всiх β > 0.

(8) Нехай G – неспадна диференцiйовна функцiя на [a, b] з похiдною g, аf – iнтегровна за мiрою Лебега функцiя на [G(a), G(b)]. Довести формулу замiни

змiнної x = G(y) :r G(b)

G(a)f(x)dx =

r b

af(G(y))g(y)dy.

1.12. Дисперсiя та її властивостi

Математичне сподiвання випадкової величини можна назвати характе-ристикою її ”положення”, оскiльки воно є границею середнiх арифмети-чних послiдовних спостережень. Порiвнюючи 2 лотерейнi бiлети з однако-вими середнiми виграшами (перший виграє 10$ з iмовiрнiстю 0.1, другий1000$ з iмовiрнiстю 0.001), приходимо до висновку, що одного середньогодля порiвняння випадкових величин замало – необхiдна також характе-ристика ступеня ”розсiяння” ймовiрнiсної маси.

Означення. Дисперсiєю iнтегровної випадкової величини ξ називає-ться середнiй квадрат вiдхилення вiд середнього:

IDξ = IE(ξ − IEξ)2.

Корiнь квадратний σξ =√

IDξ називається квадратичним вiдхиленням(або ж стандартним вiдхиленням) випадкової величини ξ.

Вiд Variation йде також iнше позначення дисперсiї через IVξ.Зауваження. Дисперсiя IDξ скiнченна тодi й тiльки тодi, коли ξ є

квадратично iнтегровною, тобто IEξ2 < ∞. Дiйсно, внаслiдок нерiвностi2 |ξ| ≤ 1 + ξ2 з квадратичної iнтегровностi випливає iнтегровнiсть ξ.

1.12.1. Властивостi дисперсiї

Теорема (про властивостi дисперсiї). За умови квадратичної iнте-гровностi випадкової величини ξ :

(a) IDξ ≥ 0,


(б) IDξ = 0 тодi й тiльки тодi, коли ξ = IEξ майже напевне,(в) IDξ = IEξ2 − (IEξ)2,(г) ID(aξ + b) = a2IDξ,(д) IDξ = min c∈R IE(ξ − c)2, IEξ = arg min c∈R IE(ξ − c)2.Доведення(а) Випливає з позитивностi математичного сподiвання, оскiльки ве-

личина (ξ − IEξ)2 ≥ 0.(б) Виводиться з невiд’ємностi квадратичної функцiї та з теореми про

властивостi математичного сподiвання, а саме, з властивостей невiд’ємно-стi i додатностi.

Для доведення (в) обчислимо за лiнiйнiстю математичного сподiванняIDξ = IE(ξ2 − 2ξIEξ + (IEξ)2) = IEξ2 − (IEξ)2.

(г) За означенням дисперсiї та лiнiйнiстю математичного сподiвання

ID(aξ + b) = IE(aξ + b− IE(aξ + b))2 = IE(aξ − aIEξ)2 = a2IDξ.

Для доведення (д) обчислимо

IE(ξ − c)2 = IE(ξ − IEξ + IEξ − c)2 =

IE(ξ − IEξ)2 + (IEξ − c)2 + 2IE(ξ − IEξ)(IEξ − c) =

IE(ξ − IEξ)2 + (IEξ − c)2 ≥ IE(ξ − IEξ)2 = IDξ,

причому рiвнiсть має мiсце тодi й тiльки тодi, коли c = IEξ ¡Теорема (про обчислення дисперсiї). Нехай величина ξ має фун-

кцiю розподiлу Fξ(x). Тодi

IDξ =w ∞−∞

(x− IEξ)2 dFξ(x) =w ∞−∞

x2 dFξ(x)− (IEξ)2.

Якщо iснує щiльнiсть розподiлу fξ(x), то

IDξ =w ∞−∞

(x− IEξ)2 fξ(x)dx =w ∞−∞

x2 fξ(x)dx− (IEξ)2.

Доведення є наслiдком теореми про обчислення математичного спо-дiвання функцiї вiд випадкової величини, а саме для функцiї g(x) =(x− IEξ)2 ¡

1.12.2. Приклади обчислення дисперсiї

1. Iндикаторна величина:

ID1IA = 1 · IP(A) + 0 · IP(A)− (IP(A))2 = IP(A)(1− IP(A)).

2. Бiномiальний розподiл : ξ ' B(n, p), IDξ = npq.

1.13. Iмовiрнiснi нерiвностi 77

Розглянемо генератрису

ϕ(z) = IEzξ =∑n

k=0zkCk

n pkqn−k = (pz + q)n.

За формулою про обчислення математичного сподiвання функцiї вiддискретної величини

IEξ(ξ − 1) =∑n

k=0k(k − 1)Ck

n pkqn−k = ϕ′′(z) |z=1,

IDξ = IEξ(ξ − 1) + IEξ − (IEξ)2 =

n(n− 1)p2(pz + q)n−2 |z=1 +np− (np)2 = npq.

3. Розподiл Пуассона : ξ ' Π(λ), IDξ = λ.

IDξ = IEξ(ξ − 1) + IEξ − (IEξ)2 =

∑k≥0

k(k − 1)λk

k!e−λ + λ− λ2 = λ2 + λ− λ2 = λ.

4. Рiвномiрний розподiл : ξ ' U(a, b), IDξ = (b− a)2/12.

IDξ =w b

ax2 1

b− adx− (a + b)2/4 = (b− a)2/12.

5. Показниковий розподiл : ξ ' Exp(λ), IDξ = 1/λ2.

IDξ =w ∞

0x2 λ exp(−λx)dx− 1/λ2 = 1/λ2.

6. Нормальний розподiл : ξ ' N(µ, σ2), IDξ = σ2.За формулою (г) про дисперсiю лiнiйного перетворення

IDξ = ID(µ + σ ζ) = σ2IDζ = σ2,

де ζ – стандартна нормальна величина, для якої замiною x2 = y виводимо

IDζ = IEζ2 =w ∞−∞

x2(2π)−1/2 exp(−x2/2)dx = Γ(3/2)π−1/2 = 1.

Наслiдок: параметр σ2 нормального розподiлу збiгається з дисперсiєювiдповiдної нормальної величини.

1.13. Iмовiрнiснi нерiвностi

1.13.1. Нерiвностi Чебишева

Теорема (нерiвнiсть Маркова). Нехай g – додатна неспадна фун-кцiя, а величина ξ ≥ 0. Тодi для довiльної сталої c > 0

IP(ξ ≥ c) ≤ IEg(ξ)

g(c).


Доведення. З невiд’ємностi i монотонностi функцiї g виводимо нерiв-нiсть g(ξ) ≥ g(c)1Iξ ≥ c для всiх ω ∈ Ω. Звiдси за монотоннiстю матема-тичного сподiвання дiстанемо шукану нерiвнiсть:

IEg(ξ) ≥ IEg(c)1Iξ ≥ c = g(c)IP(ξ ≥ c) ¡

Теорема (нерiвнiсть Чебишева). Для кожного ε > 0 виконуєтьсянерiвнiсть

IP(|ξ − IEξ| ≥ ε) ≤ IDξ / ε2.

Доведення. Iз загальної нерiвностi Чебишева для невiд’ємної випад-кової величини (ξ − IEξ)2 та функцiї g(x) ≡ x+ отримуємо

IP(|ξ − IEξ| ≥ ε) = IP((ξ − IEξ)2 ≥ ε2) ≤ IE(ξ − IEξ)2/ε2 = IDξ / ε2 ¡

Правило трьох сигма. Нерiвнiсть Чебишева дає загрублену оцiн-ку вiдхилення випадкової величини вiд свого математичного сподiвання,оскiльки виконується для довiльного розподiлу та не враховує специфi-ку нормального розподiлу. Якщо ж величина ξ має нормальний розподiл,а σξ =

√IDξ – її квадратичне вiдхилення, то при ε = 3σξ лiва частина

нерiвностi Чебишева наближено дорiвнює 0.003. Останньою ймовiрнiстючасто можна знехтувати. Тому, наприклад, у технiцi вважають, що ви-падковi похибки при обробцi деталей завжди не перевищують 3σξ. Це i єправило трьох сигма.

1.13.2. Нерiвностi Йенсена та Ляпунова

Теорема (нерiвнiсть Йенсена). Нехай функцiя g(x) опукла донизу(як x2), а випадковi величини ξ та g(ξ) iнтегровнi. Тодi

g(IEξ) ≤ IEg(ξ).

Доведення. Для довiльної опуклої донизу функцiї g в кожнiй точцi xiснує опорна пряма, графiк якої лежить цiлком пiд графiком функцiї:

g(x) ≥ g(x0) + k(x0)(x− x0), ∀x ∈ R.

Пiдставимо в цю нерiвнiсть x = ξ, x0 = IEξ та скористаємося монотоннiстюматематичного сподiвання:

IEg(ξ) ≥ IE(g(IEξ) + k(IEξ)(ξ − IEξ)) = g(IEξ) + k(IEξ)IE(ξ − IEξ) = g(IEξ) ¡

Теорема (нерiвнiсть Ляпунова). Якщо 1 ≤ s ≤ t, то

(IE |ξ|s)1/s ≤ (IE |ξ|t)1/t.

1.13. Iмовiрнiснi нерiвностi 79

Доведення. Оскiльки функцiя g(x) = xt/s, x ≥ 0, опукла донизу, топотрiбна нерiвнiсть випливає з нерiвностi Йенсена

(IE |ξ|s)t/s = g(IE |ξ|s) ≤ IEg(|ξ|s) = IE |ξ|t ¡

1.13.3. Нерiвностi Гельдера та Кошi

Теорема (нерiвнiсть Гельдера). Якщо числа p, q > 0 спряженi, тоб-то: 1/p + 1/q = 1, то

IE |ξη| ≤ (IE |ξ|p)1/p (IE |η|q)1/q.

Доведення. Пiдставимо в елементарну нерiвнiсть xy ≤ xp/p + yq/q ви-рази x = |ξ| /(IE |ξ|p)1/p та y = |η| /(IE |η|q)1/q та використаємо монотоннiстьматематичного сподiвання:

IE |ξη| /(IE |ξ|p)1/p(IE |η|q)1/q ≤IE |ξ|p /pIE |ξ|p + IE |η|q /qIE |η|q = 1/p + 1/q = 1 ¡

Теорема (нерiвнiсть Кошi). Для квадратично iнтегровних ξ, η

(IEξη)2 ≤ IEξ2 IEη2.

Доведення. Випливає з нерiвностi Гельдера при p = q = 2 ¡Зауважимо, що за припущенням невиродженостi ξ, тобто IEξ2 > 0,

рiвнiсть у нерiвностi Кошi має мiсце тодi й тiльки тодi, коли η = cξ майженапевне для деякої сталої c. Достатнiсть тут перевiряється пiдстанов-кою: (IEξcξ)2 = c2(IEξ2)2 = IEξ2 IE(cξ)2.

Для доведення необхiдностi скористаємося властивiстю додатностi зтеореми про властивостi математичного сподiвання, та такою тотожнiстю

при виборi c =√

IEη2/IEξ2:

IE(η − cξ)2 = 2(IEη2 − cIEξη

)= 2 c

(√IEξ2 IEη2 − IEξη

)¡

1.13.4. Нерiвнiсть Мiнковського

Теорема (нерiвнiсть Мiнковського). Якщо число p ≥ 1, то

(IE |ξ + η|p)1/p ≤ (IE |ξ|p)1/p + (IE |η|p)1/p.

Зауваження. Величину ‖ξ‖ ≡ (IE |ξ|p)1/p можна розглядати як нормуу лiнiйному просторi Lp(IP) = ξ : IE |ξ|p < ∞ iнтегровних у степенi p


випадкових величин. Нерiвнiсть Мiнковського гарантує необхiдну умовунапiвадитивностi для цiєї норми.

Доведення. Нерiвнiсть при p = 1 вже доведена. Для p > 1 застосуємонерiвнiсть Гельдера в правiй частинi нерiвностi

IE |ξ + η|p ≤ IE |ξ| |ξ + η|p−1 + IE |η| |ξ + η|p−1 ≤(IE |ξ|p)1/p(IE |ξ + η|pq−q)1/q + (IE |η|p)1/p(IE |ξ + η|pq−q)1/q =(

(IE |ξ|p)1/p + (IE |η|p)1/p)(IE |ξ + η|p)1/q ¡

Вправи(1) Довести для вiдповiдних α нерiвнiсть IP(ξ ≥ x) ≤ exp(−ax)IE exp(aξ).(2) Нехай Φ – стандартна нормальна функцiя розподiлу, а ϕ – її щiльнiсть.

Довести при x > 0 справедливiсть включень (а) Φ(−x)/ϕ(x) ∈ [x−1−x−3, x−1],(б) Φ(−x)/ϕ(x) ∈ [2/(

√x2 + 4 + x), 2/(

√x2 + 2 + x)].

(3) Нехай (pk, k = 1, n) – дискретний розподiл iмовiрностей, а xk > 0.Довести нерiвнiсть

∏nk=1 xpk

k ≤ ∑nk=1 xkpk.

(4) Для якої величини ξ нерiвнiсть Чебишева може бути рiвнiстю ?(5) Для заданих x,m, s2 знайти верхню межу ймовiрностей IP(ξ ≥ x) за

умови фiксованих IEξ = m, IDξ = s2.

(6) Випадкова величина ξ ≥ 0 i IEξ2 < ∞. Довести при ε ∈ (0, 1) нерiвнiстьIP(ξ > εIEξ) ≥ (1− ε)2(IEξ)2/(IEξ2).

(7) За умови |ξ| ≤ c довести, що IP(|ξ − IEξ| ≥ ε) ≥ (IEξ2 − ε2)/c2.

(8) Довести, що IP(ξ − IEξ > xσξ) ≤ 1/(1 + x2) при x > 0.(9) Для iнтегровної величини ξ довести, що: (а) при t > 0

IP(|ξ − IEξ| > tIE |ξ|) ≤ 1/t, (б) IP(|ξ| > t) = o(1/t), t →∞.(10) Нехай p, q, r > 0 такi, що r−1 = p−1+q−1, а ξ, η ≥ 0. Довести нерiвнiсть

(IE(ξη)r)1/r ≤ (IEξp)1/p(IEηq)1/q.(11) Нехай випадкова величина νn має бiномiальний розподiл з параметрами

n, p, а функцiя H(θ, p) = −(1 − θ) ln 1−θ1−p

− θ ln θp. Довести для всiх θ ∈ (p, 1)

нерiвнiсть IP(νn ≥ nθ) ≤ exp(nH(θ, p)). Вивести звiдси при p = 1/2 нерiвнiстьIP(|νn − n/2| ≥ nε) ≤ exp(−nε2/2).

1.14. Сумiсна функцiя розподiлувипадкового вектора та її властивостi

Означення. Сумiсною функцiєю розподiлу (або ж сукупною функцi-єю розподiлу) випадкового вектора ξ = (ξ1, ..., ξn) називається дiйсна

1.14. Сумiсна функцiя розподiлу випадкового вектора та її властивостi 81

функцiя Fξ(x) : Rn → R, яка в точцi x = (x1, ..., xn) дорiвнює

Fξ(x) ≡ Fξ(x1, ..., xn) = IP(ξ < x) ≡ IP(ξ1 < x1, ..., ξn < xn).

У даному роздiлi порiвняння векторiв та iншi операцiї будемо прово-дити покоординатно. Зокрема, запис x < y еквiвалентний xk < yk при всiхk = 1, n. Запис y ↑ x визначає, що yk ↑ xk при кожному k.

1.14.1. Загальнi властивостiсумiсної функцiї розподiлу

Теорема (про властивостi сумiсної функцiї розподiлу). Нехай ви-падковий вектор ξ має сумiсну функцiю розподiлу F . Тодi ця функцiя:

(1) неспадна: F (x) ≤ F (y) при всiх x ≤ y,

(2) нормована: F (x) → 0 при x ↓ −∞ так, що mink xk ↓ −∞, таF (x) → 1 при x ↑ +∞ так, що mink xk ↑ +∞,

(3) неперервна злiва: F (x− 0) ≡ limy↑x, y<x F (y) = F (x) для всiх x.

Зауваження. Збiжнiсть у (2),(3) випливає з монотонностi (1).Доведення(1) випливає з монотонностi ймовiрностi, оскiльки ξ < x ⊂ ξ < y,(2) виводиться з неперервностi ймовiрностi, оскiльки

ξ < x(m) ↓ ∅ при x(m) ↓ −∞ так,що mink xk(m) ↓ −∞, m →∞,

ξ < x(m) ↑ Ω при x(m) ↑ ∞ так,що mink xk(m) ↑ +∞, m →∞.

(3) доводиться аналогiчно: ξ < y ↑ ξ < x при y ↑ x ¡

1.14.2. Невiд’ємнiсть приростiв

На вiдмiну вiд функцiї розподiлу скалярної випадкової величини, су-мiсна функцiя розподiлу має ще одну характеристичну властивiсть. Дляїї формулювання позначимо через Πx кут

Πx = (−∞, x) = Πnk=1(−∞, xk), x = (x1, ..., xn).

Для початку припустимо, що розмiрнiсть n = 2. Зауважимо, що пара-лелепiпед [a, b) = [a1, b1)×[a2, b2) зображується у виглядi вкладеної рiзницiвкладених рiзниць кутiв

[a, b) = (Πb \ Πb′) \ (Πa′ \ Πa),

де точки b′ = (a1, b2), a′ = (a2, b1).


Якщо випадковий вектор ξ має сумiсну функцiю розподiлу F, то звластивостi ймовiрностi вкладеної рiзницi подiй i наведеного зображеннявиводимо, що

IP(ξ ∈ [a, b)) = IP(ξ ∈ Πb \ Πb′)− IP(ξ ∈ Πa′ \ Πa) =

IP(ξ ∈ Πb)− IP(ξ ∈ Πb′)− IP(ξ ∈ Πa′) + IP(ξ ∈ Πa) = ∆[a,b)F,

де за означенням ∆[a,b)F ≡ F (b)− F (b′)− F (a′) + F (a).Вираз ∆[a,b)F називається при n = 2 приростом сумiсної функцiї роз-

подiлу на прямокутнику [a, b).У загальному випадку n > 2 правило чергування знакiв при значеннях

функцiї у вершинах паралелепiпеда [a, b) визначається аналогiчно.Означення. Нехай функцiя F = F (x1, ..., xn) : Rn → R. Її k-м частко-

вим приростом на [ak, bk) називається рiзниця

∆k[ak,bk)F = F (x1, ..., bk, ..., xn)− F (x1, ..., ak, ..., xn),

а приростом на паралелепiпедi [a, b) ≡ ∏nk=1[ak, bk) – результат послiдов-

них часткових приростiв

∆[a,b)F = ∆1[a1,b1)...∆

n−1[an−1,bn−1)∆

n[an,bn)F.

Теорема (про ймовiрнiсть значення всерединi паралелепiпеда). Якщовипадковий вектор ξ має сумiсну функцiю розподiлу F, то

IP(ξ ∈ [a, b)) = ∆[a,b)F.

Доведення проводиться за iндукцiєю, з iндуктивним припущенням

IP(ξ1 ∈ [a1, b1)..., ξk−1 ∈ [ak−1, bk−1) ∩ A) =

∆1[a1,b1)...∆

k−1[ak−1,bk−1)IP(ξ1 < x1, ..., ξk−1 < xk−1 ∩ A),

де A – довiльна подiя. Справедливiсть iндуктивного переходу виводитьсяпослiдовними пiдстановками у останню рiвнiсть A = ξk ∈ [ak, bk) ∩ A таврахування у правiй частинi тотожностi для довiльних подiй A,B :

IP(B ∩ ξk ∈ [ak, bk) ∩ A) = ∆k[ak,bk)IP(B ∩ ξk < xk ∩ A) ¡

Теорема (про прирости сумiсної функцiї розподiлу). Нехай ξ –випадковий вектор, а F = Fξ його сумiсна функцiя розподiлу. Тодi:

(4) для довiльного паралелепiпеда [a, b) =∏n

k=1[ak, bk)

∆[a,b)F = IP(ξ ∈ [a, b)) ≥ 0.

Доведення випливає з теореми про ймовiрнiсть значення всерединiпаралелепiпеда та з невiд’ємностi ймовiрностi ¡


Означення. Будь-яка функцiя F = F (x1, ..., xn) : Rn → R, яка задо-вольняє умови (1-3),(4), називається сумiсною функцiєю розподiлу.

Вправи(1) Нехай G1, ..., Gn – функцiї розподiлу. Тодi F (x1, ..., xn) =

∏nk=1 Gk(xk)

є сумiсною функцiєю розподiлу.

(2) Функцiї (а) F (x1, x2) = 1/2 + π−1 arctan max(x1, x2), (б) F (x1, x2) =min(x1 + x2, 1)1Ix1≥0, x2≥0 задовольняють умови (1)-(3), однак не є сумiснимифункцiями розподiлу.

(3) Нехай F,G – функцiї розподiлу. Довести, що функцiї

(а) F (x)G(y)(1 + α(1− F (x))(1−G(y))) при α ∈ (−1, 1),

(б) α−1 ln(1 + (exp(αF (x))− 1)(exp(αG(y))− 1)/(exp(α)− 1)) при α > 0

є сумiсними функцiями розподiлу, причому координати вiдповiдного випадковоговектора мають функцiї розподiлу F та G. Узагальнити це твердження для nфункцiй розподiлу.

(4) Для функцiй розподiлу F, G довести, що: (а) V (x, y) ≡ min(F (x), G(y))є сумiсною функцiєю розподiлу, (б) функцiї розподiлу координат вiдповiдноговипадкового вектора збiгаються з F та G. (в) Якщо сумiсна функцiя розподiлуU задовольняє умову (б), то U(x, y) ≤ V (x, y) для всiх x, y.

1.14.3. Мiра Лебега – Стiлтьєсав евклiдовому просторi

Означення. Нехай F – довiльна сумiсна функцiя розподiлу. Назвемоадитивною мiрою Лебега – Стiлтьєса в Rn, що породжена F (або,коротше, адитивною мiрою F ), таку функцiю F на алгебрi об’єднаньпопарно несумiсних паралелепiпедiв

A(Rn) =

A =⋃m

k=1[a(k), b(k)), [a(i), b(i)) ∩ [a(j), b(j)) = ∅, i 6= j

,

значення якої задаються сумою приростiв на паралелепiпедах :

F (A) =∑m

k=1∆[a(k), b(k))F.

Теорема (про адитивну мiру в евклiдовому просторi). Адитивнамiра F є невiд’ємною, нормованою та скiнченно-адитивною функцiєюна A(Rn). Зокрема, F напiвадитивна.

Доведення аналогiчне доведенню теореми про адитивну мiру Лебега– Стiлтьєса для одновимiрного випадку ¡


Теорема (про неперервнiсть у нулi мiри в евклiдовому просторi).Адитивна мiра F є неперервною в нулi на A(Rn), i як наслiдок, σ-адитивна на алгебрi A(Rn).

Доведення не вiдрiзняється вiд доведення теореми про неперервнiстьу нулi мiри Лебега – Стiлтьєса в одновимiрному випадку ¡

Теорема (про мiру Лебега – Стiлтьєса в евклiдовому просторi).Для сумiсної функцiї розподiлу F у Rn на борелєвiй σ-алгебрi B(Rn)iснує єдина невiд’ємна, нормована i σ-адитивна мiра F така, що

F ((−∞, x)) = F (x), ∀x ∈ Rn.

Доведення. Достатньо визначити адитивну мiру Лебега – Стiлтьєса наалгебрi, як це зроблено вище, та на пiдставi її σ-адитивностi застосуватитеорему Каратеодорi про продовження мiри ¡

Означення. Побудована за теоремою про мiру Лебега – Стiлтьєсав евклiдовому просторi мiра F називається мiрою Лебега – Стiлтьєса,що породжена сумiсною функцiєю розподiлу F . Цю мiру будемо такожназивати розподiлом випадкового вектора ξ.

Теорема (про обчислення ймовiрностей, пов’язаних iз випадковимвектором). Нехай випадковий вектор ξ має сумiсну функцiю розподiлуFξ. Тодi для кожної множини B ∈ B(Rn) виконується рiвнiсть

IP(ξ ∈ B) = Fξ(B),

де Fξ(B) – мiра Лебега – Стiлтьєса, що породжена сумiсною функцiєюрозподiлу Fξ(x).

Доведення. За означенням шукана рiвнiсть має мiсце для кутiв B =(−∞, x). З iншого боку, вирази в обох частинах як функцiї множин Bє σ-адитивними мiрами. Тому за теоремою Каратеодорi про продовженнямiри вони збiгаються на всiй породженiй сигма-алгебрi B(Rn) ¡

Приклад. Нехай випадковий вектор ξ = (ξ1, ..., ξn) має сумiсну фун-кцiю розподiлу Fξ. Оскiльки ξk < xk = ξ ∈ Rk−1 × (−∞, xk) × Rn−k,то маргiнальна функцiя розподiлу величини ξk дорiвнює

Fξk(xk) = IP(ξk < xk) = Fξ(∞, ...∞, xk,∞, ...,∞).

1.14.4. Сумiсна щiльнiсть

Означення. Випадковий вектор ξ = (ξ1, ..., ξn) та його сумiсна фун-кцiя розподiлу Fξ називаються абсолютно неперервними, якщо iснує


невiд’ємна вимiрна функцiя fξ(x) така, що

Fξ(x) =w

(−∞,x)fξ(y)dy, ∀x ∈ Rn.

Функцiя fξ(x) називається сумiсною щiльнiстю випадкового вектора ξта сумiсної функцiї розподiлу Fξ.

З нормованостi та монотонностi функцiї розподiлу випливають такiвластивостi щiльностi розподiлу:

(1 – невiд’ємнiсть) fξ(x) ≥ 0 i(2 – нормованiсть)

rRn fξ(y)dy = 1.

Будь-яка невiд’ємна вимiрна нормована функцiя є сумiсною щiльнi-стю певної сумiсної функцiї розподiлу, оскiльки з властивостей iнтеграла(Рiмана або Лебега) випливатимуть характеристичнi властивостi (1)-(4)сумiсної функцiї розподiлу, а отже, може бути побудована вiдповiдна мi-ра Лебега – Стiлтьєса, що породжена сумiсною функцiєю розподiлу.

Якщо сумiсна функцiя розподiлу диференцiйовна, то з формули Нью-тона – Лейбнiца (для iнтеграла Рiмана) або ж iз теореми Радона – Нi-кодима (для iнтеграла Лебега) випливає, що сумiсна щiльнiсть (майжевсюди) збiгається з похiдною функцiї розподiлу:

fξ(x1, ..., xn) =∂

∂x1

...∂

∂xn

Fξ(x1, ..., xn).

Теорема (про обчислення ймовiрностей, пов’язаних iз неперерв-ним вектором). Якщо випадковий вектор ξ має сумiсну щiльнiсть fξ,то для всiх борелєвих B ∈ B(Rn) :

IP(ξ ∈ B) =w

Bfξ(x)dx.

Доведення. Шукана рiвнiсть виконується для кутiв B = (−∞, x) заозначенням. З iншого боку, обидвi частини рiвностi як функцiї множиниB є сигма-адитивними мiрами. Тому за теоремою Каратеодорi про продов-ження мiри вони збiгаються на породженiй σ-алгебрi B(Rn) ¡

Наслiдок (про єдинiсть сумiсної щiльностi). Сумiсна щiльнiсть ви-значається сумiсною функцiєю розподiлу однозначно з точнiстю дорiвностi майже всюди за мiрою Лебега.

Доведення. Якщо функцiї fi(x) одночасно є щiльностями, з означеннята попередньої теореми виводимо, що

wB(f1(x)− f2(x))dx = 0, ∀B ∈ B(Rn).


Оберемо B± = x : (f1−f2)±(x) > 0, та пiдставимо в останню рiвнiсть.

За властивiстю iнтеграла Лебега отримаємо L(B±) = 0 ¡Вправи

(1) Нехай IP – довiльна ймовiрнiсть на B(Rn). Довести, що для кожнихε > 0 та B ∈ B(Rn) знайдуться компактна множина C ⊂ B та обмеженавiдкрита множина A ⊃ B такi, що IP(A\C) ≤ ε.

(2) Нехай сумiсна функцiя розподiлу F має сумiсну щiльнiсть f. Довести,що прирiст на паралелепiпедi [a, b) дорiвнює iнтегралу.

∆[a,b)F =r b1a1

...r bn

anf(x1, ..., xn)dx1...dxn.

(3) Якщо випадковий вектор ξ = (ξ1, ..., ξn) має сумiсну щiльнiсть f, то йогокоординати мають маргiнальнi щiльностi

fξk(x) =

r∞−∞ ...

r∞−∞ f(x1, ...xk−1, x, xk+1, .., xn)dx1...dxk−1dxk+1...dxn.

1.14.5. Функцiї вiд випадкового вектора

Теорема (про обчислення ймовiрностей i математичного сподiван-ня функцiї вiд випадкового вектора). Якщо випадковий вектор ξ маєсумiсну функцiю розподiлу Fξ(x), а g : Rn → Rm борелєва функцiя, то

IP(g(ξ) ∈ B) =w

g(−1)(B)dFξ(x), ∀B ∈ B(Rm),

IEg(ξ) =wRm

g(x) dFξ(x).

За умови iснування сумiсної щiльностi цi iнтеграли Лебега – Стiл-тьєса можна замiнити на вiдповiднi iнтеграли за мiрою Лебега з сумi-сною щiльнiстю.

Доведення повнiстю аналогiчне доведенню теореми про обчисленняймовiрностей, пов’язаних iз випадковою величиною та про обчисленняматематичного сподiвання функцiї вiд випадкової величини ¡

Приклад. Точки ξ, η випадково обрано на одиничному вiдрiзку. Якаймовiрнiсть подiї A = ξ · η < 1/2 ?

З умови випадковостi робимо висновок, що вектор (ξ, η) рiвномiрнорозподiлений на квадратi [0, 1]2, тобто має сумiсну щiльнiсть f(x, y) =1I(x,y)∈[0,1]2 . Позначимо B = (x, y) ∈ [0, 1]2 : x · y < 1/2. Тодi IP(A) =

IP((ξ, η) ∈ B) =rB

f(x, y)dxdy = 1/2 +r 1

1/2dx/2x = (1 + ln 2)/2.

1.15. Числовi характеристики випадкових векторiв 87

1.15. Числовi характеристики випадковихвекторiв

Означення. Математичним сподiванням випадкового вектора з iнте-гровними координатами ξ = (ξ1, ..., ξn) називається вектор, складенийз математичних сподiвань координат ξ :

IEξ = (IEξ1, ..., IEξn).

Зауваження. Для математичного сподiвання випадкового вектора ви-конуються всi основнi властивостi математичного сподiвання – позитив-нiсть, монотоннiсть, лiнiйнiсть тощо.

1.15.1. Коварiацiя та кореляцiя випадкових величин

Означення. Нехай ξ, η – квадратично iнтегровнi величини. Їх коварi-ацiєю називається число

Cov(ξ, η) ≡ IE(ξ − IEξ)(η − IEη) = IEξη − IEξIEη,

що є скiнченною за нерiвнiстю Кошi :

|Cov(ξ, η)| ≤√

IE(ξ − IEξ)2IE(η − IEη)2 =√

IDξ IDη = σξση.

Коефiцiєнтом кореляцiї випадкових величин ξ, η називається безроз-мiрна величина

ρ(ξ, η) =Cov(ξ, η)

σξση

,

яка внаслiдок нерiвностi Кошi набуває значень з iнтервалу [−1, 1].Величини ξ, η називаються некорельованими, якщо Cov(ξ, η) = 0.Якщо простiр квадратично iнтегровних центрованих величин

L02(IP) ≡ ξ : IEξ2 < ∞, IEξ = 0

розглядати як гiльбертiв простiр зi скалярним добутком (ξ, η) = IEξη, то‖ξ‖2 = IDξ i ρ(ξ, η) = cos(ξ∧η). Некорельованiсть величин iнтерпретуєтьсяяк їх ортогональнiсть у даному просторi.

Вправи(1) Довести теорему про обчислення ймовiрностей та математичного сподiва-

ння вiд випадкового вектора, через його сумiсну щiльнiсть.(2) Довести, що коварiацiя Cov(ξ, η) є бiлiнiйною функцiєю вiд ξ, η.(3) Довести, що клас всiх випадкових величин, що є некорельованими з

заданою системою випадкових величин, є лiнiйним простором.


(4) Довести тотожнiсть ID(ξ + η) = ID(ξ) + 2Cov(ξ, η) + ID(η).(5) Випадковий вектор ξ = (ξ1, ..., ξn) має сумiсну щiльнiсть fξ, а функцiя

g : U → V неперервно диференцiйовна та взаємно однозначно вiдображає вiд-криту множину U ⊂ Rn на вiдкриту множину V ⊂ Rn, причому для всiх x ∈ Uякобiан Jg(x) ≡ det(∂g/∂x)(x) > 0. Довести, що випадковий вектор η ≡ g(ξ)має сумiсну щiльнiсть fη(y) = fξ(g

−1(y))(Jg(g−1(y)))−11Iy∈V . Розглянути при-

клади: (а) лiнiйного перетворення, (б) переходу до полярних координат.(6) Нехай IEξk = 0, IDξk = 1, k = 1, 2, та ρ(ξ1, ξ2) = ρ. Довести нерiвнiсть

IE max(ξ21, ξ

22) ≤ 1 +

√1 + ρ2.

(7) Вивести з нерiвностi Кошi, що рiвнiсть ρ(ξ, η) = ±1 має мiсце тодi йтiльки тодi, коли η = a± bξ м.н. для деяких сталих a, b > 0.

(8) Випадковi величини ξk, k = 1, 3, обмеженi: |ξk| ≤ 1. Довести нерiвнiстьБелла: |IEξ1ξ2 − IEξ1ξ3| ≤ 1− IEξ2ξ3.

(9) Випадковi величини ξk, k = 1, 2, центрованi i нормованi: IEξk = 0, iIDξk = 1, та мають кореляцiю ρ = IEξ1ξ2. Довести такий аналог нерiвностi

Чебишева: IP(|ξ1| ≥ ε ∪ |ξ2| ≥ ε) ≤(1 +

√1− ρ2

)/ε2.

1.15.2. Коварiацiйна матриця випадкового вектора

Означення. Нехай ξ = (ξ1, ..., ξn) – випадковий вектор з квадратичноiнтегровними координатами. Його коварiацiйною матрицею називаєтьсяматриця з коварiацiями його координат:

Cov(ξ) ≡ (Cov(ξi, ξj), i, j = 1, n).

Теорема (про властивостi коварiацiйної матрицi). Коварiацiйна ма-триця V =Cov(ξ) випадкового вектора ξ симетрична та невiд’ємновизначена, тобто:

V = V ′, c′V c ≥ 0, ∀c ∈ Rn.

Доведення. Симетричнiсть очевидна. Невiд’ємна визначенiсть випли-ває з теореми про властивостi дисперсiї та наступної теореми ¡

Теорема (про дисперсiю лiнiйної форми вiд випадкового вектора).Нехай ξ = (ξ1, ..., ξn) – випадковий вектор iз коварiацiйною матрицеюCov(ξ), стала c ∈ Rn, а η = c′ξ ≡ ∑n

k=1 ckξk – лiнiйна форма вiд ξ. Тодiвиконується рiвнiсть

IDη = c′Cov(ξ)c =∑

i, jciCov(ξi, ξj)cj.

Доведення. Пiднесемо до квадрату та скористаємося лiнiйнiстю мате-матичного сподiвання:

1.16. Незалежнi випадковi величини 89

IDη = IE(η − IEη)2 = IE(∑

ck(ξk − IEξk))2 =

IE∑

i,j ci(ξi − IEξi)cj(ξj − IEξj) =∑

i,j ciCov(ξi, ξj)cj ¡Теорема (про коварiацiйну матрицю лiнiйного перетворення). Не-

хай ξ = (ξ1, ..., ξn) – випадковий вектор iз коварiацiйною матрицеюCov(ξ), матриця C ∈ £(Rn,Rm), а випадковий вектор

η = Cξ =(∑n

k=1Cikξk, i = 1,m

)

утворений вiдповiдним лiнiйним перетворенням ξ. Тодi

Cov(η) = C Cov(ξ) C ′.

Доведення. Обчислимо за означенням коварiацiї та за лiнiйнiстю ма-тематичного сподiвання

Cov(η)i,j = IE(ηi − IEηi)(ηj − IEηj) = IE∑

kCik(ξk − IEξk)

∑lCjl(ξl − IEξl) =

∑k,l

CikCov(ξk, ξl)(C′)lj = (C Cov(ξ) C ′)ij ¡

Вправи(1) Коварiацiйна матриця Cov(ξ) вектора ξ має власнi числа λk. Довести, що

maxx∈Rn ID(x′ξ)/x′x = max1≤k≤n λk.(2) Взаємною коварiацiйною матрицею квадратично iнтегровних випадкових

векторiв ξ, η називається матриця: Cov(ξ, η) ≡ IE(ξ− IEξ) · (η− IEη)′, де добутокутворений попарними добутками вiдповiдних координат. Довести, що коварiацiй-

на матриця складеного вектора (ξ, η) дорiвнює

(Cov(ξ) Cov(ξ, η)Cov(ξ, η)′ Cov(η)

).

1.16. Незалежнi випадковi величини

Кожна випадкова величина породжує певнi випадковi подiї, що є про-образами борелєвих множин.. Незалежнiсть випадкових величин означає,що всi такi породженi подiї незалежнi.

Означення. Випадковi величини (ξ1, ..., ξn) незалежнi в сукупностi,якщо всi породженi ними випадковi подiї незалежнi в сукупностi, тоб-то для довiльних Bk ∈ B(R)

IP(ξ1 ∈ B1, ..., ξn ∈ Bn) =∏n

k=1IP(ξk ∈ Bk).

Зауваження (про незалежнiсть пiдмножин). Якщо випадковi величи-ни з деякої множини незалежнi у сукупностi, то за означенням випад-ковi величини з будь-якої її пiдмножини також незалежнi.


Означення. Випадковi величини (ξ1, ..., ξn) попарно незалежнi, якщодля всiх k < j величини ξk та ξj незалежнi.

Ясно, що з незалежностi у сукупностi випливає незалежнiсть попарна.Наведений вище приклад Бернштейна свiдчить, що обернене твердженняне виконується.

1.16.1. Критерiй незалежностi випадкових величин

Теорема (про критерiй незалежностi випадкових величин). Ви-падковi величини (ξ1, ..., ξn) незалежнi в сукупностi тодi й тiльки тодi,коли їх сумiсна функцiя розподiлу розпадається для всiх (x1, ..., xn) ∈ Rn

у добуток

F(ξ1,...,.ξn)(x1, ..., xn) ≡ IP(ξ1 < x1, ..., ξn < xn) =

=∏n

k=1IP(ξk < xk) ≡

∏n

k=1Fξk

(xk).

Доведення. Необхiднiсть умови теореми очевидна, оскiльки напiвiн-тервали Bk = (−∞, xk) є борелєвими множинами.

Достатнiсть. Доведення проведемо за iндукцiєю з таким iндуктив-ним твердженням: для всiх Bi ∈ B(R), xi ∈ R

IP(ξ1 ∈ B1, ..., ξk−1 ∈ Bk−1

∩ ξk ∈ Bk ∩ξk+1 < xk+1, ..., ξn < xn

) =

(∏k−1

i=1IP(ξi ∈ Bi)

)IP(ξk ∈ Bk)

∏n

i=k+1IP(ξi < xi)

При k = 0 рiвнiсть виконується за умовою. Треба її довести при k = n.Нехай рiвнiсть виконується для k−1. Тодi вона має мiсце при значеннi

k для множин Bk = (−∞, xk). Зауважимо, що обидвi частини такої рiв-ностi є сигма-адитивними мiрами за Bk ∈ B(R). Тому рiвнiсть має мiсцедля напiвiнтервалiв Bk = [ak, bk), для множин з алгебри Bk ∈ A(R), та затеоремою Каратеодорi про продовження мiри для всiх Bk ∈ B(R) ¡

Теорема (про критерiй незалежностi абсолютно неперервних ве-личин). Нехай випадковий вектор ξ = (ξ1, ..., ξn) має сумiсну щiльнiстьfξ(x1, .xn). Випадковi величини (ξ1, ..., ξn) незалежнi в сукупностi тодi йтiльки тодi, коли

fξ(x1, ..., xn) =∏n

k=1fξk

(xk), ∀xk ∈ R.

Доведення. За умови абсолютної неперервностi умова теореми прокритерiй незалежностi випадкових величин еквiвалентна рiвностiw x1

−∞...w xn

−∞fξ(y1, ..., yn)dy1...dyn =

∏n

k=1

w xk

−∞fξk

(yk)dyk =

1.16. Незалежнi випадковi величини 91w x1

−∞...w xn

−∞

∏n

k=1fξk

(yk)dy1...dyn, ∀xk ∈ R,

де остання рiвнiсть є наслiдком теореми Фубiнi про кратний та повторнiiнтеграли. Звiдси за означенням сумiсної щiльностi та з наслiдку проєдинiсть сумiсної щiльностi виводимо сформульоване твердження ¡

1.16.2. Перетворення незалежних величин

Теорема (про перетворення незалежних величин). Нехай випад-ковi величини (ξ1, ..., ξn) незалежнi в сукупностi, а g1,..., gn – борелєвiфункцiї. Тодi випадковi величини

(g1(ξ1), ..., gn(ξn))

також незалежнi в сукупностi.Доведення. Обчислимо при Bk ∈ B(R)

IP(g1(ξ1) ∈ B1, ..., gn(ξn) ∈ Bn) = IP(ξ1 ∈ g(−1)1 (B1), ..., ξn ∈ g(−1)

n (Bn)) =∏n

k=1IP(ξk ∈ g

(−1)k (Bk)) =

∏n

k=1IP(gk(ξk) ∈ Bk) ¡

Теорема (про векторнi перетворення незалежних величин). Нехайвипадковi величини (ξ1, ..., ξn) незалежнi в сукупностi, k < n, а функцiїf : Rk → R, g : Rn−k → R – борелєвi. Тодi незалежними є величини:

f(ξ1, ..., ξk), g(ξk+1, ..., ξn).

Доведення. За критерiєм незалежностi досить довести, що

IP((ξ1, ...ξk) ∈ B, (ξk+1, ...ξn) ∈ C) = IP((ξ1, ...ξk) ∈ B)IP((ξk+1, ...ξn) ∈ C)

для всiх B ∈ B(Rk), C ∈ B(Rn−k). Дiйсно, тут для довiльних x, y ∈ Rможна обрати B = f (−1)((−∞, x)) i C = g(−1)((−∞, y)), та скористатисьтеоремою про критерiй незалежностi випадкових величин.

Вказана рiвнiсть для прямокутникiв B =∏k

i=1 Bi, C =∏n

j=k+1 Cj ви-пливає з означення незалежностi.

Обидвi частини наведеної рiвностi є мiрами на B(Rk) та B(Rn−k) зааргументами B i C вiдповiдно. Для множин B,C iз алгебр A(Rk), A(Rn−k),що є об’єднаннями попарно несумiсних прямокутникiв, виводимо цю рiв-нiсть з адитивностi мiри. Нарештi, для борелєвих B, C наведена рiвнiстьсправедлива, оскiльки вiдповiднi класи множин B, C замкненi вiдносномонотонної збiжностi за властивiстю неперервностi ймовiрностей (мiр) ¡

Вправи(1) Дискретнi випадковi величини (ξ1, ..., ξn) незалежнi в сукупностi тодi й

тiльки тодi, коли IP(ξ1 = x1, ..., ξn = xn) =∏n

k=1 IP(ξk = xk) для всiх xk.


(2) Випадковi величини (ξ1, ..., ξn) незалежнi в сукупностi тодi й тiльки тодi,коли IEg1(ξ1)...gn(ξn) =

∏nk=1 IEgk(ξk) для всiх gk ∈ Cb(R).

(3) Нехай Fk – функцiї розподiлу зi щiльностями fk, i |a| < 1. Довести, що(а) функцiя f(x, y) = f1(x)f2(y)(1 + a(2 F1(x) − 1)(2 F2(y) − 1)) є сумiсноющiльнiстю розподiлу деякого випадкового вектора (ξ1, ξ2), (б) величини ξk маютьщiльностi fk та є залежними при a 6= 0.

(4) Знайти функцiю розподiлу максимуму та мiнiмуму незалежних однаковорозподiлених випадкових величин через їх спiльну функцiю розподiлу.

(5) Випадковi величини ξ1, ξ2 ' Exp(1) незалежнi та мають однаковий по-казниковий розподiл iз параметром 1. Довести що величини (а) min(ξ1, ξ2) та|ξ1 − ξ2| незалежнi однаково розподiленi, (б) ξ1/(ξ1 + ξ2) та ξ1 + ξ2 незалежнi.(в) Знайти вiдповiднi сумiснi розподiли. (г) Узагальнити цi твердження на випа-док n незалежних однаково розподiлених показникових величин.

(6) Випадковi величини ξk незалежнi та мають показниковi розподiли з па-раметрами λk, k = 1, 2. Знайти функцiю розподiлу величин (а) ξ1/(ξ1 + ξ2),(б) ξ1 + ξ2, (в) ξ1/ξ2, (г) (ξ1 + ξ2)/ξ1.

(7) Випадковi величини ξ1, ξ2 незалежнi та мають стандартний нормальнийрозподiл. Довести, що вiдношення ξ1/ξ2 має розподiл Кошi.

(8, М.Й.Ядренко) Випадковi величини ξ, η незалежнi та мають такi щiльно-стi: fξ(x) = 1I|x|<1/π

√1− x2, fη(x) = x exp(−x2/2)1Ix>0. Довести, що добуток

ξη має нормальний розподiл.(9) Узагальнити теорему про векторнi перетворення незалежних величин для

скiнченого числа функцiй.

1.17. Математичне сподiвання добуткунезалежних величин

1.17.1. Математичне сподiвання добутку

Теорема (про математичне сподiвання добутку незалежних вели-чин). Якщо випадковi величини ξ, η незалежнi та iнтегровнi, то добу-ток ξη є iнтегровним i має мiсце рiвнiсть

IEξη = IEξ IEη.

Доведення(а) Нехай ξ = 1IA, η = 1IB. Тодi подiї A,B незалежнi i

IEξη = IE 1IA1IB = IE1IA∩B = IP(A ∩B) = IP(A)IP(B) = IEξ IEη.

1.17.Математичне сподiвання добутку незалежних величин 93

(б) Нехай величини ξ, η незалежнi i простi, ξ =∑

xi1IAi, η =

∑yj1IBj

.Тодi випадкова величина ξη дорiвнює скiнченнiй сумi

ξη =∑

xi1IAi

∑yj1IBj

=∑

i,jxiyj1IAi

1IBj=

∑i,j

xiyj 1IAi∩Bj.

Звiдси за лiнiйнiстю математичного сподiвання

IE(ξη) =∑

i,jxiyj IE 1IAi∩Bj

=∑

i,jxiyjIP(Ai ∩Bj) =

∑i,j

xiyjIP(Ai)IP(Bj) =∑

ixiIP(Ai)

∑jyjIP(Bj) = IEξ IEη.

(в) Якщо ξ, η ≥ 0, за теоремою про апроксимацiю випадкових величинпростими побудуємо простi апроксимуючi величини 0 ≤ ξn ↑ ξ, 0 ≤ ηn ↑ η,де за визначенням: ξn = ϕn(ξ), ηn = ϕn(η) з борелєвою функцiєю ϕn.Тодi 0 ≤ ξnηn ↑ ξη, причому величини ξn, ηn незалежнi за теоремою проперетворення незалежних величин.

З твердження (б) та теореми Лебега про монотонну збiжнiсть iз рiв-няння Eξnηn = EξnEηn граничним переходом дiстанемо рiвнiсть теореми.Зауважимо, що умова iнтегровностi в цiй частинi не використовується.

(г) Для знакозмiнних iнтегровних незалежних ξ, η за теоремою проперетворення незалежних величин величини ξ±, η± незалежнi. Тому залiнiйнiстю та внаслiдок iнтегровностi добуткiв ξ±η± за пунктом (в):

IEξη = IE(ξ+η+ − ξ−η+ − ξ+η− + ξ−η−) =

IEξ+IEη+ − IEξ−IEη+ − IEξ+IEη− + IEξ−IEη− = IEξIEη ¡Наслiдок (про некорельованiсть незалежних величин). Iз попарної

незалежностi випадкових величин випливає їх некорельованiсть.Доведення є наслiдком теореми про математичне сподiвання добутку

незалежних величин, оскiльки за означенням коварiацiї справедливi рiв-ностi Cov(ξ, η) = IEξη − IEξ IEη = IEξ IEη − IEξ IEη = 0 ¡

1.17.2. Дисперсiя суми незалежних величин

Теорема (про дисперсiю суми незалежних величин). Нехай випад-ковi величини (ξ1, ..., ξn) попарно незалежнi. Тодi

ID(∑n

k=1ξk

)=

∑n

k=1ID(ξk).

Доведення. Обчислимо за означенням дисперсiї та за лiнiйнiстю ма-тематичного сподiвання

ID(∑n

k=1ξk

)= IE

(∑n

k=1(ξk − IEξk)

)2

=∑

i,jIE(ξi − IEξi)(ξj − IEξj) =


∑i,j

(IE(ξiξj)− IEξiIEξj) =∑

i6=j0 +

∑i=j

(IE(ξiξj)− IEξiIEξj) =∑

i(IEξ2

i − (IEξi)2) =

∑n

k=1IDξk,

де при i 6= j використано теорему про математичне сподiвання добуткунезалежних величин, та теорему про властивостi дисперсiї ¡

Приклад. Дисперсiя бiномiального розподiлу. Нехай χk = 1IYk– iн-

дикаторна величина успiху в k-му випробуваннi Бернуллi. За умовоюцi величини незалежнi. Тодi загальна кiлькiсть успiхiв дорiвнює сумiξ =

∑nk=1 χk, отже, з теореми про дисперсiю суми незалежних вели-

чин та формули для дисперсiї iндикаторної величини випливає рiвнiстьIDξ =

∑nk=1 IDχk = np(1− p).

1.17.3. Математичне сподiвання функцiївiд незалежних величин

На вiдмiну вiд добутку, для загальної функцiї вiд незалежних величинобчислення математичного сподiвання зводиться до знаходження повтор-ного iнтегралу.

Теорема (про математичне сподiвання функцiї вiд незалежних ве-личин). Нехай випадковi величини ξ, η незалежнi, мають функцiї роз-подiлу Fξ, Fη, а g : R2 → R невiд’ємна борелєва функцiя. Тодi

IEg(ξ, η) =w ∞−∞

(w ∞−∞

g(x, y)dFξ(x))

dFη(y).

Доведення(1) Нехай g(x, y) = 1I(x,y)∈B×C для B, C ∈ B(R). Тодi обидвi части-

ни рiвностi дорiвнюють Fξ(B)Fη(C), оскiльки g(x, y) = 1Ix∈B1Iy∈C , а затеоремою про перетворення незалежних величин множники 1Iξ∈B1Iη∈C –незалежнi.

(2) Унаслiдок (1) та лiнiйностi за g тотожностi теореми її задовольня-ють функцiї g(x, y) = 1I(x,y)∈D для довiльних множин D з алгебри A(R2).Оскiльки обидвi частини тотожностi неперервнi за D, то вона виконуєтьсядля всiх простих невiд’ємних борелєвих функцiй g : R2 → R.

(3) Для довiльної невiд’ємної борелєвої функцiї g оберемо простi gn

так, щоб 0 ≤ gn ↑ g поточково. Тодi для кожного y ∈ R мають мiсцемонотоннi поточковi збiжностiw ∞

−∞gn(x, y)dFξ(x) ↑

w ∞−∞

g(x, y)dFξ(x), n →∞,

gn(ξ, η) ↑ g(ξ, η), n →∞.

1.17.Математичне сподiвання добутку незалежних величин 95

Тому твердження теореми випливає з теореми Лебега про монотоннузбiжнiсть для iнтеграла Лебега та для iнтеграла Лебега – Стiлтьєса, якщодоведене твердження (2) застосувати до функцiй gn ¡

Вправи(1) Для незалежних ξ, η довести, що:

IP(ξ < η) =r∞−∞ Fξ(x)dFη(x).

(2) Довести для функцiй розподiлу F1, F2 тотожнiсть

F1(a)F2(a) =r(−∞,a)

F1(x)dF2(x) +r(−∞,a)

F2(x + 0)dF1(x).

(3) Довести, що IEξη = IEξIEη для незалежних невiд’ємних величин.

(4) Випадковi величини ξ, η незалежнi, а борелєва функцiя g невiд’ємна.Довести тотожнiсть IEg(ξ, η) = IE(IE(g(x, η) |x=ξ).

(5) Для незалежних випадкових величин ξ, η з вiдомим математичними спо-дiваннями та дисперсiями обчислити дисперсiю добутку ID(ξη).

(6) Випадкова величина ξ рiвномiрно розподiлена на [−1, 1]. Тодi величини ξта ξ2 некорельованi, але залежнi.

(7) Обмеженi випадковi величини ξ, η є незалежними тодi й тiльки тодi, колиIEξmηn = IEξmIEηn для всiх m,n ≥ 1.

(8) Величини ξ1, ..., ξn незалежнi, однаково розподiленi, та IEξ1 = IEξ31 = 0.

Довести, що випадковi величини µ = 1n

∑nk=1 ξk та σ2 = 1

n

∑nk=1(ξk − µ)2 –

некорельованi.

(9) Випадковi величини ξ1 та ξ2 є незалежними тодi й тiльки тодi, колиCov(g1(ξ1), g2(ξ2)) = 0 для всiх борелєвих функцiй gk таких, що величиниgk(ξk) квадратично iнтегровнi.

(10) Випадкова ламана на площинi виходить з початку координат, утворенаn вiдрiзками одиничної довжини, причому кути мiж сусiднiми вiдрiзками неза-лежнi та дорiвнюють ±α з iмовiрнiстю 1/2. Обчислити математичне сподiванняквадрата вiдстанi мiх початковою та останньою вершиною ламаної.

(11) Розглянемо узагальнення випробувань Бернуллi, у якому ймовiрнiстьуспiху в k-му випробуваннi дорiвнює pk. Нехай ξn – кiлькiсть успiхiв у nвипробуваннях. (а) Знайти IEξn, IDξn. (б) Найбiльше значення IDξn за умовиn−1

∑nk=1 pk = p досягається при pk ≡ p.

(12) Випадковi вектори (ξ1, ...ξn) з Rd називаються незалежними в суку-пностi, якщо вiдповiднi прообрази довiльних борелєвих множин є незалежнимиу сукупностi випадковими подiями. Довести: (а) теорему про критерiй незале-жностi випадкових векторiв, (б) критерiй незалежностi абсолютно неперервнихвекторiв, (в) теореми про перетворення незалежних векторiв та (г) про матема-тичне сподiвання функцiї вiд незалежних випадкових векторiв.


1.18. Розподiл суми незалежних величин.Гама-розподiл

1.18.1. Розподiл суми незалежних величин

Означення. Згорткою функцiй розподiлу F, G називається функцiя

F ∗G(a) =w ∞−∞

F (a− y) dG(y).

Теорема (про функцiю розподiлу суми незалежних величин). Не-хай випадковi величини ξ, η незалежнi та мають функцiї розподiлуFξ, Fη. Тодi функцiя розподiлу Fξ+η суми ξ + η дорiвнює згортцi:

Fξ + η = Fξ ∗ Fη.

Доведення. Для довiльної множини B ∈ B(R2) позначимо через By ≡x : (x, y) ∈ B перерiз множини B на рiвнi y.

Нехай Ba = (x, y) : x + y < a. Тодi IP(ξ + η < a) = IP((ξ, η) ∈ Ba) iперерiз Ba

y = x : x < a− y. Застосуємо теорему про математичне сподi-вання функцiї вiд незалежних величин для функцiї g(x, y) = 1I(x,y)∈Ba :

IP(ξ + η < a) = IP((ξ, η) ∈ Ba) = IEg(ξ, η) =r∞−∞

(r∞−∞ 1I(x,y)∈Ba dFξ(x)

)dFη(y) =

r∞−∞r∞−∞ 1Ix∈Ba

ydFξ(x)dFη(y) =

r∞−∞ Fξ(B

ay ) dFη(y) =

r∞−∞ Fξ(a− y) dFη(y) = Fξ ∗ Fη(a) ¡

Наслiдок (про властивостi згортки).(а) Згортка функцiй розподiлу є функцiєю розподiлу.(б) Згортка є комутативною та асоцiативною операцiєю.Доведення очевидне, оскiльки лiва частина останньої рiвностi є фун-

кцiю розподiлу та симетрична вiдносно ξ, η ¡Означення. Згорткою щiльностей розподiлу f, g називається iнте-

гральне перетворення

f ∗ g(a) =w ∞−∞

f(a− y) g(y)dy.

Теорема (про щiльнiсть розподiлу суми незалежних величин). Не-хай величини ξ, η незалежнi та мають щiльностi розподiлу fξ, fη. Тодiщiльнiсть розподiлу fξ+η суми ξ + η iснує i дорiвнює згортцi fξ ∗ fη.

Доведення. Замiною порядку iнтегрування за теоремою Фубiнi прократний та повторнi iнтеграли досить перевiрити, що при всiх a ∈ R :

Fξ ∗ Fη(a) =w ∞−∞

Fξ(a− y) dFη(y) =w a

−∞Fξ(a− y) fη(y)dy =

1.18. Розподiл суми незалежних величин. Гама-розподiл 97

w ∞−∞

(w a−y

−∞fξ(x)fη(y)dx

)dy =

w ∞−∞

w ∞−∞

fξ(x)fη(y)1Ix+y < a dx dy =w ∞−∞

w ∞−∞

fξ(u− y)fη(y)1Iu < a du dy =w a

−∞fξ ∗ fη(u) du,

де використано також теорему про обчислення математичного сподiванняфункцiї вiд неперервної величини через її щiльнiсть та замiну змiннихu = x + y, y = y у кратному iнтегралi ¡

Вправи(1) Для незалежних дискретних випадкових величин ξ, η

IP(ξ + η = a) =∑

y IP(ξ = a− y)IP(η = y),де сума поширюється на множину значень величини η.

(2) Простi випадковi величини ξ1, ξ2 незалежнi, однаково розподiленi, а їхрозподiл не є рiвномiрним. Довести, що

max(IP(ξ1 + ξ2 = a), a ∈ R) < max(IP(ξ1 = a), a ∈ R).(3, П.Левi) Довести, що для кожного натурального n > 1, що не є простим,

знайдеться пара незалежних величин ξ1, ξ2 таких, що всi ймовiрностi з розподiлуIP(ξ1 + ξ2 = k), 0 ≤ k < n, однаковi i додатнi.

(4) Якщо ξ, η – незалежнi величини з розподiлами Пуассона з параметрамиλ, µ вiдповiдно,.то (а) сума ξ + η має розподiл Пуассона з параметром λ + µ,(б) IP(ξ1 = k | ξ1 + ξ2 = n) = Ck

npk(1− p)n−k, де p = λ/(λ + µ).(5) Випадковi величини ξ1, ξ2 незалежнi та мають геометричний розподiл:

IP(ξi = k) = qk(1 − q), k ≥ 0. (а) Довести, що IP(ξ1 = k | ξ1 + ξ2 = n) =1/(n + 1), k = 0, n. (б) Знайти сумiсний розподiл величин ξ1 та max(ξ1, ξ2).

(6) Для довiльних щiльностей f, g згортка f ∗ g(x) неперервна.(7) Щiльнiсть f(x) iнтегровна у квадратi на R. Довести, що згортка f ∗ f(x)

обмежена.(8) Якщо величини (ξk, k = 1, n) незалежнi у сукупностi та мають вiдповiднi

функцiї розподiлу (Fk), то функцiя розподiлу суми ξ1 + ...+ ξn дорiвнює згортцiF1∗F2∗...∗Fn, причому остання не залежить вiд порядку обчислення iнтегралiв.

(9) Випадковi величини ξk незалежнi та мають рiвномiрний на [0, 1] розподiл,а Un(x) = IP(ξ1 + ... + ξn < x). Довести, що: (а) U ′

n+1(x) = Un(x)−Un(x− 1),(б) Un(x) = (n!)−1

∑nk=0(−1)kCk

n(x− k)n1Ik<x, (в) щiльнiсть суми ξ1 + ... + ξn

дорiвнює ((n− 1)!)−1∑n

k=0(−1)kCkn(x− k)n−11Ik<x.

(10) Випадковi величини ξ1, ..., ξn незалежнi та рiвномiрно розподiленi навiдрiзку [0, 1]. Знайти щiльнiсть величини

∏nk=1 ξk.

(11) Нехай ξ, η – незалежнi величини такi, що величини ξ + η та ξ маютьоднаковi функцiї розподiлу. Довести, що η = 0 м.н.

(12) Випадковi величини ξ1, ξ2 незалежнi однаково розподiленi, i min(ξ1, ξ2)має показниковий розподiл. Довести, що ξk мають показниковий розподiл.


(13) Випадковi величини ξ1, ..., ξn, η незалежнi у сукупностi, IP(ξk = 0) =IP(ξk = 1) = 1/2, а η рiвномiрно розподiлена на [0, 1]. Довести, що величинаξ =

∑nk=1 2−kξk + 2−nη також рiвномiрно розподiлена на [0, 1].

(14, Роббiнс) Випадковi величини ξ1, ..., ξn незалежнi у сукупностi, а ζk =ξ1 + .. + ξk – їх частиннi суми. Довести нерiвностi

IP(ζ1 ≤ x1, ..., ζn ≤ xn) ≥ ∏nk=1 IP(ζk ≤ xk), ∀x1, ..., xn.

(15) Випадковi величини ξ1, ..., ξn незалежнi у сукупностi та мають показни-ковi розподiли з попарно рiзними параметрами λk, k = 1, n. Довести, що щiль-нiсть суми ξ1 + ... + ξn має вигляд fn(x) =

∑nk=1 cnk exp(−λkx), x ≥ 0. Знайти

рекурентнi за n рiвняння для коефiцiєнтiв cnk та обчислити цi коефiцiєнти.(16) Випадковi величини ξ1, ξ2 незалежнi та мають показниковий розподiл

Exp(λ). Тодi (а) рiзниця ζ = ξ1−ξ2 має розподiл Лапласа зi щiльнiстю fζ(x) =12λ exp(−λ |x|), (б) випадковi величини ξ1 + ξ2 та ξ1/ξ2 також незалежнi.

1.18.2. Розподiл Ерланга

Теорема (про розподiл Ерланга). Нехай величини (ξn, n ≥ 1) неза-лежнi в сукупностi, однаково розподiленi i мають показниковий розподiлiз параметром λ. Тодi сума ζn = ξ1 + ... + ξn має розподiл Ерланга по-рядку n з параметром λ, тобто її щiльнiсть дорiвнює:

fn(x) = λ(λx)n−1 exp(−λx)/(n− 1)!, x ≥ 0,

Доведення. Тут та нижче при x < 0 всi щiльностi fn(x) = 0.За умовою f1(x) = λ exp(−λx), x ≥ 0.Оскiльки сума ζn = ζn−1 + ξn = (ξ1 + ... + ξn−1) + ξn, мiстить незалежнi

доданки за теоремою про векторнi перетворення незалежних величин, iзтеореми про щiльнiсть розподiлу суми незалежних величин дiстанеморiвняння

fn(x) = (fn−1 ∗ f1)(x) =w x

−∞fn−1(x− y) f1(y)dy =

w x

0fn−1(x− y) λ exp(−y)dy =

w x

0fn−1(y) λ exp(−λx + λy)dy.

Переходячи до функцiй gn(x) = fn(x) exp(λx), виводимо при n ≥ 2рекурентнi рiвняння

gn(x) = λw x

0gn−1(y)dy, g1(x) = λ, ∀x ≥ 0,

звiдки за iндукцiєю знаходимо

gn(x) = λ(λx)n−1/(n− 1)!, fn(x) = λ(λx)n−1 exp(−λx)/(n− 1)! ¡

1.18. Розподiл суми незалежних величин. Гама-розподiл 99

1.18.3. Розподiли гама та хi-квадрат

Замiною в означеннi розподiлу Ерланга факторiалу на повну гама-функцiю

Γ(α) ≡w ∞

0xα−1 exp(−x)dx,

отримаємо бiльш загальну сiм’ю розподiлiв.Означення. Невiд’ємна випадкова величина ζ має гама-розподiл iз

параметрами λ, α > 0, тобто ζ ' Γ(λ, α), якщо вона має щiльнiсть

f(x) = λ(λx)α−1 exp(−λx) / Γ(α), x ≥ 0.

При α = n ∈ N гама-розподiл збiгається з розподiлом Ерланга.Теорема (про iнварiантнiсть гама-розподiлiв вiдносно згортки).

Нехай випадковi величини ζ1 ' Γ(λ, α) i ζ2 ' Γ(λ, β) незалежнi. Тодiїх сума також має гама-розподiл :

ζ1 + ζ2 ' Γ(λ, α + β).

Доведення. З теореми про щiльнiсть розподiлу суми незалежних ве-личин виводимо, що

fζ1 + ζ2(x) = fζ1

∗ fζ2(x) =

w x

0λ(λy)α−1 exp(−λy) λ(λx− λy)β−1 exp(−λx + λy)dy/Γ(α)Γ(β) =

λα+β xα+β−1 exp(−λx)w 1

0(1− t)α−1tβ−1dt / Γ(α)Γ(β) =

= λ(λx)α+β−1 exp(−λx) / Γ(α + β), x ≥ 0,

де зроблено замiну t = y/x та використанi означення та властивiсть повноїбета-функцiї B(α, β) = Γ(α)Γ(β)/Γ(α + β) ¡

Частковим випадком гама-розподiлу є розподiл хi-квадрат, який широ-ко застосовується в статистицi.

Означення. Випадкова величина χ2n має хi-квадрат розподiл з n сту-

пенями свободи, якщо її можна подати у виглядi

χ2n = ζ2

1 + ... + ζ2n,

де (ζk, k ≥ 1) – незалежнi в сукупностi стандартнi нормальнi величини.Теорема (про хi-квадрат розподiл). Нехай випадкова величина χ2

n

має хi-квадрат розподiл та n ступенiв свободи. Тодi χ2n ' Γ(1/2, n/2).

Доведення. З теореми про обчислення розподiлу функцiї вiд випадко-вої величини виводимо рiвнiсть ζ2

1 ' Γ(1/2, 1/2) :

IP(ζ21 < x) =

w √x

−√x

1√2π

exp(−y2/2)dy = 2w √x

0

1√2π

exp(−y2/2)dy =


w x

0

1√2π

u−1/2 exp(−u/2)du =1

Γ(1/2)

w x

0(1/2)(u/2)−1/2 exp(−u/2)du.

Отже, при n = 1 теорема доведена. Оскiльки величини ζ2k незалежнi в

сукупностi, то доданки в сумi χ2n+1 = χ2

n +ζ2n+1 незалежнi за теоремою про

векторнi перетворення незалежних величин. Якщо χ2n ' Γ(1/2, n/2), то за

теоремою про iнварiантнiсть гама-розподiлiв вiдносно згортки отримуєморiвнiсть χ2

n+1 ' Γ(1/2, n/2) + Γ(1/2, 1/2) ' Γ(1/2, n/2 + 1/2), що доводитьтеорему за iндукцiєю ¡

Вправи(1) Довести, що функцiя розподiлу Ерланга порядку n з параметром λ має

вигляд Fn(x) = 1− (1 + λx + ... + (λx)n−1/(n− 1)!) exp(−λx), x ≥ 0.(2) Вивести з теореми про iнварiантнiсть гама-розподiлiв вiдносно згортки,

що математичне сподiвання µ(λ, α) = IEΓ(λ, α) та дисперсiя σ2(λ, α) = IDΓ(λ, α)є адитивними додатними функцiями параметра α i тому є лiнiйними функцiями.Обчислити звiдси IEΓ(λ, α) = α/λ, IDΓ(λ, α) = α/λ2. Знайти IEΓr(λ, α).

(3) Довести формулу Лiувiлля перетворення кратних iнтегралiвr∞0

...r∞0

f(x1 + ... + xn)xα1−11 ...xαn−1

n dx1...dxn =Γ(α1)...Γ(αn)Γ(α1+...+αn)

r∞0

f(y)yα1+...+αn−1dy.

(4) Випадковi величини (ζn, n ≥ 1) незалежнi однаково розподiленi зi спiль-ним показниковим розподiлом Exp(λ). (а) Знайти розподiл випадкової величиниν = inf(n ≥ 1 : ζ1 + ... + ζn ≥ 1). (б) Довести, що для кожного k > 0 величиниξν та ξν+k незалежнi. (в) Знайти розподiл ξν+k.

(5) Випадковi величини ζk ' Γ(λ, αk), k = 1, 2, незалежнi. Довести, щовеличини ζ1 + ζ2 i ζ1/ (ζ1 + ζ2) незалежнi, та знайти їх розподiли.

1.19. Нормальнi випадковi вектори

У даному роздiлi, як i в iнших, всi вектори розглядаються як вектори-стовпчики. Символ ′ означає транспонування векторiв та матриць.

Означення. n-вимiрний випадковий вектор ζ = (ζ1, ..., ζn)′ називає-ться стандартним нормальним вектором, позначення ζ ' Nn(0, I), якщовипадковi величини ζ1, ..., ζn є незалежними в сукупностi стандартниминормальними величинами: ζk ' N(0, 1).

Зауваження. З теореми про критерiй незалежностi абсолютно непе-рервних величин та з означення стандартної нормальної величини випли-ває, що вектор ζ є стандартним нормальним тодi й тiльки тодi, коли його

1.19. Нормальнi випадковi вектори 101

сумiсна щiльнiсть має вигляд

fζ(x) =∏n

k=1(2π)−1/2 exp(−x2

k/2) =

= (2π)−n/2 exp(−

∑n

k=1x2

k/2)

= (2π)−n/2 exp (−x′x/2) .

Означення. n-вимiрний випадковий вектор ξ = (ξ1, ..., ξn)′ називає-ться нормальним вектором, якщо його можна зобразити у виглядi лi-нiйного невиродженого перетворення стандартного нормального вектораζ, тобто якщо для деяких вектора m ∈ Rn та невиродженої матрицiA ∈ Ln(Rn) виконується рiвнiсть ξ = m + A ζ.

Зауваження. Можна розглядати узагальненi нормальнi вектори, дляяких матриця A може бути виродженою. Вони не є абсолютно непе-рервними, однак вiдповiдне звуження на пiдпростiр повного рангу вжеє нормальним вектором меншої розмiрностi. Бiльшiсть iз наведених ниж-че властивостей, за винятком формули для щiльностi, мають мiсце i дляузагальнених нормальних векторiв.

1.19.1. Сумiсна щiльнiсть нормального вектора

Теорема (про сумiсну щiльнiсть нормального вектора). Випадко-вий вектор ξ є n-вимiрним нормальним вектором тодi й тiльки тодi,коли його сумiсна щiльнiсть має вигляд

fξ(x) = (2π)−n/2 |det V |−1/2 exp(−(x−m)′V −1(x−m)/2), x ∈ Rn,

де m ∈ Rn, а матриця V ∈ Ln(Rn) є симетричною додатно визначеною.Якщо ξ = m + A ζ, де ζ ' Nn(0, I), то m = m, V = AA′.

Означення. Якщо сумiсна щiльнiсть випадкового вектора ξ має на-ведений вище вигляд, будемо писати ξ ' Nn(m,V ).

Зауваження. Якщо m = 0 i V = I – одинична матриця, то позначенняNn(0, I) вiдповiдає означенню стандартного нормального вектора.

Доведення. Необхiднiсть. Нехай ξ = m + A ζ, де ζ – стандартнийнормальний вектор i det A 6= 0.

Для обчислення щiльностi ξ розглянемо n-вимiрний кут

Πx = (−∞, x) =∏n

k=1(−∞, xk).

За теоремою про обчислення ймовiрностей, пов’язаних iз неперервнимвектором

Fξ(x) = IP(ξ < x) = IP(m + A ζ ∈ Πx) = IP(ζ ∈ A−1(Πx −m)) =

102 Теорiя ймовiрностейw

A−1(Πx−m)fζ(y)dy =

wy: m+Ay∈Πx

fζ(y)dy =w

Πx

fζ(A−1(u−m))

∣∣det A−1∣∣ du,

де використана замiна змiнної u = m + Ay з якобiаном |det A−1| . Звiдсиза означенням сумiсної щiльностi

fξ(u) = fζ(A−1(u−m))

∣∣det A−1∣∣ =

|det A|−1 (2π)−n/2 exp(−(A−1(u−m))′A−1(u−m)/2) =

(2π)−n/2 |det V |−1/2 exp(−(u−m)′V −1(u−m)/2),

де враховано визначення V = AA′ та рiвнiсть |det A| = |det V |1/2 . Симе-тричнiсть V очевидна, додатна визначенiсть випливає з невиродженостiматрицi A та рiвностi c′V c = c′AA′c = |c′A|2 > 0 ∀c 6= 0.

Достатнiсть. Нехай вектор m ∈ Rn, матриця V симетрична додатновизначена, а випадковий вектор ξ має наведену вище сумiсну щiльнiсть.Зобразимо матрицю V у виглядi V = A A′ iз деякою невиродженою матри-цею A (це можливо пiсля зведення V до дiагональної форми). Розглянемовипадковий вектор ζ = −A−1m + A−1ξ ≡ m1 + A1ξ. Тодi ξ = m + A ζ, тааналогiчно до наведених вище мiркувань

fζ(x) = fξ(A−11 (x−m1))

∣∣det A−11

∣∣ = fξ(Ax + m) |det A| =(2π)−n/2 exp(−x′x/2),

тобто ζ – стандартний нормальний вектор ¡

1.19.2. Параметри розподiлу нормального вектора

Теорема (про iнтерпретацiю параметрiв нормального розподiлу).Нехай ξ ' Nn(m,V ) – нормальний вектор. Тодi

IEξ = m, Cov(ξ) = V.

Доведення. Очевидно, що за лiнiйнiстю IEξ = IE(m+A ζ) = m+A IEζ =m + A0 = m. Далi, за теоремою про коварiацiйну матрицю лiнiйногоперетворення випадкового вектора Cov(ξ) = Cov(ξ − m) = Cov(Aζ) =ACov(ζ)A′ = AIA′ = V ¡

1.19.3. Нормальний вектор на площинi

Теорема (про щiльнiсть нормального розподiлу на площинi). Длядовiльного нормального вектора на площинi ξ = (ξ1, ξ2) ' N2(·) iснуютьп’ять сталих µ1, µ2 ∈ R, σ2

1 > 0, σ22 > 0, ρ ∈ (−1, 1) такi, що сумiсна


щiльнiсть дорiвнює

fξ(x) = (2πσ1σ2)−1(1− ρ2)−1/2×

exp

(− 1

2(1− ρ2)

[(x1 − µ1

σ1

)2

− 2ρx1 − µ1

σ1

x2 − µ2

σ2

+

(x2 − µ2

σ2

)2])

,

де µk = IEξk, σ2k = IDξk, k = 1, 2, а ρ – коефiцiєнт кореляцiї ξ1 i ξ2 :

ρ(ξ1, ξ2) = Cov(ξ1, ξ2)/σ1σ2 = IE(ξ1 − µ1)(ξ2 − µ2)/σ1σ2 = ρ.

Зауваження. Вектор (ξ1, ξ2) позначають через N2(µ1, µ2, σ21, σ

22, ρ).

Доведення. Будь-яка невироджена симетрична додатно визначена ма-

триця 2 × 2 має вигляд V =

(σ2

1 ρσ1σ2

ρσ1σ2 σ22

), де σk > 0, |ρ| < 1. З те-

ореми про сумiсну щiльнiсть нормального вектора та формули обертання

матрицi V −1 = (1− ρ2)−1

(σ−2

1 −ρσ−11 σ−1

2

−ρσ−11 σ−1

2 σ−22

)знаходимо наведений

вираз для щiльностi. Подальше випливає з теореми про iнтерпретацiюпараметрiв нормального розподiлу та означення коефiцiєнта кореляцiї ¡

Теорема (про незалежнiсть координат нормального вектора). Не-хай ξ = (ξ1, ξ2)

′ ' N2(m,V ). Величини ξ1 i ξ2 незалежнi тодi й тiлькитодi, коли вони некорельованi : Cov(ξ1, ξ2) = 0.

Доведення. Некорельованiсть незалежних величин доведена вище якнаслiдок теореми про математичне сподiвання добутку незалежних вели-чин. Навпаки, з некорельованостi величин виводимо, що коефiцiєнт коре-ляцiї ρ = 0. З теореми про щiльнiсть нормального розподiлу на площинiвиводимо, що ця щiльнiсть розпадається в добуток маргiнальних однови-мiрних щiльностей. Тому сформульоване твердження випливає з теоремипро критерiй незалежностi абсолютно неперервних величин ¡

Вправи(1) Нехай ξ = (ξ1, ξ2) ' N2(µ1, µ2, σ

21, σ

22, ρ) –нормальний вектор на пло-

щинi. Довести, що сумiсну щiльнiсть ξ можна зобразити у виглядi добуткуfξ(x1, x2) = fξ12

(x1 | x2)fξ2(x2), де ξ2 ' N(µ2, σ

22), а fξ12

(x1 | x2) є щiль-нiстю вiдносно x1 нормальної величини ξ12 ' N(µ1 + ρσ1

σ2(x2− µ2), σ

21(1− ρ2)).

Остання щiльнiсть називається умовною щiльнiстю ξ1 за умови ξ2 = x2.(2) Нехай (α1, α2) – незалежнi рiвномiрно розподiленi на (0, 1) величини.

Довести, що величини ξ1 =√−2 ln α1 sin(2πα2), ξ2 =

√−2 ln α1 cos(2πα2) –незалежнi стандартнi нормальнi.

(3) Якщо (ζk, k = 1, 3) – незалежнi стандартнi нормальнi випадковi величи-

ни, то (ζ1 + ζ2ζ3)/√

1 + ζ23 ' N(0, 1).


(4) Якщо ζk – незалежнi стандартнi нормальнi величини, а кут θ не залежитьвiд них та рiвномiрно розподiлений на [0, 2π], то величина ζ1 cos θ + ζ2 sin θтакож стандартна нормальна.

(5) Для стандартного нормального вектора (ζ1, ζ2) ' N2 (а) знайти щiльнiстьрозподiлу величини max(|ζ1| , |ζ2|), (б) знайти сумiсну щiльнiсть полярних коор-

динат (R, ϕ) цього вектора, (в) довести, що випадкова величина ζ1ζ2/√

ζ21 + ζ2

2

має нормальний розподiл та знайти його параметри.(6) Нехай (ξ1, ξ2) ' N2(0, 0, 1, 1, ρ). Довести, що: (а) IP(ξ1 · ξ2 < 0) =

(arccos ρ)/π, (б) IE max(ξ1, ξ2) =√

(1− ρ)/π, (в) щiльнiсть вiдношення ξ1/ξ2

дорiвнює√

1− ρ2/ π(1− 2ρx + x2).(7) Нехай випадковий вектор (ξ1, ξ2) рiвномiрно розподiлений на одиничному

колi O = (x1, x2) : x21 + x2

2 ≤ 1, а ξ = ξ21 + ξ2

2. Довести, що величини

ζk = ξk

√−2ξ−1 ln ξ є незалежними стандартними нормальними.

(8) Для стандартного нормального вектора (ζ1, ζ2) (а) полярнi координатинезалежнi, квадрат полярного радiусу має хi-квадрат розподiл, полярний кутрiвномiрно розподiлений, (б) величини ζ2

1 + ζ22 i ζ1/ζ2 незалежнi.

(9) Для стандартного нормального вектора (ζ11, ζ12, ζ21, ζ22) ' N4 знайтирозподiл визначника det(ζ ij, i, j = 1, 2).

(10) Навести приклад некорельованих випадкових величин ξ1, ξ2, що маютьнормальнi розподiли, однак є залежними.

(11) Довести, що IE exp(t ‖ξ‖2) < ∞ для ξ ' Nd(m,V ) та t ≥ 0.(12) Нехай ξ ' Nd(m,AA′). Довести, що для довiльної B ∈ B(Rn)

limn→∞2n−2 ln IP(ξ/n ∈ B) ≤ − infx∈B ‖A−1(x−m)‖2.

1.19.4. Лiнiйнi перетворення нормальних векторiв

Нагадаємо: матриця U називається ортонормованою, якщо U−1 = U ′.Теорема (про лiнiйнi перетворення нормальних векторiв).(а) Якщо ξ ' Nn(m,V ), де стала a ∈ Rn i перетворення T ∈ Ln(Rn)

невироджене, то випадковий вектор η ≡ a + Tξ також є нормальнимвектором, та η ' Nn(a + Tm, TV T ′).

(б) Якщо ζ ' Nn(0, I) – стандартний нормальний вектор, а U – ор-тонормована матриця, то вектор Uζ ' Nn(0, I) теж стандартнийнормальний.

(в) Якщо нормальнi вектори ξk ' Nnk(mk, Vk), k = 1, 2, незалежнi,

то складений ними вектор (ξ1, ξ2) ' Nn1+n2 також є нормальним.(г) Нехай T ∈ L(Rn,Rk) для деякого k < n, причому rang(T ) = k.

Якщо ξ ' Nn(m,V ), то Tξ ' Nk(Tm, TV T ′).


Доведення(а) Нехай ξ = m + A ζ, де вектор ζ – стандартний нормальний. Тодi

отримуємо η = a+Tξ = a+Tm+TA ζ. Отже, за означенням нормальноговектора η ' Nn(a + Tm, TA(TA)′) = Nn(a + Tm, TV T ′).

(б) Випливає з (а) та з означення стандартного нормального вектора,оскiльки IEUζ = UIEζ = 0, Cov(Uζ) = UIU ′ = I.

(в) Нехай ξk = mk + Akζk, де ζk – стандартнi нормальнi вектори. То-дi вектори ζk = A−1

k (ξk − mk) незалежнi за теоремою про перетвореннянезалежних величин. За означенням вектор (ζ1, ζ2) є стандартним нор-мальним, оскiльки його координатами є незалежнi стандартнi нормальнiвеличини. Отже, (ξ1, ξ2) є нормальним вектором як невироджене лiнiйнеперетворення (ζ1, ζ2).

(г) Нехай ξ = m + A ζ, де вектор ζ – стандартний нормальний. Тодiη = Tξ = Tm + TAζ = Tm + Bζ ∈ Rk, де B = TA, rang(B) = k.

Оскiльки розмiрнiсть ядра Ker(B) ≡ x : Bx = 0 дорiвнює n−rang(B) =n − k, то в цьому пiдпросторi iснує ортонормований базис ek+1, ..., enрозмiрностi n − k. Нехай e1, ..., ek його доповнення до ортонормовано-го базису в Rn, що iснує за теоремою Грама – Шмiдта. Тодi матрицяU = (e1, ..., en) є ортонормованою i за теоремою про лiнiйнi перетвореннянормальних векторiв вектор θ ≡ U−1ζ = (θ1, ..., θn) є стандартним нор-мальним. За означенням U та побудовою базису BU = (Be1, ..., Ben) =(Be1, ..., Bek, 0, ..., 0). Тому η = Tξ = Tm + Bζ = Tm + BU U−1ζ =Tm + (Be1, ..., Bek, 0, ..., 0)θ = (Be1, ..., Bek) θ(k) ' Nk(Tm, ·), оскiль-ки вектор θ(k) ≡ (θ1, ..., θk), що утворений k незалежними в сукупно-стi стандартними нормальними величинами, є стандартним нормальнимk-вимiрним, а rang(Be1, ..., Bek) = k. Коварiацiйна матриця вектора Tξобчислюється за теоремою про коварiацiйну матрицю лiнiйного перетво-рення випадкового вектора: Cov(Tξ) = TCov(ξ)T ′ = TV T ′ ¡

Вправи(1) Знайти параметри розподiлу вектора у пунктi (в) теореми.(2) Нехай fk(x1, x2), k = 1, 2, – щiльностi двовимiрних нормальних розпо-

дiлiв з нульовими середнiми, одиничними дисперсiями та рiзними кореляцiямиρk. Довести, що випадковий вектор зi щiльнiстю (f1(x1, x2) + f2(x1, x2))/2 не єнормальним вектором, однак його координати нормально розподiленi.

(3) Нехай ϕ – стандартна нормальна щiльнiсть, а непарна функцiя ψ така,що |ψ(x)| ≤ (2πe)−1/21I|x|≤1,∀x. Довести, що функцiя ϕ(x)ϕ(y) + ψ(x)ψ(y)є щiльнiстю розподiлу двовимiрного випадкового вектора, що не є нормальним,однак обидвi його координати мають стандартний нормальний розподiл.


(4) Навести приклад нормальних випадкових величин ξ, η, сума яких не маєнормального розподiлу.

(5, нерiвнiсть Слепяна) Нехай (ξ1, ..., ξn) та (η1, ..., ηn) – нормальнi векторитакi, що IEξk = IEηk, IDξk = IDηk, Cov(ξk, ξj) ≤ Cov(ηk, ηj), ∀k, j = 1, n. Тодi

IP(max1≤k≤n ξk < x) ≤ IP(max1≤k≤n ηk < x), ∀ x ∈ R.(6) Нехай (ξ1, ξ2) нормальний вектор з IEξk = 0 та Cov(ξ1, ξ2) ≤ 0. Довести,

що IP(ξ1≥ x1, ξ2≥ x2) ≤ IP(ξ1≥ x1) IP(ξ2≥ x2), ∀xk≥ 0.(7) Нехай (ξ1, ξ2) ' N2(µ1, µ2, σ

21, σ

22, ρ). Довести, що |ρ(f1(ξ1), f2(ξ2))| ≤

|ρ| за квадратичної iнтегровностi величин пiд знаком коефiцiєнта кореляцiї.(8) Нехай ζk, k = 1, n, – незалежнi стандартнi нормальнi величини. Вивести

при σk ∈ R з теореми про лiнiйнi перетворення нормальних векторiв рiвнiсть

розподiлiв величин∑n

k=1 (ζk + σk)2 '

(ζ1 + (

∑nk=1 σ2

k)1/2

)2

+∑n

k=2 ζ2k.

(9) Навести приклад, що вказує на суттєвiсть умови незалежностi нормаль-них координат ξk для нормальностi розподiлу вектора ξ у теоремi про лiнiйнiперетворення нормальних векторiв, (в).

1.19.5. Незалежнiсть i некорельованiстьнормальних величин

Наслiдок (про незалежнiсть лiнiйних форм нормального вектора).Нехай ξ ' Nn(m,V ), та c, d ∈ Rn, rang(c, d) = 2. Для того, щоб лiнiйнiформи c′ξ i d′ξ були незалежнi, необхiдно й достатньо, щоб вони булинекорельованi: Cov(c′ξ, d′ξ) = c′V d = 0.

Доведення. За теоремою про лiнiйнi перетворення нормальних векто-рiв, (г), вектор (c′ξ, d′ξ) є нормальним вектором на площинi. Тому твер-дження теореми випливає з теореми про незалежнiсть координат нормаль-ного вектора на площинi ¡

Зауваження. Твердження наслiдку поширюється i на випадок довiль-ної кiлькостi лiнiйних форм вiд нормального вектора.

Наслiдок (про нормальнiсть суми незалежних нормальних векто-рiв). Нехай ξk ' Nn(mk, Vk) – незалежнi нормальнi випадковi вектори.Тодi ξ1 + ξ2 ' Nn(m1 + m2, V1 + V2) має нормальний розподiл.

Доведення. За теоремою про лiнiйнi перетворення нормальних ве-кторiв, (в), складений вектор (ξ1, ξ2) є нормальним. Тому його лiнiйнеперетворення ξ1 + ξ2 є нормальним вектором за теоремою про лiнiйнiперетворення нормальних векторiв, (г), оскiльки лiнiйне вiдображенняT (x, y) = x + y : R2n → Rn має ранг n. Координати ξ1 незалежнi i не-корельованi з координатами ξ2 за теоремою про математичне сподiвання


добутку незалежних величин, тому

IE(ξ1 + ξ2) = m1 + m2,

Cov(ξ1 + ξ2) = (Cov(ξ1i + ξ2i, ξ1j + ξ2j), i, j = 1, n) =

(Cov(ξ1i, ξ1j) + Cov(ξ2i, ξ2j), i, j = 1, n) = Cov(ξ1) + Cov(ξ2) = V1 + V2,

отже, за теоремою про iнтерпретацiю параметрiв нормального розподiлуξ1 + ξ2 ' Nn(m1 + m2, V1 + V2) ¡

Вправи(1) Якщо ζk – незалежнi нормальнi стандартнi величини, то їх лiнiйнi пере-

творення ζ1 + ζ2 та ζ1 − ζ2 – також незалежнi нормальнi величини.

(2) Нехай ζ – n-вимiрний стандартний нормальний вектор, а лiнiйнi пiдпро-стори E1, E2 ⊂ Rn такi що E1 ∩ E2 = 0. Довести, що проекцiї ΠE1ζ, ΠE2ζ єнезалежними нормальними векторами.

(3, теорема Максвелла) Нехай випадковi величини ξ1, ξ2 незалежнi, а їхсумiсна щiльнiсть не змiнюється при поворотах вектора (ξ1, ξ2). Довести, щоцей випадковий вектор є нормальним.

(4) Знайти лiнiйне перетворення T : Rn → Rn−1 таке, що випадковi векториT (Nn(µ, σ2I)) та Nn−1(0, σ

2I) – однаково розподiленi.

(5) Нехай ξ ' Nn(µ, V ). Довести, що випадкова величина (ξ−µ)′V −1(ξ−µ)має хi-квадрат розподiл з n ступенями свободи.

(6) Узагальнений нормальний вектор визначається як лiнiйне перетво-рення ξ = m + Aζ стандартного нормального вектора з довiльною матрицеюA ∈ L(Rn,Rn). (а) Довести, що вектор ξ є узагальненим нормальним тодi й тiль-ки тодi, коли для кожного лiнiйного неперервного функцiоналу l : Rn → R вели-чина l(ξ) має нормальний розподiл або є сталою м.н. (б) Довести, що розподiл ξоднозначно визначається вектором m та матрицею V = AA′. Довести для класуузагальнених нормальних векторiв: (в) теорему про iнтерпретацiю параметрiв,(г) теорему про лiнiйнi перетворення нормальних векторiв, (д) теорему про нор-мальнiсть суми незалежних нормальних векторiв. Вказiвка: нехай T ′ – ну-льове продовження на Rn матрицi ортонормованого базису простору власнихвекторiв матрицi A. Тодi AT ′ = 0, iдемпотентна матриця J = TT ′ мiститьn−rang(A) = n−rang(V ) перших одиниць на дiагоналi, причому для кожногоε 6= 0 матриця A+ εT невироджена. Отже, вектор ξε = m+(A+εT )ζ = ξ+εTζє n-вимiрним нормальним, ξε → ξ, ε → 0, i оскiльки IEξε = m, Cov(ξε) =(A+εT )(A+εT )′ = V +ε2J , то розподiл ξε ' Nn(m,V +ε2J) повнiстю визнача-ється параметрами ε та m,V. Нарештi, границя limε→0 IP(ξε ∈ Πx) = IP(ξ ∈ Πx)залежить лише вiд m,V та x.


1.20. Збiжнiсть за ймовiрнiстюта її властивостi

Означення. Послiдовнiсть випадкових величин (ξn, n ≥ 1) збiгаєтьсяза ймовiрнiстю до величини ξ (позначення ξn →P ξ), якщо

IP(|ξn − ξ| ≥ ε) → 0, n →∞, ∀ε > 0.

Зауваження. Якщо одночасно ξn →P η, то IP(|η − ξ| ≥ ε) = 0 для всiхε > 0, звiдки η − ξ = 0 м.н., тобто границя за ймовiрнiстю визначенаоднозначно з точнiстю до рiвностi майже напевне.

Означення. Послiдовнiсть випадкових величин (ξn, n ≥ 1) обмеженаза ймовiрнiстю, якщо limc→∞ supn≥1 IP(|ξn| ≥ c) = 0.

Вправа. Доведiть, що клас усiх випадкових величин iз метрикою Левi

ρ(ξ, η) = inf(ε > 0 : IP(|ξ − η| ≥ ε) ≤ ε)

є повним метричним простором, збiжнiсть в якому є збiжнiстю за ймовiрнiстю.Вказiвка. Якщо IP(|ξ − η| ≥ ε) ≤ δ, то ρ(ξ, η) ≤ max(ε, δ). Звiдси знаходимоρ(ξ, η) = inf(max(ε, δ) > 0 : IP(|ξ − η| ≥ δ) ≤ ε). Тому ρ(ξn, ξ) → 0 тодiй тiльки тодi, коли lim IP(|ξn − ξ| ≥ δ) = 0, ∀δ > 0. Нерiвнiсть трикутникавипливає з нерiвностi IP(|ξ − η| ≥ ε + δ) ≤ IP(|ξ − ζ| ≥ ε) + IP(|ζ − η| ≥ δ).Доведення повноти спирається на можливiсть видiлення з фундаментальної займовiрнiстю послiдовностi пiдпослiдовностi, що фундаментальна майже напевне.

1.20.1. Властивостi збiжностi за ймовiрнiстю

Теорема (про властивостi збiжностi за ймовiрнiстю). Нехай маємiсце збiжнiсть ξn →P ξ, n →∞.

(а) Якщо f ∈ C(R), то f(ξn) →P f(ξ), n →∞.

(б) Якщо |ξn| ≤ c, то IEξn → IEξ та IE |ξn − ξ| → 0, n →∞.

(в) Якщо f ∈ Cb(R), то IEf(ξn) → IEf(ξ), n →∞.

(г) Якщо V (x) додатна неперервна функцiя, V (x)/x → ∞, x → ∞,та supn≥1 IEV (|ξn|) < ∞, то IEξn → IEξ i IE |ξn − ξ| → ∞ при n →∞.

(д) Якщо також ηn →P η, то aξn + bηn →P aξ + bη при a, b ∈ R.

Доведення(а) Для довiльного γ > 0 оберемо c > 0 так, щоб IP(|ξ| > c) ≤ γ.

Розглянемо модуль неперервностi функцiї f у δ-околi вiдрiзка [−c, c] :

wc,δ(f) = sup|x|≤c, |x−y|≤ δ |f(x)− f(y)| .

1.20. Збiжнiсть за ймовiрнiстю та її властивостi 109

З неперервностi f та компактностi вiдрiзка випливає, що wc,δ (f) → 0 приδ → 0, оскiльки неперервна функцiя рiвномiрно неперервна на компактi iпри δ ≤ 1 за означенням

wc,δ (f) ≤ sup |x|,|y|≤c+1, |x−y|≤δ |f(x)− f(y)| → 0, δ → 0.

Тому для довiльного ε > 0 знайдеться δ > 0 таке, що wc,δ(f) < ε. Зостанньої умови та означення wc,δ(f) виводимо включення

|ξn − ξ| < δ∩|ξ| ≤ c ⊂ |f(ξn)− f(ξ)| ≤ wc,δ(f) ⊂ |f(ξn)− f(ξ)| ≤ ε.Переходом до доповнень, звiдси за вказаного δ > 0 отримуємо включення

|f(ξn)− f(ξ)| ≥ ε ⊂ |ξ| > c ∪ |ξn − ξ| ≥ δ,Звiдси за напiвадитивнiстю ймовiрностi виводимо нерiвностi

IP(|f(ξn)− f(ξ)| ≥ ε) ≤ IP(|ξ| > c) + IP(|ξn − ξ| ≥ δ) ≤γ + IP(|ξn − ξ| ≥ δ) ≤ 2 γ

для досить великих n, де γ довiльна додатна стала. Тому лiва частинапрямує до нуля при n →∞.

(б) Нехай функцiя g ∈ C(R) така, що g(x) = 0 при |x| ≤ c та g(x) > 0при |x| > c. Тодi 0 = g(ξn) →P g(ξ), отже, g(ξ) = 0 та |ξ| ≤ c майженапевне. Тому для кожного ε > 0 з iмовiрнiстю 1 справедлива нерiвнiсть

|ξn − ξ| ≤ ε + 2 c 1I|ξn−ξ| ≥ ε,

i з монотонностi математичного сподiвання отримуємо

limn→∞IE |ξn − ξ| ≤ ε + 2 c limn→∞IP(|ξn − ξ| ≥ ε) = ε.

Зважаючи на довiльнiсть ε > 0, звiдси виводимо твердження (б).(в) За твердженням (а) f(ξn) →P f(ξ), де величини f(ξn) обмеженi.

Тому твердження (в) випливає з (б).(г) Нехай τ c(x) – непарна неперервна функцiя, яка при x ≥ 0 дорiвнює

τ c(x) = min(x, c max(c + 1− x, 0)). Зауважимо, що(1) τ c(x) = x, ∀ |x| ≤ c,(2) τ c(x) = 0, ∀ |x| > c + 1,(3) |τ c(x)| ≤ c, τ c ∈ Cb.

Тому за властивiстю (в) мають мiсце збiжностi при n →∞ :

τ c(ξn) →P τ c(ξ), IEτ c(ξn) → IEτ c(ξ).

Позначимо ε(c) = supx ≥ c x/V (x). Тодi ε(c) → 0 при c →∞ за умовою.Крiм того, за властивiстю (1) та означенням ε(c) виконуються нерiвностi

|x− τ c(x)| ≤ |x| 1I|x| > c ≤ ε(c)V (|x|), ∀x ∈ R.


Далi, позначимо Vb(x) = min(V (x), b). З неперервностi V та обмеженостiVb випливає збiжнiсть IEVb(|ξn|) → IEVb(|ξ|). Тому

IEVb(|ξ|) = limn→∞ IEVb(|ξn|) ≤ supn≥1 IEV (|ξn|) < ∞.

Оскiльки Vb ↑ V, b → ∞, то за теоремою Лебега про монотонну збiжнiстьIEV (|ξ|) також не перевищує останньої величини.

Тому з означення τ c та попереднiх оцiнок дiстанемо нерiвнiсть

limn→∞ IE |ξn − ξ| ≤ limn→∞ IE |ξn − τ c(ξn)|+limn→∞ |IEτ c(ξn)− IEτ c(ξ)| + IE |τ c(ξ)− ξ| ≤

ε(c) supn≥1 IEV (|ξn|) + 0 + ε(c)IEV (|ξ|).Вибором c праву частину можна зробити як завгодно малою.

(д) Твердження є наслiдком очевидного включення

|aξn + bηn − aξ − bη| ≥ ε ⊂|a| |ξn − ξ| ≥ ε/2 ∪ |b| |ηn − η| ≥ ε/2¡

Вправи(1) Збiжностi ξn →P ξ та IE exp(− |ξn − ξ|) → 1, n →∞, еквiвалентнi.(2) Послiдовнiсть (ξn, n ≥ 1) обмежена за ймовiрнiстю, а ηn →P 0 при

n →∞. Довести, що ξnηn →P 0.(3, лема Слуцького) Нехай ξn →P ξ, ηn →P η, а f ∈ C(R2). Довести, що

f(ξn, ηn) →P f(ξ, η), n →∞.(4) Якщо ξn ≤ ζn ≤ ηn м.н. та ξn →P ζ, ηn →P ζ, то ζn →P ζ, n →∞.(5, лема Пратта) Нехай ξ1n ≤ ξ2n ≤ ξ3n м.н., ξin →P ξi, n → ∞, i = 1, 3,

та IEξ1n → IEξ1, IEξ3n → IEξ3. Довести, що IEξ2n → IEξ2, n →∞.(6) Довести узагальнення теореми Лебега про мажоровану збiжнiсть на ви-

падок збiжностi за ймовiрнiстю.

1.20.2. Iншi види збiжностi випадкових величин

Означення. Послiдовнiсть випадкових величин (ξn, n ≥ 1) збiгаєтьсяз iмовiрнiстю 1 до величини ξ або ж збiгається майже напевне, позначе-ння ξn →P1 ξ, якщо

IP(ω : ∃ limn→∞ ξn(ω) = ξ(ω)) = 1.

Означення. Послiдовнiсть випадкових величин (ξn , n ≥ 1) збiгає-ться до величини ξ у середньому порядку q, позначення ξn →Lq ξ, якщозбiгаються вiдповiднi середнi: IE |ξn − ξ|q → 0 при n → ∞. Збiжнiсть


у середньому порядку 2 називається також збiжнiстю у середньомуквадратичному.

Теорема (про спiввiдношення мiж рiзними видами збiжностi). Зав-жди справедливi такi iмплiкацiї мiж видами збiжностi

P1 =⇒ P ⇐= L1 ⇐= Lq, q > 1 .

Вправа. Наведiть приклади, для яких iншi iмплiкацiї є хибними. Вказiвка.Нехай (Ω, F, IP) = ([0, 1), B[0, 1), L). Тодi

(P ; P1) ξn = 1Iω∈[√

n,√

n+1) mod 1, (P ; L1) ξn = n21Iω∈[1/(n+1), 1/n),

(L1 ; L2) ξn = n1Iω∈[0,1/n2), (P1 ; L1) ξn = n1Iω∈[0,1/n).

Доведення. За означенням границi рiвнiсть ξ(ω) = limn→∞ ξn(ω) маємiсце з iмовiрнiстю 1 тодi й тiльки тодi, коли

∃O ∈ F : IP(O) = 1, ∀ω ∈ O, ∀ε > 0,

∃N = N(ε, ω) < ∞ : |ξn(ω)− ξ(ω)| < ε, ∀n ≥ N.

Тому iмплiкацiя P1 =⇒ P випливає з рiвняння IP(O) = 0, скiнченностiN(ε, ω) та включення

|ξn − ξ| ≥ ε ⊂ O ∪ (O ∩ n ≤ N(ε, ω)) ↓ O ∪∅, n →∞.

Друга iмплiкацiя P ⇐= L1 є наслiдком загальної нерiвностi Чебишеваз функцiєю g(x) = x та випадковою величиною |ξn − ξ| :

IP(|ξn − ξ| ≥ ε) ≤ IE |ξn − ξ| / ε → 0, n →∞.

Нарештi, iмплiкацiя L1 ⇐= Lq є наслiдком нерiвностi Ляпунова

IE |ξn − ξ| ≤ (IE |ξn − ξ|q)1/q ¡

Зауваження. Теорема Лебега про мажоровану збiжнiсть, теорема Ле-бега про монотонну збiжнiсть, та теорема про властивостi збiжностi займовiрнiстю дають достатнi умови для справедливостi iнших iмплiкацiй:

P1 =⇒ L1 , P =⇒ L1 .

1.20.3. Критерiй збiжностi майже напевне

За означенням послiдовнiсть випадкових величин (ξn, n ≥ 1) збiгає-ться майже напевне до величини ξ, якщо подiя

A = ∃ lim ξn = ξ = ∩k≥1 ∪m≥1 ∩n≥m|ξn − ξ| ≤ 1/kмає одиничну ймовiрнiсть: IP(A) = 1.


Теорема (про критерiй збiжностi майже напевне). Послiдовнiсть(ξn) збiгається майже напевне до величини ξ тодi й тiльки тодi, коли

sup k≥n |ξk − ξ| →P 0, n →∞.

Доведення. Позначимо Akm = ∩n≥m|ξn − ξ| ≤ 1/k.Оскiльки цi подiї монотонно не зростають за k, i ∪m≥1Akm ↓ A при

k → ∞, то за властивiстю неперервностi ймовiрностi IP(A) = 1 тодi йтiльки тодi, коли IP(∪m≥1Akm) = 1 для кожного k. Подiї Akm монотонноне спадають за m, тому остання рiвнiсть еквiвалентна спiввiдношенню:limm→∞ IP(Akm) = 1 при кожному k. За означенням збiжностi за ймовiрнi-стю останнє твердження еквiвалентне умовi теореми, оскiльки

IP(Akm) = IP(supn≥m |ξn − ξ| ≤ 1/k) = 1− IP(supn≥m |ξn − ξ| > 1/k) ¡

1.20.4. Збiжнiсть та фундаментальнiсть

Означення. Послiдовнiсть випадкових величин (ξn, n ≥ 1) назвемо(а) фундаментальною майже напевне, якщо

IP(limn,m→∞ |ξn − ξm| = 0) = 1,(б) фундаментальною за ймовiрнiстю, якщо

limn,m→∞ IP(|ξn − ξm| ≥ ε) = 0, ∀ε > 0,(в) фундаментальною у середньому, якщо

limn,m→∞ IE |ξn − ξm| = 0.Теорема (про еквiвалентнiсть збiжностi та фундаментальностi).

Послiдовнiсть випадкових величин (ξn, n ≥ 1) збiгається (а) майженапевне, (б) за ймовiрнiстю, (в) у середньому тодi й тiльки тодi, коливона фундаментальна у вiдповiдному розумiннi.

Доведення(а) Оскiльки множини тих ω, для яких послiдовнiсть ξn(ω) збiгається,

чи є фундаментальною, однаковi, то їх iмовiрностi одиничнi одночасно.(б) Необхiднiсть. Нехай ξn →P ξ. Тодi

IP(|ξn − ξm| ≥ ε) ≤ IP(|ξn − ξ| ≥ ε/2) + IP(|ξm − ξ| ≥ ε/2) → 0, n, m →∞.

Достатнiсть. З означення фундаментальностi за ймовiрнiстю побу-дуємо зростаючу послiдовнiсть nk ↑ ∞ таку, що

IP(∣∣∣ξnk+1

− ξnk

∣∣∣ ≥ 2−k)≤ 2−k.

Тодi за лемою Бореля-Кантеллi IP(limk→∞

∣∣∣ξnk+1− ξnk

∣∣∣ ≥ 2−k)

= 0,

отже, ряд ξ ≡ ξn1+

∑k≥1

(ξnk+1

− ξnk

)збiгається майже напевне, оскiльки


з iмовiрнiстю одиниця мажорується рядом з 2−k, починаючи з деякогономера. Тому має мiсце збiжнiсть частинних сум

ξni= ξn1

+∑i−1

k=1

(ξnk+1

− ξnk

)→P1 ξ, i →∞.

З теореми про спiввiдношення мiж рiзними видами збiжностi виводи-мо, що ξni

→P ξ. Звiдси

IP(|ξn − ξ| ≥ ε) ≤ IP(∣∣ξn − ξni

∣∣ ≥ ε/2) + IP(∣∣ξni

− ξ∣∣ ≥ ε/2) ≤ δ,

якщо спочатку обрати номер i, починаючи з якого другий доданок меншийза δ/2, а потiм визначити з умови фундаментальностi номери n, ni так,щоб i перший не перевищував δ/2.

(в) Необхiднiсть випливає з нерiвностi

IE |ξn − ξm| ≤ IE |ξn − ξ|+ IE |ξn − ξ| .Достатнiсть. За загальною нерiвнiстю Чебишева з фундаментально-

стi у середньому виводимо фундаментальнiсть за ймовiрнiстю:

IP(|ξn − ξm| ≥ ε) ≤ IE |ξn − ξm| /ε → 0, n, m →∞.

Тому ξni→P ξ. для деякої пiдпослiдовностi ni →∞, як доведено у (б).

За нерiвнiстю Фату

IE |ξn − ξ| = IElimi→∞∣∣ξn − ξni

∣∣ ≤ limi→∞IE∣∣ξn − ξni

∣∣ ≤ δ,

починаючи з деякого номера, за умовою фундаментальностi ¡Вправи(1, теорема Рiсса) Довести, що з ξn →P ξ випливає збiжнiсть ξnk

→P1 ξдля деякої пiдпослiдовностi nk →∞.

(2) Збiжнiсть ξn →P ξ має мiсце тодi й тiльки тодi, коли кожна пiдпослiдов-нiсть (ξnk

, k ≥ 1) мiстить пiдпiдпослiдовнiсть, що збiгається до ξ м.н.(3) Побудувати приклад послiдовностi випадкових величин (ξn), ξ таких, що

limn→∞ξn = ∞ i limn→∞ξn = −∞ м.н., та одночасно ξn →P ξ.(4) У дискретному ймовiрнiсному просторi збiжнiсть майже напевне еквiва-

лентна збiжностi за ймовiрнiстю.(5, теорема Єгорова) Якщо ξn →P ξ, n → ∞, то для кожного ε > 0

знайдеться подiя Aε така, що IP(Aε) ≥ 1 − ε та збiжнiсть ξn(ω) → ξ(ω) приn →∞ є рiвномiрною за ω ∈ Aε.

(6) Величини (ξn, n ≥ 1) невiд’ємнi та ξn →P ξ, n → ∞, i IEξn → IEξ.Довести, що IE |ξn − ξ| → 0, n →∞. Узагальнити це твердження для збiжностiу просторi Lp, p > 1.


(7) Випадковi величини (ξn, n ≥ 1) незалежнi однаково розподiленi, причомуIP(|ξ1| > c) > 0 для всiх c. Довести, що iснує така послiдовнiсть сталих cn, щоcnξn →P 0, n →∞, та cnξn 9P1 0.

(8) Якщо ξn →L2 ξ, та ηn →L2 η, то IEξnηn → IEξη, n →∞.(9) Якщо (ξn − ξ)2 →P 0, то ξ2

n →P ξ2, n →∞.(10) Послiдовнiсть (ξn, n ≥ 1) обмежена за ймовiрнiстю, ηn →P 0, n →∞,

а g – дiйсна неперервна функцiя. Довести, що g(ξn +ηn)−g(ξn) →P 0, n →∞.(11) Випадковi величини (ξn, n ≥ 1) незалежнi, центрованi: IEξn = 0 та

квадратично iнтегровнi: IEξ2n < ∞. Визначимо ηn = n−1

∑nk=1 ξk. (а) Довести,

що ηn →P1 0, n → ∞, тодi й тiльки тодi, коли η2n →P1 0, n → ∞. (б) У (а)збiжнiсть м.н. можна замiнити на середньоквадратичну збiжнiсть.

1.21. Закон великих чисел

Означення. Для послiдовностi випадкових величин (ξn, n ≥ 1) ви-конується закон великих чисел, якщо частиннi суми Sn = ξ1 + ... + ξn

задовольняють граничне спiввiдношення

(Sn − IESn) / n →P 0, при n →∞.

У випадку однаково розподiлених випадкових величин IESn = nIEξ1,тому твердження закону великих чисел еквiвалентне збiжностi за ймовiр-нiстю середнiх арифметичних

Sn / n →P IEξ1, при n →∞.

1.21.1. Теорема Чебишева про закон великих чисел

Теорема (теорема Чебишева про закон великих чисел).Нехай випадковi величини (ξn, n ≥ 1) попарно незалежнi i

ID(ξn) = o(n), n →∞.

Тодi для послiдовностi (ξn, n ≥ 1) справджується закон великих чисел.Доведення. З умови теореми випливає бiльш сильне твердження –

збiжнiсть центрованих та нормованих сум Sn до нуля у середньому ква-дратичному. Дiйсно, за теоремою про дисперсiю суми незалежних вели-чин та за теоремою Штольця про границю вiдношення послiдовностейпри n →∞ :

lim IE((Sn − IESn) / n)2 = lim IDSn / n2 =

lim∑n

k=1IDξk / n2 = lim IDξn/(n

2 − (n− 1)2) = lim IDξn/(2 n− 1) = 0.

1.21. Закон великих чисел 115

Завершує доведення теореми застосування iмплiкацiї L2 =⇒ IP, щобазується на нерiвностi Чебишева для дисперсiй

IP(|Sn − IESn| ≥ nε) ≤ IDSn / n2ε2 → 0 ¡

Зауваження. Остання умова теореми на дисперсiї доданкiв викону-ється, зокрема, якщо дисперсiї IDξn обмеженi. Наприклад, для однаковорозподiлених величин дисперсiї не залежать вiд n, i закон великих чиселвиконується.

Вправи(1) Нехай (ξn, n ≥ 1) незалежнi додатнi випадковi величини. Знайти умови

збiжностi за ймовiрнiстю величин n√∏n

k=1 ξk.

(2) Для g ∈ C[0, 1] обчислити limn→∞r 1

0..r 1

0g

(n√

x1..xn

)dx1..dxn.

(3) Величини (ξn, n ≥ 1) незалежнi та IP(ξn = ±nα) = 1/2. Для яких αмає мiсце закон великих чисел ?

(4 – теорема Бернштейна про закон великих чисел) Нехай (ξn, n ≥ 1) – такапослiдовнiсть випадкових величин, що sup IDξn < ∞ та коефiцiєнти кореляцiїзадовольняють умову lim|n|→∞ supk≥1 ρ(ξn+k, ξk) = 0. Тодi (ξn) задовольняєзакон великих чисел.

(5 – теорема Хiнчина) Довести, що попарно незалежнi однаково розподiленiiнтегровнi випадковi величини задовольняють закон великих чисел.

(6) На прикладi переконатися, що в теоремi Чебишева про закон великихчисел умову на дисперсiї не можна замiнити на умову supn≥1 IE |ξn| < ∞, навiтьдля незалежних величин.

(7) Випадковi величини (εn, n ≥ 0) незалежнi однаково розподiленi та ква-дратично iнтегровнi. Довести, що для величин ξn =

∑mk=0 ckεn−k виконується

закон великих чисел, де ck – довiльнi сталi.(8, теорема Феллера) Нехай (ξn, n ≥ 1) незалежнi однаково розподiленi ве-

личини. Для того, щоб (ξ1 + ... + ξn − mn)/n →P 0, n → ∞, з числовоюпослiдовнiстю mn, необхiдно i достатньо, щоб IP(|ξ1| > x) = o(1/x), x →∞.

Розглянемо деякi застосування ЗВЧ.

1.21.2. Теорема Бернуллi

Теорема (теорема Бернуллi про асимптотику вiдносної частоти).Нехай νn – кiлькiсть успiхiв у перших n випробуваннях нескiнченноїпослiдовностi випробувань Бернуллi з iмовiрнiстю успiху p. Тодi

νn / n →P p, n →∞.


Доведення виводимо з подання νn =∑n

k=1 χk, де доданки χk– iнди-катори успiхiв – незалежнi i однаково розподiленi випадковi величини,

IEχk = p, ID(νn/n) = p(1− p)/n → 0 ¡

1.21.3. Полiноми Бернштейна

На початку 20 ст. С.Н. Бернштейн запропонував конструктивне дове-дення знаменитої (але не конструктивної) теореми Вейєрштраса про на-ближення неперервної функцiї полiномами. Це доведення використовуєосновнi iдеї доведення закону великих чисел.

Означення. Полiномом Бернштейна порядку n для дiйсної функцiї fназивається полiном

Bn(f, x) =∑n

k=0f (k/n) Ck

n xk(1− x)n−k, x ∈ [0, 1].

Теорема (теорема Бернштейна про рiвномiрне наближення непе-рервної функцiї). Якщо f ∈ C[0, 1], то Bn(f, x) → f(x) при n → ∞рiвномiрно за x ∈ [0, 1].

Доведення. Позначимо через νn(x) – кiлькiсть успiхiв у послiдовно-стi з n випробувань Бернуллi з iмовiрнiстю успiху x. Тодi νn(x) має заозначенням бiномiальний розподiл з параметрами n, x, i за теоремою прообчислення математичного сподiвання функцiї вiд дискретної величини

Bn(f, x) = IEf(νn(x)/n).

Визначимо модуль неперервностi та верхню межу

wδ(f) = sup |x−y|≤δ |f(x)− f(y)| , L(f) = supx∈[0,1] |f(x)| .Використаємо iдеї доведень пунктiв (а) i (б) теореми про властивостi збi-жностi за ймовiрнiстю :

|f (νn(x)/n)− f(x)| ≤ wδ(f) + 2 L(f) 1I |νn(x)/n−x|>δ,

звiдки знаходимо оцiнку:

|Bn(f, x)− f(x)| ≤ IE |f (νn(x)/n)− f(x)| ≤wδ(f) + 2 L(f) IP (|νn(x)/n− x| > δ) ≤ wδ(f) + 2 L(f) ID (νn(x)/n) /δ2 =

wδ(f) + 2 L(f) x(1− x)/nδ2 ≤ wδ(f) + 2 L(f) / 4nδ2 ≤ 2 ε,

рiвномiрно за x, починаючи з деякого n. Тут сталу δ > 0 обрано длянаперед заданого довiльного ε > 0 так, щоб wδ(f) ≤ ε ¡

Зауваження. Швидкiсть збiжностi в теоремi Бернштейна можна уто-чнювати залежно вiд додаткових властивостей функцiї f. Наприклад, для

1.21. Закон великих чисел 117

f ∈ C1[0, 1] маємо wδ(f) ≤ Dδ. Обираючи δ = 1/ 3√

n, дiстанемо

|Bn(f, x)− f(x)| ≤ Dδ + E / nδ2 = O(1/ 3√

n), n →∞,

рiвномiрно за x ∈ [0, 1].

1.21.4. Метод Монте-Карло

Закон великих чисел можна застосувати до iншого роздiлу прикладноїматематики – до наближеного обчислення iнтегралiв. В основi методуМонте-Карло лежить закон великих чисел та теорема про обчисленняматематичного сподiвання функцiї вiд випадкової величини :

I ≡w 1

0f(x)dx = IEf(α),

де α – рiвномiрно розподiлена на [0, 1] випадкова величина.Теорема (про наближення iнтегралу методом Монте-Карло). Не-

хай функцiя f iнтегровна в квадратi: f ∈ L2[0, 1], та (αk, k ≥ 1) –послiдовнiсть незалежних рiвномiрно розподiлених на [0, 1] випадковихвеличин. Визначимо величини Yk ≡ f(αk). Тодi має мiсце збiжнiсть

In ≡ (Y1 + ... + Yn) / n →P I, n →∞.

Доведення. Випадковi величини (Yk, k = 1, n) є незалежними в су-купностi, однаково розподiленими за теоремою про перетворення незале-жних величин, та мають скiнченнi математичнi сподiвання IEf(αk) = I

i дисперсiї s2 =r 1

0f 2(x)dx − I2. Тому для них виконується закон вели-

ких чисел. Бiльше того, можна оцiнити швидкiсть збiжностi в середньомуквадратичному IE(I − In)2 = ID(In) = s2/n = O(1/n) ¡

На вiдмiну вiд схем наближеного обчислення iнтегралiв iз регуляр-но розмiщеними вузлами метод Монте-Карло є збiжним i для розривнихфункцiй.

Вправи(1) Довести, що в теоремi Бернуллi IP(|νn/n− p| ≥ ε) ≤ 2 exp(−αε2n) для

всiх n ≥ 1, ε > 0 та деякого α > 0.(2) Для f ∈ C1([0, 1]) довести рiвномiрну збiжнiсть dBn(f, x)/dx → f ′(x).(3) Степiнь полiному Bn(f, x) не бiльший за степiнь полiному f.(4) Узагальнити теорему Бернштейна на функцiї з класу C([0, 1]n).

(5) Позначимо In =r 1

0...r 1

0g((x1 + ... + xn)/n)dx1...dxn для даної функцiї

g ∈ C[0, 1]. (а) Довести, що limn→∞ In = I ≡ g(1/2). (б) У припущеннi, щоg ∈ C2[0, 1], обчислити limn→∞ n(In − I ).


(6) Довести, що для f ∈ Cb(R+) має мiсце збiжнiстьexp(−nx)

∑∞k=0 f (k/n) (nx)k/ k! → f(x), n →∞,

рiвномiрно на кожному обмеженому iнтервалi. Вказiвка: лiва частина дорiвнюєIEf((ξ1 + ... + ξn)/n), де ξk незалежнi та мають розподiл Пуассона Π(x).

(7) Довести, що для f ∈ Cb(R+) мають мiсце збiжностi∑k≥0 f(x + k/n)(cn)k exp(−cn)/k! → f(x + c), n →∞, ∀x ∈ R+,∑k≥0 f(k/(n + 1))Ck

n+kxk(1 + x)−n−k−1 → f(x), n →∞, ∀x ∈ R+.

(8) Перетворенням Лапласа неперервної обмеженої функцiї f на R+ нази-вається ϕ(p) ≡ r∞

0exp(−pt)f(t)dt для p ∈ R+. Довести формулу обернення

Уiдлера: f(s) = limn→∞(−1)n−1

(n−1)!

(ns

)nϕ(n−1)(n

s), де ϕ(k)(p) – k-та похiдна фун-

кцiї ϕ. Вказiвка: величина пiд знаком границi дорiвнює IEf(s(ξ1 + ... + ξn)/n),де величини ξk незалежнi, та ξk ' Exp(1).

(9) Величини (ξn, n ≥ 1) незалежнi, однаково розподiленi, IEξ1 = µ, IDξ1 =

σ2, IP(ξ1 = 0) = 0, та S(i)n =

∑nk=1 ξi

k. Довести, що S(1)n /S

(2)n →P µ/(µ2 + σ2).

1.22. Збiжнiсть з iмовiрнiстю 1та її властивостi

Послiдовнiсть випадкових величин (ξn , n ≥ 1) збiгається з iмовiрнiстю1 до величини ξ, якщо одиничну ймовiрнiсть має подiя

A = ∃ limn→∞ ξn = ξ = ∩k≥1 limn→∞|ξn − ξ| ≤ 1/k =

∪k≥1limn→∞|ξn − ξ| > 1/k

Збiжнiсть майже напевне позначається як ξn →P1 ξ.Тiсний зв’язок мiж границями випадкових величин та послiдовностей

випадкових подiй вiдображає також таке твердження.Зауваження (про верхню границю величин та подiй). Для кожного

ε мають мiсце включення

limn→∞ξn > ε ⊂ limn→∞ξn > ε, limn→∞ξn ≥ ε ⊂ limn→∞ξn ≥ ε.

Дiйсно, якщо верхня границя числової послiдовностi бiльша за ε, тоця послiдовнiсть нескiнченно часто перевищуватиме рiвень ε.

З урахуванням зауваження важливе значення для доведення збiжностiмайже напевне має наступне твердження.

1.22. Збiжнiсть з iмовiрнiстю 1 та її властивостi 119

1.22.1. Лема Бореля – Кантеллi

Теорема (лема Бореля – Кантеллi). Нехай (An, n ≥ 1) – довiльнапослiдовнiсть випадкових подiй.

(а) Якщо ряд∑

n≥1 IP(An) збiгається, то IP(limAn) = 0.(б) Якщо подiї (An, n ≥ 1) незалежнi в сукупностi i ряд

∑n≥1 IP(An)

розбiгається, то IP(limAn) = 1.Доведення. Позначимо Bm = ∪n≥mAn. Тодi Bm ↓ ∩ m≥1Bm = limAn.

За властивiстю неперервностi ймовiрностi IP(limAn) = limm→∞ IP(Bm).(a) За означенням Bm та властивiстю напiвадитивностi ймовiрностi

IP(Bm) ≤ ∑n≥m IP(An) → 0,m →∞, як залишок збiжного ряду.

(б) Для даного n > 1 розглянемо клас подiй, що не залежать вiд An:

Λ(An) ≡ A ∈ F : IP(An ∩ A) = IP(An)P (A).За формулою включення-виключення

IP(An ∩ ∪n−1i=1 Ai) = IP(∪n−1

i=1 (Ai ∩ An)) =∑n−1

k=1(−1)k−1∑

i1<...<ik<n IP(Ai1 ∩ ... ∩ Aik ∩ An) =∑n−1

k=1(−1)k−1∑

i1<...<ik<n IP(Ai1 ∩ ... ∩ Aik)IP(An) = IP(∪n−1i=1 Ai)IP(An).

Отже, ∪n−1i=1 Ai ∈ Λ(An). Тому за теоремою про перетворення незале-

жних подiй ∪n−1i=1 Ai ∈ Λ(An) i ∩n−1

i=1 Ai ∈ Λ(An). Звiдси за iндукцiєю виво-димо, що IP

(⋂mn=1 An

)=

∏mn=1 IP(An).

Обчислимо з урахуванням останнього твердження та властивостi не-перервностi ймовiрностi :

IP(Bm) = limN→∞ IP(⋃N

n=m An

)= 1− limN→∞ IP

(⋂Nn=m An

)=

1− limN→∞∏N

n=m IP(An) = 1 − limN→∞∏N

n=m(1− IP(An)) ≥1− limN→∞ exp

(−∑N

n=m IP(An))

= 1− exp (−∑∞n=m IP(An)) = 1,

оскiльки справедлива елементарна нерiвнiсть 1− x ≤ exp(−x), а залишокрозбiжного ряду розбiгається ¡

Вправи(1) Якщо ряд

∑n≥1 IP(An ∩ A) : (а) збiгається для деякої подiї A, то

IP(limAn) ≤ 1−IP(A), (б) розбiгається для всiх A з IP(A) > 0, то IP(limAn) = 1.(2) Побудувати приклад залежних подiй An таких, що

∑n≥1 IP(An) = ∞ та

IP(limAn) = 0.


(3) Подiї (An) незалежнi у сукупностi та невиродженi: IP(An) = pn ∈ (0, 1).(а) Довести, що IP(limn→∞An) = 1 тодi й тiльки тодi, коли IP(∪n≥1An) = 1.(б) Остання умова еквiвалентна

∑n≥1 pn = ∞. (в) За таким припущенням зна-

йти розподiл величини ν(ω) = inf(n : ω ∈ An) < ∞.(4) Довести нерiвнiсть IP(∪k≤nAk)

∑i,j≤n IP(Ai ∩ Aj) ≥ (

∑k≤n IP(Ak))

2.Вивести звiдси, що твердження пункту (б) леми Бореля-Кантеллi виконуєтьсявже за припущення попарної незалежностi подiй An.

(5) Довести, що простiр класiв м.н. еквiвалентних випадкових величин зiзбiжнiстю м.н. не може бути метризований.

(6) Випадковi величини (ξn , n ≥ 1) незалежнi та ξn →P ξ, n →∞. Довести,що ξ = c м.н. для деякої сталої c.

(7) Величини (ξn, n ≥ 1) незалежнi однаково розподiленi, IEξ+1 = IEξ−1 ≤ ∞.

Довести, що IP(ξn = o(n), n →∞) = 1 тодi й тiльки тодi, коли IE |ξ1| < ∞.(8) Випадковi величини (ξn , n ≥ 1) незалежнi однаково розподiленi i IEξ1 =

0. (а) Нехай IE |ξ1|α < ∞ при α > 0, тодi IP(|ξn| = o(n1/α), n → ∞) = 1.(б) Якщо IE exp(αξ1) < ∞ для α > 0, то IP(ξn = o(ln n), n →∞) = 1.

(9) Випадковi величини (ξn, n ≥ 0) незалежнi однаково експоненцiйно роз-подiленi з параметром λ = 1. Довести, що (а) limn→∞ξn/ ln n = 1 м.н., та(б) limn→∞ ln ξn/ ln n = −1 м.н.

(10) Випадковi величини (ξn , n ≥ 1) незалежнi та рiвномiрно розподiленi навiдрiзку [0, 1]. Довести, що послiдовнiсть ξn м.н. всюди щiльна на [0, 1].

1.22.2. Нерiвнiсть Колмогорова

Нерiвнiсть Колмогорова є засобом доведення збiжностi майже напев-не, так само, як нерiвнiсть Чебишева використовується для встановленнязбiжностi за ймовiрнiстю.

Теорема (нерiвнiсть Колмогорова). Нехай (ξk, k = 1, n) – незалежнiу сукупностi випадковi величини такi, що IEξk = 0, IEξ2

k < ∞, а Sk =ξ1 + ... + ξk. Тодi для кожного ε > 0 виконується нерiвнiсть

IP (max1≤ k ≤n |Sk| ≥ ε) ≤ IDSn / ε2.

Доведення. Розглянемо випадковi подiї

A = max1≤k≤n |Sk| ≥ ε, Ak = |S1| < ε, ..., |Sk−1| < ε, |Sk| ≥ ε .

Тодi Ai∩Aj = ∅, i 6= j, та A = ∪nk=1Ak, звiдки 1IA =

∑nk=1 1IAk

. Вiдзначимо,що для всiх елементарних подiй справедлива нерiвнiсть |Sk| 1IAk

≥ ε1IAk.

Тому за монотоннiстю математичного сподiвання

IDSn = IES2n ≥ IES2

n1IA =∑n

k=1IES2

n1IAk=

1.23. Посилений закон великих чисел 121

∑n

k=1IE(Sk + Sn − Sk)

2 1IAk=

∑n

k=1IES2

k1IAk+

∑n

k=1IE(Sn − Sk)

2 1IAk+ 2

∑n

k=1IESk1IAk

(Sn − Sk) ≥∑n

k=1IEε21IAk

+ 0 + 2∑n

k=1IESk1IAk

IE(Sn − Sk) =

ε2∑n

k=1IP(Ak) = ε2IP(A),

де використанi невiд’ємнiсть другого доданку, та незалежнiсть множникiвSk1IAk

i Sn − Sk. Дiйсно, перший з них є функцiєю вiд перших k доданкiвξ1, ..., ξk, а другий дорiвнює ξk+1 + ... + ξn i мiстить лише решту доданкiв,тому незалежнiсть випливає з теореми про векторнi перетворення неза-лежних величин. Крiм того, другий множник є центрованим за умовою:IE(Sn − Sk) = IESn − IESk = 0, отже, математичне сподiвання добутку,що дорiвнює добутковi за теоремою про математичне сподiвання добуткунезалежних величин, є нульовим ¡

Вправи(1) Нехай g – неперервна неспадна опукла донизу функцiя, а послiдовнiсть

(ξk) задовольняє умови теореми про нерiвнiсть Колмогорова. Тодi лiва частинацiєї нерiвностi не перевищує IEg(|Sn|)/g(ε).

(2) Випадковi величини (ξk, k = 1, n) незалежнi, IP(ξk = ±1) = 1/2,Sn = ξ1 + ... + ξn. Довести, що: (а) IE exp(tSk) ≤ exp(kt2/2) при t ∈ R,(б) IP(max1≤k≤n |Sk| ≥ nt) ≤ 2 exp(−nt2/2) для t > 0.

(3) Випадковi величини (ξk, k = 1, n) незалежнi, IEξk = 0, IEξ2k < ∞, а

Sk = ξ1 + ... + ξk. Для довiльних сталих 0 < a1 ≤ a2 ≤ ... ≤ an довестинерiвнiсть IP(|Sk| ≤ ak,∀k = 1, n) ≥ 1−∑n

k=1 IEξ2k/a

2k.

1.23. Посилений закон великих чисел

Означення. Для послiдовностi випадкових величин (ξn, n ≥ 1) вико-нується посилений закон великих чисел, якщо послiдовнiсть їх частин-них сум Sn ≡ ξ1 + ... + ξn задовольняє граничне спiввiдношення

(Sn − IESn) / n →P1 0, при n →∞.

Як i для закону великих чисел, у випадку однаково розподiлених ви-падкових величин це спiввiдношення еквiвалентне збiжностi середнiх ари-фметичних

Sn / n →P1 IEξ1, при n →∞.


1.23.1. Теорема Колмогорова про посиленийзакон великих чисел

Теорема (теорема Колмогорова про посилений закон великих чи-сел). Нехай (ξn , n ≥ 1) – послiдовнiсть незалежних у сукупностi ви-падкових величин така, що IDξn < ∞ та∑

n≥1IDξn / n2 < ∞.

Тодi для цiєї послiдовностi має мiсце посилений закон великих чисел.Доведення. Не обмежуючи загальностi, вважатимемо, що IEξn = 0.

Дiйсно, в загальному випадку досить розглянути послiдовнiсть незале-жних величин ξ′n = ξn − IEξn iз тими ж дисперсiями. Очевидно, що твер-дження посиленого закону великих чисел для ξn i ξ′n збiгаються.

Для кожного k знайдеться єдиний номер n такий, що 2n−1 ≤ k < 2n,причому k → ∞ тодi й тiльки тодi, коли n → ∞. Розглянемо випадковiвеличини ζn = max1≤ k ≤2n |Sk| . При такому виборi для всiх k справедливанерiвнiсть |Sk/k| ≤ ζn/2n−1. Тому для збiжностi Sk / k →P1 0, k → ∞,достатньо, щоб ζn / 2n →P1 0, n →∞.

Для заданого ε > 0 розглянемо випадковi подiї An(ε) = ζn/2n ≥ ε.За нерiвнiстю Колмогорова

∑n≥1 IP(An(ε)) =

∑n≥1 IP (max1≤k≤2n |Sk| ≥ ε2n) ≤ ∑

n≥1 IDS2n /22nε2 =∑

n≥1

∑k≤2n IDξk/2

2nε2 = ε−2∑

k≥1 IDξk

∑n: 2n≥k 2−2n ≤

2 ε−2∑

k≥1 IDξk/k2 < ∞,

де враховано теорему про дисперсiю суми незалежних величин. Отже,за лемою Бореля – Кантеллi, (а), IP(limAn(ε)) = 0, для кожного ε > 0.Згiдно з зауваженням про верхню границю величин та подiй має мiсцевключення lim(ζn/2

n) > ε ⊂ limAn(ε), тому IP(lim(ζn/2n) > ε) = 0,при всiх ε > 0, звiдки limn→∞(ζn/2n) ≤ ε м.н. для кожного ε > 0.

Тому остання верхня границя нульова, ζn/2n →P1 0, n → ∞, та вико-

нується посилений закон великих чисел, як показано вище ¡

1.23.2. Теорема Бореля

Теорема (теорема Бореля про асимптотику частоти успiху). Нехайνn – кiлькiсть успiхiв у перших n випробуваннях нескiнченної послiдов-ностi випробувань Бернуллi з iмовiрнiстю успiху p. Тодi

νn / n →P1 p, n →∞.

1.23. Посилений закон великих чисел 123

Доведення випливає з подання νn =∑n

k=1 χk, де χk – iндикаториуспiхiв, незалежнi в сукупностi та однаково розподiленi, та IEχk = p ¡

Вправи(1) Знайти необхiдну та достатню умову посиленого закону великих чисел

для незалежних випадкових величин (ξn, n ≥ 1) таких, що (а) ξn ' Π(λn),(б) ξn ' Exp(λn), (в) ξn ' N(0, σ2

n), (г) ξn ' B(n, pn).(2) Випадковi величини (ξn, n ≥ 3) незалежнi, IP(ξn = ±n) = 1/n ln n,

IP(ξn = 0) = 1−2/n ln n, Sn = 0+ξ3+...+ξn. Довести, що Sn/n →P 0, n →∞,та IP(Sn/n → 0) = 0.

(3) Нехай ξn → 0, n → ∞, м.н. Довести, що iснує борелєва додатна фун-кцiя g така, що

∑n≥1 g(ξn) < ∞ м.н. Це твердження не виконується, якщо

збiжнiсть м.н. замiнити на збiжнiсть у середньому.(4) Для випадкових величин (ξn) ряд

∑n≥1 ξn/n збiгається м.н. i IEξn = 0.

Довести, що цi величини задовольняють посилений закон великих чисел.(5) Величини (ξn) незалежнi, задовольняють умови теореми Колмогорова про

посилений закон великих чисел та IEξn = 0. Довести, що знайдуться незалежнiвеличини (ηn) такi, що: (а) IP(ηn = ξn починаючи з деякого n) = 1, (б) для (ηn)має мiсце посилений закон великих чисел, (в)

∑n≥1 IDηn/n

2 = ∞. Тому умоватеореми Колмогорова про посилений закон великих чисел не є необхiдною.

(6) Випадковi подiї (An) незалежнi у сукупностi, Sn =∑n

k=1 1IAk. Довести,

що Sn/IESn →P1 1, n →∞.(7) Випадкова величина νn збiгається з кiлькiстю успiхiв у n випробуваннях

Бернуллi з iмовiрнiстю успiху p. Довести при x ∈ (0, 1) таку тотожнiстьlimn→∞ n−1 ln IP(νn ≥ nx) = −x ln(x/p)− (1− x) ln((1− x)/(1− p)).(8, теорема Чернова) Випадковi величини (ξn, n ≥ 1) незалежнi однаково

розподiленi та простi, IEξ1 < 0, IP(ξ1 < 0) < 1. Позначимо ρ = inft∈R exp(tξ1).Довести, що ρ ∈ (0, 1) та limn→∞ n−1 ln IP(ξ1 + ... + ξn ≥ 0) = ln ρ. Вказiвка:послiдовнiсть пiд знаком логарифму напiвмультиплiкативна.

1.23.3. Критерiй Колмогорова для однаковорозподiлених величин

Для однаково розподiлених незалежних величин iснує критерiй ПЗВЧ.Теорема (критерiй Колмогорова посиленого закону великих чи-

сел). Нехай (ξn, n ≥ 1) – послiдовнiсть незалежних в сукупностi одна-ково розподiлених випадкових величин, а Sn = ξ1 + ... + ξn.

Для того, щоб iснувала стала a така, що Sn / n →P1 a, n → ∞,необхiдно i достатньо, щоб IE |ξ1| < ∞. У цьому випадку a = IEξ1.


ДоведенняДостатнiсть. Позначимо ξ′n = ξn1I|ξn| ≤ n, ξ′′n = ξn − ξ′n.Нехай S ′n, S ′′n = Sn − S ′n означають суми вiдповiдних величин. Доведе-

мо, що три доданки в правiй частинi тотожностi

(Sn − IESn)/n = (S ′n − IES ′n)/n + S ′′n / n− IES ′′n / n ≡ an + bn − cn

збiгаються майже напевне до нуля.(a) Випадковi величини (ξ′n , n ≥ 1) незалежнi за теоремою про пере-

творення незалежних величин. Доведемо, що вони задовольняють умовитеореми Колмогорова про посилений закон великих чисел. Для цього об-числимо з урахуванням однакової розподiленостi величин (ξn, n ≥ 1)

∑n≥1 IDξ′n/n

2 ≤ ∑n≥1 IE(ξ′n)2/n2 =

∑n≥1 IEξ2

n 1I|ξn| ≤ n /n2 =∑

n≥1 n−2IEξ21 1I|ξ1| ≤ n =

∑n≥1 n−2

∑nk=1 IEξ2

1 1Ik−1< |ξ1| ≤k =∑

k≥1 IEξ21 1Ik−1< |ξ1| ≤k

∑n≥k n−2 ≤ ∑

k≥1 IEξ21 1Ik−1< |ξ1| ≤k 2k−1 ≤

2∑

k≥1 IE |ξ1| 1Ik−1< |ξ1| ≤k ≤ 2 IE |ξ1| < ∞,

де використанi нерiвностi ξ21 / k ≤ |ξ1| на попарно несумiсних випадкових

подiях k − 1 < |ξ1| ≤ k. Отже, за вказаною теоремою Колмогорова маємiсце збiжнiсть (S ′n − IES ′n)/n ≡ an → 0, n →∞, майже напевне.

(b) Далi, знайдемо∑

n≥1 IP(ξ′′n 6= 0) =∑

n≥1 IP(|ξn| > n) =∑

n≥1 IP(|ξ1| > n) =∑

n≥1

∑k≥n IE1Ik<|ξ1|≤k+1 =

∑k≥1 IE k 1Ik<|ξ1|≤k+1 ≤

∑k≥1 IE |ξ1| 1Ik<|ξ1|≤k+1 ≤ IE |ξ1| < ∞.

За лемою Бореля – Кантеллi, (a), IP(limξ′′n 6= 0) = 0, звiдки виводимоIP(limξ′′n = 0) = 1, отже, S ′′n / n ≡ bn → 0, n →∞, майже напевне.

(c) Нарештi, згiдно з теоремою Штольця та за умовою однакової роз-подiленостi

lim IES ′′n / n = lim IEξ′′n/1 = lim IEξn1I|ξn|>n =

lim IEξ11I|ξ1|>n = IE lim ξ11I|ξ1|>n = IE0 = 0

внаслiдок теореми Лебега про мажоровану збiжнiсть та за припущеннямIE |ξ1| < ∞. Отже, cn → 0, n →∞. Достатнiсть доведена.

Необхiднiсть. Зауважимо, що при n →∞

limξn

n= lim

(Sn

n

)− lim

(n− 1

n

Sn−1

n− 1

)= a− a = 0 майже напевне.

1.24. Збiжнiсть функцiй в основному 125

Розглянемо незалежнi подiї An = |ξn| > n. Унаслiдок означення отри-муємо limAn ⊂ lim(ξn/n) 6= 0, та IP(limAn) = 0 i за лемою Бореля –Кантеллi,(б), наступний ряд має збiгатися:

∞ >∑

n≥1 IP(An) =∑

n≥1 IP(|ξn| > n) =∑

n≥1 IP(|ξ1| > n) =∑

n≥1

∑k≥n IP(k < |ξ1| ≤ k + 1) =

∑k≥1 IE k 1Ik<|ξ1|≤k+1 ≥

∑k≥1 IE(|ξ1| − 1) 1Ik<|ξ1|≤k+1 ≥ IE |ξ1| − 2,

де використанi однакова розподiленiсть випадкових величин ξn, та очеви-дна нерiвнiсть k 1Ik<|ξ1|≤k+1 ≥ (|ξ1| − 1) 1Ik<|ξ1|≤k+1, що виконується длявсiх ω. Отже, IE |ξ1| < ∞ i внаслiдок (а) отримуємо a = IEξ1 ¡

Вправи(1, Хаусдорф) Нехай (ξn, n ≥ 1) послiдовнiсть незалежних однаково розпо-

дiлених випадкових величин, IEξ1 = µ, IEξ21 < ∞, Sn = ξ1 + ... + ξn. Тодi

Sn − nµ = o(n1/2+δ), n →∞, майже напевне, для кожного δ > 0.(2) Нехай (ξn, n ≥ 1) послiдовнiсть незалежних однаково розподiлених

випадкових величин, IEξ+1 = IEξ−1 . Для цiєї послiдовностi виконується закон

великих чисел: (ξ1+...+ξn)/n →P 0 тодi й тiльки тодi, коли IP(|ξ1| > n) = o(1)та IEξ11I|ξ1|≤n = o(1), n →∞.

(3) Нехай (ξn, n ≥ 1) послiдовнiсть незалежних однаково розподiлених ве-личин з IEξ1 = ∞, Sn = ξ1+ ...+ ξn. Довести, що (а) Sn/n →∞, n →∞, м.н.(б) limn→∞ |Sn/n− cn| = ∞ м.н. для довiльної послiдовностi cn ∈ R.

(4) Випадковi величини (ξn, n ≥ 1) незалежнi однаково розподiленi, аα ∈ (0, 2). Довести, що послiдовнiсть n−1/α

∑nk=1 ξk збiгається м.н. тодi й тiль-

ки тодi, коли IE |ξ1|α < ∞ та у випадку, коли α ≥ 1, IEξ1 = 0. При α = 1границя дорiвнює IEξ1 та 0 у iнших випадках.

(5) Випадковi величини (ξn, n ≥ 1) незалежнi, однаково розподiленi таiнтегровнi, а Sn = ξ1 + ... + ξn. Довести, що IE |Sn/n− IEξ1| → 0, n →∞.

1.24. Збiжнiсть функцiй в основному

Означення. Визначимо клас узагальнених функцiй розподiлу

M01 = G : R→ [0, 1], G ↑, G(x− 0) = G(x), ∀x ∈ R.Теорема (про характеризацiю функцiй розподiлу в класi узагаль-

нених). Функцiя G ∈ M01 є функцiєю розподiлу тодi й тiльки тодi,коли 0 = G(−∞), G(∞) = 1.


Доведення очевидне: для неспадної функцiї умова G(R) ⊂ [0, 1] еквi-валентна 0 ≤ G(−∞), G(∞) ≤ 1, звiдки замiною нерiвностей на рiвностiотримуємо.умову нормованостi функцiї розподiлу ¡

Означення. Нехай G, (Gn, n ≥ 1) ⊂ M01 – узагальненi функцiї роз-подiлу . Визначимо, що має мiсце збiжнiсть в основному: Gn →O G приn → ∞, якщо Gn(x) → G(x) для кожної точки x, що є точкою непе-рервностi правої частини, тобто G(x + 0) = G(x).

Вправа. Множина точок неперервностi функцiї G ∈ M01 всюди щiльна вR, оскiльки її доповнення не бiльш нiж злiченне.

Теорема (про збiжнiсть в основному та на щiльнiй множинi). Не-хай D ⊂ R всюди щiльна множина.

(а) Якщо G, (Gn, n ≥ 1) ⊂ M01 деякi узагальненi функцiї розподiлута Gn(x) → G(x) для всiх x ∈ D, то Gn →O G, n →∞.

(б) Якщо (Gn, n ≥ 1) ⊂ M01 деякi узагальненi функцiї розподiлу iдля всiх x ∈ D iснує limn→∞ Gn(x), то для деякої узагальненої функцiїрозподiлу G ∈ M01 має мiсце збiжнiсть в основному Gn →O G, n →∞.

Доведення(а) Нехай x – точка неперервностi G(x). Оскiльки множина D щiльна,

то iснують монотоннi послiдовностi x′m ↑ x, x′′m ↓ x, x′m, x′′m ∈ D. Тодi замонотоннiстю Gn

G(x′m) = limn→∞ Gn(x′m) ≤ limn→∞ Gn(x) ≤limn→∞ Gn(x) ≤ limn→∞ Gn(x′′m) = G(x′′m).

Перейдемо в цих нерiвностях до границi x′m ↑ x, x′′m ↓ x :

G(x) ≤ limn→∞ Gn(x) ≤ limn→∞ Gn(x) ≤ G(x),

що i доводить (а).(б) Визначимо при y ∈ D та x ∈ R функцiї

H(y) = lim Gn(y), G(x) = sup(H(y), y < x, y ∈ D).

З означення верхньої межi та з монотонностi H виводимо, що для всiхy < x < z, y, z ∈ D :

H(y) ≤ G(x) ≤ sup(H(z), y < x, y ∈ D) = H(z).

Функцiя G(x) є узагальненою функцiєю розподiлу, оскiльки вона є неспа-дною, набуває значень iз [0, 1] та неперервна злiва. Дiйсно, монотоннiстьG та включення множини значень до [0, 1] є очевидним наслiдком вiдпо-вiдних властивостей функцiї H, а останнi справедливi, оскiльки зберiга-ються при обчисленнi поточкової границi в означеннi H. Для перевiрки

1.25. Слабка збiжнiсть функцiй розподiлу i випадкових величин 127

неперервностi злiва знайдемо за означенням верхньої межi yn ∈ D, yn ↑ x,такi, що H(yn) ↑ G(x). Тодi з H(yn) ≤ G((yn + x)/2) ≤ G(x) отримуємоG(x) ≤ G(x− 0) ≤ G(x) i G(x− 0) = G(x). Отже, G ∈ M01.

Нехай x – точка неперервностi G(x), а x′m, x′′m ∈ D, x′m < x < x′′m. Тодiвиконуються нерiвностi

G(x′m − 1/m) ≤ H(x′m) = limn→∞ Gn(x′m) ≤ limn→∞Gn(x) ≤limn→∞ Gn(x) ≤ limn→∞ Gn(x′′m) = H(x′′m) ≤ G(x′′m + 1/m).

Оберемо в цих нерiвностях x′m ↑ x, x′′m ↓ x, m →∞ :

G(x) ≤ limn→∞ Gn(x) ≤ limn→∞ Gn(x) ≤ G(x),

звiдки lim Gn(x) = G(x) ¡Вправи(1) Границя в основному не визначена однозначно, однак границею збiжної в

основному послiдовностi з класу M01 завжди є елемент M01.(2) Знайти функцiї розподiлу, що збiгаються в основному, та не поточково.(3) Довести, що функцiяL(F, G) = inf(ε > 0 : F (x− ε)− ε ≤ G(x) ≤ F (x + ε) + ε, ∀x ∈ R)

є метрикою на просторi функцiй розподiлу, а збiжнiсть L(Fn, F ) → 0 для фун-кцiй розподiлу Fn, F еквiвалентна збiжностi в основному Fn →O F.

(4) Довести, що зi збiжностi функцiй розподiлу Fn →O F до неперервноїграницi F випливає рiвномiрна за x збiжнiсть. Чи є суттєвою неперервнiсть F ?

(5) Якщо ξn ≤ ζn ≤ ηn м.н. та ξn →O ζ, ηn →O ζ, n →∞, то ζn →O ζ.(6) Нехай Fn, F – функцiї розподiлу i Fn →O F Довести, що iснує ймо-

вiрнiсний простiр (Ω, F, IP) та випадковi величини ξn, ξ на ньому з функцiямирозподiлу Fn, F вiдповiдно такi, що ξn →P1 ξ, n →∞.

1.25. Слабка збiжнiсть функцiй розподiлуi випадкових величин

Означення. Нехай ξ, (ξn, n ≥ 1) – випадковi величини з функцiямирозподiлу F, (Fn, n ≥ 1) вiдповiдно. Має мiсце слабка збiжнiсть:

ξn →W ξ, Fn →W F, n →∞,

якщо для кожної неперервної обмеженої функцiї g (тобто ∀g ∈ Cb(R))збiгаються математичнi сподiвання

IEg(ξn) → IEg(ξ), n →∞,


або ж збiгаються iнтегралиw ∞−∞

g(x)dFn(x) →w ∞−∞

g(x)dF (x), n →∞.

Очевидно, що обидва означення еквiвалентнi за теоремою про обчисленняматематичного сподiвання функцiї вiд випадкової величини.

Надалi позначатимемо через Cl(B) – замикання, Int(B) – внутрi-шнiсть множини B ⊂ R.

1.25.1. Однозначнiсть слабкої границi

Теорема (про однозначнiсть слабкої границi).(а) Якщо F,G – функцiї розподiлу iw ∞

−∞g(x) dF (x) =

w ∞−∞

g(x) dG(x)

для всiх g ∈ Cb(R), то F = G.(б) Слабка границя функцiй розподiлу визначена однозначно.Доведення(а) Визначимо вiдстань вiд точки до множини

ρ(x,A) = inf y∈A |x− y| .Ця функцiя невiд’ємна та неперервна за x, що є наслiдком нерiвностiтрикутника для вiдстанi: |ρ(x,A)− ρ(y,A)| ≤ |x− y|. Тому функцiя

gm(x,A) ≡ exp(−m ρ(x,A)).

неперервна i обмежена за x. За означенням замикання ρ(x,A) = 0 тодi йтiльки тодi, коли x ∈ Cl(A). Звiдси випливає, що

gm(x,A) ↓ 1ICl(A)(x), m →∞.

Пiдставляючи g = gm у рiвнiсть умови (а), з теореми Лебега про мажоро-вану збiжнiсть при m →∞ дiстанемо

F (Cl(A)) =r∞−∞ 1ICl(A)(x)dF (x) = limm→∞

r∞−∞ gm(x)dF (x) =

limm→∞r∞−∞ gm(x)dG(x) =

r∞−∞ 1ICl(A)(x)dG(x) = G(Cl(A)).

Переходячи до доповнень, приходимо до висновку, що F i G збiгаютьсяна вiдкритих множинах, зокрема на iнтервалах (−∞, x). Отже, вiдповiднiфункцiї розподiлу однаковi.

(б) Якщо Fn →W F i Fn →W G, то, очевидно, виконується умовапункту (а), згiдно з яким F = G ¡

1.25. Слабка збiжнiсть функцiй розподiлу i випадкових величин 129

1.25.2. Властивостi слабкої збiжностi

Слабка збiжнiсть є слабшою за вже вiдомi види збiжностей.Теорема (про спiввiдношення слабкої збiжностi та збiжностi за

ймовiрнiстю). Якщо ξn →P ξ, то ξn →W ξ, n →∞.

Доведення теореми є очевидним наслiдком пункту (в) теореми провластивостi збiжностi за ймовiрнiстю та означення слабкої збiжностi ¡

Теорема (про властивостi слабкої збiжностi). Нехай Fn →W F.

(а) Для довiльної множини B ∈ B(R) справедливi нерiвностi

F (Int(B)) ≤ limn→∞Fn(B) ≤ limn→∞Fn(B) ≤ F (Cl(B)).

(б) Якщо F (∂B) ≡ F (Cl(B) \ Int(B)) = 0, то limn→∞ Fn(B) = F (B).

Доведення(а) Доведемо праву нерiвнiсть. Нехай функцiї gm визначенi в теоремi

про однозначнiсть слабкої границi. За теоремою Лебега про монотоннузбiжнiсть :

limn→∞Fn(B) = limn→∞w ∞−∞

1Ix∈B dFn(x) ≤

limn→∞w ∞−∞

gm(x,B)dFn(x) =w ∞−∞

gm(x,B)dF (x) ↓ F (Cl(B)), m →∞,

де використанi спiввiдношення gm(x,B) ↓ 1Ix ∈ Cl(B) ≥ 1Ix ∈ B з доведеннятеореми про однозначнiсть слабкої границi.

Для доведення лiвої нерiвностi перейдемо до доповнень:

lim Fn(B) = 1− lim Fn(B) ≥ 1− F (Cl(B)) = F (Cl(B)) = F (Int(B)).

(б) З умови випливає, що F (Cl(B)) = F (B) = F (Int(B)), тому зтвердження (а) дiстанемо

F (B) ≤ limFn(B) ≤ limFn(B) ≤ F (B)

що i доводить збiжнiсть Fn(B) до F (B) ¡Теорема (про еквiвалентнiсть слабкої збiжностi та в основному).

Нехай (Fn, n ≥ 1) – послiдовнiсть функцiй розподiлу. Для того, щобFn →W F, n → ∞, необхiдно i достатньо, щоб Fn →O F, n → ∞, i Fбула функцiєю розподiлу.

Зауваження. З теореми про збiжнiсть в основному та на щiльнiй мно-жинi випливає, що збiжнi в основному функцiї розподiлу збiгаються дограницi з M01 (вправа). Однак ця границя не обов’язково є функцiєюрозподiлу, наприклад: Fn(x) = 1In < x → 0, n →∞,∀x, де 0 ∈ M01.


ДоведенняНеобхiднiсть. Нехай Fn →W F. Для довiльної точки x неперервностi

функцiї F (x) та для множини B = (−∞, x) маємо ∂B = x i F (∂B) =F (x + 0)− F (x) = 0. Тому за теоремою про властивостi слабкої збiжностiF (x) = F (B) = lim Fn(B) = lim Fn(x), що доводить збiжнiсть в основному.

Достатнiсть. Нехай Fn →O F i F є функцiєю розподiлу. Обере-мо всюди щiльну множину D точок неперервностi функцiї F. З умовинормованостi F знайдемо для заданого ε > 0 сталi −c, c ∈ D такi, щоF (−c) + 1− F (c) ≤ ε.

Розглянемо розбиття −c = a0 < a1 < ... < am = c вiдрiзка [−c, c]точками ak ∈ D iз дiаметром δ = maxk |ak − ak+1| .

Нехай g ∈ Cb(R). Покладемо

gδ(x) ≡∑m−1

k=0g(ak) 1Ix∈[ak,ak+1), L(g) ≡ sup |g(x)| .

З неперервностi функцiї g випливає, що вона рiвномiрно неперервна навiдрiзку [−c, c], тому модуль неперервностi прямує до нуля:

wcδ(g) ≡ sup|x|≤c |g(x)− gδ(x)| → 0

при δ → 0. Виходячи з попереднiх означень, оцiнимо

limn→∞∣∣∣w ∞−∞

g(x)dFn(x)−w ∞−∞

g(x)dF (x)∣∣∣ ≤

limn→∞∣∣∣r|x|>c

g(x)dFn(x)∣∣∣ + limn→∞

∣∣∣r|x|>c

g(x)dF (x)∣∣∣ +

limn→∞r|x|≤c

|g(x)− gδ(x)| dFn(x) + limn→∞r|x|≤c

|g(x)− gδ(x)| dF (x)+

limn→∞∣∣∣r|x|≤c

gδ(x)dFn(x)− r|x|≤cgδ(x)dF (x)

∣∣∣ ≤

L(g)limn→∞(Fn(−c) + 1− Fn(c) + F (−c) + 1− F (c)) + 2 wg,c(δ)+

limn→∞∣∣∑m−1

k=0 g(ak)(Fn(ak+1)− Fn(ak)− F (ak+1) + F (ak))∣∣ ≤

2 L(g)(F (−c) + 1− F (c)) + 2 wcδ(g)+∑m−1

k=0 |g(ak)| limn→∞ (|Fn(ak+1)− F (ak+1)|+ |Fn(ak)− F (ak)|) ≤2 L(g)ε + 2 wcδ(g) + 0,

оскiльки за умови збiжностi в основному Fn(ak) → F (ak) у кожнiй точцiak ∈ D. Праву частину нерiвностi можна зробити вибором ε i δ як завгодномалою. Отже,

rgdFn →

rgdF при g ∈ Cb(R) та Fn →W F, n →∞ ¡

1.26. Слабка компактнiсть 131

Вправи(1) Нехай Fn функцiя розподiлу дискретної величини, що рiвномiрно розпо-

дiлена на множинi 0, 1/n, 2/n..., (n− 1)/n. Знайти слабку границю Fn.

(2) Випадковi величини ξn, ξ – цiлозначнi. Довести, що ξn →W ξ тодi йтiльки тодi, коли IP(ξn = k) → IP(ξ = k), n →∞, для всiх k ∈ Z.

(3) Довести, що для сталої c збiжнiсть ξn →W c має мiсце тодi й тiльки тодi,коли ξn →P c, n →∞.

(4) Навести приклад послiдовностi Fn →W F такої, що Fn(B) → F (B) недля всiх B ∈ B(R), що вказує на суттєвiсть умови F (∂B) = 0.

(5) Довести, що кожне з тверджень теореми про властивостi слабкої збiжно-стi еквiвалентне збiжностi Fn →W F, n →∞.

(6) Нехай Fn →W F, n → ∞, а функцiя g обмежена та неперервна майжескрiзь за мiрою, що породжена F. Довести, що

rgdFn →

rgdF, n →∞.

(7, теорема Слуцького) Якщо ξn →W ξ, ηn →W c, то ξn + ηn →W ξ + c таξnηn →W cξ, n →∞.

(8) Нехай ξn →W ξ, n →∞. Довести, що IE |ξ| ≤ limn→∞IE |ξn| .(9) Довести, що слабка збiжнiсть ξn →W ξ, n → ∞, має мiсце тодi й тiль-

ки тодi, коли limn→∞IEg(ξn) ≤ IEg(ξ) (а) для всiх g ∈ Cb(R), (б) для всiхg ∈ Lipb(R) ≡ g : supx 6=y |g(x)− g(y)| / |x− y| < ∞ ∩ Cb(R).

(10) Нехай ξn →W ξ0, n → ∞, а µn ≡ med ξn – медiана величини ξn, щоє розв’язком рiвняння IP(ξn < µn) = 1/2. За умови однозначної визначеностiмедiан довести, що µn → µ0, n →∞.

(11) Нехай ξn →W ξ, n → ∞, та виконується одна з умов: (а) для деяко-го δ > 0 supn≥1 IE |ξn|1+δ < ∞, (б) limN→∞ supn≥1

r∞N

IP(|ξn| ≥ x)dx = 0.Довести, що lim IEξn = IEξ.

(12) Нехай ξn →W ξ, n → ∞, а послiдовнiсть випадкових величин τn ∈ Nтака, що τn/n →P α ∈ (0, 1). Довести, що ξτn

→W ξ, n →∞.

1.26. Слабка компактнiсть

Означення. Клас M ⊂ M01 узагальнених функцiй розподiлу є ком-пактним в основному, якщо будь-яка послiдовнiсть (Gn, n ≥ 1) ⊂ M

мiстить збiжну в основному пiдпослiдовнiсть:

∃(Gnk, k ≥ 1) ⊂ (Gn, n ≥ 1), Gnk

→O G, nk →∞,

для деякої узагальненої функцiї розподiлу G ∈ M01.


1.26.1. Теорема Хеллi про компактнiсть в основному

Теорема (теорема Хеллi про компактнiсть в основному). Клас усiхузагальнених функцiй розподiлу M01 є компактним в основному.

Доведення. Нехай (Gn, n ≥ 1) ⊂ M01. Позначимо через K0 = Nмножину всiх натуральних чисел, D = x1, ..., xn, ... злiченну щiльнумножину на числовiй осi.

Розглянемо числову послiдовнiсть Gn(x1), n ∈ K0 ⊂ [0, 1]. Оскiльки[0, 1] – компакт, то знайдуться нескiнченна пiдпослiдовнiсть K1 ⊂ K0 тачисло g1 такi, що Gn(x1) → g1 при n →∞, n ∈ K1.

Аналогiчно, розглянемо послiдовнiсть Gn(x2), n ∈ K1 ⊂ [0, 1] i побу-дуємо пiдпослiдовнiсть K2 ⊂ K1∩[2,∞) так, щоб Gn(x2) → g2 при n →∞,n ∈ K2, для деякого числа g2.

Продовжуючи за iндукцiєю, знайдемо вкладенi нескiнченнi пiдпослi-довностi Kj ⊂ Kj−1 ∩ [j,∞) та числа gj такi, що Gn(xj) → gj при n →∞,n ∈ Kj. Зауважимо, що одночасно при кожному i < j має мiсце збiжнiстьGn(xi) → gi при n → ∞, n ∈ Kj, оскiльки Kj ⊂ Ki, а довiльна пiдпослi-довнiсть збiжної послiдовностi збiгається до тiєї ж границi.

За методом Кантора визначимо дiагональну послiдовнiсть

K = min Kj, j ≥ 1.Оскiльки за побудовою min Kj ≥ j, то послiдовнiсть K нескiнченна.

Крiм того, K ⊂ Kj за винятком перших j елементiв. Дiйсно, для всiхi ≥ j справедливi включення min Ki ∈ Ki ⊂ Kj.

Оскiльки будь-яка пiдпослiдовнiсть збiжної послiдовностi збiгаєтьсядо тiєї ж границi, то Gn(xj) → gj при n →∞, n ∈ K, вже для кожного j.

Застосувавши теорему про збiжнiсть в основному та на щiльнiй мно-жинi, пункт (б), приходимо до висновку, що для деякої узагальненої фун-кцiї розподiлу G має мiсце збiжнiсть Gn →O G при n →∞, n ∈ K ¡

1.26.2. Теорема Прохорова про слабку компактнiсть

Означення. Клас z функцiй розподiлу називається слабко компа-ктним, якщо будь-яка послiдовнiсть (Fn, n ≥ 1) ⊂ z мiстить слабкозбiжну пiдпослiдовнiсть, тобто для деякої функцiї розподiлу F :

∃(Fnk, k ≥ 1) ⊂ (Fn, n ≥ 1), Fnk

→W F, nk →∞.

Зауважимо, що замкненiсть множини z не передбачається, тобто вклю-чення F ∈ z може не виконуватись.

1.26. Слабка компактнiсть 133

Символом F ([−c, c)) = F (−c) + 1 − F (c) будемо позначати значеннямiри Лебега – Стiлтьєса F вiд доповнення iнтервалу [−c, c).

Теорема (теорема Прохорова про критерiй слабкої компактностi).Клас z функцiй розподiлу слабко компактний тодi i тiльки тодi, коли

limc→∞ supF∈z F ([−c, c)) = 0, або limc→∞ infF∈z F ([−c, c)) = 1.

Зауваження. Вiдомому росiйському математику Ю.В.Прохорову на-лежить доведення бiльш загального критерiю слабкої компактностi класiвiмовiрнiсних розподiлiв на повному метричному просторi. Наведене твер-дження для R було вiдоме ранiше.

Доведення. Еквiвалентнiсть двох наведених умов є очевидним наслiд-ком формули про ймовiрнiсть доповнення F ([−c, c)) = 1− F ([−c, c)).

Достатнiсть. Нехай M01 – визначений вище клас узагальнених фун-кцiй розподiлу. Оскiльки z⊂ M01, то за теоремою Хеллi про компактнiстьв основному для кожної послiдовностi (Fn, n ≥ 1) ⊂ z знайдемо узагаль-нену функцiю розподiлу G ∈ M01 i пiдпослiдовнiсть функцiй розподiлу(Fnk

, k ≥ 1) ⊂ (Fn, n ≥ 1), такi, що Fnk→O G. Нехай D – щiльна множина

точок неперервностi G. Якщо −c, c ∈ D, то за означенням збiжностi восновному

G(−c) + 1−G(c) = limk→∞ (Fnk(−c) + 1− Fnk

(c)) =

limk→∞ Fnk([−c, c)) ≤ supF ∈ z F ([−c, c)) → 0, c →∞.

Отже, функцiя G – нормована : G(−∞) = 0, G(∞) = 1. Оскiльки G ∈ M01,то G є функцiєю розподiлу внаслiдок теореми про характеризацiю фун-кцiй розподiлу в класi узагальнених. Тому за теоремою про еквiвален-тнiсть слабкої збiжностi та в основному з Fnk

→O G випливає збiжнiстьFnk

→W G. Отже, клас z є слабко компактним.Необхiднiсть. Припустимо, що умова Прохорова не виконана, тобто

вiдповiдна границя ε > 0. Оскiльки функцiя ε(c) ≡ supF ∈ z F ([−c, c))не зростає за c, то вона не менша за свою границю при c → ∞, тобтоε(c) ≥ ε при всiх c. За означенням верхньої межi в ε(c) для кожного n ≥ 1знайдеться Fn ∈ z, така, що Fn([−n, n)) ≥ ε/2. За означенням слабкоїкомпактностi z оберемо (Fnk

, k ≥ 1) ⊂ (Fn, n ≥ 1) так, щоб Fnk→W F,

де F – деяка функцiя розподiлу. Нехай −c, c – точки неперервностi F.Оскiльки за теоремою про еквiвалентнiсть слабкої збiжностi та в основ-ному Fnk

→O F, то, починаючи з nk > c, маємо [−c, c) ⊃ [−nk, nk) i заозначенням збiжностi в основному

F (−c) + 1− F (c) = limk→∞(Fnk(−c) + 1− Fnk

(c)) =


limk→∞ Fnk([−c, c)) ≥ limk→∞Fnk

([−nk, nk)) ≥ ε/2 > 0.

Спрямовуючи тут c →∞, отримуємо суперечнiсть з умовою нормованостiфункцiї розподiлу F (−∞) + 1− F (∞) ≥ ε/2 > 0 ¡

Лема (про верхнi межу та границю монотонної послiдовностi).Нехай числова послiдовнiсть εn(c) така, що

(а) εn(c) ↓ 0 при c →∞ для кожного n, та(б) limn→∞ εn(c) → 0 при c →∞.

Тодi supn≥1 εn(c) → 0 при c →∞.

Доведення. Припустимо, що твердження леми не виконується. Оскiль-ки функцiя supn≥1 εn(c) не зростає за c, то всi її значення не меншi задеяке δ > 0 i для кожного m знайдеться nm таке, що εnm(m) ≥ δ/2. По-слiдовнiсть nm не може бути обмеженою, iнакше nm = k для нескiнченноїкiлькостi номерiв m, i εk(m) ≥ δ/2 для цих номерiв, що суперечить умовi(а). Тодi для кожного c > 0, починаючи з m > c внаслiдок монотонностi(а) маємо εn(c) ≥ εn(m), i

limn→∞εn(c) ≥ limm→∞εnm(c) ≥ limm→∞εnm(m) ≥ δ/2.

Ця нерiвнiсть суперечить умовi (б) ¡Теорема (про критерiй слабкої компактностi послiдовностi). По-

слiдовнiсть (Fn, n ≥ 1) функцiй розподiлу є слабко компактною тодi йтiльки тодi, коли

limc→∞ limn→∞ Fn([−c, c)) = 0.

Доведення. Необхiднiсть очевидна, оскiльки верхня границя не пере-вищує верхню межу, а остання прямує до нуля за теоремою Прохоровапро критерiй слабкої компактностi.

Для доведення достатностi застосуємо лему про верхнi межу та гра-ницю монотонної послiдовностi до послiдовностi εn(c) ≡ Fn([−c, c)). Умова(а) леми випливає з нормованостi функцiй розподiлу Fn, умова (б) збiга-ється з умовою теореми, а твердження леми є умовою Прохорова слабкоїкомпактностi. Тому шукане випливає з теореми Прохорова ¡

Вправи(1) Послiдовнiсть нормальних розподiлiв N(µn, σ2

n), n ≥ 1, слабко компактнатодi й тiльки тодi, коли supn≥1 |µn| < ∞, supn≥1 σ2

n < ∞.

(2) Клас z функцiй розподiлу є слабко компактним тодi й тiльки тодi, колизнайдеться невiд’ємна борелєва функцiя V така, що V (x) → ∞ при |x| → ∞ isupF∈z

rR V (x)dF (x) < ∞.

1.27. Характеристичнi функцiї 135

1.27. Характеристичнi функцiї

Перетворення Фур’є широко застосовуються в математичнiй фiзицi,теорiї диференцiальних рiвнянь та iнших роздiлах математики. У теорiїймовiрностей це поняття вiдоме як характеристична функцiя.

Означення. Нехай ξ – випадкова величина, а F – її функцiя роз-подiлу. Характеристичною функцiєю величини ξ та функцiї розподiлу Fназивається така комплекснозначна функцiя дiйсної змiнної t ∈ R :

ϕξ(t) ≡ IE exp(itξ) =w ∞−∞

exp(itx) dF (x) ≡ ϕF (t).

Рiвнiсть посерединi випливає з теореми про обчислення математичногосподiвання функцiї вiд випадкової величини. В останньому означеннi танадалi математичне сподiвання (iнтеграл Лебега за мiрою IP) вiд компле-кснозначних величин визначається за лiнiйнiстю: IE(ξ1 + iξ2) = IEξ1 + iIEξ2.

Вправа. Для комплекснозначних величин IEξ =IEξ, |IEξ| ≤IE|ξ|.

1.27.1. Однозначнiсть вiдповiдностi

Теорема (про однозначну вiдповiднiсть мiж функцiями розподi-лу та характеристичними функцiями). Вiдповiднiсть мiж функцiямирозподiлу та характеристичними функцiями є взаємно однозначною.

Доведення. Припустимо, що функцiї розподiлу F, G мають однаковiхарактеристичнi функцiї: ϕF (t) = ϕG(t) при всiх t ∈ R. Розглянемо клас

G =

g ∈ Cb(R) :w ∞−∞

g(x)dF (x) =w ∞−∞

g(x)dG(x)

.

За припущенням, кожна гармонiка exp(itx) ∈ G при t ∈ R. Клас G є лiнiй-ним, тому вiн мiстить всi комплекснi тригонометричнi полiноми виглядуg(x) =

∑ck exp(itkx). Крiм того, за теоремою Лебега про мажоровану

збiжнiсть клас G замкнений вiдносно обмеженої поточкової збiжностi.Застосовуючи теорему Стоуна – Вейєрштраса про наближення непе-

рервної обмеженої функцiї полiномами, доведемо, що клас G мiстить усiфiнiтнi неперервнi функцiї. Дiйсно, нехай функцiя g ∈ Cb(R), причомуg(x) = 0 при |x| > c− 1. Оберемо тригонометричний полiном gε такий, що|g(x)− gε(x)| ≤ ε при |x| ≤ c та gε(−c) = gε(c). Пiсля перiодичного продов-ження його на R з перiодом 2c отримуємо функцiю gε ∈ Cb(R). Вибором cрiзницю мiж iнтегралами:

∣∣r gdF − r gdG∣∣ =

∣∣∣r|x|≤c

gdF − r|x|≤cgdG

∣∣∣ ≤

136 Теорiя ймовiрностей∣∣∣r|x|≤c

(g − gε)dF∣∣∣ +

∣∣∣r|x|≤c

(g − gε)dG∣∣∣ +

∣∣r gεdF − r gεdG∣∣ +

∣∣∣r|x|>c

gεdF − r|x|>cgεdG

∣∣∣ ≤2 ε + 0 + (F ([−c, c]) + G([−c, c])(sup |g|+ ε)

можна зробити як завгодно малою. Тому g ∈ G.Оскiльки кожна неперервна обмежена функцiя є обмеженою поточко-

вою границею фiнiтних неперервних обмежених функцiй, то G = Cb(R).Тому з теореми про однозначнiсть слабкої границi, (а), маємо F = G ¡

Вправи(1) Якщо ξ – цiлозначна випадкова величина, то її характеристична функцiя

ϕ(t) має перiод 2π i IP(ξ = n) = (2π)−1r π

−πexp(−itn)ϕ(t)dt.

(2) Нехай випадкова величина ξ iнтегровна в будь-якiй степенi, причому:IEξn = (n + k)!/k! для деякого k та всiх n ≥ 0. Довести, що розподiл ξ визна-чається однозначно та збiгається з розподiлом Ерланга.

(3) Довести, що розподiл iнтегровної випадкової величини ξ однозначно ви-значається функцiєю IE |ξ − t| , t ∈ R.

1.27.2. Властивостi характеристичної функцiї

Теорема (про основнi властивостi характеристичної функцiї). Не-хай ϕ – характеристична функцiя. Вона має такi властивостi:

(а – нормованiсть) ϕ(0) = 1 i |ϕ(t)| ≤ 1, ∀t ∈ R,(б – ермiтовiсть) ϕ(−t) = ϕ(t),(в – неперервнiсть) ϕ(t) неперервна в нулi i рiвномiрно неперервна,(г – невiд’ємна визначенiсть) для довiльних дiйсних t1, ..., tn та ком-

плексних c1, ..., cn справедлива нерiвнiсть∑n

k, j =1ckcj ϕ(tk − tj) ≥ 0.

Зауваження. Теорема Бохнера-Хiнчина стверджує, що будь-яка ком-плекснозначна функцiя дiйсної змiнної, що задовольняє умови (а)-(г), єхарактеристичною для певної функцiї розподiлу.

Доведення теореми.(а) ϕ(0) =

r∞−∞ dF (x) = F (R) = 1 з умови нормованостi функцiї розпо-

дiлу, |ϕ(t)| =∣∣∣r∞−∞ exp(itx)dF (x)

∣∣∣ ≤r∞−∞ |exp(itx)| dF (x) = 1.

(б) ϕ(−t) =r∞−∞ exp(−itx)dF (x) =

r∞−∞ exp(itx)dF (x) =

r∞−∞ exp(itx)dF (x).


(в) |ϕ(t)− ϕ(s)| ≤ r∞−∞ |exp(itx)− exp(isx)| dF (x) =r∞−∞ |exp(i(t− s)x)− 1| dF (x) → 0, t− s → 0,

за теоремою Лебега про мажоровану збiжнiсть, оскiльки |exp(ihx)− 1| ≤2 та |exp(ihx)− 1| → 0 при h → 0 для кожного x.

(г) Сума з умови дорiвнюєr∞−∞

∑nk, j =1 ckcj exp(i(tk − tj)x)dF (x) =

r∞−∞ |

∑nk=1 ck exp(itkx)|2 dF (x) ≥ 0 ¡

Вправи(1) Довести, що з невiд’ємної визначеностi (г) випливає ермiтовiсть (б).(2) Знайти характеристичну функцiю для випадкової величини з щiльнiстю:

(а) (T − |x|)+/T 2, (б) (1− cos(Tx))/πTx2.(3) Нехай ϕ(t) – характеристична функцiя така, що ϕ(t) = 0 при |t| > a.

Вивести з теореми Бохнера-Хiнчина, що перiодичне продовження з перiодом 2aфункцiї ϕ(t) є характеристичною функцiєю.

(4) Довести, що функцiя з перiодом 2T, що дорiвнює (T − |x|)+/T при|x| ≤ T, є характеристичною.

(5) Якщо випадкова величина ξ має щiльнiсть, то∣∣ϕξ(t)

∣∣ < 1 ∀t 6= 0.

(6) Випадкова величина ξ має щiльнiсть та IEξ = 0, IEξ2 < ∞. Довести, щознайдеться δ > 0 таке, що sup|t|≥u

∣∣ϕξ(t)∣∣ ≤ exp(−δu2) для всiх u ∈ (0, 1).

(7) Якщо випадкова величина ξ не дорiвнює м.н. сталiй, то∣∣ϕξ(t)

∣∣ < 1 удеякому виколотому околi нуля.

(8) Рiвнiсть∣∣ϕξ(t)

∣∣ = 1 для деякого t 6= 0 виконується тодi й тiльки тодi,коли IP(ξ ∈ a + bZ) = 1 для деяких a, b ∈ R.

(9) Iснують незалежнi величини ξ1, ξ2, ξ3 такi, що ξ2 та ξ3 мають рiзнi роз-подiли, однак ξ1 + ξ2 i ξ1 + ξ3 – однаково розподiленi.

(10) Для довiльних розподiлу (pk, k = 1, n) та додатних (ak, k = 1, n) опу-клий полiгон

∑nk=1 pk(1− |t| a−1

k )+ є характеристичною функцiєю.(11 – теорема Пойа) Нехай ϕ – дiйсна неперервна парна функцiя на R, така,

що ϕ(0) = 1, ϕ(∞) = 0, причому графiк ϕ на R+ є опуклим донизу. Тодi ϕє характеристичною функцiєю. Вказiвка: довести, що ϕ(t) можна зобразити увиглядi iнтегралу

r∞0

(1− |t| /s)+µ(ds) для деякої мiри µ.(12) Графiк кусково-лiнiйної функцiї ψ утворений точками (n, ϕ(n)), n ∈ Z,

де ϕ – характеристична функцiя. Довести, що ψ – характеристична функцiя.(13) За означенням випадкова величина ξ симетрична, якщо ξ та −ξ мають

однаковi функцiї розподiлу. Довести, що симетричнiсть еквiвалентна дiйснозна-чностi характеристичної функцiї.


Теорема (про властивостi характеристичної функцiї).(а) ϕa+bξ(t) = exp(ita) ϕξ(bt).(б) Якщо ξ, η незалежнi, то ϕξ+η(t) = ϕξ(t) ϕη(t). Аналогiчно, для

незалежних у сукупностi величин (ξk, k = 1, n) з сумою Sn = ξ1 + ...+ξn

ϕSn(t) =

∏n

k=1ϕξk

(t).

(в) Якщо ξ iнтегровна, то ϕξ(t) = 1 + it IEξ + o(t), t → 0.(г) Якщо ξ квадратично iнтегровна, то

ϕξ(t) = 1 + it IEξ − t2 IEξ2/2 + o(t2), t → 0.

(д) За iнтегровностi ξ або квадратичної iнтегровностi вiдповiдно

IEξ = −iϕ′ξ(0), IEξ2 = −ϕ′′ξ (0).

(е) Якщо ξ ' N(µ, σ2) нормальна випадкова величина, то

ϕξ(t) = exp(itµ− σ2t2/2).

(ж) Якщо ξ ' Π(λ) має розподiл Пуассона з параметром λ, то

ϕξ(t) = exp(λ(exp(it)− 1)).

(з) Якщо ξ = c – стала, то ϕξ(t) = exp(itc).Доведення(а) За мультиплiкативнiстю експоненти та однорiднiстю математичного

сподiванняϕa+bξ(t) = IE exp(it(a + bξ)) =

IE exp(ita) exp(itbξ) = exp(ita)IE exp(itbξ) = exp(ita)ϕξ(bt).

(б) За теоремою про перетворення незалежних величин випадковi ве-личини exp(itξ) i exp(itη) також незалежнi. Тому за теоремою про мате-матичне сподiвання добутку незалежних величин

ϕξ+η(t) = IE exp(it(ξ + η)) = IE exp(itξ) exp(itη) =

IE exp(itξ) IE exp(itη) = ϕξ(t)ϕη(t).

Далi, за теоремою про перетворення незалежних величин у зображен-нi Sn = Sn−1 + ξn доданки є незалежними. Тому ϕSn

(t) = ϕSn−1(t)ϕξn

(t) задоведеним вище. Звiдси за iндукцiєю виводимо друге твердження (б).

(в) З елементарної нерiвностi |exp(itx)− 1− itx| ≤ 2 |tx| , ∀tx ∈ R,випливає, що до iнтегралу

(ϕξ(t)− 1− it IEξ)t−1 =w ∞−∞

(exp(itx)− 1− itx)t−1 dF (x)


можна застосувати теорему Лебега про мажоровану збiжнiсть при t → 0,тому що

r∞−∞ 2 |x| dF (x) = 2IE |ξ| < ∞. Оскiльки пiдiнтегральна функцiя

в правiй частинi поточково прямує до нуля, то права частина прямує донуля при t → 0, звiдки дiстанемо спiввiдношення (в).

(г) Аналогiчно застосовуємо до iнтегралуr∞−∞ (exp(itx)− 1− itx + t2x2/2) t−2dF (x) =

(ϕξ(t)− 1− it IEξ + t2IEξ2/2) / t2

нерiвнiсть |exp(itx)− 1− itx + t2x2/2| ≤ |tx|2 .(д) Випливає з формули розкладу в ряд Тейлора в околi нуля дифе-

ренцiйовної функцiї ϕξ(t) та тверджень (в) чи (г).(е) Якщо ζ ' N(0, 1) стандартна нормальна величина, то

ϕζ(t) = (2π)−1/2r∞−∞ exp (−x2/2 + itx) dx =

exp (−t2/2) (2π)−1/2r∞−∞ exp(−(x− it)2/2)dx = exp (−t2/2) .

У загальному випадку досить застосувати властивiсть (а) до означеннявеличини ξ = µ + σζ з нормальним розподiлом .

(ж) За формулою про обчислення математичного сподiвання функцiївiд дискретної величини

ϕξ(t) =∑

n≥0 exp(itn)λn exp(−λ)/n! = exp(λ(exp(it)− 1)) ¡

Вправи(1) Випадкова величина ξ з розподiлом IP(ξ = ±2n) = C/(n2 ln n) не iнте-

гровна, однак її характеристична функцiя диференцiйовна в нулi.(2) Якщо характеристична функцiя ϕξ(t) випадкової величини ξ має похiдну

парного порядку 2n, то випадкова величина ξ2n iнтегровна.(3) Якщо IE |ξ|α < ∞, α ∈ (0, 1), то ϕξ задовольняє умову Гельдера рiвня α.(4) Довести, що: (а) характеристична функцiя величини зi щiльнiстю Кошi

(π(1 + x2))−1 дорiвнює exp(− |t|), (б) для незалежних однаково розподiленихвеличин ξ1, ..., ξn зi щiльнiстю Кошi нормована сума (ξ1 + ... + ξn)/n має такусаму щiльнiсть, (в) послiдовнiсть незалежних випадкових величин iз щiльнiстюКошi не задовольняє закон великих чисел.

(5) Характеристична функцiя рiвномiрного розподiлу на симетричному вiд-рiзку [−a, a] дорiвнює (sin at)/at.

(6) Якщо величина ξ має гама-розподiл Γ(λ, α), то ϕξ(t) = (1− it/λ)−α.


(7) Нехай ϕ(t) – характеристична функцiя стандартного нормального розпо-дiлу. (а) Iнтегруванням за частинами вивести диференцiальне рiвняння ϕ′(t) =−tϕ(t), (б) отримати звiдси формулу для ϕ(t).

(8) Функцiя exp(−t4) не є характеристичною.(9) Для незалежностi випадкових величин ξ, η необхiдно i достатньо, щоб

IE exp(itξ + isη) = IE exp(itξ)IE exp(isη) при всiх s, t ∈ R.

(10) Знайти залежнi величини ξ, η такi, що ϕξ+η(t) = ϕξ(t) ϕη(t),∀t ∈ R.

(11) Випадковi величини (ξk, k = 1, n) незалежнi у сукупностi тодi й тiлькитодi, коли величини ξ1 + ... + ξk та ξk+1 незалежнi для всiх k = 1, n− 1.

(12) Для характеристичної функцiї ϕ довести, що Re ϕ(2t) ≥ 4 Re ϕ(t)− 3.

(13) Якщо випадкова величина ξ обмежена, то функцiя t−2 ln∣∣ϕξ(t)

∣∣ обме-жена та вiддiлена вiд нуля у деякому околi нуля.

(14) Якщо ϕ(t), t ∈ R, – характеристична функцiя, то (а) ϕn(t), (б) |ϕ(t)|2 ,(в) t−1

r t

0ϕ(s)ds – також характеристичнi функцiї.

(15) Довести, що iснують рiзнi характеристичнi функцiї ϕk(t), k = 1, 2, такi,що ϕ2

1(t) = ϕ22(t) для всiх t ∈ R.

(16, С.Н.Бернштейн) Якщо величини ξ, η незалежнi, однаково розподiленii квадратично iнтегровнi, причому ξ + η та ξ − η також незалежнi, то ξ, η –нормальнi випадковi величини.

(17) Випадковi величини ξ, η незалежнi, однаково розподiленi i з нульовимсереднiм та одиничною дисперсiєю. Якщо розподiл величини (ξ + η)/

√2 збiгає-

ться з розподiлом ξ, то ξ ' N(0, 1).

1.27.3. Iншi iнтегральнi перетворення

Одночасно з характеристичними функцiями у теорiї ймовiрностей ви-користовують iншi види перетворень.

Означення. Твiрною функцiєю моментiв випадкової величини ξ нази-вається така функцiя змiнної t :

mξ(t) ≡ IE exp(tξ)

у припущеннi, що величина пiд знаком сподiвання iнтегровна для всiхt з деякого околу нуля.

Твiрна функцiя моментiв розкладається у ряд Тейлора

mξ(t) =∑

n≥0tnIEξn/n!.

Логарифмiчне перетворення cξ(t) ≡ ln mξ(t) називається твiрною фун-


кцiєю кумулянт. Коефiцiєнти σn розкладу у ряд Тейлора

cξ(t) =∑

n≥0tnσn/n!

називаються кумулянтами (семiiнварiантами ) величини ξ. Можна довести(вправа), що σ1 = IEξ, σ2 = IDξ, σ3 = IE(ξ − IEξ)3.

Означення. Перетворенням Лапласа випадкової величини ξ називає-ться така функцiя дiйсної змiнної t :

lξ(t) ≡ IE exp(−tξ).

Очевидно, що для невiд’ємних величин ξ перетворення Лапласа ви-значено коректно та є аналiтичною функцiєю при Re t > 0.

Зауважимо, що твердження теореми про основнi властивостi характе-ристичних функцiй, як i iншi властивостi характеристичних функцiй, знеобхiдними модифiкацiями виконуються як для твiрних функцiй момен-тiв, так i для перетворень Лапласа.

1.27.4. Генератриси випадкових величин

Для цiлочисельних величин використовують метод генератрис, якi єдискретними аналогами характеристичних функцiй.

Означення. Нехай ν – невiд’ємна цiлозначна випадкова величина зрозподiлом pn = IP(ν = n), n = 0, 1, ... Генератрисою випадкової величиниν називається генератриса послiдовностi pn :

ϕν(z) ≡∑

n≥0znpn = IEzν .

Остання формула є наслiдком теореми про обчислення математичногосподiвання функцiї вiд дискретної величини.

Теорема (про властивостi генератрис).(а) Ряд ϕν(z) абсолютно збiгається при |z| ≤ 1 та однозначно ви-

значає розподiл pn.(б) ϕν(1) = 1.(в) |ϕν(z)| ≤ 1 при |z| ≤ 1.(г) ϕ′ν(1) = IEν.(д) Якщо величини ξ, η – незалежнi, то ϕξ + η(z) = ϕξ(z)ϕη(z).(е) Якщо величини (ξn, n ≥ 1) та ν – незалежнi в сукупностi, а вели-

чина ζ є сумою випадкового числа ν випадкових доданкiв ξn вигляду

ζ =∑ν

k=1ξk =

∑k≥1

ξk 1Ik ≤ ν ,


то її генератриса є суперпозицiєю генератрис:

ϕζ(z) = ϕν(ϕξ(z)).

Доведення(а) Випливає зi збiжностi ряду

∑pn = 1, однозначнiсть є наслiдком

формули обертання

pn = (2π)−1w π

−πexp(−int)ϕξ(exp(it))dt.

Остання виводиться з ортогональностi гармонiк exp(int) у просторi iнте-гровних з квадратом функцiй L2[−π, π] :

r π

−πexp(−int)ϕξ(exp(it))dt =

∑m≥0 pn

r π

−πexp(−int + imt)dt = 2πpn.

(б), (в) очевиднi.(г) При z ∈ (0, 1) похiдну можна внести пiд знак суми ряду, оскiльки

ряд iз похiдних збiгається абсолютно:

ϕ′ν(z) =∑

n≥0nzn−1pn = IEνzν−1.

Спрямовуючи тут 0 ≤ z ↑ 1, за теоремою Лебега про монотонну збiжнiстьдiстанемо рiвнiсть (г).

(д) Випливає з теореми про перетворення незалежних величин zξ, zη,та теореми про математичне сподiвання добутку незалежних величин.

(е) За означенням

ϕζ(z) = IEzζ =∑

k≥0 IEzζ1Iν = k =∑

k≥0 IEzξ1+...+ξν1Iν = k =∑

k≥0 IEzξ1+...+ξk1Iν = k =∑

k≥0 IEzξ1+...+ξk IE1Iν = k =∑

k≥0(IEzξ1)k IP(ν = k) =∑

k≥0(ϕξ(z))k IP(ν = k) =∑

k≥0 uk IP(ν = k) | u=ϕξ(z)= ϕν(ϕξ(z)),

де використано незалежнiсть суми ξ1 + ... + ξk i подiї ν = k та попере-днiй пункт, внаслiдок якого генератриса суми незалежних у сукупностi,однаково розподiлених величин дорiвнює вiдповiднiй степенi генератрисидоданку.

Зауваження. Твердження (е) залишається справедливим для дiйсно-значних величин ξn, якщо тiльки коректно визначено перетворення ϕξ(z) =IEzξ1 , зокрема для дiйсних ξ1 та при z = exp(it), t ∈ R. Дiйсно, характе-ристична функцiя суми незалежних величин також дорiвнює добутковiхарактеристичних функцiй доданкiв ¡


Вправи(1) Довести методом генератрис, що (а) сума незалежних величин iз розподi-

лами Пуассона, (б) слабка границя величин iз розподiлами Пуассона знову маєрозподiл Пуассона.

(2) Випадкова величина η набуває цiлих невiд’ємних значень, а величини(δk, k ≥ 0) не залежать вiд η, i IP(δk = 0) = 1− IP(δk = 1) ∈ (0, 1). Розглянемосуми η1 =

∑ηk=0 δk, η0 =

∑ηk=0(1 − δk). Довести, що (а) величини η0 та η1

незалежнi тодi й тiльки тодi, коли η має розподiл Пуассона, (б) ηi мають розподiлПуассона.

(3) Довести, що кiлькiсть успiхiв у випадковому числi випробувань Бернуллi,яке не залежить вiд результатiв окремих випробувань та має розподiл Пуассона,теж має пуассонiвський розподiл. Знайти параметр цього розподiлу.

(4) Довести для невiд’ємної величини ξ ≤ ∞ такi тотожностilimt→∞ IE exp(−tξ) = IP(ξ = 0), limt↓0 IE exp(−tξ) = IP(ξ < ∞).

(5) В умовах пункту (е) теореми про властивостi генератрис довести, щоIEζ = IEνIEξ1 та IDζ = IEνIDξ1 + (IEξ2

1)IDν.

1.27.5. Формула обертаннядля характеристичної функцiї

Теорема (про формулу обертання для характеристичної функцiї).Нехай функцiя розподiлу F має характеристичну функцiю ϕF .

(а) Для всiх a < b, що є точками неперервностi F, справедливатотожнiсть

F (b)− F (a) =1

2πlim ε↓0

w b

adxw ∞−∞

exp(−itx− ε2t2/2) ϕF (t) dt.

(б) Якщо функцiя ϕF абсолютно iнтегровна на R, то функцiя роз-подiлу F має щiльнiсть f, що дорiвнює

f(x) =1

2π

w ∞−∞

exp(−itx) ϕF (t) dt.

Зауваження. Абсолютна збiжнiсть кратного iнтегралу в (а) при ε > 0обумовлена обмеженiстю характеристичної функцiї. Така збiжнiсть приε = 0 може порушуватись.

Доведення(а) Нехай випадкова величина ξ має функцiю розподiлу F, а величина

ζ ' N(0, ε−2) не залежить вiд ξ. За теоремою Фубiнi про кратний та


повторнi iнтеграли отримуємо тотожнiсть Парсеваля для t ∈ R:IE exp(iζ(ξ − t)) =

w ∞−∞

w ∞−∞

exp(ix(y − t))dFζ(x)dF (y) =w ∞−∞

ϕζ(y − t)dF (y) =w ∞−∞

exp(−itx)fζ(x)ϕF (x)dx.

Нехай величина η ' N(0, ε2) не залежить вiд ξ. Тодi за теоремою провластивостi характеристичної функцiї, (е), щiльностi та характеристичнiфункцiї величин η та ζ пов’язанi рiвняннями

fη(y) = (2π)−1/2ε−1ϕζ(y), ϕη(x) = (2π)1/2ε−1fζ(x) = exp(−ε2x2/2).

Множенням тотожностi Парсеваля на (2π)−1/2ε−1, з використаннямпарностi функцiї fη прийдемо при всiх t ∈ R до тотожностi

gε(t) ≡w ∞−∞

fη(t− y)dF (y) =1

2π

w ∞−∞

exp(−itx− ε2x2/2)ϕF (x)dx.

За теоремою про функцiю розподiлу суми незалежних величин лiвачастина збiгається зi щiльнiстю суми незалежних величин ξ + η. Тому

IP(ξ + η ∈ [a, b)) =w b

agε(t)dt.

Оскiльки IDη = ε2, то за нерiвнiстю Чебишева для дисперсiй η →P 0при ε → 0, звiдки ξ + η →P ξ. Отже, за теоремою про спiввiдношенняслабкої збiжностi та збiжностi за ймовiрнiстю ξ + η →W ξ, а за теоремоюпро еквiвалентнiсть слабкої збiжностi та в основному ξ + η →O ξ. Згiдноз означенням збiжностi в основному

IP(ξ ∈ [a, b)) = lim ε↓0 IP(ξ + η ∈ [a, b)) = lim ε↓0w b

agε(t)dt,

для всiх точок неперервностi функцiї розподiлу F, що i доводить (а).(б) За умови iнтегровностi границю у формулi (а) за теоремою Лебега

про мажоровану збiжнiсть можна внести пiд знак кратного iнтегралу,оскiльки пiдiнтегральний вираз не перевищує за модулем функцiї |ϕF (t)| ,яка iнтегровна на [a, b]× R за x, t. Таким переходом виводимо, що

F (b)− F (a) =w b

af(t)dt,

де функцiя f визначена у формулюваннi твердження (б). Спрямовуючитут a → −∞, за означенням щiльностi розподiлу робимо висновок, щофункцiя розподiлу F має щiльнiсть f ¡

Вправи(1) Нехай ξ – випадкова величина з характеристичною функцiєю ϕξ, а ве-

личини ζT не залежать вiд ξ i мають щiльностi (1 − cos Tx)/ (πTx2), x ∈ R.


(a) Обчислити характеристичнi функцiї величин ζT : ϕζT(t) = (1−|t| /T )1I|t|<T .

(б) Вивести звiдси слабку збiжнiсть ξ+ζT →W ξ, T →∞. (в) Довести формулуобертання для точок неперервностi функцiї розподiлу ξ :

Fξ(b)− Fξ(a) = 12π

limT→∞r b

adxr T

−Texp(−itx)(1− |t|

T) ϕξ(t) dt.

(2) Нехай ξ – випадкова величина з характеристичною функцiєю ϕξ. Довеститаку формулу обертання для точок неперервностi функцiї розподiлу ξ :

Fξ(b)− Fξ(a) = 12π

limT→∞r T

−T(exp(−ita)− exp(−itb))(it)−1ϕξ(t)dt.

(3) Нехай ξ – випадкова величина з характеристичною функцiєю ϕξ, а ε > 0.

Довести, що Fξ([−2ε, 2ε]) ≥ ε∣∣∣r 1/ε

−1/εϕξ(t)dt

∣∣∣− 1.

(4) Нехай ϕ – характеристична функцiя для функцiї розподiлу F з множиноюточок розриву an. Довести, що

limT→∞(2T )−1r|t|≤T

exp(−itx)ϕ(t)dt = F (x + 0)− F (x),

limT→∞(2T )−1r|t|≤T

|ϕ(t)|2 dt =∑

n≥1(F (an + 0)− F (an))2.

(5, формула Пуассона) Нехай характеристична функцiя ϕ абсолютно iнте-гровна на R, а f – вiдповiдна щiльнiсть розподiлу. Довести при t, x ∈ R тото-жнiсть

∑∞k=−∞ ϕ(x+2kt) = πt−1

∑∞n=−∞ f(πnt−1) exp(iπnt−1x), за умови, що

ряд у лiвiй частинi збiгається до неперервної функцiї.(6) Характеристична функцiя ϕ випадкової величини ξ задовольняє асимпто-

тичне зображення ϕ(s) = 1 + O(|s|α), s → 0, для деякого α ∈ (0, 2]. Довести,що IP(|ξ| ≥ x) = O(x−α), x →∞.

(7) Випадковi величини (ξk, k = 1, n) незалежнi та рiвномiрно розподiленiна вiдрiзку (−1, 1). Довести, що сума Sn = ξ1 + ξ2 + ... + ξn має щiльнiстьπ−1

r∞0

(t−1 sin t)ncos(tx)dt.

(8) Нехай ξ – довiльна випадкова величина з характеристичною функцiєюϕξ. Довести, що IE |ξ| = π−1

r∞−∞(1− Re ϕξ(t))t

−2dt.

1.27.6. Теорема Левi

Теорема (теорема Левi про критерiй слабкої збiжностi). Нехай(Fn, n ≥ 1) – функцiї розподiлу з характеристичними функцiями ϕn.

Слабка збiжнiсть Fn →W F, n → ∞, до деякої функцiї розподiлуF має мiсце тодi i тiльки тодi, коли характеристичнi функцiї ϕn(t)збiгаються при всiх t ∈ R до функцiї ϕ(t), яка неперервна в нулi. Уцьому випадку ϕ є характеристичною функцiєю для F.

Доведення(а) Необхiднiсть випливає з означення слабкої збiжностi, тому що

гармонiки exp(itx) ∈ Cb(R) є неперервними обмеженими для всiх t ∈ R.


(б) Достатнiсть. Нехай ϕn(t) → ϕ(t), n →∞, для всiх t, де функцiяϕ(t) неперервна в нулi.

Доведемо спочатку, що послiдовнiсть (Fn, n ≥ 1) є слабко компактною.Нехай a > 0, b = 2/a. Враховуючи означення характеристичної функцiї,абсолютну збiжнiсть кратного iнтегралу та теорему Фубiнi про кратнийта повторнi iнтеграли, обчислимо

1

2a

w a

−a(1− ϕn(t))dt =

1

2a

w a

−a

(w ∞−∞

(1− exp(itx))dFn(x))

dt =

1

2a

w ∞−∞

(w a

−a(1− exp(itx))dt

)dFn(x) =

w ∞−∞

(1− sin ax

ax

)dFn(x) ≥

w|x| ≥ b

(1− sin ax

ax

)dFn(x) ≥

w|x| ≥ b

1

2dFn(x) ≥ 1

2Fn([−b, b)).

Справедливiсть цих нерiвностей випливає, по-перше, з невiд’ємностi

1− sin ax

ax≥ 0,

оскiльки |sin y| ≤ |y| , а по-друге, з оцiнки∣∣∣∣sin ax

ax

∣∣∣∣ ≤1

|ax| ≤1

2, ∀ |x| ≥ b = 2/a.

З нерiвностi для Fn та теореми Лебега про мажоровану збiжнiсть ма-ємо

limn→∞Fn([−b, b)) ≤ 2

2alimn→∞

w a

−a(1− ϕn(t))dt =

1

a

w a

−a(1− ϕ(t))dt → 0, a → 0, b →∞,

оскiльки функцiя ϕ(t) неперервна в нулi та ϕ(0) = limn→∞ ϕn(0) = 1.Отже, виконана умова теореми про критерiй слабкої компактностi по-

слiдовностi функцiй розподiлу, i послiдовнiсть (Fn, n ≥ 1) є слабко ком-пактною.

За означенням слабкої компактностi (Fn) знайдемо пiдпослiдовнiсть(Fnk

, k ≥ 1) ⊂ (Fn, n ≥ 1), i функцiю розподiлу F такi, що Fnk→W F,

k →∞. Нехай ϕF – характеристична функцiя F. Тодi внаслiдок вже дове-деного твердження необхiдностi ϕnk

→ ϕF . Отже, ϕ = lim ϕn = lim ϕnk=

ϕF є характеристичною функцiєю функцiї розподiлу F .Доведемо, що Fn →W F. Припустимо, що ця збiжнiсть не має мiсця.

Тодi за означенням слабкої збiжностi знайдуться ε > 0, функцiя g ∈ Cb(R)


та нескiнченна пiдпослiдовнiсть nm такi, що∣∣∣w ∞−∞

g(x)dFnm(x)−w ∞−∞

g(x)dF (x)∣∣∣ ≥ ε, ∀m.

Оскiльки (Fnm , m ≥ 1) ⊂ (Fn, n ≥ 1) є пiдпослiдовнiстю слабкокомпактної множини, то знайдеться слабко збiжна пiдпiдпослiдовнiсть

(Fnmk, k ≥ 1) ⊂ (Fnm , m ≥ 1), Fnmk

→W G,

де G – деяка функцiя розподiлу. Оскiльки ϕnmk→ ϕG, то ϕG = ϕ = ϕF .

Отже, G = F за теоремою про однозначнiсть вiдповiдностi мiж функцiямирозподiлу та характеристичними функцiями. Але в цьому випадкуw ∞

−∞g(x)dF (x) =

w ∞−∞

g(x)dG(x) = limk→∞w ∞−∞

g(x)dFnmk(x),

що суперечить нерiвностi, яка отримана вище: вiдстань мiж правою талiвою частинами повинна бути не меншою за ε > 0.

Отже, вiд супротивного Fn →W F, n →∞ ¡Вправи(1) Нехай величини ξn, ξ мають характеристичнi функцiї ϕn, ϕ, причомуr b

aϕn(t)dt → r b

aϕ(t)dt, n →∞, для всiх a < b. Довести, що ξn →W ξ.

(2) Довести теорему Левi пiсля замiни характеристичних функцiй на пере-творення Лапласа за припущення невiд’ємностi випадкових величин.

(3) Перевiрити суттєвiсть умови неперервностi в нулi в теореми Левi – побу-дувати функцiї розподiлу Fn, що не збiгаються слабко та мають характеристичнiфункцiї ϕn такi, що границя limn→∞ ϕn(t) iснує для всiх t ∈ R.

(4) Випадковi величини (ξn, n ≥ 1) та ξ такi, що |ξn| ≤ c, |ξ| ≤ c для сталоїc, та IEξk

n → IEξk, n →∞, при всiх k ≥ 1. Довести, що ξn →W ξ.(5) Випадковi величини (ξn, n ≥ 1) незалежнi однаково розподiленi на вiдрiз-

ку [0, 1), мають обмеженi щiльностi i |IE exp(2πikξ1)| < 1 для всiх k ∈ N\0.Довести, що Sn = (ξ1 + .. + ξn)(mod 1) →W χ, де величина χ ' U(0, 1).

(6) Випадковi величини ξn мають характеристичнi функцiї ϕn. Довести, щоξn →W 0 тодi й тiльки тодi, коли ϕn(t) → 1 для t з деякого околу нуля.

(7) Функцiї розподiлу Fn мають характеристичнi функцiї ϕn, i для кожногоt ∈ R iснує границя limn→∞ ϕn(t) = ϕ(t). Довести, що iснує узагальнена фун-кцiя розподiлу F ∈ M01 така, що Fn →O F, n → ∞. Довести еквiвалентнiстьтаких тверджень: (а) iснує функцiя розподiлу F така, що Fn →W F, n → ∞,(б) послiдовнiсть (Fn) слабко компактна, (в) ϕ – характеристична функцiя, (г)ϕ – неперервна, (д) ϕ – неперервна в нулi.

(8) Сiм’я функцiй розподiлу (Fα) слабко компактна тодi й тiльки тодi, колиsupα sup|t|≤ε

∣∣1− ϕFa(t)

∣∣ → 0, ε → 0.


(9) Випадковi величини (ξn, n ≥ 1) незалежнi, однаково розподiленi з ха-рактеристичною функцiєю ϕ. Довести, що збiжнiсть (ξ1 + ... + ξn)/n →P a додеякої сталої a виконується тодi й тiльки тодi, коли iснує похiдна ϕ′(0).

(10, теорема Хiнчина) Випадковi величини (ξn, n ≥ 1) незалежнi, однаковорозподiленi та iнтегровнi. Довести, що (ξ1 + ... + ξn)/n →P IEξ1. Вказiвка:досить довести слабку збiжнiсть.

(11) Величини (ξn, n ≥ 1) незалежнi, IP(ξn = 0) = 1/2 = IP(ξn = 1). Дове-сти, що: (а) сума ряду

∑n≥1 2−nξn рiвномiрно розподiлена на [0, 1],

(б) величина ξ = 2∑

n≥1 3−nξn має (сингулярний) розподiл Кантора. Обчислитивiдповiдну характеристичну функцiю.

(12) Сформулювати теоретико-ймовiрнiсну iнтерпретацiю такої тотожностi:(sin t)/t =

∏n≥1 cos(2−nt).

(13) Нехай ϕ(t) – характеристична функцiя для функцiї розподiлу F (x).(а) Тодi функцiя ϕα(t) ≡ (2ϕ(t) − ϕ(t + α) − ϕ(t − α))/(2 − ϕ(α) − ϕ(−α))також є характеристичною при α ∈ R. (б) За умови абсолютної неперервностi Fдовести, що ϕα(t) → ϕ(t), α →∞, але вiдповiднi щiльностi не збiгаються.

Теорема (про рiвномiрну збiжнiсть характеристичних функцiй).Нехай ϕ i ϕn, n ≥ 1, – характеристичнi функцiї та ϕn(t) → ϕ(t), n →∞,при всiх t. Тодi функцiї ϕn(t) є неперервними за t рiвномiрно по t i n,а збiжнiсть ϕn(t) → ϕ(t) є рiвномiрною за t на кожному обмеженомуiнтервалi.

Доведення. Нехай Fn – функцiя розподiлу, що вiдповiдає ϕn. За те-оремою Левi про критерiй слабкої збiжностi послiдовнiсть Fn слабко збi-гається, а тому є слабко компактною. Отже, за теоремою Прохорова прокритерiй слабкої компактностi supn Fn([−c, c)) → 0, c →∞. Звiдси

|ϕn(t)− ϕn(s)| ≤ r|x|>c|eitx − eisx| dFn(x) +

r|x|≤c

|eitx − eisx| dFn(x) ≤2 supn

r|x|>c

dFn(x) + sup|x|≤c

∣∣ei(t−s)x − 1∣∣ r|x|≤c

dFn(x) ≤2 supn Fn([−c, c)) + c |t− s| → 0, |t− s| → 0,

тобто функцiї ϕn(t) є рiвномiрно за n i t неперервними.Якщо вказана в теоремi збiжнiсть не є рiвномiрною за t ∈ [−T, T ], то

знайдуться δ > 0 i tn ∈ [−T, T ] такi, що |ϕn(tn)− ϕ(tn)| ≥ δ для всiх n.Переходячи до пiдпослiдовностi, можемо вважати, що tn → t0. Отже,

δ ≤ limn→∞ |ϕn(tn)− ϕ(tn)| ≤ limn→∞ |ϕn(tn)− ϕn(t0)|+limn→∞ |ϕn(t0)− ϕ(t0)|+ limn→∞ |ϕ(tn)− ϕ(t0)| = 0,


де враховано рiвномiрну неперервнiсть ϕn, що доведена вище. Отриманасуперечнiсть свiдчить про справедливiсть твердження теореми ¡

Теорема (про добуток слабко збiжної послiдовностi зi збiжною).Нехай (ξn, n ≥ 1) послiдовнiсть випадкових величин така, що ξn →W ξ,n →∞, а числова послiдовнiсть an → a, n →∞. Тодi

anξn →W aξ, n →∞.

Доведення. Позначимо через ϕn – характеристичну функцiю ξn.Зi збiжностi ϕn(t) → ϕ(t), n → ∞, та з теореми про рiвномiрну збi-

жнiсть характеристичних функцiй виводимо, що вказана збiжнiсть є рiв-номiрною за t на обмеженому iнтервалi. Оскiльки послiдовнiсть ant → at єобмеженою, то внаслiдок рiвномiрностi збiжностi ϕn(ant) → ϕ(at) для всiхt, що за теоремою Левi про критерiй слабкої збiжностi доводить шуканетвердження ¡

Вправи(1) Довести, що в останнiй теоремi an + ξn →W a + ξ, n →∞.(2) Довести, що в попереднiх вправi та теоремi послiдовнiсть сталих an → a

можна замiнити на послiдовнiсть випадкових величин ηn →P a.

1.27.7. Сумiсна характеристична функцiята слабка збiжнiсть випадкових векторiв

Означення. Сумiсною характеристичною функцiєю випадкового ве-ктора ξ = (ξ1, ..., ξd) називається така функцiя вiд t = (t1, ..., td) ∈ Rd :

ϕξ(t) = IE exp(it′ξ) = IE exp(∑d

k=1itkξk

).

Сумiсна характеристична функцiя має такi ж властивостi, що i зви-чайна характеристична функцiя. Зокрема, вiдповiднiсть мiж сумiснимифункцiями розподiлу та характеристичними функцiями є взаємно одно-значною.

Означення. Випадковi вектори ξn ∈ Rd слабко збiгаються: ξn →W ξ,n →∞, якщо IEg(ξn) → IEg(ξ) для всiх g ∈ Cb(Rd).

Теорема (теорема Левi про критерiй слабкої збiжностi випадко-вих векторiв). Послiдовнiсть d-вимiрних випадкових векторiв слабкозбiгається: ξn →W ξ, n → ∞, тодi й тiльки тодi, коли поточковозбiгаються вiдповiднi сумiснi характеристичнi функцiї: ϕn(t) → ϕ(t),n →∞, ∀t ∈ Rd, до границi ϕ(t), що неперервна в нулi.

Доведення повнiстю аналогiчне доведенню для скалярного випадку.


Теорема (теорема Крамера-Волда про критерiй слабкої збiжностiвипадкових векторiв). Послiдовнiсть d-вимiрних випадкових векторiвслабко збiгається: ξn →W ξ, n → ∞, тодi й тiльки тодi, коли длядовiльного t ∈ Rd слабко збiгається лiнiйна форма t′ξn →W t′ξ, n →∞.

Доведення. Нехай ϕn, ϕ – сумiснi характеристичнi функцiї векторiвξn, ξ. За теоремою Левi про критерiй слабкої збiжностi збiжнiсть при ко-жному t ∈ Rd лiнiйних форм: t′ξn →W t′ξ, n →∞, еквiвалентна збiжностiхарактеристичних функцiй IE exp(is t′ξn) → IE exp(is t′ξ) для всiх s ∈ R.Остання лише формою запису вiдрiзняється вiд збiжностi ϕn(st) → ϕ(st),∀s ∈ R. Нарештi, за теоремою Левi про критерiй слабкої збiжностi ви-падкових векторiв ξn →W ξ тодi й тiльки тодi, коли ϕn(st) → ϕ(st),∀s ∈ R,∀t ∈ Rd, оскiльки множина st, s ∈ R, t ∈ Rd = Rd ¡

Вправи(1) Нехай ξn →W ξ ∈ Rd, а функцiя g ∈ C(Rd). Довести, що має мiсце

збiжнiсть g(ξn) →W g(ξ), n →∞.(2) Довести, що (а) сумiсна характеристична функцiя нормального випад-

кового вектора ξ ' Nn(m,V ) дорiвнює ϕξ(t) = exp(it′m − t′V t/2), (б) ξ єузагальненим нормальним вектором тодi й тiльки тодi, коли остання рiвнiсть маємiсце для деяких m ∈ Rn i симетричної невiд’ємно визначеної матрицi V.

(3) Вектор ξ = (ξ1, ..., ξn) є нормальним випадковим вектором тодi й тiлькитодi, коли для кожного t ∈ Rn\0 величина t′ξ має нормальний розподiл.

(4) Нехай послiдовностi випадкових величин (ξn), (ηn) такi, що ξn, ηn неза-лежнi при кожному n, ξn →W ξ, ηn →W η, причому ξ та η незалежнi. Довестислабку збiжнiсть векторiв (ξn, ηn) →W (ξ, η).

(5) Нехай ϕ, ψ, γ – характеристичнi функцiї випадкових величин ξ.η, ζ . До-вести, що функцiя ϕ(t1)ψ(t2)γ(t1 + t2) є сумiсною характеристичною функцiюдвовимiрного вектора. Побудувати цей вектор.

(6) Координати вектора ξ = (ξ1, ..., ξn) незалежнi тодi й тiльки тодi, коли їхсумiсна характеристична функцiя є добутком: ϕξ(t) =

∏nk=1 ϕξk

(tk),∀t ∈ Rd.(7) Довести рiвнiсть IEξη = IEξIEη для комплекснозначних незалежних iнте-

гровних величин ξ, η.

1.28. Класична центральна граничнатеорема

У центральнiй граничнiй теоремi доводиться, що центрована та нормо-вана сума незалежних величин слабко збiгається до нормальної величини

1.28. Класична центральна гранична теорема 151

для практично довiльних розподiлiв окремих доданкiв. Цей клас теорем єпiдставою для широкого застосування нормального розподiлу в статисти-цi, принаймнi у випадку великої кiлькостi спостережень..

Теорема (класична центральна гранична теорема). Нехай (ξn) –послiдовнiсть незалежних у сукупностi однаково розподiлених випад-кових величин зi скiнченними середнiми та дисперсiями: µ = IEξ1,σ2 = IDξ1 > 0, а Sn = ξ1 + ... + ξn, n ≥ 1. Тодi

(Sn − IESn)/√

IDSn = (Sn − nµ)/σ√

n →W ζ ' N(0, 1), n →∞.

Наслiдок. Оскiльки збiжнiсть в основному випливає зi слабкої збi-жностi, а нормальна функцiя розподiлу неперервна, то для всiх x ∈ Rмає мiсце збiжнiсть функцiй розподiлу

IP

(Sn − nµ

σ√

n< x

)→ Φ(x) ≡

w x

−∞1√2π

exp

(−1

2y2

)dy, n →∞.

Зокрема, звiдси при довiльному розподiлi окремих доданкiв за пра-вилом трьох сигма для досить великих n випливає наближена рiвнiсть

IP(|Sn − nµ| < 3σ√

n) ≈ 0.997.

Доведення. Рiвностi IESn = nµ, IDSn = σ2n є наслiдками незалежностiта однакової розподiленостi доданкiв, за лiнiйнiстю математичного сподi-вання та за теоремою про дисперсiю суми незалежних величин.

Нехай ϕ – характеристична функцiя ξ1. Тодi за теоремою про власти-востi характеристичної функцiї, пункти (а) та (б):

ϕn(t) ≡ IE exp(it((Sn − nµ)/σ√

n)) =

exp(−it n µ/σ√

n) ϕSn(t/σ

√n) = exp(−it n µ/σ

√n) ϕn(t/σ

√n).

Використаємо розклад у ряд Тейлора логарифмiчної функцiї та твер-дження (г) теореми про властивостi характеристичної функцiї :

ln ϕ(s) = ln(1 + (ϕ(s)− 1)) = (ϕ(s)− 1)− (ϕ(s)− 1)2/2 + o(s2) =

isµ− s2µ2/2 + s2µ2/2 + o(s2) = isµ− s2σ2/2 + o(s2), s → 0.

Звiдси отримаємоln ϕn(t) = −it n µ / σ

√n+

n(it µ/σ

√n− σ2t2 / 2σ2n + o(1/n)

)= −t2/2 + o(1), n →∞.

Отже, ϕn(t) → exp(−t2/2) = ϕζ(t). Застосування теореми Левi прокритерiй слабкої збiжностi довершує доведення ¡


Вправи

(1) Довести класичну центральну граничну теорему без вживання компле-кснозначної логарифмiчної функцiї за нерiвнiстю |zn − ζn| ≤ n |z − ζ| .

(2) Випадкова величина ζλα має гама-розподiл Γ(λ, α).Довести слабку збi-жнiсть (λζλα − α)/

√α →W ζ ' N(0, 1), α →∞.

(3) Випадкова величина ζλ має розподiл Пуассона Π(λ). (а) Довести, що(ζλ − λ)/

√λ →W ζ ' N(0, 1), λ → ∞. (б) Перевiрити, що вказане наближе-

ння можна вважати прийнятним вже при λ ≥ 5. (в) Вивести звiдси тотожнiстьlimn→∞ exp(−n)

∑nk=0 nk/k! = 1/2.

(4) Випадковi величини (ξn, n ≥ 1) незалежнi, однаково розподiленi, таa−1

n (ξ1 + ... + ξn) − bn →W η, n → ∞, для деяких an > 0, bn, причому η 6= 0м.н. Довести, що an →∞, an/an−1 → 1, n →∞.

(5) Випадковi величини (ξn, n ≥ 1) незалежнi, однаково рiвномiрно роз-подiленi на iнтервалi [0, 1] (а) Знайти таке перетворення добуткiв

∏nk=1 ξk,

яке б слабко збiгалося до стандартної нормальної випадкової величини N(0, 1).(б) Обчислити граничний при n →∞ розподiл величин n min1≤k≤n ξk.

(6) Величини (ξn, n ≥ 1) незалежнi i мають щiльнiсть Кошi (π(1 + x2))−1.Знайти граничний розподiл для максимумiв n−1 max1≤k≤n ξk.

(7) Величини (ξn, n ≥ 1) незалежнi однаково розподiленi, IEξ1 = 0, IDξ1 = 1.Довести, що max1≤k≤n |ξk| /

√n →W 0.

(8) Випадковi величини (ξn, n ≥ 1) незалежнi, IP(ξn = ±1) = 1/2. Довести,що max1≤k≤n(ξ1 + ... + ξk)/

√n →W |ζ| , n →∞, де ζ ' N(0, 1).

(9) Випадковi величини (ξn, n ≥ 1) незалежнi, однаково розподiленi, та ма-ють неперервну парну додатну у околi нуля щiльнiсть. Довести слабку збiжнiстьn−1

∑nk=1 ξ−1

k →W κ, n →∞, де κ має розподiл Кошi.

(10) Випадковi вектори (ξnk, k = 1, n + 1) рiвномiрно розподiленi на одини-чнiй сферi у Rn+1. Довести, що

√nξn1 →W ζ, n →∞, ζ ' N(0, 1).

(11) Випадковi величини (ξnk, k = 1, n, n ≥ 1) незалежнi при кожномуn, ξnk ∈ 0, 1, а ймовiрностi pnk ≡ IP(ξnk = 1) такi, що maxk≤n pnk → 0.Довести, що збiжнiсть

∑nk=1 pnk → λ, n → ∞, необхiдна i достатня для того,

щоб IP (∑n

k=1 ξnk = m) → exp(−λ)λm/m!, ∀m ∈ Z+.

(12) Величини (ξn, n ≥ 1) задовольняють умови класичної центральної грани-чної теореми, а функцiя g ∈ C2(R) така, що g′(µ) = 0. Довести такi збiжностi:(а) n (g(Sn/n)− g(µ)) →W g′′(µ)σ2ζ2/2, n → ∞, де величина ζ ' N(0, 1),(б) Sn(n− Sn)/n− n/4 →W −σ2ζ2/2, n →∞, при µ = 1/2.

1.29. Загальна гранична теорема для стандартних серiй 153

1.29. Загальна гранична теоремадля стандартних серiй

1.29.1. Стандартнi послiдовностi серiй

Означення. Стандартною послiдовнiстю серiй називається подвiйнапослiдовнiсть випадкових величин (ζnk, k = 1, kn, n ≥ 1), що задоволь-няє такi умови:

(1 – незалежнiсть) випадковi величини в кожнiй серiї (ζnk, k = 1, kn)незалежнi в сукупностi,

(2 – центрованiсть) IEζnk = 0, ∀k, ∀n,

(3 – нормованiсть) ∃ IDζnk = σ2nk i

∑kn

k=1 σ2nk = 1.

(4 – рiвномiрна малiсть) max 1≤k≤kn σ2nk → 0 при n →∞.

Приклад. Якщо величини (ξn, n ≥ 1) задовольняють умови класичноїцентральної граничної теореми, то послiдовнiсть

ζnk ≡ (ξk − µ) / σ√

n, k = 1, n,

є стандартною послiдовнiстю серiй (Вправа).Нехай (ζnk, k = 1, kn, n ≥ 1) – стандартна послiдовнiсть серiй. Введе-

мо такi позначення:

ζn =∑kn

k=1ζnk, ϕn(t) = IE exp(itζn),

Fnk(x) = IP(ζnk < x), ϕnk(t) = IE exp(itζnk).

За адитивнiстю математичного сподiвання, теоремою про дисперсiюсуми незалежних величин та теоремою про властивостi характеристичноїфункцiї, пункт (б),

IEζn = 0, IDζn = 1, ϕn(t) =∏kn

k=1ϕnk(t).

1.29.2. Допомiжнi леми

Доведення загальної граничної теореми базується на таких лемах.Лема 1. Для стандартної послiдовностi серiй виконується граничне

спiввiдношення

ln ϕn(t)−∑kn

k=1(ϕnk(t)− 1) → 0, n →∞.

Доведення. З елементарної нерiвностi |exp(ix)− 1− ix| ≤ x2/2 та з


умови центрованостi IEζnk = 0 означення стандартних серiй дiстаємо

|ϕnk(t)− 1| = |IE(exp(itζnk)− 1− itζnk)| ≤ t2σ2nk ≤ t2 max

kσ2

nk → 0, n →∞.

Зокрема, |ϕnk(t)| ≥ 1/2, починаючи з деякого n при всiх k, отже ко-ректно визначена логарифмiчна функцiя на комплекснiй площинi як вiдϕnk(t), так i вiд ϕn(t). З урахуванням нерiвностi |ln(1 + z)− z| ≤ |z|2 длявсiх z ∈ C, та попередньої нерiвностi оцiнимо

∣∣∣ln ϕn(t)−∑kn

k=1(ϕnk(t)− 1)

∣∣∣ =

∣∣∣∑kn

k=1(ln ϕnk(t)− ϕnk(t) + 1)

∣∣∣ ≤∑kn

k=1|ϕnk(t)− 1|2 ≤

∑kn

k=1t4σ4

nk ≤ t4 maxk σ2nk

∑kn

k=1σ2

nk = t4 maxk σ2nk → 0, n →∞,

де враховане також означення стандартних серiй ¡Лема 2. (а) При кожному n функцiї

Gn(x) ≡∑kn

k=1IEζ2

nk1Iζnk < x =∑kn

k=1

w(−∞, x)

y2 dFnk(y)

є функцiями розподiлу.(б) Для всiх обмежених борелєвих функцiй g має мiсце тотожнiсть

∑kn

k=1IEζ2

nk g(ζnk) =w ∞−∞

g(y) dGn(y).

Доведення(а) Монотоннiсть Gn очевидна. Нормованiсть випливає з теореми Ле-

бега про монотонну збiжнiсть i нормованостi (3) стандартної послiдовно-стi серiй :

limx→∞ Gn(x) =∑kn

k=1 limx→∞ IEζ2nk1Iζnk < x =

∑kn

k=1 IEζ2nk =

∑kn

k=1 IDζnk =∑kn

k=1 σ2nk = 1.

Неперервнiсть Gn злiва також виводиться з теореми Лебега про моно-тонну збiжнiсть, з урахуванням неперервностi злiва функцiї 1Iξ < y:

limy↑x

Gn(y) =∑kn

k=1limy↑x

IEζ2nk1Iζnk < y =

∑kn

k=1IEζ2

nk1Iζnk < x = Gn(x).

(б) Позначимо через G клас борелєвих функцiй g, для яких виконує-ться тотожнiсть твердження (б) леми:

G =

g :∑kn

k=1IEζ2

nk g(ζnk) =w ∞−∞

g(y) dGn(y)

.

1.29. Загальна гранична теорема для стандартних серiй 155

З означення Gn випливає, що g(y) = 1Iy < x ∈ G при довiльному x ∈ R.З лiнiйностi G виводимо, що 1IA ∈ G для кожної множини A з алгебриA(R). Крiм того, за теоремою Лебега про монотонну збiжнiсть та теоре-мою Лебега про мажоровану збiжнiсть для математичного сподiвання тадля iнтеграла Лебега – Стiлтьєса клас G замкнений вiдносно монотон-ної та мажорованої збiжностi. Тому, зокрема, клас B ∈ B(R) : 1IB ∈ Gзамкнений вiдносно монотонної збiжностi множин, звiдки зi включень1IA ∈ G, ∀A ∈ A(R) за теоремою про монотонний клас виводимо, що1IB ∈ G, ∀B ∈ B(R). За лiнiйнiстю G мiстить всi простi функцiї, а затеоремою Лебега про мажоровану збiжнiсть – всi обмеженi борелєвi ¡

Лема 3. Визначимо при кожному t ∈ R функцiю

ft(x) =

(exp(itx)− 1− itx) / x2, x 6= 0,− t2/2, x = 0.

(а) ft(·) ∈ Cb(R), ∀t ∈ R.(б) Для всiх t ∈ R виконується тотожнiсть

∑kn

k=1(ϕnk(t)− 1) =

w ∞−∞

ft(x) dGn(x),

де функцiї розподiлу Gn визначенi в лемi 2.Доведення(а) Включення ft ∈ Cb(R) очевидне, оскiльки значення ft(0) є продов-

женням означення ft за неперервнiстю в точцi x = 0.(б) Застосуємо тотожнiсть леми 2 до функцiї g(x) = ft(x) :

r∞−∞ ft(x) dGn(x) =

∑kn

k=1 IEζ2nk ft(ζnk) =

∑kn

k=1 IE(exp(itζnk)− 1− itζnk) =∑kn

k=1(ϕnk(t)− 1),

оскiльки за означенням x2ft(x) = exp(itx) − 1 − itx, i за властивостямистандартної послiдовностi серiй IEζnk = 0 ¡

1.29.3. Гранична теорема для стандартних серiй

Теорема (загальна гранична теорема для стандартних серiй). Не-хай (ζnk, k = 1, kn, n ≥ 1) – стандартна послiдовнiсть серiй випадковихвеличин. Припустимо, що послiдовнiсть функцiй розподiлу

Gn(x) ≡∑kn

k=1IEζ2

nk1Iζnk < x

слабко збiгається: Gn →W G, до деякої функцiї розподiлу G.


Тодi суми у серiях слабко збiгаються: ζn ≡∑kn

k=1 ζnk →W ζ, при n →∞, до випадкової величини ζ iз характеристичною функцiєю

ϕζ(t) = exp(w ∞

−∞ft(x) dG(x)

),

де функцiя ft(x) ≡ (exp(itx)− 1− itx) / x2.

Доведення. Функцiя Gn є функцiєю розподiлу за лемою 2.Оскiльки ft ∈ Cb(R) за лемою 3, то зi збiжностi Gn →W G та з лем 3,

1 виводимо, що

ln ϕn(t)−w ∞−∞

ft(x) dG(x) = ln ϕn(t)−∑kn

k=1(ϕnk(t)− 1)+

+w ∞−∞

ft(x) dGn(x)−w ∞−∞

ft(x) dG(x) → 0, n →∞, ∀t ∈ R.

Отже, ϕn(t) → ϕζ(t), n → ∞,∀t ∈ R. Функцiя ϕζ(t) неперервна в нулi,тому що iнтеграл пiд знаком експоненти в означеннi ϕζ неперервний в нулiза t за теоремою Лебега про мажоровану збiжнiсть, оскiльки |ft(x)| ≤ 1при |t| ≤ 1 та ft(x) → f0(x) ≡ 0, t → 0, для всiх x. Тому за теоремоюЛевi про критерiй слабкої збiжностi ϕζ(t) є характеристичною функцiєюi ζn →W ζ, n →∞ ¡

1.30. Центральнi граничнi теоремидля послiдовностей серiй

1.30.1. Теорема Лiндеберга для стандартних серiй

Теорема (центральна гранична теорема Лiндеберга для стандар-тних серiй). Нехай (ζnk, k = 1, kn, n ≥ 1) – стандартна послiдовнiстьсерiй випадкових величин, що задовольняє умову Лiндеберга:

Ln(ε) ≡∑kn

k=1IEζ2

nk 1I|ζnk| ≥ ε → 0, n →∞, ∀ ε > 0.

Тодi має мiсце збiжнiсть

ζn ≡∑kn

k=1ζnk →W ζ ' N(0, 1).

Зауваження. Умова рiвномiрної малостi (г) в означеннi стандартноїпослiдовностi серiй випливає з умови Лiндеберга, оскiльки

maxk≤kn IEζ2nk = maxk≤kn

(IEζ2

nk(1I|ζnk|<ε + ζ2nk1I|ζnk|≥ε)

) ≤ ε2 + Ln(ε).

1.30. Центральнi граничнi теореми для послiдовностей серiй 157

Зауваження. В.Феллер довiв, що умова Лiндеберга є необхiдною дляасимптотичної нормальностi сум у стандартнiй послiдовностi серiй.

Доведення теореми. Досить оцiнити в умовах загальної граничної те-ореми для стандартних серiй при кожному ε > 0

Gn(−ε) + 1−Gn(ε) =∑kn

k=1IEζ2

nk 1Iζnk < −ε+

∑kn

k=1IEζ2

nk −∑kn

k=1IEζ2

nk 1Iζnk < ε =∑kn

k=1IEζ2

nk 1Iζnk < −ε∪ζnk ≥ ε ≤∑kn

k=1IEζ2

nk 1I|ζnk| ≥ ε = Ln(ε) → 0, n →∞,

отже, Gn(−ε) → 0, Gn(ε) → 1, n → ∞, ∀ε > 0 i Gn →O G,n → ∞, деG(x) = 1I0 < x є функцiєю розподiлу.

Тому за теоремою про еквiвалентнiсть слабкої збiжностi та в основ-ному Gn →W G,n → ∞. Отже, згiдно з загальною граничною теоремоюдля стандартних серiй ζn →W ζ, n → ∞, де гранична характеристичнафункцiя дорiвнює

ϕζ(t) = exp(w ∞

−∞ft(x) dG(x)

)= exp(ft(0)) = exp(−t2/2)

i є характеристичною функцiєю стандартного нормального розподiлу. Звiд-си за теоремою про однозначну вiдповiднiсть мiж функцiями розподiлу тахарактеристичними функцiями ζ ' N(0, 1) ¡

1.30.2. Теорема Ляпунова для стандартних серiй

Теорема (центральна гранична теорема Ляпунова для стандар-тних серiй). Нехай (ζnk, k = 1, kn, n ≥ 1) – стандартна послiдовнiстьсерiй випадкових величин, що задовольняє умову Ляпунова:

∃δ > 0 : L2+δn ≡

∑kn

k=1IE |ζnk|2+δ → 0, n →∞.

Тодi має мiсце збiжнiсть

ζn ≡∑kn

k=1ζnk →W ζ ' N(0, 1).

Доведення. Оцiнимо при всiх ε > 0 показник Лiндеберга

Ln(ε) =∑kn

k=1 IEζ2nk 1I|ζnk| ≥ ε ≤

∑kn

k=1 IEζ2nk (|ζnk| /ε)δ 1I|ζnk| ≥ ε ≤ ε−δL2+δ

n → 0, n →∞,

оскiльки |ζnk| /ε ≥ 1 на множинi |ζnk| ≥ ε. Отже, з умови Ляпуновавипливає умова Лiндеберга, а отже, i асимптотична нормальнiсть ¡


1.30.3. Теорема Лiндеберга для загальних серiй

Означення. Загальною послiдовнiстю серiй називається подвiйна по-слiдовнiсть випадкових величин (ξnk, k = 1, kn, n ≥ 1) така, що:

(1) величини в кожнiй серiї (ξnk, k = 1, kn) незалежнi в сукупностi,(2) iснують IEξnk = µnk, µn ≡

∑kn

k=1 µnk,

(3) iснують IDξnk = σ2nk, σ2

n ≡∑kn

k=1 σ2nk.

Теорема (центральна гранична теорема Лiндеберга для загальнихсерiй). Нехай (ξnk, k = 1, kn, n ≥ 1) – загальна послiдовнiсть серiйвипадкових величин, що задовольняє умову Лiндеберга:

Ln(ε) ≡ σ−2n

∑kn

k=1IE |ξnk − µnk|2 1I|ξnk−µnk| ≥ εσn → 0, n →∞,∀ε > 0.

Тодi суми ξn ≡∑kn

k=1 ξnk пiсля центрування та нормування є асимпто-тично нормальними:

(ξn − µn) / σn →W ζ ' N(0, 1), n →∞.

Доведення. Розглянемо подвiйну послiдовнiсть випадкових величин

ζnk ≡ (ξnk − µnk) / σn.

Тодi ζnk є стандартною послiдовнiстю серiй, оскiльки за означенням

IEζnk = (IEξnk − µnk)/σn = 0,∑kn

k=1IDζnk =

∑kn

k=1σ2

nk/σ2n = 1.

Як зазначено у зауваженнi до центральної граничної теореми Лiнде-берга для стандартних серiй, умова (г) рiвномiрної малостi в означеннiстандартної послiдовностi серiй випливає з умови Лiндеберга:

limn→∞ max1≤k≤kn IDζnk ≤ ε2 + limn→∞Ln(ε) = ε2 → 0, ε → 0.

Далi, показники в умовах Лiндеберга для ζnk та ξnk збiгаються, а ве-личина ζn =

∑kn

k=1 ζnk = (ξn−µn) / σn. Тому твердження теореми випливаєз граничної теореми Лiндеберга для стандартних серiй ¡

Теорема (центральна гранична теорема Лiндеберга для однорi-дних серiй). Якщо величини в кожнiй серiї (ξnk, k = 1, kn) однаковорозподiленi та

limn→∞ σ−2n1 IE |ξn1 − µn1|2 1I|ξn1−µn1| ≥ ε

√n σn1 = 0, ∀ε > 0,

то виконується умова Лiндеберга i має мiсце асимптотична нормаль-нiсть сум.


Доведення. Всi kn доданкiв в правiй частинi визначення показникаLn(ε) з умови Лiндеберга та в сумi для дисперсiї σ2

n є однаковими, томувираз у лiвiй частинi останньої умови збiгається з Ln(ε) ¡

1.30.4. Теорема Ляпунова для загальних серiй

Теорема (центральна гранична теорема Ляпунова для загальнихсерiй). Нехай (ξnk, k = 1, kn, n ≥ 1) – загальна послiдовнiсть серiйвипадкових величин, що задовольняє умову Ляпунова:

∃δ > 0 : L2+δn ≡ σ−2−δ

n

∑kn

k=1IE |ξnk − µnk|2+δ → 0, n →∞.

Тодi суми ξn ≡∑kn

k=1 ξnk є асимптотично нормальними:

(ξn − µn) / σn →W ζ ' N(0, 1), n →∞.

Доведення, як i в центральнiй граничнiй теоремi Лiндеберга для за-гальних серiй, спирається на стандартнi серiї ζnk = (ξnk − µnk)/σn i нерiв-нiсть Ln(ε) ≤ ε−δL2+δ

n мiж показниками Лiндеберга та Ляпунова ¡Наслiдок. Умова Ляпунова виконується, коли величини в серiях

(ξnk, k = 1, kn) однаково розподiленi, а моменти: IE |ξnk|2+δ – обмеженi.Дiйсно, у такому випадку всi доданки в сумi L2+δ

n однаковi та обмеже-нi, тому сума зростає як kn, у той час як знаменник має порядок k2+δ

n .Вправи(1) Випадковi величини (ξk, k ≥ 1) незалежнi у сукупностi. За яких умов

iснують додатнi сталi bn → ∞ такi, що b−1n

∑nk=1 ξk →W ζ ' N(0, 1), якщо:

(а) IP(ξk = ±ak) = 1/2, (б) величини ξk рiвномiрно розподiленi на [−ak, ak]?(2) Випадковi величини (ξk, k ≥ 1) незалежнi та IP(ξk = ±kα) = k−β/2,

IP(ξk = 0) = 1− k−β, де 2α > β− 1. Довести, що для утвореної ними загальноїпослiдовностi серiй (ξk, k = 1, n, n ≥ 1) умова Лiндеберга виконується тодi йтiльки тодi, коли β ∈ [0, 1).

(3) Випадковi величини (ξk, k ≥ 1) незалежнi та IEξk = 0, |ξk| ≤ ck, причомумає мiсце зображення cn = o(IDSn), n →∞, де Sn = ξ1 + ... + ξn. Довести, щоSn/

√IDSn →W ζ ' N(0, 1), n →∞.

(4) Випадковi величини (ξk, k ≥ 1) незалежнi, IP(ξk = ±1) = (1 − k−2)/2,IP(ξk = ±k) = k−2/2. Довести, що Sn/

√n →W ζ ' N(0, 1), при n → ∞,

однак IDSn/n → 2, n →∞.(5) Випадковi величини (ξk, k ≥ 1) незалежнi, IP(ξk = ±1) = (1 − k−1)/2,

IP(ξk = ±√

k) = 1/2k. Довести, що не iснує таких сталих σn, що має мiсцезбiжнiсть Sn/σn →W ζ ' N(0, 1), n →∞.


(6) Випадковi величини (ξk, k ≥ 1) незалежнi, IP(ξk = 0) = 1 − k−1, таIP(ξk = 1) = k−1. Довести, що (Sn − ln n)/

√ln n →W ζ ' N(0, 1), n →∞.

(7) Випадковi величини (ξk, k ≥ 1) незалежнi, та мають гама-розподiли:ξk ' Γ(1, αk). Загальна послiдовнiсть серiй (ξk, k = 1, n, n ≥ 1) задовольняєумову Лiндеберга, якщо (

∑nk=1 α2

k) (∑n

k=1 αk)−1 → 0, n →∞.

(8) Випадковi величини у кожнiй серiї (ξnk, k = 1, kn) незалежнi та невiд’-ємнi. Довести, що збiжнiсть

∑kn

k=1 ξnk →P 0, n → ∞, має мiсце тодi й тiльки

тодi, коли для кожного ε > 0 виконуються умови:∑kn

k=1 IP(ξnk > ε) → 0 та∑kn

k=1 IEξnk1Iξnk≤ε → 0 при n →∞.

(9) Розглянемо послiдовнiсть серiй (ξnk, k = 1, n, n ≥ 1) випадкових ве-личин iз розподiлом Пуассона з параметром 1/n всерединi n-ої серiї. Доведiть,що виконанi всi умови теореми Ляпунова, за винятком умови Ляпунова, причомуцентральна гранична теорема також не виконується.

(10) Випадковi величини (ξn, n ≥ 1) незалежнi i однаково симетрично роз-подiленi: ξi ' −ξj,.причому x2IP(|ξ1| > x) = o(IE(ξ2

11I|ξ1|≤x)), x → ∞. Тодiзнайдуться σn ∈ R такi, що (ξ1 + ... + ξn)/σn →W N(0, 1), n →∞.

1.30.5. Теорема Пуассона для стандартних серiй

Граничним розподiлом центрованих та нормованих сум незалежнихвеличин може бути не тiльки нормальний розподiл.

Теорема (гранична теорема Пуассона для стандартних серiй). Не-хай (ζnk, k = 1, kn, n ≥ 1) – стандартна послiдовнiсть серiй випадковихвеличин, що при деякому a > 0 задовольняє умову

Pn(ε) ≡∑kn

k=1IEζ2

nk 1I|ζnk−a| ≥ ε → 0, n →∞, ∀ε > 0.

Тодi ζn ≡∑kn

k=1 ζnk →W ζ, де гранична характеристична функцiя

ϕζ(t) = exp((exp(ita)− 1− ita) / a2)

є характеристичною функцiєю випадкової величини ζ iз розподiломПуассона з параметром λ = 1/a2 i множиною значень na − 1/a, n ∈Z+.

Доведення. Як i в центральнiй граничнiй теоремi Лiндеберга для стан-дартних серiй, доводимо, що Gn →O G,n →∞, де G(x) = 1Ia < x.

Звiдси за загальною граничною теоремою для стандартних серiй

limn→∞ ϕζn(t) = exp

(w ∞−∞

ft(x) dG(x))

= exp(ft(a)) = ϕζ(t),


де пуассонiв розподiл границi ζ визначається з розкладу у ряд Тейлораекспоненти вiд ft(a) = (exp(ita)− 1− ita) / a2 :

ϕζ(t) =∑

n≥0

exp(it(an− 1/a)) a−2n

n!exp(−a−2) ¡

Вправа. Вивести з даної теореми граничну теорему Пуассона для кiлькостiуспiхiв у схемi серiй випробувань Бернуллi.

1.30.6. Теорема Реньї з теорiї надiйностi

На вiдмiну вiд центральної граничної теореми, в теорiї надiйностi роз-глядають граничнi теореми для сум випадкового числа незалежних вели-чин. Такi суми можна iнтерпретувати як час до вiдмови високонадiйноїсистеми, яка перiодично вiдновлюється. При певних припущеннях щодорозподiлу числа доданкiв (кiлькостi вiдновлень до вiдмови) виявляється,що граничний розподiл сум є показниковим i визначається виключно ма-тематичними сподiваннями окремих доданкiв.

Теорема (теорема Реньї). Нехай величини (ξn, n ≥ 1) незалежнi всукупностi невiд’ємнi однаково розподiленi, µ = IEξ1 < ∞, i не залежатьвiд випадкової величини ν, що має геометричний розподiл iз параме-тром θ : IP(ν = n) = θ(1− θ)n−1, n ≥ 1.

Позначимо ζν ≡∑ν

k=1 ξk. Тодi для всiх x > 0

IP(θ ζν /µ ≥ x) → exp(−x), θ → 0.

Зауваження. Якщо iнтерпретувати ймовiрнiсть успiху θ – як iмовiр-нiсть вiдмови за перiод до вiдновлення, ν – як кiлькiсть вiдновлень систе-ми до виходу з ладу, а ξk – як iнтервал мiж послiдовними вiдновленнями,то сума ζν дорiвнює часу до першої вiдмови системи.

Доведення. Позначимо через ϕ(t) – характеристичну функцiю вели-чини ξk. За теоремою про властивостi характеристичних функцiй

ϕ(t) = 1 + itµ + o(t), t → 0.

Генератриса величини ν дорiвнює ψν(z) = θz/(1 − z(1 − θ)). Тому зтеореми про властивостi генератрис, пункт (е), дiстанемо при z = exp(it)

IE exp(itζν) = ψν(IE exp(itξ1)) = θϕ(t)/(1− ϕ(t)(1− θ)).

Пiдставимо в цю формулу t = sθ/µ → 0, θ → 0, та використаєморозклад ϕ(t) в околi нуля

limθ→0 IE exp(is ζνθ/µ) = limθ→0 θϕ(sθ/µ)/(1− ϕ(sθ/µ)(1− θ)) =


limθ→0 θ (1 + O(θ)) / (1− (1 + iµ sθ/µ)(1− θ) + o(θ)) =

limθ→0 θ / (θ − isθ + o(θ)) = 1/(1− is).

Гранична функцiя неперервна в нулi та є характеристичною функцiєювеличини τ з показниковим розподiлом та одиничним параметром. Затеоремою Левi про критерiй слабкої збiжностi ζνθ/µ →W τ , θ → 0 ¡

Приклад. Плановий ремонт мережi зв’язку виконується щорiчно через350-380 днiв пiсля попереднього ремонту з однаковими ймовiрностямидля дня з цього промiжку. Вiдремонтована мережа виходить iз ладу наiнтервалi мiж ремонтами з iмовiрнiстю 0.01. Яка ймовiрнiсть безвiдмовноїроботи за 10 рокiв (перiодiв планових ремонтiв) ?

За теоремою РеньїIP(ζν > 10 ∗ 365) = IP(0.01 ζν

(350+380)/2> 0.10) ≈ exp(−0.10) ' 0.904.

Вправа. Нехай величини (ξn, n ≥ 1) незалежнi та однаково розподiленi,IEξ1 = 0, IDξ1 = 1, а ν така сама, як i в теоремi Реньї та не залежить вiд (ξn).Довести, що

√θζν →W η, θ → 0, де ϕη(t) = (1 + t2/2)−1.

1.30.7. Центральна гранична теоремадля випадкових векторiв

Теорема (центральна гранична теорема для випадкових векторiв).Нехай (ηnk, k = 1, kn, n ≥ 1) – послiдовнiсть серiй випадкових векторiву Rd така, що:

(1) вектори (ηnk, k = 1, kn) незалежнi в сукупностi в кожнiй серiї,(2) iснують середнi mnk = IEηnk i коварiацiйнi матрицi Vnk = Cov(ηnk),

(3) сумарнi показники mn =∑kn

k=1 mnk, Vn =∑kn

k=1 Vnk мають гра-ницi: mn → m, Vn → V при n →∞.

(4) Якщо виконана умова Лiндеберга :

Ldn(ε) ≡

∑kn

k=1IE‖ηnk −mnk‖21I‖ηnk−mnk‖ ≥ ε → 0, n →∞,∀ε > 0,

то суми ηn ≡∑kn

k=1 ηnk слабко збiгаються до нормального вектора :

ηn →W ξ ' Nd(m,V ), n →∞.

Доведення. Нехай t ∈ Rd фiксоване. Доведемо збiжнiсть лiнiйної фор-ми t′ηn →W t′ξ. Зауважимо, що за теоремою про лiнiйнi перетвореннянормальних векторiв

t′ξ ' N(t′m, t′V t).


Розглянемо послiдовнiостi випадкових величин

ξnk = t′ηnk, ξn =∑kn

k=1ξnk = t′ηn.

Тодi IEξn = t′mn → t′m та за теоремою про дисперсiю лiнiйної форми вiдвипадкового вектора IDξnk = t′Vnkt. Позначимо

σ2n = t′Vnt, σ2 = t′V t.

За умовою

IDξn =∑kn

k=1IDξnk =

∑kn

k=1t′Vnkt = t′Vnt = σ2

n, σ2n → σ2, n →∞.

Припустимо, що σ = 0. Тодi IDξn → 0 i ξn − IEξn →L2 0, n → ∞. Томуξn →P t′m. Оскiльки за теоремою про спiввiдношення мiж рiзними вида-ми збiжностi зi збiжностi за ймовiрнiстю випливає слабка збiжнiсть, тоξn = t′ηn →W t′m = t′ξ ' N(t′m, 0), що доводить збiжнiсть лiнiйноїформи t′ηn за умови зробленого припущення.

Отже, можна вважати, що σ > 0. Тодi σ2n ≥ δ2 > 0, починаючи з

деякого номера. З умов (1) – (3) теореми виводимо, що послiдовнiсть(ξnk) є загальною послiдовнiстю серiй.

Показник з умови Лiндеберга в центральнiй граничнiй теоремi Лiнде-берга для загальних серiй (ξnk) має вигляд

Ln(ε) = σ−2n

∑kn

k=1IE |ξnk − IEξnk|2 1I|ξnk−IEξnk| ≥ εσn ≤

σ−2n

∑kn

k=1IE‖ηnk −mnk‖2‖t‖2 1I‖ηnk−mnk‖ ‖t‖ ≥ εσn ≤

‖t‖2δ−2∑kn

k=1IE‖ηnk −mnk‖21I‖ηnk−mnk‖≥εδ/‖t‖ =

‖t‖2δ−2Ldn(εδ/‖t‖) → 0, n →∞.

Отже, за центральною граничною теоремою Лiндеберга для загальнихсерiй (ξn − t′mn)/σn →W ζ ' N(0, 1). Тому за теоремою про добутокслабко збiжної послiдовностi зi збiжною

ξn − t′mn = σn (ξn − t′mn)/σn →W σζ ' N(0, σ2).

Оскiльки t′mn → t′m, то

ξn →W t′m + σζ ' N(t′m, σ2) = N(t′m, t′V t), n →∞.

Отже, i в даному випадку кожна лiнiйна форма вiд сум ηn ≡∑kn

k=1 ηnk

слабко збiгається:

t′ηn →W t′ξ ' N(t′m, t′V t), n →∞, ∀t ∈ Rd.


Остаточно зi збiжностi t′ηn →W t′ξ та з теореми Крамера-Волда прокритерiй слабкої збiжностi випадкових векторiв виводимо слабку збi-жнiсть векторiв ηn →W ξ, n →∞ ¡

Теорема (класична центральна гранична теорема для випадко-вих векторiв). Нехай (γn, n ≥ 1) послiдовнiсть незалежних у сукупностiоднаково розподiлених випадкових векторiв у Rd, IEγ1 = m, Cov(γ1) = V,а ηn ≡ 1√

n

∑nk=1(γk −m). Тодi

ηn →W ζ ' Nd(0, V ), n →∞.

Доведення. Покладемо ηnk = (γk −m)/√

n, k = 1, n та застосуємо дляцiєї послiдовностi центральну граничну теорему для випадкових векторiв.Умова незалежностi (1) виконується за теоремою про перетворення неза-лежних величин. Величини з умови (2) дорiвнюють mnk = 0, Vnk = V/n,тому виконується умова (3).

Нарештi, показник з умови Лiндеберга прямує до нуля за теоремоюЛебега про монотонну збiжнiсть, оскiльки з урахуванням однакової роз-подiленостi

Ln(ε) = n IE‖ηn1‖2 1I‖ηn1‖ ≥ ε =

IE‖γ1 −m‖2 1I‖γ1−m‖ ≥ ε√

n ↓ 0, n →∞.

Отже, слабка збiжнiсть випливає з центральної граничної теореми длявипадкових векторiв ¡

Роздiл 2

Iмовiрнiсть 2

ВступЗа своїм змiстом даний роздiл є вступом до курсу теорiї випадкових

процесiв, що призначений для студентiв III курсу спецiальностей мате-матика, статистика, та був започаткований I.I.Гiхманом. Матерiал курсумiстить одночасно як новi фундаментальнi поняття теорiї ймовiрностей,а саме: випадкових елементiв, незалежних систем, умовного сподiваннята iнших, так i уточнення граничних теорем – теорему про три ряди, за-кон повторного логарифма, розклад Еджуорта, нерiвностi Беррi-Ессеєна.Наведенi приклади випадкових блукань, ланцюгiв Маркова та строго ста-цiонарних послiдовностей.

Роздiл мiстить матерiал семестрового курсу додаткових роздiлiв теорiї ймо-вiрностей та випадкових процесiв, що розрахований на 34 години лекцiй та 17годин самостiйної роботи. Останнi параграфи роздiлу – щодо процесiв Пуассоната вiнерiвського – викладаються в рамках загального курсу теорiї ймовiрностей.

За браком часу такi теми, як нескiнченно подiльнi розподiли, граничнi задачiдля випадкових блукань, гiллястi процеси, мартингальнi послiдовностi, виклада-ються у рамках курсу теорiї випадкових процесiв.

2.1. Iмовiрнiснi простори випадковихпослiдовностей i функцiй

Послiдовнiсть випадкових величин (ξn, n ≥ 1) набуває значень у про-сторi дiйсних послiдовностей

R∞ ≡ x = (xn, n ≥ 1), xn ∈ R .

166 Iмовiрнiсть 2

2.1.1. Борелєва сигма-алгебра множин послiдовностей

Означення. Борелєвою сигма-алгеброю пiдмножин простору R∞ на-зивається сигма-алгебра, що породжена координатними функцiями:

B(R∞) ≡ σ[x : xn < a , a ∈ R, n ≥ 1].

За означенням борелєвими є також скiнченнi перетини:⋂nk=1 x ∈ R∞ : xk < ak = x ∈ R∞ : (x1, ...xn) ∈ Πa ∈ B(R∞),

∀a = (a1, ...an) ∈ Rn, де Πa =∏n

k=1(−∞, ak).

З останнього зображення приходимо до такого означення.Означення. Цилiндричною множиною розмiрностi n iз основою

Bn ∈ B(Rn) називається така пiдмножина R∞ :

Jn(Bn) ≡ x ∈ R∞ : (x1, ...xn) ∈ Bn.Означення. Сигма-алгеброю цилiндричних множин Jn розмiрностi

n та класом цилiндричних множин J у просторi R∞ називаються такiкласи множин:

Jn ≡ Jn(Bn), Bn ∈ B(Rn), J ≡ ∪n≥1Jn.

Очевидно, що клас Jn iзоморфний B(Rn) та є сигма-алгеброю.Зауважимо, що для всiх n ≥ 1, Bn ∈ B(Rn) за означенням цилiндри-

чних множин справедлива тотожнiсть узгодженостi

Jn+1(Bn × R) = Jn(Bn).

Тому, зокрема, мають мiсце включення Jn ⊂ Jn+1. Оскiльки класи Jn

є алгебрами, то J – також алгебра внаслiдок наведеного включення.Оператор Jn() витримує вкладенi рiзницi та злiченнi об’єднання:

Jn(Bn\Cn) = Jn(Bn)\Jn(Cn), Jn(∪k≥1Bkn) = ∪k≥1Jn(Bk

n).

Крiм того, Jn(Πa) ∈ B(R∞), як показано вище. Тому Jn(An) ∈ B(R∞)для всiх An ∈ A(Rn), та Jn(Bn) ∈ B(R∞) для всiх Bn ∈ B(Rn), оскiлькиклас Bn : Jn(Bn) ∈ B(R∞) є сигма-алгеброю та мiстить A(Rn). Отже,справедливе еквiвалентне означення:

B(R∞) = σ[Jn(Bn), Bn ∈ B(Rn), n ≥ 1] = σ[∪n≥1Jn] = σ[J ].

Вправи(1) Клас J не є сигма-алгеброю.(2) Множини x ∈ R∞ : sup xn < a, x ∈ R∞ : ∃ lim xn < a – борелєвi.(3) Визначимо на R∞ метрику ρ(x, y) =

∑n≥1 2−n min(|xn − yn| , 1), що ви-

значає покоординатну збiжнiсть. Тодi B(R∞) породжується вiдкритими кулями.

2.1. Iмовiрнiснi простори випадкових послiдовностей i функцiй 167

2.1.2. Побудова ймовiрностi на множинахпослiдовностей

Нехай IP – iмовiрнiсна мiра на B(R∞). Тодi з властивостей оператораJn() з означення цилiндричної множини випливає, що функцiя множин

IPn(Bn) ≡ IP(Jn(Bn)), ∀Bn ∈ B(Rn),

є ймовiрнiстю при кожному n ≥ 1. Ця ймовiрнiсть IPn називається скiн-ченновимiрним розподiлом порядку n для мiри IP.

З тотожностi узгодженостi виводимо, що скiнченновимiрнi розподiлизадовольняють умову узгодженостi:

IPn+1(Bn × R) = IPn(Bn), ∀Bn ∈ B(Rn), ∀n ≥ 1,

оскiльки обидвi частини даної рiвностi є значеннями мiри IP вiд тiєї самоїцилiндричної пiдмножини R∞.

Теорема (теорема Колмогорова про побудову ймовiрностi на мно-жинах послiдовностей). Нехай (IPn : B(Rn) → [0, 1], n ≥ 1) – послiдов-нiсть iмовiрнiсних мiр, що задовольняють умову узгодженостi. Iснуєєдина ймовiрнiсть IP на B(R∞) така, що для кожного n ≥ 1 мiра IPn єїї скiнченновимiрним розподiлом порядку n, тобто

IPn(Bn) = IP(Jn(Bn)), ∀Bn ∈ B(Rn).

Доведення. Визначимо таку мiру IP на класi цилiндричних множин J:

IP(Jn(Bn)) ≡ IPn(Bn), Bn ∈ B(Rn).

Це визначення є коректним внаслiдок умови узгодженостi, та задаєнормовану, невiд’ємну i адитивну функцiю на алгебрi J. Останнє твер-дження виводиться за допомогою зведення всiх цилiндричних множин ускiнченому об’єднаннi до єдиного порядку n.

Розглянемо такi пiдкласи класу цилiндричних множин J :

Jan = Jn(An), An ∈ A(Rn) ⊂ Jn, n ≥ 1.

Очевидно, що Jan є алгеброю, яка iзоморфна A(Rn) та породжує сигма-

алгебру Jn, а об’єднання Ja ≡ ∪n≥1Jan також є алгеброю. Тому справедливе

включення σ[Ja] ⊃ ∪n≥1Jn = J та σ[Ja] = σ[J ] = B(R∞), де останнярiвнiсть встановлена вище.

Оскiльки B(R∞) = σ[Ja], то твердження теореми випливає з теоремиКаратеодорi про продовження мiри, якщо довести неперервнiсть в нулiмiри IP на алгебрi Ja.


Для доведення цiєї неперервностi вiд супротивного припустимо, щоiснує послiдовнiсть множин Bn = Jn(Bn) ∈ Ja, Bn ∈ A(Rn), таких, щоBn ↓ ∅, однак IP(Bn) ≥ δ > 0.

Оскiльки множина Bn ∈ A(Rn) є скiнченним об’єднанням паралелепi-педiв, то за властивостями неперервностi та нормованостi сумiсної функцiїрозподiлу для даного δ > 0 iснує компактна множина (об’єднання вписа-них компактних паралелепiпедiв) Cn ⊂ Bn така, що IPn(Bn\Cn) ≤ δ2−n−1.

Позначимо Cn = Jn(Cn). Тодi Cn ⊂ Bn, ∩n≥1Cn ⊂ ∩n≥1Bn = ∅.

Розглянемо незростаючу послiдовнiсть Dn = ∩nk=1Ck. За тотожнiстю

узгодженостi Dn = Jn(Dn), де Dn = ∩nk=1(Ck × Rn−k) ⊂ Cn є компактом

як замкнена пiдмножина компакту. Оскiльки послiдовнiсть Bn не спадає,то справедливi спiввiдношення

IP(Bn\Dn) = IP(⋃n

k=1(Bn\Ck))≤ IP

(⋃nk=1(Bk\Ck)

)≤

∑nk=1 IP(Bk\Ck) =

∑nk=1 IPk(Bk\Ck) ≤

∑nk=1 δ2−k−1 < δ/2.

Тому IP(Dn) = IP(Bn) − IP(Bn\Dn) ≥ δ/2 > 0. Отже, Dn 6= ∅ прикожному n. Оберемо довiльнi точки x(n) ∈ Dn.

Оскiльки Dn ⊂ D1 = J1(D1), то послiдовнiсть вiдповiдних координатx1(n), n ≥ 1 мiститься у компактi D1. За означенням компактностi обе-ремо нескiнченну пiдпослiдовнiсть номерiв K1 ⊂ N так, щоб x1(n) → y1

для деякого y1 при n → ∞, n ∈ K1. Тодi y1 ∈ D1. Далi, з включен-ня (x1(n), x2(n)) ∈ D2 знайдемо пiдпослiдовнiсть K2 ⊂ K1 таку, щоб(x1(n), x2(n)) → (y1, y2), n → ∞, n ∈ K3, для деякого (y1, y2) ∈ D2.Перша координата останнього вектора дiйсно збiгається з y1, оскiлькиx1(n), n ∈ K2 ⊂ x1(n), n ∈ K1. Продовжуючи за iндукцiєю, для ко-жного m ≥ 1 знайдемо граничну точку (y1, ..., ym) ∈ Dm.

Тодi з означення цилiндру Dm виводимо включення для точки y =(yn, n ≥ 1) ∈ Jm(Dm) = Dm при всiх m. Отже,.y ∈ ∩m≥1Dm, що суперечитьдоведенiй вище несумiсностi ∩n≥1Dn = ∅ ¡

Теорема (теорема Колмогорова про побудову ймовiрностi на мно-жинах послiдовностей через сумiснi функцiї розподiлу). Нехай послi-довнiсть сумiсних функцiй розподiлу (Fn : Rn → [0, 1], n ≥ 1) задоволь-няє умову узгодженостi:

Fn+1(x1, ..., xn,∞) = Fn(x1, ..., xn), ∀xk ∈ R, ∀n ≥ 1.

Тодi iснує єдина ймовiрнiсть IP на B(R∞) така, що при всiх n ≥ 1

IP(x ∈ R∞ : x1 < a1, ..., xn < an) = Fn(a1, ..., an), ∀ak ∈ R.

2.1. Iмовiрнiснi простори випадкових послiдовностей i функцiй 169

Доведення. Визначимо на B(Rn) як IPn мiру Лебега – Стiлтьєса, щопороджена сумiсною функцiєю розподiлу Fn. Розглянемо клас множин

ℵn = Bn ∈ B(Rn) : IPn+1(Bn × R) = IPn(Bn).З умови узгодженостi на функцiї розподiлу Fn виводимо, що всi кути

Πa = Πnk=1(−∞, ak) належать класу ℵn. Оскiльки IPn та IPn+1 є ймовiрно-

стями, то цей клас є сигма-алгеброю. Тому ℵn = B(Rn). Отже, послiдов-нiсть мiр IPn задовольняє умову узгодженостi i з теореми Колмогорова пропобудову ймовiрностi на множинах послiдовностей виводимо твердженнятеореми ¡

Вправи(1, продакт-мiра) Нехай задано послiдовнiсть довiльних функцiй розподiлу

(Gn, n ≥ 1). Тодi iснує єдина ймовiрнiсть IP на B(R∞) така, щоIP(x ∈ R∞ : x1 < a1, ..., xn < an) =

∏nk=1 Gk(ak), ∀ak ∈ R, ∀n ≥ 1.

(2, гауссiвська послiдовнiсть) Нехай a ∈ R∞, а V = (Vij, i, j ≥ 1) симетри-чна додатно визначена матриця. Позначимо вектор an = (a1, ..., an), та матрицюVn = (Vij, 1 ≤ i, j ≤ n). Тодi сумiснi функцiї розподiлу Fn зi щiльностями

(2π)−n/2 |det Vn|−1/2 exp(−(x− an)′V −1n (x− an)), x ∈ Rn,

задовольняють умову узгодженостi.(3, дискретний простiр) Нехай E – дискретна множина. (а) Якщо розподiли

(pn(x1, ..., xn), xk ∈ E, n ≥ 1) такi, що∑

x∈E pn+1(x1, .., xn, x) = pn(x1, ..., xn),то iснує єдина ймовiрнiсть IP на B(E∞), для якої при всiх n ≥ 1 та ak ∈ E маємiсце рiвнiсть IP(x ∈ E∞ : x1 = a1, ...xn = an) = pn(a1, ..., an) . (б) Якщо(q(x), x ∈ E) та рядки матрицi (p(x, y), x, y ∈ E) є розподiлами ймовiрностей,то послiдовнiсть pn(x1, ..., xn) = q(x1)p(x1, x2)...p(xn−1, xn) задовольняє умови(а) для кожного розподiлу q.

(4) Нехай C(Q) – простiр неперервних функцiй на множинi рацiональнихчисел Q, з борелєвою сигма-алгеброю B(RQ). Функцiя Q задана на цилiндрахCF = x : xt ∈ Bt, t ∈ F при скiнчених F ⊂ Q та довiльних Bt ∈ B(R) рiвнi-стю Q(CF ) =

∏t∈F G(Bt), де G – iмовiрнiсна мiра Лебега – Стiлтьєса на B(R).

Довести, що Q продовжується до адитивної iмовiрностi на алгебру цилiндрiв, щопороджена множинами CF , однак ця ймовiрнiсть не є σ-адитивною.

(5, простiр дiйсних функцiй) Нехай T – довiльна множина. Розглянемо про-стiр RT = x : T → R. Нехай B(RT ) ≡ σ[x : x(t) < a, a ∈ R, t ∈ T ]. Дове-сти, що B(RT ) = ∪τ⊂T B(Rτ ), де об’єднання береться по злiченним пiдмножи-нам τ множини T, а сигма-алгебра B(Rτ ) визначається так само, як i B(R∞).У випадку, коли T = [0, 1], довести, що Sa ≡ x : supt∈[0,1] x(t) < a /∈ B(RT ).

Одночасно перетин Sa ∩ C([0, 1]) вже належить B(RT ).


2.2. Випадковi елементи

Випадковий елемент є узагальненням випадкового вектора.

2.2.1. Означення, породженi сигма-алгебрата розподiл

Означення. Нехай (C, C) – довiльний вимiрний простiр. C-значнимвипадковим елементом на просторi (Ω, F, IP) називається довiльна ви-мiрна функцiя ζ : Ω → C, тобто така, що ζ(−1)(B) ∈ F, ∀B ∈ C.

C-значний випадковий елемент називається:(а) при (C, C) = (R,B(R)) – випадковою величиною,(б) при (C, C) = (Rn,B(Rn)) – випадковим вектором,(в) при (C, C) = (R∞, B(R∞)) – випадковою послiдовнiстю.Теорема (про критерiй вимiрностi функцiї). Нехай σ-алгебра C по-

роджується класом D : C = σ[D]. Для того, щоб функцiя ζ : Ω → Cбула випадковим елементом, необхiдно i достатньо, щоб виконувалисьвключення: ζ(−1)(B) ∈ F, ∀B ∈ D.

Доведення. Необхiднiсть очевидна.Достатнiсть випливає з того, що клас B ∈ C : ζ(−1)(B) ∈ F мiстить

D та є сигма-алгеброю, оскiльки F – сигма-алгебра ¡Для довiльної випадкової послiдовностi ζ = (ζn, n ≥ 1) її n-та коор-

дината ζn = πn(ζ) є випадковою величиною за теоремою про вимiрнiстьсуперпозицiї, оскiльки координатне вiдображення πn : R∞ → R є ви-мiрною функцiєю. Навпаки, послiдовнiсть ζ = (ζn, n ≥ 1), що складеназ випадкових величин, є випадковою послiдовнiстю. Дiйсно, прообразицилiндричних множин з основами у виглядi вимiрних прямокутникiв євипадковими подiями:

ζ ∈ Jn(B1 × ...×Bn) =⋂n

k=1ζk ∈ Bk ∈ F.

Оскiльки цилiндричнi множини породжують борелєву сигма-алгебруB(R∞), то сформульоване твердження є наслiдком теореми про критерiйвимiрностi функцiї.

Означення. Породженою сигма-алгеброю для випадкового елементаζ називається клас випадкових подiй σ[ζ] ≡ ζ(−1)(B), B ∈ C.

Отже, функцiя ζ : Ω → C є випадковим елементом тодi й тiльки тодi,коли σ[ζ] ⊂ F.

2.2. Випадковi елементи 171

Означення. Випадковий елемент ζ вимiрний вiдносно сигма-алгебриD ⊂ F, якщо σ[ζ] ⊂ D, тобто коли ζ(−1)(B) ∈ D, ∀B ∈ C.

Означення. Нехай (ζγ, γ ∈ Γ) – довiльна сiм’я випадкових елементiв.Породженою ними сигма-алгеброю називається сигма-алгебра

σ[ζγ, γ ∈ Γ] ≡ σ[∪γ∈Γσ[ζγ]].

Означення. Розподiлом випадкового елемента ζ називається такафункцiя на вимiрних множинах B ∈ C :

Pζ(B) ≡ IP(ζ ∈ B) = IP(ζ(−1)(B)).

За властивостями прообразу ζ(−1) ця функцiя є ймовiрнiстю на C.Теорема (про канонiчну побудову випадкового елемента). Нехай

F – iмовiрнiсть на сигма-алгебрi C пiдмножин простору C. Тодi iснуєймовiрнiсний простiр (Ω, F, IP) та випадковий елемент ζ на ньому, щомає розподiл Pζ(B) = F (B),∀B ∈ C.

Доведення. Визначимо ймовiрнiсний простiр (Ω, F, IP) ≡ (C, C, F ) таζ(ω) = ω. Тодi Pζ(B) = F (ω : ζ(ω) ∈ B) = F (ω : ω ∈ B) = F (B) ¡

Приклад. Нехай (Gn, n ≥ 1) – послiдовнiсть довiльних функцiй роз-подiлу. Тодi знайдеться ймовiрнiсний простiр (Ω,F, IP) та послiдовнiстьнезалежних у сукупностi випадкових величин (ξn, n ≥ 1) на ньому таких,що ξn має функцiю розподiлу Gn.

Для доведення визначимо простiр (Ω, F) = (R∞, B(R∞)) та побудуємона F продакт-мiру IP за теоремою Колмогорова про побудову ймовiрностiна множинах послiдовностей через сумiснi функцiї розподiлу так, щоб

IP(x ∈ R∞ : x1 < a1, ..., xn < an) =∏n

k=1Gk(ak), ∀ak ∈ R,∀n ≥ 1.

Це можливо, оскiльки права частина є послiдовнiстю сумiсних функцiйрозподiлу, що задовольняє умову узгодженостi. Якщо покласти ξ(ω) = ωта ξn(ω) = ωn, то за означенням ξ = (ξn, n ≥ 1) i

IP(ξ1 < a1, ..., ξn < an) = IP(ξ ∈ x ∈ R∞ : x1 < a1, ..., xn < an) =

IP(x ∈ R∞ : x1 < a1, ..., xn < an) =∏n

k=1 Gk(ak) ¡

2.2.2. Вимiрнiсть вiдносно породженоїсигма-алгебри

Теорема (про вимiрнiсть вiдносно сигма-алгебри, що породженавеличиною). Нехай ξ, η – випадковi величини. Для того, щоб величи-на η була вимiрною вiдносно породженої сигма-алгебри σ[ξ], необхiдно


i достатньо, щоб для деякої невипадкової борелєвої функцiї g викону-валась тотожнiсть η(ω) = g(ξ(ω)), ∀ω ∈ Ω.

ДоведенняДостатнiсть. За означенням прообразу вiдображення g(ξ) ∈ B =

ξ ∈ g(−1)(B) ∈ F для всiх B ∈ B(R), оскiльки функцiя g – борелєва.Необхiднiсть. Нехай випадкова величина η – проста, тобто має мi-

сце зображення η =∑n

k=1 ck1IAk, де Ak = η = ck ∈ σ[ξ]. З означення

породженої сигма-алгебри випливає, що Ak = ξ ∈ Bk для деякої мно-жини Bk ∈ B(R). Розглянемо борелєву функцiю g(x) =

∑nk=1 ck1Ix∈Bk

.Тодi g(ξ) =

∑nk=1 ck1Iξ∈Bk =

∑nk=1 ck1IAk

= η, що доводить за зробленогоприпущення потрiбне зображення.

Нехай η – довiльна σ[ξ]-вимiрна випадкова величина. За теоремоюпро апроксимацiю випадкових величин простими знайдеться послiдов-нiсть простих випадкових величин ηn, що вимiрнi вiдносно сигма-алгебриσ[ξ] i ηn → η, n → ∞, для всiх ω. За доведеним вище при кожному niснує борелєва функцiя gn така, що ηn = gn(ξ). Визначимо множину

B = x : ∃ limn→∞ gn(x) = ∩k≥1 ∪N≥1 ∩n,m≥Nx : |gn(x)− gm(x)| < 1/kта функцiю g(x) = limn→∞ gn(x)1Ix∈B. Остання границя iснує за означен-ням B. З наведеного зображення виводимо, що B ∈ B(R), а тому функцiяg(x) є борелєвою. Оскiльки gn(ξ) = ηn → η, то за означенням B має мiсцевключення ξ(ω) ∈ B при всiх ω. Однак gn(ξ) → g(ξ) за означенням g.Тому η = limn→∞ ηn = limn→∞ gn(ξ) = g(ξ) ¡

Наслiдок (про критерiй вимiрностi вiдносно розбиття). НехайHn, n ≥ 1 – розбиття простору Ω, а C = σ[Hn, n ≥ 1]. Випадко-ва величина η є вимiрною вiдносно сигма-алгебри C тодi й тiлькитодi, коли при всiх ω та для деяких дiйсних cn має мiсце рiвнiстьη(ω) =

∑n≥1 cn1Iω∈Hn .

Доведення. Визначимо ξ =∑

n≥1 n1Iω∈Hn . Тодi σ[ξ] = C та з попере-дньої теореми виводимо, що η = g(ξ) =

∑n≥1 g(n)1Iω∈Hn ¡

Вправи(1) Нехай Sn = ξ1 + ...+ ξn для деяких (ξk). Тодi σ[ξ1, ..., ξn] = σ[S1, ..., Sn].

(2) Функцiї розподiлу F,G такi, що F (x) ≤ G(x) для всiх x ∈ R. Довести,що iснує ймовiрнiсний простiр (Ω,F, IP) та випадковi величини ξ, η на ньому зфункцiями розподiлу F,G вiдповiдно такi, що ξ ≥ η при всiх ω.

(3) Нехай ξ, (ξn, n ≥ 1) випадковi величини такi, що ξ вимiрна вiдноснопородженої сигма-алгебри σ[ξn, n ≥ 1]. Тодi знайдеться така борелєва функцiяg : R∞ → R, що ξ = g((ξn, n ≥ 1)) для всiх ω.

2.3. Незалежнi класи подiй та випадкових величин 173

(4) Функцiї розподiлу слабко збiгаються: Fn →W F0, n → ∞. Довести, щознайдеться ймовiрнiсний простiр (Ω, F, IP) та випадковi величини ξn, n ≥ 0, наньому такi, що ξn має функцiю розподiлу Fn та ξn →P1 ξ0, n →∞.

(5) Послiдовностi (ξn), (ηn) мають однаковi скiнченно-вимiрнi розподiли:F(ξ1,...,ξn)(x1, ..., xn) = F(η1,...,ηn)(x1, ..., xn), ∀xk ∈ R,∀n ≥ 1, та ξn →P ξ,n →∞. Довести, що ηn →P η для деякої випадкової величини η ' ξ.

2.3. Незалежнi класи подiй та випадковихвеличин

Нехай (Ω,F, IP) – фiксований iмовiрнiсний простiр. Позначимо через Θдовiльну параметричну множину.

2.3.1. Незалежнi класи подiй

Означення. Множина (Cθ, θ ∈ Θ) з Cθ ⊂ F називається системоюнезалежних класiв подiй, якщо для всiх n ≥ 1, для всiх рiзних θk ∈ Θ, тапри довiльному виборi Ak ∈ Cθk

, k = 1, n, цi подiї незалежнi:

IP(⋂n

k=1Ak

)=

∏n

k=1IP(Ak).

Теорема (про критерiй незалежностi класiв подiй). Множина(Cθ, θ ∈ Θ) ⊂ ΘF є системою незалежних класiв подiй тодi й тiлькитодi, коли будь-яка скiнченна пiдмножина (Cθk

, k = 1, n) ⊂ (Cθ, θ ∈ Θ) єсистемою незалежних класiв подiй.

Доведення очевидне, оскiльки умова у означеннi стосується лишескiнченної кiлькостi представникiв з класiв Cθ ¡

Означення. Множина C ⊂ F називається π-класом подiй, якщо длявсiх Ak ∈ C виконується включення A1 ∩ A2 ∈ C.

Означення. Множина D ⊂ F називається d-класом, якщо:(а) Ω ∈ C,

(б) з Ak ∈ D та A2 ⊂ A1 випливає, що A1\A2 ∈ D,

(в) якщо Ak ∈ D попарно несумiснi , то ∪∞k=1Ak ∈ D.

Теорема (про п-клас та d-клас). Нехай d-клас D ⊂ F мiстить π-клас: C ⊂ D. Тодi σ[C] ⊂ D.

Доведення. Позначимо через d[C] найменший d-клас, що мiстить класC (тобто перетин всiх таких d-класiв). Доведемо, що твердження теореми


виконується вже для класу D = d[C], тодi воно буде справедливе длядовiльного d-класу, що мiстить C.

Нехай C = B ∈ D : A ∩ B ∈ D, ∀A ∈ C. Тодi C ⊂ C, оскiльки C єπ-класом та C ⊂ D. Крiм того, C є d-класом, оскiльки d-операцiї сумiснi зоперацiєю перетину, а D є d-класом. Тому D = d[C] ⊂ C. Отже, A∩B ∈ D,∀A ∈ C,∀B ∈ D.

Нехай тепер C = A ∈ D : A ∩ B ∈ D, ∀B ∈ D. Як i вище, доводимо,що C є d-класом. Крiм того, за попереднiм твердженням C ⊂ C. Отже,A ∩B ∈ D, ∀A ∈ D,∀B ∈ D.

Тому клас D = d[C] є π-класом, та одночасно i d-класом. Отже, вiнзамкнений вiдносно доповнень A = Ω\A та злiченних об’єднань, оскiльки∪n≥1An = ∪n≥1(An\ ∩n

k=1 Ak). Звiдси робимо висновок, що D є сигма-алгеброю, тому σ[C] ⊂ D, що i доводить теорему ¡

Вправа. Нехай C ⊂ F – π−клас подiй, а H – простiр F-вимiрних дiйснихфункцiй, що має такi властивостi: (а) 1IA ∈ H при A ∈ C, (б) f + g ∈ H таcf ∈ H для всiх f, g ∈ H, c ∈ R, (в) з gn ∈ H та 0 ≤ gn ↑ g, n → ∞,випливає включення g ∈ H. Довести, що простiр H мiстить всi σ[C]-вимiрнiобмеженi функцiї. Вивести звiдси теорему про вимiрнiсть вiдносно σ-алгебри,що породжена величиною.

2.3.2. Перетворення незалежних класiв подiй

Теорема (про незалежнi п-класи подiй). Нехай (Cθ, θ ∈ Θ) – незале-жнi π-класи подiй. Тодi породженi сигма-алгебри (σ[Cθ], θ ∈ Θ) такожє незалежними класами подiй.

Доведення. За теоремою про критерiй незалежностi класiв подiй мо-жна вважати, що множина Θ – скiнченна. Оскiльки природа параметри-чної множини неiстотна, припускатимемо, що Θ = 1, ..., n.

Для кожного m ∈ [1, n] визначимо такий клас множин:

B∗m = Bm ∈ σ[Cm] : Bm та (∩k<mBk) ∩ (∩k>mAk) незалежнi,

∀Bk ∈ σ[Ck], ∀Ak ∈ Ck.(1) Клас B∗

1 має такi властивостi.(1а) C1 ∈ B∗

1 за умовою незалежностi Ck.

(1б) За теоремою про перетворення незалежних подiй клас B∗1 мiстить

множину Ω та замкнений вiдносно вкладеної рiзницi та злiченного об’єд-нання множин, якi не перетинаються.


(1в) З (1а), (1б) та з означення d-класу виводимо, що B∗1 мiстить d-

клас d[C1], що породжується класом C1. За теоремою про п-клас та d-класσ[C1] ⊂ d[C1], тому B∗

1 = σ[C1].(2) Розглянемо клас B∗

2.(2а) З отриманого твердження (1в) та з незалежностi Ck виводимо, що

C2 ∈ B∗2, оскiльки за означенням B∗

1

IP(B1 ∩ (

⋂k>1 Ak)

)= IP(B1)IP

(⋂k>1 Ak

)= IP(B1)

∏nk=2 IP(Ak) =

IP(B1 ∩ (

⋂k>2 Ak)

)IP(A2), ∀B1 ∈ σ[C1], ∀Ak ∈ Ck,

де остання рiвнiсть випливає з попереднiх, якщо в них покласти A2 = Ω.(2б) Як i у (1б), доводимо, що клас B∗

2 замкнений вiдносно d-операцiй.(2в) Тому B∗

2 = d[C2] = σ[C2], тобто

IP(B1 ∩B2 ∩ (

⋂k>2 Ak)

)= IP(B2)IP

(B1 ∩ (

⋂k>2 Ak

)=

IP(B1)IP(B2)∏n

k=3 IP(Ak),

де остання рiвнiсть є наслiдком твердження (2в) при B2 = Ω.Повторюючи цi мiркування, за iндукцiєю доводимо, що подiї Bm i

∩k<mBk незалежнi для всiх m ≤ n та Bk ∈ σ[Ck]. Тому

IP (B1 ∩B2... ∩Bn) = IP (B1... ∩Bn−1) IP (Bn) = ... =∏n

k=1 IP(Bk) ¡

Теорема (про об’єднання незалежних п-класiв). Нехай незалежнiπ-класи подiй (Cθ, θ ∈ Θ) мають параметричну множину Θ, що утво-рена розбиттям Θ = ∪γ∈ΓΘγ, Θγ ∩ Θβ = ∅, γ 6= β. Тодi породженiсигма-алгебри (σ[∪θ∈ΘγCθ], γ ∈ Γ) також є незалежними класами подiй.

Доведення. Враховуючи теорему про незалежнi п-класи подiй, можнавважати, що класи Cθ є сигма-алгебрами, адже породженi сигма-алгебриσ[Cθ] – незалежнi, причому σ[∪θ∈ΘγCθ] = σ[∪θ∈Θγσ[Cθ]].

Розглянемо для фiксованого γ ∈ Γ такий клас подiй:

Ψγ = Aθ1 ∩ Aθ2 ... ∩ Aθn , ∀Aθk∈ Cθk

,∀θk ∈ Θγ : θk 6= θj ∀k 6= j, n ≥ 1.Цей клас є π-класом, оскiльки перетин двох подiй з Ψγ перегрупу-

ванням можна зобразити у виглядi перетину подiй з рiзними iндексамиθ. Далi, за умовою незалежностi Cθ класи (Ψγ, γ ∈ Γ) є незалежнимикласами подiй :

IP (⋂m

i=1

⋂ni

k=1 Aθik) =

∏mi=1

∏ni

k=1 IP(Aθik) =

∏mi=1 IP (

⋂ni

k=1 Aθik) , θik ∈ Ψγi

,


де iндекси θik є рiзними для кожного фiксованого i за означенням класiвΨγ, а при рiзних i – через попарну несумiснiсть iндексних множин Θγ.

Отже, за теоремою про незалежнi п-класи подiй класи (σ[Ψγ], γ ∈ Γ) єнезалежними класами подiй.

Нарештi, зi включень Ψγ ⊂ σ[∪θ∈ΘγCθ] та ∪θ∈ΘγCθ ⊂ Ψγ виводимо, щоσ[Ψγ] = σ[∪θ∈ΘγCθ], що доводить незалежнiсть останнiх класiв подiй ¡

Вправи(1) Якщо (Cθ, θ ∈ Θ) – незалежнi класи подiй, а Υ ⊂ Θ, то (Cθ, θ ∈ Υ)

також є незалежними класами подiй.(2) Сигма-алгебри (Fk, k = 1, n) незалежнi у сукупностi тодi й тiльки тодi,

коли при кожному k > 1 незалежнi сигма-алгебри (Fk, σ[∪i<kFi]).

(3) Вказати незалежнi класи C1,C2 такi, що σ[C1], σ[C2] не є незалежними.(4) Нехай F1,F2,F3 ⊂ F пiд-сигма-алгебри випадкових подiй такi, що

F1 ⊂ σ[F2∪F3] та F2 ⊂ σ[F1∪F3], причому сигма-алгебри F3 та σ[F1∪F2] неза-лежнi. Довести, що сигма-алгебри F1,F2 нерозрiзнимi: для кожної подiї A1 ∈ F1

знайдеться A2 ∈ F2 така, що IP(A1∆A2) = 0.

2.3.3. Закон 0 та 1 Колмогорова

Означення. Нехай Fn ⊂ F, n ≥ 1, – послiдовнiсть пiд-сигма-алгебр.Їх залишковою сигма-алгеброю називається сигма-алгебра подiй

limn→∞Fn ≡ ∩n≥1σ[∪k≥nFk].

Теорема (про закон нуля та одиницi Колмогорова). Нехай (Fn) –послiдовнiсть незалежних сигма-алгебр, а ∆∞ ≡ limn→∞Fn – поро-джена залишкова сигма-алгебра. Тодi всi подiї A ∈ ∆∞ – виродженi:IP(A) ∈ 0, 1.

Доведення. Позначимо ∆n = σ[∪k≥nFk] та Λn = σ[∪k≤nFk] . За означе-нням ∆n ↓ ∆∞, n →∞.

Нехай A ∈ ∆∞. Тодi A ∈ ∆n для всiх n ≥ 1. За теоремою про об’єд-нання незалежних п-класiв класи ∆n та Λn−1 незалежнi, тому клас Aне залежить вiд Λn−1 для всiх n > 1. Отже, клас A не залежить вiд∪n>1Λn−1 ≡ Λ∞. Оскiльки останнiй клас є алгеброю i, зокрема, π-класом,то за теоремою про незалежнi п-класи подiй, сигма-алгебра σ[A] незалежить вiд сигма-алгебри σ[Λ∞] ⊃ σ[∪n≥1Fn] = ∆1. Як показано вище,A ∈ ∆1. Тому за означенням незалежних класiв подiй подiя A ∈ σ[A]не залежить вiд подiї A ∈ ∆1 : IP(A) = IP(A ∩ A) = IP(A)IP(A), отжеIP(A) ∈ 0, 1 ¡


2.3.4. Незалежнi класи випадкових векторiв

Означення. Випадковi вектори з класу (ξθ, θ ∈ Θ) незалежнi у су-купностi, якщо породженi сигма-алгебри σ[ξθ], θ ∈ Θ є незалежнимикласами подiй, тобто для всiх n ≥ 1, та для всiх рiзних θk ∈ Θ iдовiльних Ak ∈ σ[ξθk

], k = 1, n,

IP(A1 ∩ A2 ∩ ... ∩ An) = IP(A1)IP(A2)...IP(An).

Надалi позначатимемо

σ[ξθ, θ ∈ Θ] ≡ σ[∪ θ∈Θ σ[ξθ]].

Теорема (про критерiй незалежностi класiв векторiв). Випадковiвектори з класу (ξθ, θ ∈ Θ) незалежнi у сукупностi тодi й тiлькитодi, коли незалежними є класи подiй (ξθ < xx∈Rd , θ ∈ Θ).

Доведення. Клас подiй ξθ < xx∈Rd є π-класом та породжує сигма-алгебру σ[ξθ] за теоремою про критерiй вимiрностi функцiї. Тому твердже-ння теореми випливає з теореми про незалежнi п-класи подiй ¡

Теорема (про незалежнiсть згрупованих класiв векторiв). Нехайвипадковi вектори з класу (ξθ, θ ∈ Θ) незалежнi у сукупностi i маємiсце розбиття Θ = ∪γ∈ΓΘγ, Θγ ∩Θβ = ∅, γ 6= β. Тодi породженi сигма-алгебри (σ[ξθ, θ ∈ Θγ], γ ∈ Γ) незалежнi у сукупностi.

Доведення є очевидним наслiдком теореми про об’єднання незале-жних п-класiв та означення сигма-алгебри σ[ξθ, θ ∈ Θγ] ¡

Наслiдок. Якщо випадковi вектори з класу (ξθ, θ ∈ Θ) незалежнi усукупностi, а функцiї gγ : RΘγ → Rd – борелєвi, то випадковi величиниз суперпозицiй (gγ((ξθ, θ ∈ Θγ)), γ ∈ Γ) є незалежними у сукупностi.

Наслiдок. Якщо випадковi величини (ξn, n ≥ 1) незалежнi у суку-пностi, то ймовiрностi наступних подiй дорiвнюють 0 або 1:

∃ limn→∞ ξn < a,∑

n≥1|ξn| < ∞

,

limn→∞(ξ1 + ... + ξn)/n < b, ∃ limn→∞(ξ1 + ... + ξn)/n < c.Доведення випливає з теореми про закон нуля та одиницi Колмогоро-

ва, оскiльки наведенi випадковi подiї належать залишковiй сигма-алгебрilimn→∞σ[ξn] ¡

Вправи(1) Нехай Fn = x ∈ R∞ : xn ∈ B, B ∈ B[R] ⊂ B[R∞]. Довести, що

залишкова σ-алгебра limn→∞Fn = ∩n≥1(Rn ×B[R∞]).(2) Випадковi величин (ξn, n ≥ 1) незалежнi у сукупностi. Довести, що

радiус збiжностi ряду∑

n≥1 ξn є м.н. сталою.


(3) Навести приклад послiдовностi випадкових величин (ξn) та залишковоїподiї A ∈ limn→∞σ[ξn] такої, що IP(A) = 1/2.

(4) Випадковi величин (ξn, n ≥ 1) незалежнi у сукупностi, а послiдовнiсть(nk, k ≥ 1) строго зростає. Довести, що величини (gk(ξnk

, ..., ξnk+1−1), k ≥ 1)незалежнi для довiльних борелєвих функцiї gk.

(5) Випадковi вектори X = (ξ1, ..., ξn) та Y = (η1, ..., ηm) незалежнi, iкожний з них складається з незалежних випадкових величин. Довести, що (а)вектор (ξ1, ..., ξn, η1, ..., ηm) мiстить незалежнi у сукупностi випадковi величини,(б) обернене твердження також має мiсце.

2.3.5. Закон 0 та 1 Хьюiтта-Севiджа

Нехай (ξn, n ≥ 1) – послiдовнiсть незалежних однаково розподiленихвипадкових величин, а Sn = ξ1 + ... + ξn. Тодi подiя Sn = 0 нескiнченночасто не належить залишковiй сигма-алгебрi, однак також є виродже-ною. Для доведення останнього твердження розглянемо такi визначення.

Означення. Бiєкцiя π : N → N є скiнченою перестановкою, якщоπn = n для всiх n ≥ N та деякого N.

Для довiльної послiдовностi x = (xn, n ≥ 1) ∈ R∞ та перестановки πпозначимо борелєве вiдображення π(x) = (xπn , n ≥ 1) : R∞ → R∞.

Означення. Сигма-алгеброю переставних множин з R∞ назвемо клас

X = B ∈ B(R∞) : B = π(−1)(B), ∀скiнчених перестановок π.Для послiдовностi випадкових величин (ξn, n ≥ 1) розглянемо поро-

джену нею сигма-алгебру переставних подiй:

X[ξ] = A = ξ ∈ B, B ∈ X.Приклад. Пiдмножини R∞ вигляду B1 = x = (xn) :

∑n≥1 |xn| < ∞,

B2 = x = (xn) : x1 + ... + xn = 0 для нескiнченої множини номерiв n,B3 = x = (xn) : ∃ lim xn належать X. Зауважимо, що на вiдмiну вiдiнших, множина B2 не належить залишковiй сигма-алгебрi ∩n≥1(Rn ×B(R∞)), тому до подiї ξ ∈ B2 з довiльною послiдовнiстю ξ = (ξn) не-залежних випадкових величин не можна застосувати теорему про законнуля та одиницi Колмогорова.

Теорема (про закон нуля та одиницi Хьюiтта – Севiджа). Нехайξ = (ξn) – послiдовнiсть незалежних однаково розподiлених випадковихвеличин. Тодi σ-алгебра X[ξ] вироджена: IP(A) ∈ 0, 1 для всiх A ∈ X[ξ].

Доведення. Позначимо Pξ(B) = IP(ξ ∈ B) розподiл випадкового еле-мента ξ на B(R∞). Нехай A ∈ X[ξ], тобто A = ξ ∈ B для деякої B ∈ X.

2.4. Рiвномiрна iнтегровнiсть 179

Оскiльки борелєва сигма-алгебра B(R∞) породжується алгеброю ци-лiндричних множин J ≡ ∪n≥1Jn(Bn), Bn ∈ B(Rn), то знайдеться послi-довнiсть множин Bn ∈ B(Rn) така, що Pξ(B∆Jn(Bn)) → 0, n →∞.

Позначимо An = ξ ∈ Jn(Bn) = (ξ1, ..., ξn) ∈ Bn. Тодi IP(A∆An) =Pξ(B∆Jn(Bn)) → 0, n →∞.

Визначимо перестановку πn = (n+1, ..., 2n, 1, ..., n, 2n+1, 2n+2, ...), щопереставляє першi n номерiв з наступними n номерами. З незалежностi таоднакової розподiленостi величин послiдовностi ξ = (ξn, n ≥ 1) внаслiдоктеореми Колмогорова про побудову ймовiрностi на множинах послiдовно-стей через сумiснi функцiї розподiлу виводимо, що Pξ(B) = Pπn(ξ)(B) длявсiх B ∈ B(R∞), оскiльки послiдовнiсть πn(ξ) також складається з неза-лежних однаково розподiлених величин з таким же розподiлом, i має тiсамi скiнченно-вимiрнi розподiли, що i ξ. Тому

IP(A∆An) = Pξ(B∆Jn(Bn)) = Pπn(ξ)(B∆Jn(Bn)) =

IP(πn(ξ) ∈ B∆πn(ξ) ∈ Jn(Bn)) =

IP(ξ ∈ π−1n (B)∆(ξn+1, ..., ξ2n) ∈ Bn) = IP(A∆A′

n),

де згiдно з включенням B ∈ X враховано тотожнiсть π−1n (B) = B, i за

означенням подiя A′n дорiвнює (ξn+1, ..., ξ2n) ∈ Bn.

Отже, IP(A∆(An ∩ A′n)) ≤ IP(A∆An) + IP(A∆A′

n) → 0, n → ∞. Звiдсиз нерiвностi |IP(A1)− IP(A2)| ≤ IP(A1∆A2) виводимо, що IP(An) → IP(A),IP(A′

n) → IP(A), IP(An ∩A′n) → IP(A), n →∞. Оскiльки подiї An, A′

n незале-жнi, то IP(An ∩ A′

n) = IP(An)IP(A′n) → IP2(A). Тому IP2(A) = IP(A) ¡

Вправи(1) Випадковi величини (ξn) незалежнi у сукупностi. (а) Довести, що ве-

личини limn→∞ξn, limn→∞ξn є сталими м.н. (б) Якщо Sn = ξ1 + ... + ξn, i0 < bn →∞, то величини limn→∞Sn/bn, limn→∞Sn/bn також є сталими м.н.

(2) Випадковi величини (ξn) незалежнi, IP(ξn = 1) = p = 1− IP(ξn = −1), аSn = ξ1 + ... + ξn – блукання Бернуллi. Тодi IP(limn→∞Sn = 0) ∈ 0, 1. Цяймовiрнiсть нульова тодi й тiльки тодi, коли p 6= 1/2.

(3) Випадковi величини (ξn) незалежнi та однаково розподiленi, причомуIEξ1 = 0 < IEξ2

1 < ∞. Довести, що limn→∞n−1/2 |ξ1 + ... + ξn| = ∞ м.н.

2.4. Рiвномiрна iнтегровнiсть

Властивiсть рiвномiрної iнтегровностi є бiльш адекватним аналогомумови мажорованої збiжностi для здiйснення граничного переходу пiдзнаком математичного сподiвання.


Означення. Послiдовнiсть iнтегровних величин (ξn, n ≥ 1) називає-ться рiвномiрно iнтегровною, якщо

supn≥1 IE |ξn| 1I|ξn|≥c → 0, c →∞.

Iснування границi тут випливає з монотонностi за c лiвої частини.Зауваження. Для сталої послiдовностi ξn ≡ ξ рiвномiрна iнтегровнiсть

є наслiдком iнтегровностi за теоремою Лебега про мажоровану збiжнiсть,оскiльки |ξ| 1I|ξ|≥c → 0, c →∞, та |ξ| 1I|ξ|≥c ≤ |ξ| .

Теорема (про умови рiвномiрної iнтегровностi).(1) З умови мажорованої iнтегровностi: |ξn| ≤ η, де величина η –

iнтегровна, випливає рiвномiрна iнтегровнiсть.(2) Послiдовнiсть iнтегровних величин (ξn) рiвномiрно iнтегровна

тодi й тiльки тодi, коли

limc→∞ limn→∞IE |ξn| 1I|ξn|≥c = 0.

(3) Якщо послiдовнiсть (ξn) рiвномiрно iнтегровна, i |ζn| ≤ |ξn| , топослiдовнiсть (ζn) також рiвномiрно iнтегровна.

(4) Якщо послiдовностi (ξn), (ζn) рiвномiрно iнтегровнi, то їх сума(ξn + ζn) також рiвномiрно iнтегровна.

(5) Якщо послiдовнiсть (ξn) рiвномiрно iнтегровна, а (ζn) – обме-жена, то їх добуток (ξnζn) – рiвномiрно iнтегровний.

(6) Для рiвномiрної iнтегровностi (ξn) необхiдно i достатньо, щобдля деякої невiд’ємної борелєвої функцiї V (x), x ≥ 0, limx→∞ V (x)/x = ∞та supn≥1 IEV (|ξn|) < ∞.

Доведення. Розглянемо неспадну за x функцiю ψc(x) = x1Ix≥c дляx ≥ 0, та вiдмiтимо, що умова рiвномiрної iнтегровностi еквiвалентнатакiй умовi: supn≥1 IEψc(|ξn|) → 0, c →∞.

(1) За означенням IEψc(|ξn|) ≤ IEψc(η) → 0 при c → ∞ рiвномiрно заn за теоремою Лебега про мажоровану збiжнiсть, оскiльки ψc(η) → 0 приc →∞ та ψc(η) ≤ η.

(2) Необхiднiсть наведеної умови очевидна. Оскiльки величини iн-тегровнi за умовою, то для кожного n внаслiдок твердження (1) iснуємонотонна границя IE |ξn| 1I|ξn|≥c ↓ 0, c → ∞. Тому дане твердження єнаслiдком леми про верхнi межу та границю монотонної послiдовностiεn(c) ≡ IE |ξn| 1I|ξn|≥c.

(3) З монотонностi ψc(x) виводимо, що IEψc(|ζn|) ≤ IEψc(|ξn|) → 0 приc →∞ рiвномiрно за n.

(4) Твердження є наслiдком означення рiвномiрної iнтегровностi танерiвностi ψc(x + y) ≤ 2ψc/2(x) + 2ψc/2(y).

2.4. Рiвномiрна iнтегровнiсть 181

(5) Якщо |ζn| ≤ a, то IEψc(|ξnζn|) ≤ IEψc(|ξna|) = aIEψc/a(|ξn|) → 0 приc →∞ рiвномiрно за n.

(6) Для доведення достатностi позначимо ε(c) = supx≥c x/V (x) тазауважимо, що ε(c) → 0, c →∞, i ψc(x) ≤ ε(c)V (x) для всiх x ≥ 0. ЗвiдсиIEψc(|ξn|) ≤ ε(c)IEV (|ξn|) ≤ ε(c) supn≥1 IEV (|ξn|) → 0 при c →∞ рiвномiрно

за n. Необхiднiсть доводиться вибором V (x) = x(supn≥1 IEψx(|ξn|)

)−1/2 ¡

Теорема (про граничний перехiд для рiвномiрно iнтегрованої по-слiдовностi). Нехай послiдовнiсть (ξn) є рiвномiрно iнтегровною.

(а –нерiвностi Фату) Тодi

IE limn→∞ξn ≤ limn→∞IEξn ≤ limn→∞IEξn ≤ IE limn→∞ξn.

(б –граничний перехiд) Якщо додатково ξn → ξ, n →∞, то величи-на ξ є iнтегровною i має мiсце збiжнiсть

IEξn → IEξ, IE |ξn − ξ| → 0, n →∞.

Доведення.(а) Позначимо ζc

n = ξn1Iξn≥c, ξcn = ξn − ζc

n = ξn1Iξn<c. За означеннямξc

n ≤ c, ξcn ≤ ξn. Звiдси за лiвою нерiвнiстю Фату теореми Лебега про

мажоровану збiжнiсть отримуємо праву нерiвнiсть:

IElimn→∞ξn ≥ IElimn→∞ξcn = c− IElimn→∞(c− ξc

n) ≥c− limn→∞IE(c− ξc

n) = limn→∞IEξcn ≥ limn→∞IEξn − supn≥1 IEζc

n,

де завдяки умовi рiвномiрної iнтегровностi останнiй доданок можна зро-бити як завгодно малим вибором сталої c.

Для доведення лiвої нерiвностi досить застосувати праву нерiвнiсть допослiдовностi (−ξn), яка також є рiвномiрно iнтегровною.

(б) З ξn →IP1 ξ випливає, що |ξn| →IP1 |ξ| , n →∞, де послiдовнiсть |ξn|рiвномiрно iнтегровна. Тому послiдовнiсть IE |ξn| обмежена:

IE |ξn| ≤ c + supn≥1 IE |ξn| 1I|ξn|≥c < ∞.

Отже, з лiвої нерiвностi Фату для невiд’ємних величин виводимо iнте-гровнiсть: IE |ξ| ≤ limn→∞IE |ξn| < ∞.

Зi збiжностi limn→∞ ξn = ξ виводимо, що всi нерiвностi в (а) є рiвно-стями, а тому iснує limn→∞ IEξn = IEξ

Нарештi, застосувавши останнє твердження до рiвномiрно iнтегров-ної послiдовностi |ξn − ξ| , що збiгається до нуля, отримаємо збiжнiсть усередньому IE |ξn − ξ| → 0 ¡


Теорема (про необхiднiсть рiвномiрної iнтегровностi). Нехай послi-довнiсть невiд’ємних iнтегровних величин (ξn) поточково збiгаєтьсяξn → ξ, n → ∞, i IEξ < ∞. Для того, щоб limn→∞ IEξn = IEξ, необхiдно iдостатньо, щоб послiдовнiсть (ξn) була рiвномiрно iнтегровною.

Доведення. Достатнiсть доведено у теоремi про граничний перехiддля рiвномiрно iнтегрованої послiдовностi.

Для доведення необхiдностi позначимо C = c : IP(ξ = c) = 0.Оскiльки доповнення C не бiльш нiж злiченне, то множина C – щiль-на. Функцiя x1Ix<c неперервна у точцi ξ(ω) при майже всiх ω ∈ Ω, таобмежена сталою c, тому за теоремою Лебега про мажоровану збiжнiсть

limn→∞ IEξn1Iξn<c = IE limn→∞ ξn1Iξn<c = IEξ1Iξ<c.

Звiдси за теоремою про умови рiвномiрної iнтегровностi:

limn→∞IEξn1Iξn≥c =

limn→∞(IEξn − IEξ − IEξn1Iξn<c + IEξ1Iξ<c + IEξ1Iξ≥c

)=

0 + 0 + IEξ1Iξ≥c → 0, c →∞.

Унаслiдок цiєї ж теореми послiдовнiсть (ξn) – рiвномiрно iнтегровна ¡Вправи(1) Послiдовнiсть (ξ+

n , n ≥ 1) рiвномiрно iнтегровна. Довести нерiвнiстьФату: limn→∞IEξn ≤ IElimn→∞ξn.

(2) Iмовiрнiсний простiр (Ω,F, IP) побудований на вiдрiзку [0, 1] з борелєвоюсигма-алгеброю та мiрою Лебега. Нехай ξn(ω) = n1Iω∈(1/(n+1),1/n]. Тодi ξn → 0,n → ∞, та IEξn → 0, однак ця послiдовнiсть не є iнтегровано мажорованою,оскiльки IE supn≥1 ξn = ∞, та є рiвномiрно iнтегровною.

(3) Невiд’ємна випадкова величина ζ невiд’ємна та iнтегровна: IEζ < ∞. Тодiзнайдеться невiд’ємна борелєва функцiя V (x), x ≥ 0, така, що IEV (ζ) < ∞ таlimx→∞ V (x)/x = ∞.

(4) Послiдовнiсть випадкових величин (ξn, n ≥ 1) рiвномiрно iнтегровна.Довести, що IE max1≤k≤n |ξk| = o(n), n →∞.

(5) Випадковi величини (ξn, n ≥ 1) незалежнi однаково розподiленi та iн-тегровнi: IE |ξ1| < ∞. Довести, що послiдовнiсть (ξ1 + ... + ξn)/n рiвномiрноiнтегровна. Вивести звiдси, що в критерiї Колмогорова посиленого закону вели-ких чисел має мiсце також збiжнiсть у середньому.

(6) Випадковi величини (ξn, n ≥ 1) незалежнi i IEξn = 0, IEξ2n = 1. Довести,

що послiдовнiсть ((ξ1 + ... + ξn)/n, n ≥ 1) рiвномiрно iнтегровна.(7) Довести теорему про граничний перехiд для рiвномiрно iнтегровної послi-

довностi за умови її збiжностi лише за ймовiрнiстю.

2.5. Умовне математичне сподiвання 183

(8) Випадковi величини (ξn) iнтегровнi у степенi p > 0 та ξn →P ξ0, n →∞.Довести, що наступнi твердження еквiвалентнi: (а) IE |ξn − ξ0|p → 0, n → ∞,(б) IE |ξn|p → IE |ξ0|p , n →∞, (в) послiдовнiсть (|ξn|p) рiвномiрно iнтегровна.

(9) Послiдовнiсть (ξn, n ≥ 1) рiвномiрно iнтегровна i IEξn = a, а величини(ηn, n ≥ 1) обмеженi: |ηn| ≤ b та ηn →P c ∈ R, при n →∞. Довести збiжнiстьIEξnηn → ac, n →∞.

(10) Послiдовнiсть (ξn, n ≥ 1) рiвномiрно iнтегровна. Довести, що для до-вiльної послiдовностi випадкових подiй з Am ↓ ∅, m →∞, випливає спiввiдно-шення limm→∞ supn≥1 IE |ξn| 1IAm = 0 .

(11) Послiдовнiсть (ξn, n ≥ 1) рiвномiрно iнтегровна тодi й тiльки тодi, колифункцiя supn≥1 IE |ξn| 1IA, A ∈ F, обмежена i абсолютно неперервна вiдносноймовiрностi IP.

2.5. Умовне математичне сподiвання

Поняття умовної ймовiрностi IP(A | B) за умови, що вiдбулася ви-падкова подiя B, використовується для описання умовного стохастичногоексперименту, у якому постулюється, що подiя B вже вiдбулася. Однаквизначення такого поняття суттєво спирається на припущення про до-датнiсть ймовiрностi умови IP(B). Водночас низка прикладiв вказує, щоумовну ймовiрнiсть доцiльно визначити i у випадках, коли вказане припу-щення не виконується. Наприклад, у складному стохастичному експери-ментi, де ймовiрнiсть успiху у схемi випробувань Бернуллi визначаєтьсярезультатом вибору випадкової точки на iнтервалi [0, 1], значення вiдпо-вiдних умовних iмовiрностей очевиднi, однак не мають формальних визна-чень у рамках елементарної теорiї ймовiрностей. Для подолання вказаноїсуперечностi використовується поняття умовного математичного сподiва-ння вiдносно системи випадкових подiй.

2.5.1. Умовне сподiвання вiдносно розбиття

Означення. Нехай ξ – iнтегровна випадкова величина, а B – ви-падкова подiя з додатною ймовiрнiстю: IP(B) > 0. Назвемо умовнимматематичним сподiванням ξ за умови B число

IE(ξ | B) ≡ IE(ξ1IB)/IP(B).

Нехай ∆ = H1, ..., Hn скiнченне розбиття простору Ω, тобто Ω =∪Hi, Hi ∩Hj = ∅, i 6= j, IP(Hi) > 0, а ξ – iнтегровна випадкова величина.


Тодi для кожного i = 1, n визначено умовне сподiвання IE(ξ | Hi). Насту-пне означення дає можливiсть одночасної фiксацiї всiх цих сподiвань.

Означення. Умовним математичним сподiванням iнтегровної ви-падкової величини ξ вiдносно скiнченого розбиття ∆ = H1, ..., Hnназивається випадкова величина

IE(ξ | ∆) ≡ ζ =∑n

k=1IE(ξ | Hk)1Iω∈Hk

.

Теорема (про характеризацiю умовного сподiвання вiдносно роз-биття). Випадкова величина ζ збiгається з умовним сподiванням вели-чини ξ вiдносно розбиття ∆ = H1, ..., Hn тодi й тiльки тодi, коливона задовольняє такi умови.

(а – вимiрнiсть) Величина ζ вимiрна вiдносно сигма-алгебри σ[∆],що породжена розбиттям ∆.

(б – баланс) Для всiх A ∈ σ[∆] справедлива рiвнiсть IEξ1IA = IEζ1IA.

Доведення. Зауважимо, що внаслiдок скiнченностi ∆ має мiсце зобра-ження σ[∆] = ∪i∈IHi, I ⊂ 1, n. Позначимо mk = IE(ξ | Hk).

Необхiднiсть. Умова (а) вимiрностi випливає з означення умовногосподiвання: ζ < x = ∪k:mk<x:Hk ∈ σ[∆]. Нехай A ∈ σ[∆]. Тодi A =∪i∈IHi, для деякої множини I ⊂ 1, n i за означенням

IEζ1IA = IEζ∑

i∈I 1IHi=

∑i∈I IEζ1IHi

=∑

i∈I miIP(Hi) =

∑i∈I IE(ξ | Hi)IP(Hi) =

∑i∈I IE(ξ1IHi

) = IE(ξ1IA),

що доводить умову балансу (б).Достатнiсть. З умови вимiрностi (а) та наслiдку про критерiй ви-

мiрностi вiдносно розбиття випливає, що величина ζ має вигляд ζ =∑nk=1 ck1Iω∈Hk

для деяких дiйсних ck. Оберемо в умовi балансу (б) A = Hk.Тодi IEξ1IHk

= IEζ1IHk= IE(ck1Iω∈Hk

) = ckIP(Hk), звiдки ck = IE(ξ | Hk) = mk,отже за означенням ζ = IE(ξ | ∆) ¡

Вправи(1) Довести, що умовне математичне сподiвання за умови подiї IE(ξ | B) має

всi властивостi математичного сподiвання.

(2) Нехай |Ω| = n. Позначимо через d(n) кiлькiсть рiзних розбиттiв множиниΩ. Довести, що d(n) =

∑n−1k=0 Ck

n−1d(k), де d(0) = 1.

(3) Довести що для кожної обмеженої σ[∆]-вимiрної величини η справедливатотожнiсть IE(ξη | ∆) = ηIE(ξ | ∆).


2.5.2. Умовне математичне сподiваннявiдносно сигма-алгебри

Для загального означення використаємо умови вимiрностi та балан-су з теореми про характеризацiю умовного сподiвання вiдносно розбиття.

Означення. Умовним математичним сподiванням випадкової величиниξ вiдносно пiд-сигма-алгебри C ⊂ F називається випадкова величина ζ,що позначається через IE(ξ | C), та задовольняє умови:

(а – вимiрнiсть) ζ є вимiрною вiдносно сигма-алгебри C,(б – баланс) IEξ1IA = IEζ1IA для всiх A ∈ C.Для визначеностi умовного сподiвання припускається, що математичнi

сподiвання у (б) визначено коректно в узагальненому розумiннi.Означення. Випадкова величина ζ узагальнено iнтегровна, якщо:

min(Eζ+, Eζ−) < ∞.

Лема (про знаковизначенiсть випадкової величини). Нехай вели-чина ζ вимiрна вiдносно C i узагальнено iнтегровна.

(а) Якщо IEζ1IA ≥ 0 для всiх A ∈ C, то ζ ≥ 0 майже напевне.(б) У твердженнi (а) всi нерiвностi можна замiнити на рiвностi.Доведення. За умови узагальненої iнтегровностi всi величини ζ1IA так

само узагальнено iнтегровнi.(а) Подiя A = ζ < 0 ∈ C, причому величина ζ1IA недодатна, i має ну-

льове математичне сподiвання, оскiльки останнє невiд’ємне за умовою танедодатне за властивiстю невiд’ємностi математичного сподiвання. Отже,з властивостi додатностi математичного сподiвання виводимо, що ζ1IA = 0майже напевне. Тому IP(ζ ≥ 0) = 1.

(б) Застосуємо твердження (а) одночасно для величин ζ та −ζ ¡Теорема (про iснування та єдинiсть умовного математичного спо-

дiвання). Нехай випадкова величина ξ : (1) iнтегровна, або (2) невiд’-ємна, а сигма-алгебра C ⊂ F.

Тодi умовне математичне сподiвання ζ ≡ IE(ξ | C) iснує як узагальненавипадкова величина зi значеннями у R∪∞, визначено однозначно м.н.та у припущеннi (1) – iнтегровне, а за умови (2) – невiд’ємне м.н.

Зауваження. Умовне сподiвання невiд’ємної величини ξ визначенезавжди, однак може набувати значення ∞. Тому для знакозмiнної ве-личини ξ можна визначити поняття узагальненого умовного сподiвання залiнiйнiстю: IE(ξ | C) ≡ IE(ξ+ | C) − IE(ξ− | C), якщо тiльки виконуєтьсяумова min(IE(ξ+ | C), IE(ξ− | C)) < ∞ м.н.


Доведення(1) Нехай величина ξ iнтегровна. Тодi функцiя Q(A) = IEξ1IA є скiн-

ченним зарядом на сигма-алгебрi C. Цей заряд абсолютно неперервнийвiдносно мiри IP на C, оскiльки з IP(A) = 0 випливає ξ1IA = 0 м.н. таIEξ1IA = 0 за властивiстю центрованостi з теореми про властивостi мате-матичного сподiвання.

Тому за теоремою Радона-Нiкодима внаслiдок абсолютної неперервно-стi iснує щiльнiсть f заряду Q вiдносно мiри IP на C, тобто така C-вимiрнаiнтегровна за IP функцiя, що Q(A) =

rA

f(ω)IP(dω), ∀A ∈ C.Функцiя f є шуканою, оскiльки за означенням випадкова величина

ζ(ω) ≡ f(ω) вимiрна вiдносно сигма-алгебри C та

IEξ1IA ≡ Q(A) =w

Af(ω)IP(dω) ≡ IEζ1IA, ∀A ∈ C.

Одночасно ζ є iнтегровною, як зазначено вище.(2) Нехай ξ ≥ 0. Розглянемо iнтегровнi величини ξn = min(ξ, n) та

позначимо ζn = IE(ξn | C). Оскiльки послiдовнiсть (ξn) – неспадна, тоза умовою балансу IE((ζn+1 − ζn)1IA) = IE((ξn+1 − ξn)1IA) ≥ 0 для всiхA ∈ C. Тому ζn+1 − ζn ≥ 0 м.н. за лемою про знаковизначенiсть випад-кової величини, (а). Отже, послiдовнiсть (ζn) майже напевне неспадна таневiд’ємна.. Позначимо ζ = limn→∞ζn. Тодi випадкова величина ζ вимiрнавiдносно сигма-алгебри C i м.н. збiгається з limn→∞ ζn. З умови балан-су для умовних сподiвань ζn виводимо, що IE(ζn1IA) = IE(ξn1IA) для всiхA ∈ C. З теореми Лебега про монотонну збiжнiсть граничним переходомn → ∞ та з останньої рiвностi виводимо умову балансу для ζ. Невiд’єм-нiсть ζ м.н. є наслiдком невiд’ємностi ξ за лемою про знаковизначенiстьвипадкової величини, (а), оскiльки IEζ1IA = IEξ1IA ≥ 0,∀A ∈ C..

Для доведення єдиностi припустимо, що величини ζ1, ζ2 ∈ R ∪ ∞одночасно задовольняють умови (а),(б).

Розглянемо випадковi подiї Cnk = ζk ≤ n ∈ C згiдно (а). З (б) ви-водимо, що IEζ21IB∩Cn1 = IEζ11IB∩Cn1 ,∀B ∈ C, де величина ζ11IB∩Cn1 ≤ n.Тому IE (ζ2 − ζ1) 1IB∩Cn1 = 0 i (ζ2 − ζ1) 1ICn1 = 0 м.н. за лемою про знакови-значенiсть випадкової величини. Оскiльки Cnk ↑ Ck ≡ ζk < ∞, n → ∞,то з останньої рiвностi отримуємо (ζ2 − ζ1) 1IC1 = 0 м.н. Аналогiчно виво-димо, що (ζ2 − ζ1) 1IC2 = 0 м.н. Нарештi, ζ2 = ζ1 = ∞ при ω ∈ C1 ∩ C2 заозначенням ¡

Теорема (про еквiвалентне означення умовного сподiвання). Не-хай величина ξ iнтегровна або невiд’ємна. Випадкова величина ζ збiга-ється м.н. з умовним математичним сподiванням IE(ξ | C) тодi й тiльки


тодi, коли виконуються умови(а) величина ζ вимiрна вiдносно сигма-алгебри C,(в) IE(ξη) = IE(ζη) для всiх обмежених C-вимiрних величин η.Доведення. Достатнiсть. Оскiльки величина η = 1IA є обмеженою

C-вимiрною величиною при A ∈ C, то з умови (в) випливає умова (б)балансу. Отже, з (а),(в) та з теореми про iснування та єдинiсть умовногоматематичного сподiвання виводимо, що ζ = IE(ξ | C) м.н.

Необхiднiсть. Нехай ζ = IE(ξ | C) м.н. Тодi з (б) робимо висновок, що(в) має мiсце для η = 1IA, A ∈ C. Враховуючи лiнiйнiсть математичногосподiвання, виводимо (в) для простих η.

(1) Припустимо, що ξ – iнтегровна. Тодi ζ також є iнтегровною затеоремою про iснування та єдинiсть умовного математичного сподiвання.Для довiльної обмеженої C-вимiрної випадкової величини η за теоремоюпро апроксимацiю випадкових величин простими знайдемо простi величи-ни ηn → η такi, що |ηn| ≤ |η| . Зокрема, величини ηn обмеженi рiвномiрноза n. Тому в рiвностях IEξηn = IEζηn можна перейти до границi пiд знакомматематичних сподiвань за теоремою Лебега про мажоровану збiжнiсть,що i доводить (в).

(2) Нехай ξ – невiд’ємна. Для довiльної невiд’ємної C-вимiрної обме-женої величини η побудуємо простi величини такi, що 0 ≤ ηn ↑ η. Тодiдо рiвностей IEξηn = IEζηn можна застосувати теорему Лебега про моно-тонну збiжнiсть, звiдки виводимо (в) для невiд’ємних η. На знакозмiннiη рiвнiсть (в) поширюється за лiнiйнiстю ¡

2.5.3. Властивостi умовного математичногосподiвання

Зауважимо, що умовне математичне сподiвання визначене з точнiстюдо рiвностi майже напевне. Тому його властивостi також виконуються м.н.

Теорема (про загальнi властивостi умовного сподiвання). Нехайсигма-алгебра C ⊂ F. Тодi за припущення iснування вiдповiдних умов-них сподiвань виконуються такi твердження.

(1) IE(c | C) = c м.н. ∀c ∈ R.(2) Якщо ξ ≥ 0, то IE(ξ | C) ≥ 0 м.н.(3) IE(cξ | C) = cIE(ξ | C) м.н.(4) IE(ξ1 + ξ2 | C) = IE(ξ1 | C) + IE(ξ2 | C) м.н.(5) Якщо ξ1 ≤ ξ2, то IE(ξ1 | C) ≤ IE(ξ2 | C) м.н.(6) |IE(ξ | C)| ≤ IE(|ξ| | C) м.н.


Доведення. Всi наведенi рiвностi ґрунтуються на теоремi про iснува-ння та єдинiсть умовного математичного сподiвання, де єдинiсть гаранту-ється з точнiстю до рiвностi майже напевне. Отже, наведенi тотожностi єпрямими наслiдками умов (а),(б) в означеннi вiдповiдних умовних сподi-вань, а також теореми про властивостi математичного сподiвання.

(1) Виконання умов вимiрностi та балансу очевидне.(2) Невiд’ємнiсть вже доведена в теоремi про iснування та єдинiсть

умовного математичного сподiвання.(3) Позначимо ζ = IE(ξ | C). Тодi (а) cζ є C-вимiрною величиною, i (б)

за однорiднiстю математичного сподiвання

IE(cξ1IA) = cIE(ξ1IA) = cIE(ζ1IA) = IE(cζ1IA),∀A ∈ C,

що доводить умову балансу для cζ в означеннi IE(cξ | C).(4) Нехай ζ i = IE(ξi | C), i = 1, 2. Тодi (а) сума ζ1 + ζ2 є C-вимiрною

величиною, i (б) за адитивнiстю математичного сподiвання

IE((ξ1 + ξ2)1IA) = IEξ11IA + IEξ21IA = IEζ11IA + IEζ21IA =

IE((ζ1 + ζ2)1IA),∀A ∈ C,

що доводить умову балансу для ζ1 + ζ2 в означеннi IE(ξ1 + ξ2 | C).(5) У випадку iнтегровних ξk виводиться з (2),(3),(4), якщо (2) за-

стосувати до рiзницi ξ2 − ξ1 ≥ 0. У припущеннi ξk ≥ 0 маємо IEζ11IA =IEξ11IA ≤ IEξ21IA = IEζ21IA для всiх A ∈ C. Вибором A = ζ2 < ∞ звiд-си виводимо включення ζ1 < ∞ ⊂ ζ2 < ∞, внаслiдок пiдстановкиA = A ∩ ζ1 < ∞ та леми про знаковизначенiсть випадкової величиниостаточно отримуємо нерiвнiсть ζ11Iζ1<∞ ≤ ζ21Iζ1<∞.

(6) Є наслiдком (3) та (5) для пари нерiвностей − |ξ| ≤ ξ ≤ |ξ| ¡Теорема (про властивостi умовного сподiвання). Нехай випадкова

величина ξ iнтегровна або невiд’ємна, а σ-алгебри C, Ck ⊂ F. Тодi(1) IE(ξ | F∗) = IEξ м.н., де F∗ = ∅, Ω.(2) Якщо величина ξ вимiрна вiдносно C, то IE(ξ | C) = ξ м.н.(3) IE(IE(ξ | C)) = IEξ.(4) Якщо C2 ⊂ C1, то IE(IE(ξ | C2) | C1) = IE(ξ | C2) м.н.(5) Якщо C2 ⊂ C1, то IE(IE(ξ | C1) | C2) = IE(ξ | C2) м.н.(6) Якщо σ[ξ] та C незалежнi, то IE(ξ | C) = IEξ м.н.(7) Якщо випадковi величини ξ та ξη невiд’ємнi або iнтегровнi, а

величина η є C-вимiрною, то IE(ξη | C) = ηIE(ξ | C) м.н.(8) Нехай функцiя g – опукла донизу, величини ξ i g(ξ) iнтегровнi.

Тодi має мiсце нерiвнiсть Йенсена: g(IE(ξ | C)) ≤ IE(g(ξ) | C) м.н.


(9) Якщо подiя A ∈ C i ξ11IA = ξ21IA м.н., то IE(ξ1 | C) = IE(ξ2 | C) м.н.при ω ∈ A.

Доведення. Як i в попереднiй теоремi, доведення зводиться до перевiр-ки умов (а),(б) в означеннi вiдповiдних умовних сподiвань та застосуваннiтеореми про iснування та єдинiсть умовного математичного сподiвання.

(1) Вимiрними вiдносно сигма-алгебри ∅, Ω є сталi (невипадковi)величини, зокрема, IEξ. Для останньої виконується i умова балансу.

(2) Умова (а) C-вимiрностi ξ виконана, а умова балансу (б) очевидна.(3) Досить обрати в умовi балансу (б) визначення умовного сподiвання

ζ = IE(ξ | C) випадкову подiю A = Ω.(4) Позначимо ζ2 = IE(ξ | C2). Оскiльки C2 ⊂ C1, то величина ζ2 є

C1-вимiрною. Отже, за властивiстю (2) IE(ζ2 | C1) = ζ2 м.н.(5) Позначимо ζ i = IE(ξ | Ci). Шукана рiвнiсть має вигляд IE(ζ1 | C2) =

ζ2 м.н. Для доведення цiєї рiвностi зауважимо, що (а) умова вимiрностiζ2 вiдносно σ-алгебри C2 виконується за означенням ζ2, (б) за умовоюбалансу IE(ζ11IA) = IE(ξ1IA) = IE(ζ21IA) для всiх A ∈ C2 ⊂ C1, звiдкивипливає умова балансу для ζ2 у визначеннi IE(ζ1 | C2).

(6) Стала IEξ є: (а) вимiрною вiдносно сигма-алгебри C, та (б) задо-вольняє умову балансу, оскiльки IEξ1IA = IEξIE1IA = IE((IEξ)1IA) внаслiдокнезалежностi ξ та 1IA при A ∈ C.

(7) Позначимо ζ = IE(ξ | C). Припустимо, що ξ ≥ 0. Тодi i ζ ≥ 0 м.н.Для доведення рiвностi досить перевiрити умови вимiрностi та балансудля величини ζη в означеннi IE(ξη | C).

(7а) Оскiльки ζ є C-вимiрною, то добуток ζη також C-вимiрний.(7б) Умова балансу має вигляд: IE(ξη1IA) = IE(ζη1IA), A ∈ C. Для її

перевiрки розглянемо подiю C ∈ C. Оскiльки C ∩ A ∈ C при A ∈ C, то

IE(ξ1IC1IA) = IE(ξ1IC∩A) = IE(ζ1IC∩A) = IE(ζ1IC1IA)

за умовою балансу для IE(ξ | C). Остання рiвнiсть є потрiбною умовоюбалансу для η = 1IC , C ∈ C. Унаслiдок лiнiйностi ця умова виконуєтьсядля всiх простих C-вимiрних величин η.

Нехай η – довiльна невiд’ємна C-вимiрна величина. Оберемо за тео-ремою про апроксимацiю випадкових величин простими C-вимiрнi простiηn так, щоб 0 ≤ ηn ↑ η. Застосуємо до доведеної рiвностi IE(ξηn1IA) =IE(ζηn1IA) теорему Лебега про монотонну збiжнiсть при n →∞. Отримає-мо потрiбну умову балансу, звiдки за теоремою про iснування та єдинiстьумовного математичного сподiвання випливає перше твердження в (7).Зокрема, з останньої рiвностi при A = Ω виводимо iнтегровнiсть ζη при


iнтегрованiй ξη.

Для знакозмiнних величин з iнтегровними ξη та ξ твердження доводи-ться за лiнiйнiстю:

IE(ξη | C) = IE(ξ+η+ − ξ−η+ − ξ+η− + ξ−η− | C) =

η+IE(ξ+ | C)− η+IE(ξ− | C)− η−IE(ξ+ | C) + η−IE(ξ− | C) =

(η+ − η−)IE((ξ+ − ξ−) | C) = ηIE(ξ | C),

де врахованi м.н. скiнченнiсть усiх доданкiв та C-вимiрнiсть величин η±.

(8) Позначимо ζ = IE(ξ | C). Як i в доведеннi нерiвностi Йенсена дляматематичного сподiвання, з опуклостi g виводимо (вправа) зображення

g(x) = sup(a + bx, (a, b) ∈ Kg), ∀x ∈ R,

де Kg - множина опорних прямих у щiльнiй множинi точок (xn) :

Kg = (an, bn) ∈ R2 : an + bnx ≤ g(x),∀x, an + bnxn = g(xn), ∀n.Для фiксованих (a, b) ∈ Kg за монотоннiстю та лiнiйнiстю умовного

сподiвання IE(g(ξ) | C) ≥ a + bIE(ξ | C) м.н., звiдки переходом до верхньоїмежi за (a, b) та з наведеного зображення отримуємо нерiвнiсть (8).

(9) Позначимо ζ i = IE(ξi | C)1IA. Цi величини є C-вимiрними. За вла-стивостями (7) та (3) для всiх C ∈ C виконуються рiвностi

IE(ζ11IC) = IE(IE(ξ1 | C)1IA∩C) = IE(IE(ξ11IA∩C | C)) = IE(ξ11IA∩C) =

IE(ξ21IA∩C) = IE(IE(ξ21IA∩C | C)) = IE(IE(ξ2 | C)1IA∩C) = IE(ζ21IC).

Отже, дане твердження випливає з леми про знаковизначенiсть випад-кової величини, з якої ζ ≡ ζ1 − ζ2 = 0 м.н. ¡

Наступна теорема дає пiдстави iнтерпретувати умовне математичнесподiвання квадратично iнтегровної величини як її проекцiю на лiнiйнийпiдпростiр C-вимiрних величин. У зв’язку з цим пункт (5) теореми провластивостi умовного сподiвання можна розглядати як вiдому з геометрiїтеорему про три перпендикуляри.

Теорема (про екстремальну властивiсть умовного сподiвання). ЯкщоIEξ2 < ∞ та сигма-алгебра C ⊂ F, то умовне сподiвання ζ ≡ IE(ξ | C)iнтегроване у квадратi i

ζ = argmin η: IEη2<∞, η C-вимiрна IE(ξ − η)2 м.н.,

тобто IE(ξ−ζ)2 ≤ IE(ξ−η)2 для всiх квадратично iнтегровних вимiрнихвiдносно C величин η.


Доведення. За теоремою про властивостi умовного сподiвання, (8),з опуклостi функцiї x2 випливає нерiвнiсть ζ2 ≤ IE(ξ2 | C) м.н., звiдкиIEζ2 ≤ IE(IE(ξ2 | C)) = IEξ2 < ∞.

Нехай випадкова величина η iнтегровна в квадратi: IEη2 < ∞ та C-вимiрна. Тодi за теоремою про властивостi умовного сподiвання, (3)

IE(ξ − η)2 = IE(ξ − ζ + ζ − η)2 =

IE(ξ − ζ)2 + 2IE(ζ − η)(ξ − ζ) + IE(ζ − η)2 =

IE(ξ − ζ)2 + 2IE(IE((ζ − η)(ξ − ζ) | C)) + IE(ζ − η)2 =

IE(ξ − ζ)2 + 2IE((ζ − η)IE((ξ − ζ) | C)) + IE(ζ − η)2 =

IE(ξ − ζ)2 + IE(ζ − η)2 ≥ IE(ξ − ζ)2,

де використане твердження (7) цiєї теореми. Рiвнiсть IE((ξ−ζ) | C) = 0 м.н.є наслiдком означення ζ та теореми про властивостi умовного сподiвання.Iнтегровнiсть добутку (ζ − η)(ξ − ζ) та ξ − ζ виводиться з квадратичноїiнтегровностi величин ζ − η, ξ − ζ застосуванням нерiвностi Кошi.

З доведеної нерiвностi виводимо, що найменше значення IE(ξ − η)2 увказаному класi η набувається саме при η = ζ ¡

Теорема (про граничний перехiд пiд знаком умовного сподiвання).Нехай сигма-алгебра C ⊂ F.

(а) Якщо 0 ≤ ξn ↑ ξ, n →∞, то IE(ξn | C) ↑ IE(ξ | C) м.н.(б) Якщо ξn → ξ поточково при n → ∞ та |ξn| ≤ η, де IEη < ∞, то

IE(ξn | C) → IE(ξ | C) м.н. при n →∞.Доведення. Позначимо ζn = IE(ξn | C).(а) За теоремою про загальнi властивостi умовного сподiвання, (5), по-

слiдовнiсть ζn м.н. неспадна. Тому величина ζ = limζn м.н. збiгається змонотонною границею lim ζn. Вимiрнiсть ζ вiдносно C є наслiдком такоївимiрностi величин ζn. Крiм того, ζ задовольняє умову балансу в озна-ченнi IE(ξ | C), що випливає за теоремою Лебега про монотонну збiжнiстьз рiвнянь балансу IE(ξn1IA) = IE(ζn1IA) для A ∈ C при n → ∞. Отже,ζ = IE(ξ | C) м.н. за теоремою про iснування та єдинiсть умовного мате-матичного сподiвання.

(б) Позначимо ξ′n = supk≥n |ξk − ξ| . Тодi ξ′n ↓ 0 при n → 0 та ξ′n ≤ 2η.Звiдси 0 ≤ 2η − ξ′n ↑ 2η i за твердженням (а) IE(2η − ξ′n | C) ↑ IE(2η | C)м.н. Отже, з лiнiйностi умовного сподiвання та скiнченностi IE(2η | C)отримуємо збiжнiсть IE(ξ′n | C) ↓ 0 м.н. Звiдси з нерiвностi (6) теоремипро загальнi властивостi умовного сподiвання отримуємо твердження (б):

|ζn − IE(ξ | C)| = |IE((ξn − ξ) | C)| ≤ IE(|ξn − ξ| | C) ≤ IE(ξ′n | C) ¡


Вправи(1) У припущеннi квадратичної iнтегровностi ξ вивести теорему про iснування

та єдинiсть умовного математичного сподiвання з теореми про iснування проекцiїна замкнений пiдпростiр у гiльбертовому просторi L2(IP).

(2) У припущеннi квадратичної iнтегровностi ξ вивести умову балансу уозначеннi умовного сподiвання з його екстремальної властивостi IE(ξ − ζ)2 ≤IE(ξ − ζ − εη)2 для всiх ε ∈ R та всiх C-вимiрних квадратично iнтегровних η.

(3) Довести, що для C-вимiрної величини ζ та обмеженої борелiвської g маємiсце рiвнiсть IE(g(ξ, ζ) | C) = IE(g(ξ, y) | C) |y=ζ .

(4) Довести нерiвнiсть Йенсена для опуклої функцiї g лише на пiдставi не-рiвностi g(x) ≥ g(x0) + k(x0)(x− x0).

(5) Розглянемо ймовiрнiсний простiр (R,B(R), IP) з iмовiрнiстю IP, що за-дається щiльнiстю f : IP(B) =

rB

f(x)dx. Величина ξ дорiвнює ξ(ω) = g(ω).Обчислити умовне сподiвання IE(ξ | C), якщо C дорiвнює:

(а) σ[B ∈ B(R) : B = B + 1], (б) σ[B ∈ B(R) : B = −B],(в) σ[x : sin(x) < a, a ∈ R], (г) σ[[k2−n, (k + 1)2−n), k ∈ Z, n ≥ 1].

Тут за означенням h(B) = h(x), x ∈ B.(6) Розглянемо ймовiрнiсний простiр (Rn,B(Rn), IP) з iмовiрнiстю IP, що за-

дається сумiсною щiльнiстю f : IP(B) =rB

f(x)dx. Сигма-алгебра переставнихмножин P(Rn) мiстить всi борелєвi множини B такi, що π(x) ∈ B для всiхx ∈ B та перестановок π координат векторiв x ∈ Rn. Обчислити IE(ξ | C) длявеличин вигляду: (а) ξ(ω) = ω1, (б) ξ(ω) = ω1ω2, (в) ξ(ω) = ω2

1.(7) Випадкова величина ξ iнтегровна. Довести, що сiм’я випадкових величин

(IE(ξ | C),C ⊂ F) рiвномiрно iнтегровна.(8) Випадкова величина ξ невiд’ємна. Довести, що IE(ξ | C) < ∞ м.н. тодi й

тiльки тодi, коли мiра Q(A) ≡ IEξ1IA при A ∈ C є сигма-скiнченною.(9) Нехай випадковi величини (ξn) iнтегровнi мажоровано зверху: ξn ≤ η,

IE |η| < ∞. Довести, що limn→∞IE(ξn | C) ≤ IE(limn→∞ξn | C) м.н.(10) Випадковi величини ξ, (ξn, n ≥ 1) такi, що ξn → ξ, n → ∞, |ξn| ≤ η,

IEη < ∞, а сигма-алгебри Ck не зростають за k та ∩Ck = C∞ Довести, щоIE(ξn | Ck) → IE(ξ | C∞), n, k →∞, м.н. та у середньому.

(11) Якщо послiдовнiсть(ξn, n ≥ 1) рiвномiрно iнтегровна та ξn → ξ, n →∞,то IE(ξn | C) →P IE(ξ | C).

(12) Довести нерiвнiсть Кошi: (IE(ξη | C))2 ≤ IE(ξ2 | C)IE(η2 | C) м.н.(13) Довести, що оператор умовного сподiвання є стискаючим у просторi Lp:

IE(|IE(ξ | C)|)p ≤ IE(|ξ|p).(14) Визначимо умовну дисперсiю: ID(ξ | C) ≡ IE((ξ − IE(ξ | C))2 | C).

Довести тотожнiсть IDξ = IED(ξ | C) + IDE(ξ | C).


(15) Випадкова величина ξ та σ-алгебра C ⊂ F такi, що IE(exp(itξ) | C) =exp(−t2/2), ∀t ∈ R. Довести, що ξ – стандартна нормальна i не залежить вiд C.

2.5.4. Умовне математичне сподiваннявiдносно випадкових величин

Означення. Нехай (ηγ, γ ∈ Γ) довiльна система випадкових величин.Умовним математичним сподiванням величини ξ вiдносно цiєї системиназивається випадкова величина, що дорiвнює умовному сподiваннювiдносно породженої сигма-алгебри :

IE(ξ | ηγ, γ ∈ Γ) ≡ IE(ξ | σ[ηγ, γ ∈ Γ]).

Зокрема, IE(ξ | η) ≡ IE(ξ | σ[η]).Теорема (про критерiй для умовного сподiвання вiдносно вели-

чин). Нехай ξ iнтегровна або невiд’ємна. Випадкова величина ζ збiга-ється м.н. з IE(ξ | η) тодi й тiльки тодi, коли

(а) знайдеться борелєва функцiя m така, що ζ = m(η) м.н. та(б) для довiльної обмеженої борелєвої функцiї g має мiсце рiвнiсть

балансу IEξg(η) = IEm(η)g(η).Зауваження. Аналогiчне твердження виконується також для умовного

сподiвання вiдносно довiльної системи величин (ηγ, γ ∈ Γ).Доведення. За теоремою про вимiрнiсть вiдносно сигма-алгебри, що

породжена величиною, випадкова величина ζ задовольняє умову вимiрно-стi у визначеннi IE(ξ | σ[η]) – є вимiрною вiдносно σ[η], тодi й тiльки тодi,коли виконується умова (а) теореми. Так само, умова балансу у тому жозначеннi еквiвалентна умовi (б), оскiльки за згаданою теоремою випад-кова величина є обмеженою та σ[η]-вимiрною тодi й тiльки тодi, коли вонамає вигляд g(η), де функцiя g – обмежена борелєва ¡

Означення. Борелєва функцiя m : R → R, для якої згiдно з теоре-мою про критерiй для умовного сподiвання вiдносно величин має мiсцезображення IE(ξ | η) = m(η) м.н., називається функцiєю регресiї вели-чини ξ на η. Для цiєї функцiї використовується також позначенняIE(ξ | η = y) ≡ m(y).

Вiдмiтимо, що формально останнє позначення визначене коректно длямайже всiх y навiть у випадку, коли IP(η = y) = 0 при всiх y ∈ R.

Всi властивостi умовного математичного сподiвання вiдносно σ-алгебривиконуються i для сподiвання вiдносно величин. Наведемо деякi з них.

Теорема (про властивостi умовного сподiвання вiдносно величин).


(а) IE(g(ξ) | ξ) = g(ξ) м.н. для борелєвої функцiї g.(б) Для борелєвої функцiї g за умови iнтегровностi величин ξ та

ξg(η) справедлива рiвнiсть IE(ξg(η) | η) = g(η)IE(ξ | η) м.н.(в) Якщо величини ξ, η незалежнi, а f : R2 → R борелєва функцiя,

для якої величина f(ξ, η) iнтегровна, то

IE(f(ξ, η) | η = y) = IEf(ξ, y)

для майже всiх y за мiрою IP(η ∈ ·).(г) Функцiя регресiї квадратично iнтегровної величини ξ на η мiнi-

мiзує квадратичне вiдхилення вiд ξ у класi функцiй вiд η :

m = argming: борелєва IE(ξ − g(η))2.

Зауваження. Iншi властивостi умовного математичного сподiвання вiд-носно випадкових величин є наслiдками властивостей умовного матема-тичного сподiвання вiдносно сигма-алгебри.

Доведення(а) Випадкова величина g(ξ) вимiрна вiдносно сигма-алгебри σ[ξ], тому

(а) випливає з теореми про властивостi умовного сподiвання, (2).(б) Оскiльки величина g(η) є σ[η]-вимiрною, то твердження даного

пункту випливає з тiєї ж теореми, (7).(в) Позначимо m(y) = IEf(ξ, y). За теоремою про критерiй для умовного

сподiвання вiдносно величин для доведення рiвностi (в) досить перевiритиумову балансу IE(f(ξ, η)g(η)) = IE(m(η)g(η)) для всiх обмежених борелє-вих g. Остання рiвнiсть випливає з теореми про математичне сподiванняфункцiї вiд незалежних величин :

IE(f(ξ, η)g(η)) =r∞−∞

(r∞−∞ f(x, y)g(y)dFξ(x)

)dFη(y) =

r∞−∞ m(y)g(y)dFη(y) = IEm(η)g(η).

(г) Дане твердження є очевидним наслiдком теореми про екстремальнiвластивостi умовного сподiвання з урахуванням теореми про вимiрнiстьвiдносно сигма-алгебри, що породжена величиною ¡

2.5.5. Обчислення умовного сподiваннячерез сумiсну щiльнiсть

З теореми про критерiй для умовного сподiвання вiдносно величинвипливає, що умовне математичне сподiвання однiєї випадкової величинивiдносно iншої визначається їх сумiсною функцiєю розподiлу.


Теорема (про обчислення умовного сподiвання через сумiсну щiль-нiсть). Нехай випадковi величини ξ, η мають сумiсну щiльнiсть fξ,η(x, y),а величина ξ iнтегровна або невiд’ємна. Тодi

IE(ξ | η = y) =w ∞−∞

x fξ|η(x | y)dx,

де щiльнiсть розподiлу fξ|η дорiвнює

fξ|η(x | y) ≡ fξ,η(x, y)/fη(y),

а функцiя fη(y) =r∞−∞ fξ,η(x, y)dx є щiльнiстю величини η.

Зауваження. З останньої рiвностi виводимо, що fξ,η(x, y) = 0 майжевсюди для значень y таких, що fη(y) = 0. У цьому випадку довизначимоfξ|η(x | y) як стандартну нормальну щiльнiсть. Тодi fξ|η(x | y) є щiльнiстюрозподiлу для всiх y ∈ R. Ця щiльнiсть називається умовною щiльнiстювеличини ξ за умови η = y.

Доведення. З теореми про обчислення ймовiрностей, пов’язаних iзнеперервним вектором, отримуємо тотожнiсть

IP(η < y) = IP((ξ, η) ∈ R× (−∞, y)) =w y

−∞

(w ∞−∞

fξ,η(x, u)dx)

du,

звiдки виводимо останню рiвнiсть теореми.Позначимо m(y) =

r∞−∞ xfξ|η(x | y)dx. Iнтеграл тут коректно визначе-

ний для майже всiх y внаслiдок iнтегровностi або невiд’ємностi ξ, оскiль-

ки у першому випадкуr∞−∞

(r∞−∞ |x| fξ,η(x, y)dx

)dy = IE |ξ| < ∞.

Для перевiрки першої рiвностi теореми використаємо теорему про кри-терiй для умовного сподiвання вiдносно величин, за якою досить довестидля довiльних обмежених борелєвих g тотожнiсть

IE(ξg(η)) =w ∞−∞

w ∞−∞

xg(y)fξ,η(x, y)dxdy =

w ∞−∞

g(y)(w ∞

−∞xfξ,η(x, y)dx

)dy =

w ∞−∞

g(y)(w ∞

−∞xfξ|η(x | y)dx

)fη(y)dy =

w ∞−∞

g(y)m(y)fη(y)dy = IE(m(η)g(η)) ¡Зауваження. За умови неперервностi fξ,η(x, y) має мiсце рiвнiсть

IE(ξ | η = y) = limε↓0 IE(ξ | |η − y| ≤ ε).

Дiйсно, за означенням умовного математичного сподiвання вiдносноподiї вираз пiд знаком границi у правiй частинi дорiвнює

IE(ξ1I|η−y|≤ε)/IP(|η − y| ≤ ε) =

r y+ε

y−ε

(r∞−∞ xfξ,η(x, u)dx

)du

(r y+ε

y−εfη(u)du

)−1

→ r∞−∞ x fξ|η(x | y)dx, ε → 0.


Отже, функцiя регресiї є природним узагальненням поняття умовногоматематичного сподiвання за умови подiї додатної ймовiрностi.

Для прикладу розглянемо задачу обчислення нормальної регресiї.Теорема (про нормальну регресiю на площинi). Нехай нормальний

вектор на площинi (ξ1, ξ2) ' N2(µ1, µ2, σ21, σ

22, ρ) з середнiми µi = IEξi,

дисперсiями σ2i = IDξi, i = 1, 2, i коефiцiєнтом кореляцiї ρ. Тодi

(а) функцiя регресiї ξ2 на ξ1 є лiнiйною:

m(x) ≡ IE(ξ2 | ξ1 = x) = µ2 + ρσ2

σ1

(x− µ1),

(б) умовна щiльнiсть fξ2|ξ1(y | x) є нормальною щiльнiстю розподiлу

величини N(m(x), σ22(1− ρ2)).

Зауваження. Позначимо ε = ξ2 − m(ξ1). Унаслiдок лiнiйностi фун-кцiї m за теоремою про лiнiйнi перетворення нормальних векторiв вектор(ε, ξ1) є нормальним вектором. Крiм того, IEε = 0 та

cov(ε, ξ1) = IE(ξ2 −m(ξ1))ξ1 = µ2µ1 + ρσ2σ1 − µ2µ1 − ρσ2

σ1

σ21 = 0.

Тому за теоремою про незалежнiсть координат нормального векторавипадковi величини ε та ξ1 незалежнi. Отже, для нормального вектора(ξ1, ξ2) на площинi має мiсце таке зображення другої координати:

ξ2 = m(ξ1) + ε = µ2 + ρσ2

σ1

(ξ1 − µ1) + ε,

у виглядi суми її функцiї регресiї m(ξ1) на першу координату та незале-жної вiд цiєї координати похибки ε. Вказане рiвняння називається рiв-нянням регресiї, причому для нормальної моделi це рiвняння є лiнiйнимвiдносно ξ1.

Доведення. Сумiсна щiльнiсть вектора (ξ1, ξ2) має вигляд

fξ1,ξ2(x, y) =

(2πσ1σ2

√1− ρ2

)−1

×

exp

(− 1

2(1−ρ2)

[(x−µ1

σ1

)2

− 2ρx−µ1

σ1

y−µ2

σ2+

(y−µ2

σ2

)2])

.

Пiсля дiлення цього виразу на щiльнiсть величини ξ1 з нормальнимрозподiлом N(µ1, σ

21) обчислимо

fξ2|ξ1(y | x) =

(2πσ2

2(1− ρ2))−1/2

exp(− (

2σ22(1− ρ2)

)−1[y −m(x)]2

),

що i доводить твердження (б), оскiльки остання функцiя є нормальноющiльнiстю розподiлу з вiдповiдними параметрами.


Формула (а) є очевидним наслiдком теореми про обчислення умовногосподiвання через сумiсну щiльнiсть ¡

Вправи(1) Довести рiвнiсть IE(ξ | η = y) = m(y) для випадку, коли IP(η = y) > 0.(2) Випадковi величини ξ, η незалежнi та однаково розподiленi. Обчислити

умовнi сподiвання IE(ξ | ξ + η), IE(ξ | ξη).(3) Величина ξ рiвномiрно розподiлена на [0, π]. Обчислити IE(ξ | sin ξ).(4) Випадкова величина ξ має строго додатну щiльнiсть f. Обчислити

IE(ξ | sin ξ), IE(ξ | ξ2), IE(ξ | |ξ|).(5) Випадкова величина ξ ≥ 0, сигма-алгебра C ⊂ F, ζ = IE(ξ | C), причому

ζ < ∞ м.н. Довести, що IP(ξ > 0, ζ = 0) = 0, тобто дрiб ξ/ζ визначений м.н.та задовольняє нерiвнiсть IE(ξ/ζ | C) ≤ 1 м.н. Зокрема, IE(ξ/ζ) ≤ 1 < ∞.

(6) Випадковi величини (ξn, n ≥ 1) незалежнi, однаково розподiленi та iнте-гровнi. Довести, що (а) IE(ξ1 | Sk, k ≥ n) = Sn/n м.н., де Sn = ξ1 + ... + ξn.(б) IE(ξk | Sn) = Sn/n м.н при k ≤ n. (в) У припущеннi, що ξn ∈ N, вивестизвiдси рекурентнi рiвняння IP(Sn = k) = n

k

∑ki=1 iIP(ξ1 = i)IP(Sn−1 = k− i) для

послiдовного обчислення розподiлiв сум Sn.(7) Випадковi величини (ξn, n ≥ 1) незалежнi, однаково розподiленi та мають

функцiю розподiлу F , а ξ(n) = max1≤k≤n ξk. Довести, що:IP(ξk < x | ξ(n) = t) = (n− 1)F (x)/nF (t)1Ix≤t + 1Ix>t при k ≤ n.

(8) Узагальнити твердження теореми про лiнiйну регресiю на площинi навипадок нормального вектора (ξ1, ξ2) ' Nd1+d2(µ1, µ2, V1, V2, Q12).

(9) Випадковi величини (ξn, n ≥ 1) незалежнi, а Sn = ξ1 + ... + ξn. Довести,що Sk та Sl умовно незалежнi за умови Sn при k < n < l, тобто ∀A,B ∈ B[R]

IP(Sk ∈ A, Sl ∈ B | Sn = y) = IP(Sk ∈ A | Sn = y)IP(Sl ∈ B | Sn = y).(10) Cov(ξ, η) = Cov(ξ, IE(η | ξ)) для квадратично iнтегровних величин ξ, η.(11) Нехай (ξ1, ξ2) ' N2(µ1, µ2, σ

21, σ

22, ρ). Тодi (а) частка дисперсiї ID(ξ1),

що пояснюється оптимальним прогнозом, дорiвнює ρ2 = ID(IE(ξ1 | ξ2))/ID(ξ1),(б) IE(|(ξ1 − µ1)/σ1| | |ξ2|) = 2(

√1− ρ2 + ρ arcsin ρ)/π.

(12) Нехай величини ξ, η та борелєва функцiя g : R2 → R такi, що величинаg(ξ, η) iнтегровна, причому η вимiрна вiдносно сигма-алгебри C ⊂ F. Довести,що IE(g(ξ, η) | C) = IE(g(ξ, y) | C) |y=η .

2.5.6. Умовнi ймовiрностi вiдносно сигма-алгебри

При побудовi теорiї ймовiрностей первiсним було поняття ймовiрно-стi, а математичне сподiвання визначалося як iнтеграл Лебега за заданоюймовiрнiстю. Водночас умовне математичне сподiвання визначене авто-


номно, i формально не пов’язане з умовною ймовiрнiстю. Зокрема, це при-зводить до необхiдностi для кожної нової випадкової величини повнiстюзаново повторювати обчислення її умовного сподiвання вiдносно тiєї жсигма-алгебри. Для подолання цiєї незручностi використовується поняттяумовної ймовiрностi вiдносно сигма-алгебри.

Означення. Нехай сигма-алгебра C ⊂ F, i A ∈ F. Умовною ймовiрнi-стю подiї A за умови сигма-алгебри C називається випадкова величина

IP(A | C) ≡ IE(1IA | C).

Теорема (про основнi властивостi умовних iмовiрностей вiдносносигма-алгебри). Нехай сигма-алгебра C ⊂ F. Тодi

(1) IP(A | C) ≥ 0 м.н. для всiх A ∈ F.(2) IP(Ω | C) = 1 м.н.(3) Для кожної послiдовностi попарно несумiсних подiй (An, n ≥ 1)

IP(∪n≥1An | C) =∑

n≥1 IP(An | C) м.н.Доведення теореми спирається на теорему про загальнi властивостi

умовного сподiвання.(1) Є наслiдком невiд’ємностi умовного сподiвання вiд 1IA ≥ 0.(2) Випливає з нормованостi умовного сподiвання вiд 1IΩ ≡ 1.(3) Виводиться з теореми про граничний перехiд пiд знаком умовного

сподiвання, оскiльки BN ≡ ∪Nn=1An ↑ B∞ ≡ ∪n=1An при N →∞:

∑n≥1 IP(An | C) = limN→∞

∑Nn=1 IE(1IAn | C) = limN→∞ IE(1IBN

| C) =

IE(1IB∞ | C) = IP(∪n≥1An | C) м.н. ¡

2.5.7. Регулярнi умовнi ймовiрностi

Умовна ймовiрнiсть вiдносно сигма-алгебри є функцiєю як подiї A ∈ F,так i елементарної подiї ω ∈ Ω. Вона визначена при кожнiй A для майжевсiх ω. Оскiльки множин A ∈ F нескiнченно багато, то об’єднання вiд-повiдних виключних подiй нульової ймовiрностi за рiзними A може матидодатну ймовiрнiсть (та навiть одиничну ймовiрнiсть). Тому не можна га-рантувати, що ймовiрнiсть тiєї множини ω, для яких функцiя P(A | C) маєвластивiсть сигма-адитивностi одночасно на всiх множинах A, дорiвнюєодиницi (бiльше того, не можна навiть стверджувати, що така множинаω не порожня. Вправа: навести вiдповiдний приклад).

Для подолання вказаної обставини використовується певна модифiка-цiя поняття умовної ймовiрностi.


Означення. Нехай σ-алгебра C ⊂ F. Функцiя P (A,ω) : F × Ω → [0, 1]називається регулярною умовною ймовiрнiстю за умовою C, якщо:

(а) для кожної A ∈ F м.н. має мiсце рiвнiсть P (A,ω) = IE(1IA | C)(ω),(б) для майже всiх ω функцiя P (·, ω) є ймовiрнiстю вiд A ∈ F.Про кориснiсть введеного поняття свiдчить таке твердження.Теорема (про обчислення умовного сподiвання через регулярну

ймовiрнiсть). Нехай σ-алгебра C ⊂ F, i iснує регулярна умовна ймовiр-нiсть P (A,ω), A ∈ F, ω ∈ Ω, за умови C. Тодi для довiльної невiд’ємноїабо iнтегровної випадкової величини ξ має мiсце рiвнiсть

IE(ξ | C)(ω) =w

Ωξ($)P (d$, ω) м.н.,

де iнтеграл у правiй частинi є iнтегралом Лебега вiд вимiрної невiд’-ємної або iнтегровної функцiї ξ за ймовiрнiсною мiрою P (·, ω).

Доведення(1) Нехай ξ = 1IA, A ∈ F, iндикаторна величина. Тодi права частина

дорiвнює P (A,ω) i твердження теореми випливає з означення регулярноїумовної ймовiрностi, (а).

(2) Для простих величин ξ рiвнiсть теореми виводиться з лiнiйностiм.н. її правої та лiвої частини.

(3) Нехай величина ξ невiд’ємна. Оберемо простi величини 0 ≤ ξn ↑ ξ.Тодi з вiдповiдних рiвностей для ξn за теоремою про граничний перехiдпiд знаком умовного сподiвання та за теоремою Лебега про монотоннузбiжнiсть граничним переходом n →∞ отримуємо шукане твердження.

(4) Для iнтегровної величини ξ теорема доводиться за лiнiйнiстю зурахуванням скiнченностi м.н. IE(ξ± | C) та iнтегралiв за мiрою P (·, ω) ¡

Теорема (про iснування регулярної умовної ймовiрностi). НехайF = σ[ξ] для деякої випадкової величини ξ, а сигма-алгебра C ⊂ F. Тодiiснує регулярна умовна ймовiрнiсть P (A,ω) за умовою C.

Доведення. За означенням породженої сигма-алгебри σ[ξ] кожна подiяA ∈ F = σ[ξ] має вигляд A = ξ ∈ B для деякої B ∈ B(R). Тому умовнуймовiрнiсть P (·, ω) слiд будувати на подiях вигляду ξ ∈ B.

Нехай D ⊂ R злiченна щiльна пiдмножина.Для кожного y ∈ D визначимо H(y, ω) = IE(1Iξ<y | C)(ω).(1) Розглянемо для y1 < y2, yi ∈ D подiї

O1(y1, y2) = ω : H(y1, ω) > H(y2, ω), O1 =⋃

y1<y2, yi∈DO1(y1, y2).

Оскiльки 1Iξ<y1 ≤ 1Iξ<y2, то за теоремою про загальнi властивостiумовного сподiвання IP(O1(y1, y2)) = 0, i IP(O1) = 0. Зауважимо, що на


доповненнi O1 функцiя H(y, ω) не спадає за y на множинi D. Зокрема,при ω ∈ O1 ця функцiя має границю злiва та справа H(y ± 0, ω) на D.

(2) Визначимо

O2 = O1 ∩ (ω : H(−∞, ω) 6= 0 ∪ ω : H(+∞, ω) 6= 1).Оскiльки 1Iξ<y ↓ 0 при y ↓ −∞ та 1Iξ<y ↑ 1 при y ↑ −∞, то за теоремоюпро граничний перехiд пiд знаком умовного сподiвання IP(O2) = 0, якщоврахувати також, що IP(O1) = 1. Зауважимо, що на O2 функцiя H(y, ω)не спадає на D та нормована на D.

(3) Розглянемо подiї

O3(y) = O1 ∩ ω : H(y − 0, ω) 6= H(y, ω), O3 =⋃

y∈DO3(y).

Оскiльки 1Iξ<u ↑ 1Iξ<y при u ↑ y, то за теоремою про граничний перехiдпiд знаком умовного сподiвання IP(O3(y)) = 0 та IP(O3) = 0.

Нехай O = O1 ∪ O2 ∪ O3. Тодi IP(O) = 0 та для всiх ω ∈ O функцiяH(y, ω) є неспадною, нормованою та неперервною злiва на D.

Крiм того, для кожного y ∈ D за означенням H(y, ω) = IE(1Iξ<y | C).Зокрема, випадкова величина H(y, ω) є C-вимiрною та задовольняє умовубалансу IE(1Iξ<y1IA) = IE(H(y)1IA),∀A ∈ C. Визначимо

G(x, ω) = sup(H(y, ω), y < x, y ∈ D).

Так само, як i в теоремi про збiжнiсть в основному та на щiльнiймножинi, (б), доводимо, що для кожної ω ∈ O функцiя G(x, ω) є узагаль-неною функцiєю розподiлу за аргументом x ∈ R, а з включення ω ∈ O2

та теореми про характеризацiю функцiй розподiлу в класi узагальненихробимо висновок, що вказана функцiя є функцiєю розподiлу. Далi, верх-ня межа в означеннi G досягається на будь-якiй злiченнiй послiдовностiyn ↑ x, yn ∈ D, тому G(x, ω) є C-вимiрною за аргументом ω, як i H(y, ω).Тодi з рiвностей балансу IE(1Iξ<yn1IA) = IE(H(yn)1IA), ∀A ∈ C, та з тео-реми Лебега про монотонну збiжнiсть виводимо при yn ↑ x, що таку жумову балансу задовольняє i G(x, ω). Отже, за означенням умовного ма-тематичного сподiвання рiвнiсть G(x, ω) = IE(1Iξ<x | C) м.н. виконуєтьсядля кожного x ∈ R.

Позначимо через F (B, ω), B ∈ A[R], адитивну мiру Лебега – Стiлтьєса,що породжена функцiєю розподiлу G(x, ω) при ω ∈ O, та тим же виразомдля iнших ω. Оскiльки вказаний вираз зводиться до лiнiйного перетворен-ня, то F (B, ω) = IE(1Iξ∈B | C) м.н.для всiх B ∈ A[R], причому ця функцiяC-вимiрна за ω.


За теоремою про неперервнiсть в нулi мiри Лебега – Стiлтьєса татеоремою Каратеодорi про продовження мiри для кожної елементарноїподiї ω ∈ O iснує iмовiрнiсна мiра Q(B, ω), B ∈ B[R], що є продовженняммiри F (B,ω) при B ∈ A[R]. Визначимо Q(B,ω) = 1I0∈B при ω ∈ O. ТодiQ(B,ω) = F (B, ω) = IE(1Iξ∈B | C) м.н. для кожної множини B ∈ A[R].

Розглянемо такий клас множин:

D = B ∈ B[R] : Q(B, ω) = IE(1Iξ∈B | C) м.н..Як доведено вище, A[R] ⊂ D. Крiм того, за означенням клас D є

монотонним, оскiльки функцiя Q(B, ω) є сигма-адитивною, а тому i непе-рервною за B, а для умовного сподiвання IE(1Iξ∈B | C) м.н. виконуєтьсятеорема про монотонну збiжнiсть як наслiдок теореми про граничний пе-рехiд пiд знаком умовного.сподiвання. Тому за теоремою про монотоннийклас D = B[R].

Оскiльки Q(B, ω) є ймовiрнiсною мiрою, з урахуванням останньої рiв-ностi виводимо, що функцiя P (A,ω) ≡ Q(B, ω) при A = ξ ∈ B є шука-ною регулярною умовною ймовiрнiстю ¡

Вправи(1) Довести такi формули повної ймовiрностi: (а) IP(A) = IEP(A | C) для всiх

A ∈ F, (б) IEg(ξ) =rR IE(g(ξ) | η = y)dFη(y) за умови iнтегровностi g(ξ).

(2) Довести узагальнену формулу Байєса: для A ∈ F, H ∈ C

IP(H | A) = (IE1IHIP(A | C)) /IEP(A | C).

(3) Величина ξ має строго додатну щiльнiсть f. Обчислити IP(ξ < x | |ξ|).(4) Нехай (ζk, k = 1, n) – стандартний нормальний вектор. Довести, що його

умовний розподiл за умови, що фiксованi суми∑n

k=1 ζk,∑n

k=1 ζ2k, є рiвномiрним

на вiдповiднiй (n− 2)-вимiрнiй множинi.

(5) Сигма-алгебри F1,F2 ⊂ F називаються умовно незалежними за умовиF3 ⊂ F, якщо IP(F1 ∩ F2 | F3) = IP(F1 | F3)IP(F2 | F3) м.н. для всiх Fi ∈ Fi.Довести, що вказана умовна незалежнiсть має мiсце тодi й тiльки тодi, колиIP(F1 | σ[F2 ∪ F3]) = IP(F1 | F3) м.н. для всiх F1 ∈ F1.

(6) Для величин ξ, η iснує регулярна умовна ймовiрнiсть P (x, B), B ∈ B(R),така, що P (x,B) = IP(ξ ∈ B | η = x) для майже всiх x ∈ R за мiроюIP(η ∈ ·). Довести, що для довiльної борелєвої обмеженої функцiї g виконуєтьсятака рiвнiсть: IE(g(η, ξ) | η = x) =

rR g(x, y)P (x, dy) для майже всiх x.

(7) Нехай ξ – випадковий елемент зi значеннями у повному сепарабельномуметричному просторi E з борелєвою сигма-алгеброю B(E). Довести, що iснуєрегулярна умовна ймовiрнiсть P (B, ω) = IP(ξ ∈ B | C) м.н.


(8) Випадковi величини (ξk, k ≥ 1) незалежнi, однаково розподiленi та маютьнеперервну функцiю розподiлу F. Знайти IP(ξ1 < x | max1≤k≤n ξk).

(9) Випадковi величини ξ1, ξ2 вимiрнi вiдносно σ-алгебр C1,C2 вiдповiдно, апараметри p, q, r ∈ (0,∞] такi, що p−1 + q−1 + r−1 = 1. Довести, що

|IEξ1ξ2 − IEξ1IEξ2| ≤ 8(IE |ξ1|p)1/p (IE |ξ2|q)1/q(α(C1,C2))

1/r,де α(C1, C2) ≡ sup(|IP(A1 ∩ A2)− IP(A1)IP(A2)| , Ak ∈ Ck).

2.6. Ряди з незалежних величин

Нехай (ξn, n ≥ 1) – послiдовнiсть незалежних у сукупностi випад-кових величин, а Sn = ξ1 + ... + ξn – вiдповiднi частиннi суми. Тодiвипадкова подiя ряд ∑

ξn збiгається = ∃ limn→∞ Sn належить зали-шковiй сигма-алгебрi ∆∞ ≡ limn→∞σ[ξn], що породжена незалежнимисигма-алгебрами σ[ξn]. За теоремою про закон нуля та одиницi Колмого-рова IP(A) ∈ 0, 1 для довiльної подiї A ∈ ∆∞. За теоремою Колмого-рова про побудову ймовiрностi на множинах послiдовностей ймовiрнiстьподiї A ∈ ∆∞ однозначно визначається послiдовнiстю маргiнальних фун-кцiй розподiлу Fξn

(x), n ≥ 1. А.М.Колмогорову належать також необхiднiта достатнi умови на цi функцiї розподiлу для справедливостi рiвностiIP(∃ limn→∞ Sn) = 1.

2.6.1. Нерiвностi Колмогорова

Теорема (про нерiвностi Колмогорова). Нехай випадковi величини(ξn, n ≥ 1) незалежнi у сукупностi, IEξn = 0, IEξ2

n < ∞, а Sn = ξ1 + ...+ ξn.

(а) Тодi для кожного ε > 0

IP(max1≤k≤n |Sk| ≥ ε) ≤ IDSn/ε2.

(б) Якщо додатково |ξn| ≤ c для сталої c, то при всiх ε > 0

IP(max1≤k≤n |Sk| ≥ ε) ≥ 1− (c + ε)2/IDSn.

Доведення. Твердження (а) є доведена вище нерiвнiсть Колмогорова.(б) Розглянемо, як i у згаданiй нерiвностi, випадковi подiї

A = max 1≤k≤n |Sk| ≥ ε, Ak = |S1| < ε, ..., |Sk−1| < ε, |Sk| ≥ ε .

Тодi Ai∩Aj = ∅, i 6= j, та A = ∪nk=1Ak, звiдки 1IA =

∑nk=1 1IAk

. Зауважимо,що IES2

n = IDSn, оскiльки IESn =∑n

k=1 IEξk = 0.

2.6. Ряди з незалежних величин 203

У доведеннi нерiвностi Колмогорова встановлено тотожнiсть

IES2n1IA =

∑n

k=1IE(S2

k1IAk) +

∑n

k=1IE(Sn − Sk)

21IAk.

ОцiнимоIES2

n1IA = IES2n − IES2

n1IA ≥ IES2n − ε2IP(A),

де враховано нерiвнiсть S2n1IA ≤ ε21IA.

З попереднiх тотожностi та нерiвностi виводимо, що

IES2n − ε2IP(A) ≤ ∑n

k=1 IE(S2k1IAk

) +∑n

k=1 IE(Sn − Sk)21IAk

≤∑n

k=1 IE((c + ε)21IAk) +

∑nk=1 IE(Sn − Sk)

2 IE1IAk≤

(c + ε)2∑n

k=1 IP(Ak) +∑n

k=1 IES2n IP(Ak) = ((c + ε)2 + IES2

n) IP(A).

Тут використано також такi чотири спiввiдношення.(а) За умови обмеженостi ξk та внаслiдок означення подiї Ak :

S2k1IAk

= (Sk−1 + ξk)21IAk

≤ (ε + c)21IAk.

(б) За теоремою про векторнi перетворення незалежних величин ве-личини Sn − Sk = ξk+1 + ... + ξn та 1IAk

= g(ξ1, ..., ξk) незалежнi, тому затеоремою про математичне сподiвання добутку незалежних величин :

IE(Sn − Sk)21IAk

= IE(Sn − Sk)2 IE1IAk

.

(в) З урахуванням центрованостi сум Sk та теореми про дисперсiюсуми незалежних величин :

IE(Sn − Sk)2 = ID

∑n

i=k+1ξi =

∑n

i=k+1IDξi ≤

∑n

i=1IDξi = IES2

n.

(г) Нарештi, через попарну несумiснiсть Ak :∑n

k=1IP(Ak) = IP(A).

Пiдстановкою IP(A) = 1− IP(A) з доведеної нерiвностi отримуємо

IP(A) ≥ (IES2n − ε2)/((c + ε)2 − ε2 + IES2

n) =

1− (c + ε)2/((c + ε)2 − ε2 + IDSn) ≥ 1− (c + ε)2/IDSn ¡

Вправи(1) Величини (ξn) незалежнi, IEξn = 0, IEξ2

n < ∞, Sn = ξ1 + ... + ξn, апослiдовнiсть an > 0 неспадає. Тодi IP(maxk≤n |Sk| /ak > 1) ≤ ∑n

k=1 a−2k IEξ2

k.(2) Величини (ξn) незалежнi та IEξn = 0,

∑k≥1 IE |ξk| /k < ∞. Довести: (а)

для ε > 0 нерiвнiсть IP(∑m

k=n |ξk| /k > ε) ≤ ε−1∑m

k=n IE |ξk| /k. (б) збiжнiстьм.н. ряду

∑mk=n |ξk| /k (в) посилений закон великих чисел для (ξn).


(3) Випадковi величини (ξn, n ≥ 1) незалежнi у сукупностi, IEξn = 0,Sn = ξ1 + ... + ξn, причому IP(Sn − Sk ≥ a) ≥ b > 0 для всiх k < n. Довестинерiвнiсть IP(max1≤k≤n Sk ≥ ε) ≤ b−1IP(Sn ≥ ε + a).

(4) Величини (ξn, n ≥ 1) незалежнi, IEξn = 0, IEξ2n < ∞, Sn = ξ1 + ...+ ξn.

Довести для ε > 0, що IP(max1≤k≤n Sk ≥ ε) ≤ IES2n/(ε2 + IES2

n).

2.6.2. Теореми про один та два ряди

Лема (про критерiй фундаментальностi майже напевне). Послi-довнiсть випадкових величин (ξn, n ≥ 1) фундаментальна майже напевнетодi й тiльки тодi, коли

supk≥0

∣∣ξn+k − ξn

∣∣ →P 0, n →∞.

Доведення. Позначимо подiї A = (ξn, n ≥ 1) фундаментальна таAkN = ∩n≥N ∩m≥N |ξn − ξm| ≤ 1/k. Тодi A = ∩k≥1 ∪N≥1 AkN .

За означенням подiї AkN монотонно не зростають за k та ∪N≥1AkN ↓ Aпри k → ∞. Тому за неперервнiстю ймовiрностi IP(A) = 1 тодi й тiль-ки тодi, коли IP(∪N≥1AkN) = 1 для кожного k. Оскiльки AkN монотонноне спадають за N, то остання рiвнiсть еквiвалентна limN→∞ IP(AkN) = 1для кожного k. За означенням збiжностi за ймовiрнiстю це твердженняеквiвалентне умовi леми, оскiльки

IP(AkN) = IP(supn≥N,m≥N |ξn − ξm| ≤ 1/k) =

1− IP(supn≥N,m≥N |ξn − ξm| > 1/k) → 1, N →∞,

тодi й тiльки тодi, коли supn≥N,m≥N |ξn − ξm| →P 0, причому

sup k≥0

∣∣ξN+k − ξN

∣∣ ≤ supn≥N,m≥N |ξn − ξm| ≤ 2 sup k≥0

∣∣ξN+k − ξN

∣∣ ¡Теорема (про один ряд). Нехай випадковi величини (ξn, n ≥ 1) неза-

лежнi у сукупностi, IEξn = 0, IEξ2n < ∞.

(а) Якщо∑

n≥1 IEξ2n < ∞, то ряд

∑n≥1 ξn збiгається м.н.

(б) Якщо |ξn| ≤ c i ряд∑

n≥1 ξn збiгається м.н., то∑

n≥1 IEξ2n < ∞.

Доведення. Позначимо Sn = ξ1 + ... + ξn.Збiжнiсть ряду

∑n≥1 ξn еквiвалентна фундаментальностi послiдовно-

стi частинних сум Sn. За лемою про критерiй фундаментальностi майженапевне ця фундаментальнiсть має мiсце тодi й тiльки тодi, коли прикожному ε > 0

IP(supk≥0 |Sn+k − Sn| ≥ ε) → 0, n →∞.

За властивiстю неперервностi ймовiрностi


IP(supk≥0 |Sn+k − Sn| ≥ ε) = limm→∞ IP(max 0≤k≤m |Sn+k − Sn| ≥ ε) =

limm→∞ IP(max 0≤k≤m |Snk| ≥ ε),

де за означенням Snk ≡ ξn+1 + ... + ξn+k є сумами незалежних величин знульовим математичним сподiванням та скiнченною дисперсiєю.

Отже, ряд∑

n≥1 ξn збiгається м.н. тодi й тiльки тодi, коли

limn→∞ limm→∞ IP(max 0≤k≤m |Snk| ≥ ε) = 0, ∀ε > 0.

(а) За теоремою про нерiвностi Колмогорова, (а), та за теоремою продисперсiю суми незалежних величин

IP(max0≤k≤m |Snk| ≥ ε) ≤ IDSnm/ε2 = ε−2ID∑m

k=1 ξn+k =

ε−2∑m

k=1 IDξn+k ≤ ε−2∑

k≥1 IDξn+k = ε−2∑

k>n IEξ2k → 0, n →∞,

де врахована також збiжнiсть до нуля залишку збiжного ряду. Отже,твердження (а) випливає з наведеного вище критерiю.

(б) Припустимо вiд супротивного розбiжнiсть, тобто:∑

n≥1 IEξ2n = ∞.

Тодi IDSnm =∑m

k=1 IDξn+k =∑n+m

k=n+1 IDξk →∞,m →∞ Отже, за теоремоюпро нерiвностi Колмогорова, (б)

limm→∞ IP(max0≤k≤m |Snk| ≥ ε) ≥ 1− limm→∞(c + ε)2/IDSnm = 1.

Ця рiвнiсть суперечить збiжностi ряду∑

n≥1 ξn внаслiдок наведеного ви-ще критерiю ¡

Теорема (про два ряди). Нехай випадковi величини (ξn, n ≥ 1) неза-лежнi у сукупностi i IEξ2

n < ∞.(а) Якщо числовi ряди

∑n≥1 IEξn,

∑n≥1 IDξn збiгаються, то ряд∑

n≥1 ξn збiгається м.н.(б) Якщо |ξn| ≤ c i ряд

∑n≥1 ξn збiгається м.н., то збiгаються i ряди∑

n≥1 IEξn,∑

n≥1 IDξn.Доведення(а) Позначимо ζn = ξn − IEξn. Тодi величини ζn незалежнi, IEζn = 0,∑

n≥1 IEζ2n =

∑n≥1 IDξn < ∞. Тому за теоремою про один ряд, (а), ряд∑

n≥1 ζn збiгається м.н. Тодi за властивiстю суми збiжних рядiв та заозначенням ζn ряд

∑n≥1 ξn =

∑n≥1(ζn + IEξn) також збiгається м.н.

(б) Розглянемо ймовiрнiсний простiр (Ω,F, IP), на якому задано послi-довнiсть (ξn, n ≥ 1). Нехай (Ω′,F′, IP′) – копiя цього простору, а функцiїξ′n(ω′) = ξn(ω) при ω′ = ω є копiями функцiй ξn. Тодi (ξ′n, n ≥ 1) є неза-лежними величинами та мають такi ж маргiнальнi та скiнченно-вимiрнiрозподiли, що i (ξn, n ≥ 1). Отже, за теоремою Колмогорова про побудову


ймовiрностi на множинi послiдовностей ряд∑

n≥1 ξ′n збiгається м.н. займовiрнiстю IP′.

Визначимо прямий добуток (Ω, F, IP) ≡ (Ω,F, IP) × (Ω′,F′, IP′), тобтомножина Ω = Ω × Ω′ = ω = (ω, ω′), ω ∈ Ω, ω′ ∈ Ω′, сигма-алгебра подiйF = σ[A× A′, A ∈ F, A′ ∈ F′], та мiра IP(A× A′) = IP(A)IP′(A′). Значення IP

на F знаходяться за теоремою Каратеодорi про продовження мiри.

Розглянемо на ймовiрнiсному просторi (Ω, F, IP) такi випадковi величи-

ни: ξn(ω) = ξn(ω), ξ′n(ω) = ξ′n(ω′) для ω = (ω, ω′). За означенням

IP((ξ1, ..., ξn) ∈ B1 × ...×Bn, (ξ′1, ..., ξ

′m) ∈ C1 × ...× Cm) =

IP((ω, ω′) : (ξ1, ..., ξn)(ω) ∈ B1 × ...×Bn, (ξ′1, ..., ξ′m)(ω′) ∈ C1× ...×Cm) =

IP(ω : (ξ1, ..., ξn) ∈ B1 × ...×Bn × ω′ : (ξ′1, ..., ξ′m) ∈ C1 × ...× Cm) =

IP((ξ1, ..., ξn) ∈ B1 × ...×Bn) IP′((ξ′1, ..., ξ′m) ∈ C1 × ...× Cm) =

∏ni=1 IP(ξi ∈ Bi)

∏mj=1 IP(ξj ∈ Cj).

Отже, випадковi величини (ξn, ξ′m, n ≥ 1, m ≥ 1) незалежнi у суку-

пностi, i розподiл ξn та ξ′n збiгається з розподiлом ξn. Тому за теоремою

Колмогорова про побудову ймовiрностi на множинi послiдовностей

IP(ряд

∑n≥1

ξn збiгається)

= IP(ряд

∑n≥1

ξ′n збiгається

)=

IP(ряд

∑n≥1

ξn збiгається)

= 1,

оскiльки цi ймовiрностi однозначно визначаються послiдовнiстю функцiйрозподiлу величин ξn.

За теоремою про векторнi перетворення незалежних величин випад-ковi величини ζn = ξn − ξ

′n на просторi (Ω, F, IP) незалежнi. Крiм то-

го, внаслiдок вказаної вище збiжностi розподiлiв та незалежностi IEζn =

IEξn − IEξ′n = 0, IDζn = IDξn + IDξ

′n = 2IDξn < ∞, та |ζn| ≤

∣∣∣ξn − ξ′n

∣∣∣ ≤ 2c.

Як доведено вище, IP(ряд

∑n≥1 ζn збiгається

)= 1. Отже, послiдовнiсть

(ζn, n ≥ 1) задовольняє. умови теореми про один ряд, (б), i внаслiдок цiєїтеореми збiгається ряд: 2

∑n≥1 IDξn =

∑n≥1 IDζn < ∞. Тому за цiєю ж тео-

ремою, (а), ряд iз незалежних та центрованих величин ξn−IEξn збiгаєтьсям.н. Нарештi, як сума збiжних рядiв ряд

∑n≥1(ξn−(ξn−IEξn)) =

∑n≥1 IEξn

збiгається м.н. ¡Вправи


(1) Знайти множину тих ω ∈ Ω, для яких збiгається ряд∑

n≥1 ξn(ω).(2) Випадковi величини (ξn, n ≥ 1) незалежнi у сукупностi, IP(ξn = ±1) =

1/2. Ряд∑

n≥1 anξn збiгається м.н. тодi й тiльки тодi, коли∑

n≥1 a2n < ∞.

(3) Нехай ξn →P 0, n → ∞. Тодi знайдеться числова послiдовнiсть cn така,що

∑n≥1 |cn| = ∞ та ряд

∑n≥1 cnξn збiгається м.н.

(4) Навести приклад (необмеженої) послiдовностi незалежних квадратичноiнтегровних центрованих величин (ξn, n ≥ 1) таких, що ряд

∑n≥1 ξn збiгається

м.н., i одночасно∑

n≥1 IEξ2n = ∞.

(5) Випадковi величини (ξn, n ≥ 1) такi, що∑

n≥1 IE |ξn| < ∞. Довести, щоряд

∑n≥1 ξn збiгається м.н.

(6) Випадковi величини (ξn, n ≥ 1) та числова послiдовнiсть εn такi, що∑n≥1 εn < ∞ i

∑n≥1 IP(|ξn| ≥ εn) < ∞. Довести, що

∑n≥1 |ξn| < ∞ м.н.

(7) Величини (ξn, n ≥ 1) незалежнi та квадратично iнтегровнi. Довести, що:(а) ряд

∑n≥1 ξn збiгається у середньому квадратичному тодi й тiльки тодi, коли

збiгаються ряди∑

n≥1 IEξn,∑

n≥1 IDξn. (б) За (а) ряд∑

n≥1 ξn збiгається м.н.(8) Величини (ξn, n ≥ 1) незалежнi, нормально розподiленi, IEξn = 0. Дове-

сти, що ряд∑

n≥1 ξn збiгається м.н. тодi й тiльки тодi, коли∑

n≥1 IEξ2n < ∞.

2.6.3. Теорема про три ряди

Теорема (теорема Колмогорова про три ряди). Нехай випадковiвеличини (ξn, n ≥ 1) незалежнi у сукупностi. Для того, щоб ряд

∑n≥1 ξn

збiгався м.н., достатньо, щоб для деякої сталої c > 0, i необхiдно, щобдля всiх c > 0 збiгались три числових ряди:

(а)∑

n≥1 IP(|ξn| > c), (б)∑

n≥1 IEξcn, (в)

∑n≥1 IDξc

n,

де ξcn ≡ ξn1I|ξn|≤c.

Доведення. Зауважимо, що випадковi величини ξcn iнтегровнi у ква-

дратi внаслiдок своєї обмеженостi: |ξcn| ≤ c.

Достатнiсть. За теоремою про перетворення незалежних величин ве-личини ξc

n незалежнi. Тому внаслiдок (б),(в) для величин ξcn виконанi

умови теореми про два ряди, (а). Отже, ряд∑

n≥1 ξcn збiгається м.н.

Зазначимо, що ξn 6= ξcn = |ξn| > c. Тому зi збiжностi ряду (а)

та з леми Бореля-Кантеллi, (а), виводимо, що IP(limn→∞ξn 6= ξcn) = 0.

Переходом в останнiй рiвностi до доповнення отримуємо IP(limn→∞ξn =ξc

n) = 1, тобто ξn = ξcn, починаючи з деякого номера n, м.н. Тодi за

ознакою порiвняння рядiв ряд∑

n≥1 ξn збiгається м.н.


Необхiднiсть. За властивостями збiжних рядiв зi збiжностi∑

n≥1 ξn

м.н. виводимо, що ξn →P1 0. Тому IP(limn→∞|ξn| > c) = 0 для довiль-ного c > 0. Випадковi подiї |ξn| > c незалежнi у сукупностi внаслiдокнезалежностi ξn. За лемою Бореля-Кантеллi, (б), що застосована до вка-заних подiй, ряд з умови (а) має збiгатися, iнакше попередня ймовiрнiстьверхньої границi подiй дорiвнювала б одиницi.

Як доведено вище, зi збiжностi ряду (а) випливає, що з iмовiрнiстю1 послiдовностi ξn та ξc

n збiгаються, починаючи з деякого номера. Томузi збiжностi ряду

∑n≥1 ξn м.н. випливає збiжнiсть

∑n≥1 ξc

n м.н. Оскiлькивеличини ξc

n незалежнi та |ξcn| ≤ c за означенням, то з теореми про два

ряди, (б), виводимо збiжнiсть рядiв (б),(в) даної теореми ¡Теорема (узагальнена теорема Колмогорова про посилений закон

великих чисел). Нехай випадковi величини (ξn, n ≥ 1) незалежнi у су-купностi, IEξ2

n < ∞, Sn = ξ1 + ... + ξn, а числова послiдовнiсть bn ↑ ∞.Якщо

∑n≥1 IDξn/b

2n < ∞, то

(Sn − IESn)/bn →P1 0, n →∞.

Зауваження. При виборi bn = n останнє твердження збiгається з твер-дженням теореми Колмогорова про посилений закон великих чисел.

Доведення. Позначимо ζk ≡ (ξk − IEξk)/bk. Випадковi величини ζk не-залежнi за теоремою про перетворення незалежних величин, та задоволь-няють умови: IEζk = 0,

∑n≥1 IDζn =

∑n≥1 IDξn/b

2n < ∞. Тому за теоремою

про один ряд, (а), ряд∑

n≥1 ζn збiгається м.н.Позначимо Tn =

∑nk=1 ζk, T = limn→∞ Tn. Унаслiдок цих означень за-

мiною iндексiв пiдсумовування отримуємо

b−1n (Sn − IESn) = b−1

n

∑nk=1 bkζk = b−1

n

∑nk=1 bk(Tk − Tk−1) =

b−1n

∑nk=1 bkTk − b−1

n

∑n−1k=1 bk+1Tk =

Tn − b−1n

∑n−1k=1(bk+1 − bk)Tk → T − T = 0, n →∞,

за теоремою Теплиця, оскiльки лiнiйне перетворення збiжної послiдовно-стi Tn з матрицею (b−1

n (bk+1 − bk), k = 1, n− 1) зберiгає границю ¡Вправи(1) Випадковi величини (ξn, n ≥ 1) незалежнi. Довести, що умови збiжностi

ряду∑

n≥1 ξn (а) м.н., (б) за ймовiрнiстю, (в) слабкої, еквiвалентнi.(2) Випадковi величини κn незалежнi та IP(κn = 0) = IP(κn = 1) = 1/2.

(а) Довести, що ряд∑

n≥1 2−nκn = η збiгається м.н., а його сума η рiвномiр-но розподiлена на [0, 1]. (б) Функцiя розподiлу суми ряду ζ =

∑n≥1 3−nκn

неперервна, але не є абсолютно неперервною.

2.7. Узагальнення посиленого закону великих чисел 209

(3) Випадковi величини (ξn) незалежнi, iнтегровнi i IEξn = 0. Довести, щоряд

∑n≥1 ξn збiгається м.н. тодi й тiльки тодi, коли

∑n≥1 IEξ2

n/(1 + |ξn|) < ∞.(4) Випадковi величини (ξnn ≥ 1) незалежнi та IP(ξn = 0) = 1 − 2−2n,

IP(ξn = n2n) = IP(ξn = −n2n) = 2−2n−1. Довести, що∑

n≥1 n−2IDξn = ∞,однак для послiдовностi (ξn) виконується посилений закон великих чисел.

(5) Випадковi величини (ξnn ≥ 1) незалежнi. Знайти у найпростiшому ви-глядi необхiднi та достатнi умови збiжностi майже напевне ряду

∑n≥1 ξn, якщо:

(а) ξn ' Exp(λn), (б) ξn ' Π(λn), (в) ξn ' N(µn, σ2n), (г) ξn ' Γ(λn, αn),

(д) ξn = cnηn, де ηn мають розподiл Кошi.(6) Випадковi величини (ξn) незалежнi, iнтегровнi i IEξn = 0. Довести, що

для справедливостi закону великих чисел: (ξ1 + ... + ξn)/n →P 0, n → ∞,необхiдно i достатньо, щоб при n → ∞ : (а)

∑nk=1 IP(|ξk| ≥ n) = o(n),

(б)∑n

k=1 IEξnk = o(n), (в)

∑nk=1 IDξn

k = o(n2), де ξnk = ξk1I|ξk|<n.

2.7. Узагальнення посиленого законувеликих чисел

Посилений закон великих чисел для незалежних однаково розподiле-них величин можна узагальнити за рахунок прискорення швидкостi збi-жностi та вiдмови вiд умови незалежностi.

2.7.1. Закон повторного логарифму

Розглянемо послiдовнiсть незалежних однаково розподiлених величин(ξn) з нульовим середнiм: IEξ1 = 0 та скiнченною дисперсiєю: IEξ2

1 < ∞.Згiдно з посиленим законом великих чисел Sn/n →P1 0, n → ∞. Нор-

муючий знаменник n у цьому спiввiдношеннi можна скоригувати на пiд-ставi узагальненої теореми Колмогорова про посилений закон великих чи-сел: унаслiдок збiжностi ряду

∑n≥1 1/(n ln2(n)) виводимо збiжнiсть м.н.

Sn/√

n ln n →P1 0, n → ∞. З iншого боку, з класичної центральної гра-ничної теореми випливає, що збiжнiсть Sn/

√n →P1 0, n → ∞, не може

виконуватись, оскiльки iснує ненульова слабка границя. Звiдси виникаєзапитання: який має бути нормуючий знаменник для сум Sn, щоб границям.н. була б ненульовою. Вiдповiдь є у наступних твердженнях.

Означення. Числова послiдовнiсть ϕn є верхньою для випадковоїпослiдовностi Sn, якщо IP(limn→∞Sn ≤ ϕn) = 1. Послiдовнiсть ϕ

nє

нижньою для Sn, якщо IP(limn→∞Sn ≥ ϕn) = 1.


Таким чином, асимптотичнi властивостi сум Sn при n → ∞ вiдобра-жаються смугою ([ϕ

n, ϕn], n ≥ 1), що її нижнiй край цi суми перетинають

нескiнченно часто, а верхнiй не перетинають, починаючи з деякого номе-ра, i все це з iмовiрнiстю 1.

Теорема (про критерiй для верхньої та нижньої послiдовностi).Нехай ϕn – додатна числова послiдовнiсть.

(а) Послiдовнiсть (1 + ε)ϕn є верхньою для (Sn) при кожному ε > 0тодi й тiльки тодi, коли IP(limn→∞Sn/ϕn ≤ 1) = 1.

(б) Послiдовнiсть (1 − ε)ϕn є нижньою для (Sn) при всiх ε ∈ (0, 1)тодi й тiльки тодi, коли IP(limn→∞Sn/ϕn ≥ 1) = 1.

Доведення(а) Достатнiсть є наслiдком включення

limn→∞Sn/ϕn ≤ 1 ⊂ limn→∞Sn ≤ (1 + ε)ϕn,звiдки виводимо, що ймовiрнiсть правої частина дорiвнює одиницi.

Необхiднiсть випливає зi включення

limn→∞Sn ≤ (1 + ε)ϕn ⊂ limn→∞Sn/ϕn ≤ 1 + ε,внаслiдок якого limn→∞Sn/ϕn ≤ 1 + ε м.н. для кожного ε > 0, звiдкиотримуємо limn→∞Sn/ϕn ≤ 1 м.н.

(б) Достатнiсть випливає зi включення

limn→∞Sn/ϕn ≥ 1 ⊂ limn→∞Sn ≥ (1− ε)ϕn,а необхiднiсть – зi включення

limn→∞Sn ≥ (1− ε)ϕn ⊂ limn→∞Sn/ϕn ≥ 1− ε ¡

З останньої теореми можна зробити висновок, що асимптотичнi м.н.властивостi послiдовностi сум Sn визначаються значенням верхньої гра-ницi limn→∞Sn/ϕn. Якщо Sn – суми незалежних випадкових величин, аϕn → ∞, то дана границя вимiрна вiдносно залишкової сигма-алгебри iза теоремою про закон нуля та одиницi Колмогорова є м.н. сталою.

Наступна теорема дає умову для скiнченностi цiєї сталої.Теорема (про закон повторного логарифму). Нехай випадковi ве-

личини (ξn, n ≥ 1) незалежнi та однаково розподiленi, IEξ1 = 0, Dξ1 =σ2 < ∞, Sn = ξ1 + ... + ξn.

Тодi для послiдовностi ϕn ≡√

2σ2n ln ln n, n ≥ 3, має мiсце рiвнiсть

limn→∞Sn/ϕn = 1 м.н.


Зауваження. За теоремою про критерiй для верхньої та нижньої по-слiдовностi для кожного ε > 0 послiдовнiсть (1 + ε)ϕn є верхньою, а(1− ε)ϕn – нижньою для Sn.

Доведення проведемо у припущеннi, що величини ξn нормально роз-подiленi. Загальний випадок можна звести до сформульованого шляхомвикористання класичної центральної граничної теореми. Крiм того, вна-слiдок однорiдностi вiдношення Sn/ϕn можна вважати, що σ = 1.

Лема 1. Нехай величини (ξn, n ≥ 1) незалежнi та мають симетричнiрозподiли, тобто ξn ' −ξn, n ≥ 1, Sn = ξ1 + ... + ξn. Тодi для всiх ε

IP(maxk≤n Sk > ε) ≤ 2IP(Sn > ε).

Доведення. Розглянемо подiї Ak = S1 ≤ ε, ...Sk−1 ≤ ε, Sk > ε. ПодiюA = maxk≤n Sk > ε можна зобразити у виглядi A = ∪n

k=1Ak, де подiї Ak

є попарно несумiсними. Оскiльки Sn > ε ⊂ A, то

IP(Sn > ε) = IP(Sn > ε ∩ A) =∑n

k=1 IP(Sn > ε ∩ Ak) ≥∑nk=1 IP(Sn − Sk ≥ 0 ∩ Ak) =

∑nk=1 IP(Sn − Sk ≥ 0)IP(Ak) ≥∑n

k=112

IP(Ak) = 12

IP(A),

де враховано також включення Sn > ε∩Ak ⊃ Sn−Sk ≥ 0∩Ak, незале-жнiсть випадкових подiй Sn − Sk ≥ 0 = ξk+1 + ... + ξn ≥ 0 i Ak за тео-ремою про векторнi перетворення незалежних величин, та симетричнiстьрозподiлу суми Sn−Sk = ξk+1 + ...+ ξn, внаслiдок якої IP(Sn−Sk ≥ 0) ≥ 1

2.

Вказана симетричнiсть випливає з незалежностi та симетричностi ξk ¡Лема 2. Нехай ζ ' N(0, 1) – стандартна нормальна величина. Тодi

IP(ζ > t) ∼ (√

2πt)−1 exp(−t2/2), t →∞.

Доведення є простим наслiдком правила Лопiталя, що застосовуєтьсядо вiдношення лiвої та правої частин даного спiввiдношення ¡

Для доведення теореми про закон повторного логарифму за теоремоюпро критерiй для верхньої та нижньої послiдовностi досить довести, щопослiдовнiсть aϕn є верхньою при a > 1 i нижньою при a < 1.

(а) Доведемо, що послiдовнiсть aϕn є верхньою при a > 1.Розглянемо подiю A = limn→∞Sn > aϕn. Шукане твердження поля-

гає в тому, що IP(A) = 0 для всiх a > 1.Оберемо довiльне a > 1. Визначимо натуральнi n0 = 0, nk = [ak] + 1 та

випадковi подiї Ak = ∪nk<n≤nk+1Sn > aϕn. Оскiльки N = ∪k≥0(nk, nk+1],

де доданки попарно несумiснi, то з означення верхньої границi послiдов-ностi подiй виводимо, що A = limk→∞Ak.


Тому для доведення рiвностi IP(A) = 0 за лемою Бореля-Кантеллi, (а),досить встановити збiжнiсть ряду:

∑k≥0 IP(Ak) < ∞. Оцiнимо, враховую-

чи монотоннiсть послiдовностi ϕn та лему 1 (симетричнiсть центрованогонормального розподiлу є наслiдком парностi нормальної щiльностi):

IP(Ak) ≤ IP(∪nk<n≤nk+1Sn > aϕnk

) = IP(maxnk<n≤nk+1Sn > aϕnk

) ≤IP(max0<n≤nk+1

Sn > aϕnk) ≤ 2IP(Snk+1

> aϕnk) = 2IP(ζk > tk),

де ζk ≡ Snk+1/√

nk+1, tk ≡ aϕnk/√

nk+1. За означенням номерiв nk

tk ≡ a√

2nk ln ln nk/√

nk+1 ≥a√

2ak ln ln ak/√

ak+1 + 1 =√

2a(1 + a−k−1)−1 ln(k ln a), k > 3.

За теоремою про нормальнiсть суми незалежних нормальних векторiвта теоремою про iнтерпретацiю параметрiв нормального розподiлу Sn 'N(0, n), оскiльки IESn = 0 i IDSn = n за теоремою про дисперсiю суминезалежних величин. Тому величина ζk ' N(0, 1) та внаслiдок отриманоїнерiвностi для IP(Ak) i леми 2

IP(Ak) ≤ 2IP(ζk > tk) ∼ 2(√

2πtk)−1 exp(−t2k/2) ≤

b(ln k)−1/2 exp(−2a(1 + a−k−1)−1 ln(k ln a)/2) ∼ c(ln k)−1/2k−a, k →∞.

Оскiльки a > 1, то ряд, що складений доданками з правої частини,збiгається. Тому з умови порiвняння рядiв виводимо збiжнiсть ряду, скла-деного з IP(Ak), що доводить твердження (а), як показано вище.

(б) Доведемо, що послiдовнiсть aϕn з a < 1 є нижньою. Для цьогодосить перевiрити, що подiя A ≡ limn→∞Sn ≥ aϕn справджується м.н.

Розглянемо послiдовнiсть (−Snn ≥ 1), що утворена сумами стандар-тних нормальних випадкових величин (−ξk, k = 1, n). Визначимо такуподiю: B = limn→∞Sn > −2ϕn. Оскiльки розподiл Sn є симетричним:−Sn ' Sn, то доповнення B = limn→∞−Sn ≥ 2ϕn має нульову ймовiр-нiсть за вже доведеним твердженням (а), отже, IP(B) = 1.

Оберемо b > 1 та визначимо номери nk = [bk]. Розглянемо випадковiвеличини ηk ≡ Snk

− Snk−1=

∑nk−1<i≤nk

ξi. Iнтервали (nk−1, nk], k ≥ 1,попарно не перетинаються, тому за теоремою про векторнi перетвореннянезалежних величин величини (ηk, k ≥ 1) незалежнi. Як i вище, з тео-реми про нормальнiсть суми незалежних нормальних векторiв знаходиморозподiл: ηk ' N(0, nk − nk−1), оскiльки за теоремою про дисперсiю суминезалежних величин IDηk = nk − nk−1.


Позначимо сталi ck ≡ aϕnk+ 2ϕnk−1

та такi подiї Ck = ηk ≥ ck,C = limk→∞Ck. Оскiльки величини ηk незалежнi, то подiї Ck також неза-лежнi. Тому до цих подiй можна застосувати лему Бореля-Кантеллi, (б),за якої IP(C) = 1, якщо тiльки розбiгається ряд

∑IP(Ck). Для доведення

цiєї розбiжностi застосуємо лему 2:

IP(Ck) = IP(ηk ≥ ck) = IP(ζk ≥ tk) ∼ (√

2πtk)−1 exp(−t2k/2), k →∞,

де величини ζk ≡ ηk/√

nk − nk−1 ' N(0, 1) є стандартними нормальними,а права частина останнього спiввiдношення спадає за tk, та врахуємо такiспiввiдношення при k →∞:

tk ≡ ck/√

nk − nk−1 ≤√

2 ln ln nk

(a√

nk + 2√

nk−1

)/√

nk − nk−1 ≤√

2 ln k ln b(abk/2 + 2b(k−1)/2

)/b(k−1)/2

√b− 1 + b−k+1 =

ρb

√2 ln k + 2 ln ln b + O(1), k →∞.

Сталу ρb ≡ (a√

b + 2)/√

b− 1 вибором досить великого b > 1 можназробити меншою за одиницю: ρb < 1, оскiльки ρb → a < 1 при b → ∞.Отже, внаслiдок отриманих вище зображень для IP(Ck) та tk

∑k≥1 IP(Ck) ≥

∑k>1 C(ln k)−1/2 exp(−ρ2

b(2 ln k + 2 ln ln b)/2) =

∑k>1 D(ln k)−1/2k−ρ2

b = ∞,

оскiльки ρ2b < 1. Тому, як вказано вище, IP(C) = 1.

За означенням B i C, для кожної елементарної подiї ω ∈ B, починаючиз деякого номера n, виконується нерiвнiсть Sn > −2ϕn, а для всiх ω ∈ Cнерiвностi: ηk ≥ ck = aϕnk

+ 2ϕnk−1справедливi для нескiнченої послiдов-

ностi номерiв (nk). Якщо ω ∈ B ∩ C, то починаючи з деякого номера k,Snk−1

> −2ϕnk−1звiдки Snk

= ηk +Snk−1≥ Snk−1

+ ck ≥ −2ϕnk−1+ ck = aϕnk

для нескiнченної кiлькостi номерiв nk. Тому B∩C ⊂ limn→∞Sn ≥ aϕn =A, i з доведених рiвностей IP(B) = 1, IP(C) = 1 виводимо IP(A) = 1, що iдоводить (б) ¡

Вправи(1, симетризацiя) Випадковi величини (ξk, k = 0, 2) незалежнi однаково роз-

подiленi, i мають медiану m, тобто IP(ξ0 < m) = IP(ξ0 > m) = 1/2. Довестипри |t| ≥ m нерiвнiсть IP(|ξ0| ≥ t) ≤ 2IP(|ξ1 − ξ2| ≥ t− |m|).

(2) Величини (ξk, k ≥ 1) незалежнi, IP(ξk = ±1) = 1/2, Sk = ξ1 + ... + ξk.Довести, що IP( max1≤k≤n Sk ≥ r) = 2IP(Sn > r)+IP(Sn = r) при r ∈ Z+.


(3) Випадковi величини (ξn, n ≥ 1) незалежнi та мають стандартний нор-мальний розподiл. Довести такi зображення: (а) ξn = O(

√ln n), n → ∞, м.н.,

(б) IP(ξn = o(√

ln n), n →∞) = 0, (в) IP(limn→∞ξn/√

2 ln n = 1) = 1.(4) Випадковi величини (ξnn ≥ 1) незалежнi однаково розподiленi, IEξ1 = 0,

IEξ21 = 1, а Sn = ξ1 + ... + ξn . Довести, що limn→∞Sn/

√n = ∞ м.н.

(5) Випадковi величини (ξn) незалежнi та мають розподiл Пуассона Π(λ).Довести, що limn→∞(ξn ln ln n)/ ln n = 1 м.н.

(6) Випадковi величини (ξn) незалежнi та мають показниковий розподiлExp(1). Довести граничнi спiввiдношення: (а) limn→∞ max1≤k≤n(ξk/ ln k) = 1м.н., (б) limn→∞ξn/ ln n ≤ 1 м.н., (в) limn→∞ max√n≤k≤n(ξk/2k) ≥ 1 м.н.

(7) Випадковi величини (ξn) незалежнi однаково розподiленi Довести еквi-валентнiсть: IE supn≥1 |ξn/n| < ∞ тодi й тiльки тодi, коли IE |ξ1| (ln |ξ1|)+ < ∞.

(8, теорема Левi) Випадковi величини (ξn) незалежнi та мають розподiл Бер-нуллi IP(ξn = ±1) = 1/2. Довести, що послiдовнiсть ϕn = 2n ln ln n+c ln ln ln nє верхньою при c > 3, та нижньою при c ≤ 1.

2.7.2. Строго стацiонарнi послiдовностi

Посилений закон великих чисел можна узагальнити за рахунок посла-блення умови незалежностi доданкiв.

Означення. Послiдовнiсть випадкових величин (ξn, n ≥ 1) називає-ться строго стацiонарною, якщо для всiх n ≥ 1 та всiх k ≥ 1

IP((ξ1, ..., ξn) ∈ Bn) = IP((ξk+1, ..., ξk+n) ∈ Bn), ∀Bn ∈ B(Rn).

Зауваження. Унаслiдок довiльностi n для справедливостi останньоїумови досить перевiрити її при k = 1. Дiйсно, для всiх k > 1, Bn ∈ B(Rn)

IP((ξk+1, ..., ξk+n) ∈ Bn) = IP((ξ2, ..., ξk+1, ..., ξk+n) ∈ Rk−1 ×Bn) =

IP((ξ1, ..., ξk, ..., ξk+n−1) ∈ Rk−1 ×Bn) = IP((ξk, ..., ξk+n−1) ∈ Bn),

звiдки за iндукцiєю отримуємо рiвностi для всiх k ≥ 1.Зауваження. За побудовою мiри Лебега – Стiлтьєса, що породжена

сумiсною функцiєю розподiлу, та з урахуванням останнього зауваження,послiдовнiсть (ξn, n ≥ 1) є строго стацiонарною тодi й тiльки тодi, колипри зсувi номерiв на 1 не змiнюються сумiснi функцiї розподiлу :

Fξ1,...,ξn(x1, ..., xn) = Fξ2,...,ξn+1

(x1, ..., xn), ∀xk ∈ R, ∀n ≥ 1.

Приклади(1) Послiдовнiсть незалежних однаково розподiлених випадкових вели-

чин (ζn, n ≥ 1) є строго стацiонарною..Дiйсно, сумiсна функцiя розподiлу


вектора (ζk+1, ..., ζk+n) дорiвнює n-кратному добутку функцiї розподiлуFζ1

i не залежить вiд k.

(2) Нехай (ζn, n ≥ 1) – послiдовнiсть незалежних однаково розподiле-них величин, а g : Rm → R довiльна борелєва функцiя. Тодi послiдовнiстьξn = g(ζn+1, ..., ζn+m) є строго стацiонарною. Дiйсно, сумiсна функцiя роз-подiлу вектора (ξk+1, ..., ξk+n) визначається сумiсною функцiєю розподiлувектора (ζk+2, ..., ζk+n+m), що не залежить вiд k згiдно з (1).

Вправа. Твердження попереднього прикладу залишається справедливим увипадку, коли (ζn, n ≥ 1) – довiльна строго стацiонарна послiдовнiсть.

Наведенi приклади свiдчать, що клас строго стацiонарних послiдовно-стей є суттєвим узагальненням класу незалежних однаково розподiленихвеличин, зокрема, мiстить також послiдовностi залежних величин.

Оскiльки послiдовнiсть ξ ≡ (ξn, n ≥ 1) – випадковий елемент у вимiр-ному просторi (R∞, B(R∞)) то вiдповiдна породжена сигма-алгебра маєвигляд σ[ξ] = ξ ∈ B, B ∈ B(R∞).

Означення. Оператором зсуву на просторi R∞ називається вiдобра-ження θx = (xn+1, n ≥ 1) : R∞ → R∞ для точок x = (xn, n ≥ 1) ∈ R∞.

Теорема (про критерiй строгої стацiонарностi). Послiдовнiсть ви-падкових величин ξ = (ξn) строго стацiонарна тодi й тiльки тодi, коли

IP(ξ ∈ B) = IP(θξ ∈ B), ∀B ∈ B(R∞).

Доведення. Достатнiсть отримуємо, враховуючи перше зауваження,пiдстановкою цилiндричних множин B = Jn(Bn), Bn ∈ B(Rn).

Необхiднiсть. Для цилiндричної множини B = Jn(Bn) умова теоремивиконується за означенням. Оскiльки ж обидвi частини наведеної рiвно-стi є сигма-адитивними мiрами за B, а борелєва сигма-алгебра B(R∞)породжується класом цилiндричних множин, то за теоремою Каратеодорiпро продовження мiри ця рiвнiсть виконується на B(R∞) ¡

Означення. Множина B ∈ B(R∞) називається iнварiантною, якщоB = θ(−1)(B). Клас усiх iнварiантних множин позначимо через I(R∞).

З властивостей прообразу θ(−1) виводимо, що клас iнварiантних мно-жин I(R∞) є сигма-алгеброю.

Приклади. Множини x : ∃ limn→∞ xn, x : lim(x1 + ... + xn)/n > 0,x :

∑n≥1 |xn| < ∞ є iнварiантними.

Означення. Випадкова подiя A ∈ σ[ξ] називається iнварiантною по-дiєю, якщо A = ξ ∈ B, де B ∈ I(R∞). Клас всiх iнварiантних подiй зσ[ξ] є сигма-алгеброю як прообраз I(R∞) i позначається через I[ξ].


Означення. Випадкова величина ζ називається iнварiантною величи-ною, якщо вона вимiрна вiдносно сигма-алгебри I[ξ].

Лема (про перетворення строго стацiонарної послiдовностi). Не-хай ξ = (ξn, n ≥ 1) – строго стацiонарна послiдовнiсть, A ∈ I[ξ] – iнварi-антна подiя, а g : R→ R – борелєва функцiя Тодi строго стацiонарноює послiдовнiсть суперпозицiй

ξ∗ = g(ξ)1IA ≡ (g(ξn)1IA, n ≥ 1).

Доведення. За означенням iнварiантних подiй A = ξ ∈ B, де B ∈I(R∞) – iнварiантна множина. Томуξ ∈ B = ξ ∈ θ(−1)(B) = θξ ∈ B.

Звiдси θξ∗ ≡ g(θξ)1IA = g(θξ)1Iξ∈B = g(θξ)1Iθξ∈B. Для довiльної мно-жини C ∈ B(R∞) позначимо D = x : g(x)1Ix∈B ∈ C ∈ B(R∞). Тодiξ∗ ∈ C = ξ ∈ D i внаслiдок строгої стацiонарностi ξ

IP(θξ∗ ∈ C) = IP(g(θξ)1Iθξ∈B ∈ C) = IP(θξ ∈ D) = IP(ξ ∈ D) = IP(ξ∗ ∈ C),

Шукане випливає з теореми про критерiй строгої стацiонарностi ¡

Теорема Бiркгофа – Хiнчина

Наступна теорема є певним узагальненням критерiю Колмогорова по-силеного закону великих чисел.

Теорема (теорема Бiркгофа – Хiнчина). Нехай ξ = (ξn, n ≥ 1) єстрого стацiонарною послiдовнiстю та iнтегровна : IE |ξ1| < ∞. Тодi дляпослiдовних сум Sn = ξ1 + ... + ξn має мiсце збiжнiсть

Sn / n →P1 IE(ξ1 | I[ξ]), n →∞.

Доведення спирається на таку теорему.Теорема (максимальна ергодична теорема Гарсiа). Нехай викону-

ються умови теореми Бiркгофа – Хiнчина. Визначимо випадкову подiюCn ≡ max1≤k≤n Sk > 0. Тодi IEξ11ICn ≥ 0, ∀n ≥ 1.

Доведення теореми Гарсiа.Позначимо µn = max0≤k≤n Sk, де S0 = 0. Тодi Cn = µn > 0, оскiльки

при виконаннi Cn максимум в означеннi µn не може досягатись при k = 0.Розглянемо одночасно з ξ послiдовнiсть ξ′ ≡ θξ = (ξn+1, n ≥ 1). По-

значимо через S ′n, µ′n аналогiчнi до Sn, µn величини, що будуються за по-слiдовнiстю ξ′. Унаслiдок строгої стацiонарностi та теореми про обчисле-ння ймовiрностей, пов’язаних iз випадковим вектором, випадковi вектори(Sk, k = 1, n) та (S ′k, k = 1, n) однаково розподiленi. Звiдси випливає, що


функцiї розподiлу величин µn та µ′n збiгаються, зокрема, IEµn = IEµ′n. Iнте-гровнiсть всiх розглянутих величин є наслiдком умови iнтегровностi ξ1 татеореми про обчислення математичного сподiвання функцiї вiд випадковоївеличини, оскiльки за властивiстю строгої стацiонарностi всi величини ξk

мають однаковi функцiї розподiлу.За означенням справедливi спiввiдношення

(ξ1 + µ′n)1ICn = (ξ1 + max0≤k≤n S ′k) 1ICn = (max0≤k≤n(ξ1 + S ′k))1ICn =

(max0≤k≤n Sk+1)1ICn ≥ (max1≤k≤n Sk)1ICn = µn1ICn ,

де остання рiвнiсть обґрунтована на початку доведення.З доведеної нерiвностi за монотоннiстю та лiнiйнiстю математичного

сподiвання отримуємо

IEξ11ICn ≥ IEµn1ICn − IEµ′n1ICn = IE(µn − µ′n)1Iµn>0 =

IE(µn − µ′n1Iµn>0) ≥ IE(µn − µ′n) = 0,

де передостання нерiвнiсть є наслiдком невiд’ємностi µ′n, а остання рiв-нiсть встановлена вище ¡

Доведення теореми. Розглянемо при x ∈ R подiї

Cx ≡ limn→∞Sn/n > x.Оскiльки верхня границя середнiх арифметичних вiд числової послi-

довностi не змiнюються при її зсувi, то θ(−1)Cx = Cx, звiдки виводимоiнварiантнiсть подiї: Cx ∈ I[ξ].

Нехай A – довiльна iнварiантна подiя: A ∈ I[ξ]. Розглянемо послiдов-нiсть випадкових величин

ξ∗ = (ξ − x)1IA∩Cx ≡ ((ξn − x)1IA∩Cx , n ≥ 1) .

За лемою про перетворення строго стацiонарної послiдовностi з фун-кцiєю g(y) = y − x та iнварiантною подiєю A ∩ Cx послiдовнiсть ξ∗ такожє строго стацiонарною.

Визначимо µ∗n = max0≤k≤n S∗k , S∗n =∑n

k=1 ξ∗k, C∗n = µ∗n > 0. Тодi

C∗n = A ∩ Cx ∩ max1≤k≤n(Sk − kx) > 0 = A ∩ Cx ∩ ∪n

k=1Sk > kx =

A ∩ Cx ∩ max1≤k≤n(Sk/k) > x ↑ A ∩ Cx ∩ supk≥1(Sk/k) > x = A ∩ Cx,

при n →∞, де остання рiвнiсть випливає з означення Cx.З максимальної ергодичної теореми Гарсiа, що застосована до послi-

довностi ξ∗ та подiї C∗n = µ∗n > 0, виводимо нерiвнiсть IEξ∗11IC∗n ≥ 0.

Оскiльки C∗n ↑ A ∩ Cx, то ξ∗11IC∗n → ξ∗11IA∩Cx , n → ∞, причому збiжнiсть є


мажоровано iнтегровною: |ξ∗11IA∩Cx| ≤ |ξ1 − x| . Тому за теоремою Лебегапро мажоровану збiжнiсть внаслiдок наведеної вище нерiвностi отримує-мо нерiвнiсть IEξ∗11IA∩Cx = limn→∞ IEξ∗11IC∗n ≥ 0

Отже, за означенням ξ∗1 ≡ ξ1 − x має мiсце нерiвнiсть

IEξ11IA∩Cx ≥ xIP(A ∩ Cx), ∀A ∈ I[ξ].

Розглядом послiдовнiсть випадкових величин ξ∗ = (y− ξ)1IA∩Dy з iнва-рiантною подiєю Dy ≡ limn→∞Sn/n < y, аналогiчно виводимо, що

IEξ11IA∩Dy ≤ yIP(A ∩Dy), ∀A ∈ I[ξ].

Оберемо x > y та пiдставимо в першу з наведених нерiвностей iнва-рiантну подiю A = Dy, а у другу – A = Cx. У результатi отримаємо такiнерiвностi:

xIP(Cx ∩Dy) ≤ IEξ11ICx∩Dy ≤ yIP(Cx ∩Dy).

Оскiльки x > y, з цiєї нерiвностi виводимо, що IP(Cx ∩Dy) = 0.Розглянемо подiю E = ∃ limn→∞ Sn/n. Її доповнення має вигляд

E = limn→∞Sn/n < limn→∞Sn/n = ∪y<x, x,y∈QDy ∩ Cx,

де Q – множина рацiональних чисел. Тому за напiвадитивнiстю ймовiр-ностi IP(E) = 0 та IP(E) = 1. Оскiльки клас iнварiантних подiй є сигма-алгеброю, i Cx ∩Dy ∈ I[ξ], то E ∈ I[ξ].

Крiм того, випадкова величина limn→∞Sn/n також є iнварiантною ве-личиною, як доведено вище. Тому добуток

ζ ≡ 1IElimn→∞Sn/n = 1IE limn→∞ Sn/n

є iнварiантною випадковою величиною та до того ж визначений коректнодля всiх ω ∈ Ω, оскiльки границя у правiй частинi iснує для всiх ω ∈ E.

Залишається довести, що ζ = IE(ξ1 | I[ξ]) м.н.Для цього зафiксуємо iнварiантну подiю: B ∈ I[ξ] та пiдставимо у

отриманi вище нерiвностi A = B ∩ ζ > x та A = B ∩ ζ < y вiдповiдно.За означенням ζ подiї ζ > x та Cx вiдрiзняються лише на пiдмножинуE, що має нульову ймовiрнiсть. Тому з першої нерiвностi виводимо привсiх B ∈ I[ξ]

IEξ11IB∩ζ>x = IEξ11IB∩ζ>x∩Cx ≥xIP(B ∩ ζ > x ∩ Cx) = xIP(B ∩ ζ > x).

Аналогiчно з другої нерiвностi отримуємо

IEξ11IB∩ζ<y = IEξ11IB∩ζ<y∩Dy ≤yIP(B ∩ ζ < y ∩Dy) = yIP(B ∩ ζ < y).


Нехай ε > 0. Позначимо ∆k = (kε, kε+ε] при k ∈ Z. Оскiльки величинаζ – iнварiантна, з першої вищенаведеної нерiвностi для A ∈ I[ξ] маємо

IEζ1IA =∑

k∈ZIEζ1IA∩ζ∈∆k ≤

∑k∈Z

IE(kε + ε)1IA∩ζ∈∆k =

∑k∈Z

kεIP(A ∩ ζ ∈ ∆k ∩ ζ > kε) + εIP(A) ≤∑

k∈ZIEξ11IA∩ζ∈∆k∩ζ>kε + ε =

∑k∈Z

IEξ11IA∩ζ∈∆k = IEξ11IA + ε,

де враховано також нерiвнiсть ζ1Iζ∈∆k ≤ (kε + ε)1Iζ∈∆k та включенняподiй ζ ∈ ∆k ⊂ ζ > kε.

Аналогiчно, внаслiдок вибору ∆k = [kε− ε, kε) та використання другоїз попереднiх нерiвностей для всiх A ∈ I[ξ] отримуємо

IEζ1IA ≥ IEξ11IA − ε.

Враховуючи довiльнiсть ε > 0, виводимо з обох останнiх нерiвностейтотожнiсть IEζ1IA = IEξ11IA, ∀A ∈ I[ξ]. Вимiрнiсть ζ вiдносно сигма-алгебри I[ξ] встановлена вище. Отже, випадкова величина ζ задоволь-няє умови означення умовного математичного сподiвання вiдносно сигма-алгебри. Тому рiвнiсть ζ = IE(ξ1 | I[ξ]) м.н. випливає з теореми проiснування та єдинiсть умовного математичного сподiвання ¡

Ергодичнiсть

Границя у теоремi Бiркгофа-Хiнчина є випадковою величиною. Випа-док, коли ця границя майже напевне є сталою (що збiгається з певнимматематичним сподiванням), можна трактувати так: асимптотичне сере-днє за часом дорiвнює середньому за фазовим простором. Останню вла-стивiсть називають ергодичною властивiстю.

Означення. Строго стацiонарна послiдовнiсть ξ = (ξn, n ≥ 1) єергодичною, якщо вiдповiдна сигма-алгебра iнварiантних подiй є виро-дженою: ∀A ∈ I[ξ] IP(A) ∈ 0, 1.

Теорема (ергодична теорема для строго стацiонарної послiдовно-стi). Нехай ξ = (ξn, n ≥ 1) – строго стацiонарна ергодична послiдовнiсть,а борелєва функцiя g : R→ R така, що IE |g(ξ1)| < ∞. Тодi

n−1∑n

k=1g(ξk) → IEg(ξ1), n →∞, м.н.

Доведення. Розглянемо послiдовнiсть η = g(ξ) ≡ (g(ξn), n ≥ 1). Затеоремою про перетворення строго стацiонарної послiдовностi η – також


строго стацiонарна. Крiм того, за означенням iнварiантних подiй

I[η] ≡ η ∈ B, B ∈ I[R∞] = ξ ∈ g(−1)(B), B ∈ I[R∞] ⊂ I[ξ],

оскiльки g(−1)(B) ∈ I[R∞]. Тому послiдовнiсть η одночасно є ергодичноюта iнтегровною за умовою теореми. Отже, за теоремою Бiркгофа-Хiнчина

n−1∑n

k=1ηk →P1 ζ ≡ IE(η1 | I[η]).

Останнє умовне математичне сподiвання майже напевне збiгається зiсталою IEη1, оскiльки вона вимiрна вiдносно сигма-алгебри I[η] та внаслi-док включення IP(C) ∈ 0, 1 задовольняє умову балансу (б) з означенняумовного математичного сподiвання : IEη11IC = IE((IEη1)1IC),∀C ∈ I[η] ¡

Вправи(1) Довести, що iнварiантнi множини належать залишковiй сигма-алгебрi:

I(R∞) ⊂ ∩n≥1(Rn ×B(R∞)).(2) Перевiрити, що твердження теореми Бiркгофа-Хiнчина виконується при

розширеннi сигма-алгебри I[ξ] на клас всiх випадкових подiй нульової ймовiр-ностi: I[ξ, IP] = A ∈ F : ∃B ∈ I[ξ], IP(A∆B) = 0.

(3) Вивести з теореми про закон нуля та одиницi Колмогорова ергодичнiстьпослiдовностi незалежних випадкових величин.

(4) Довести твердження ергодичної теореми для послiдовностi випадковихвеличин ηn = g(ξn, ξn+1, ..., ξn+m−1), що утворена строго стацiонарною ергоди-чною послiдовнiстю ξ та борелєвою функцiєю g : Rm → R.

(5) Для строго стацiонарної послiдовностi (ξn, n ≥ 1) виконується при всiхk, l ≥ 1, B ∈ B(Rk), C ∈ B(Rl) така умова перемiшування при n →∞ :

IP((ξ1, ..ξk) ∈ B, (ξn+1, ..ξn+l) ∈ C) → IP((ξ1, ..ξk) ∈ B)IP((ξ1, ..ξl) ∈ C),Довести, що дана послiдовнiсть ергодична. Вивести звiдси ергодичнiсть послi-довностi незалежних однаково розподiлених величин.

(6) Для строго стацiонарної послiдовностi (ξn, n ≥ 1) залишкова сигма-алгебра limn→∞σ[ξn] ≡ ∩n≥1σ[ξk, k ≥ n] мiстить лише подiї нульової чи одини-чної ймовiрностi. Довести, що дана послiдовнiсть ергодична.

(7) Строго стацiонарна послiдовнiсть (ξn, n ≥ 1) є гауссовою (тобто будь-яка скiнченна її пiдпослiдовнiсть є нормальним вектором), причому IEξn = 0 таIEξnξn+k = r(k) → 0, k →∞. Довести, що ця послiдовнiсть є ергодичною.

(8) Навести приклад строго стацiонарної не ергодичної послiдовностi.(9) Нехай iмовiрнiсний простiр (Ω,F, IP) = ((0, 1],B(0, 1], µ), де мiра µ має

вигляд µ(B) = (ln 2)−1rB(1+x)−1dx, функцiя a(x) = x−1−[x−1] при x ∈ (0, 1].

Тодi послiдовнiсть n-кратних суперпозицiй ξn(x) = [a(a(...a(x)...))] є строгостацiонарною (ξn(x) є n-м елементом у розкладi x у неперервний дрiб).

2.8. Уточнення центральної граничної теореми 221

2.8. Уточнення центральної граничноїтеореми

Центральну граничну теорему можна уточнити у напрямку дослiдже-ння швидкостi збiжностi функцiї розподiлу центрованих та нормованихсум незалежних величин при необмеженому зростаннi числа доданкiв.

2.8.1. Розклад Еджуорта в центральнiйграничнiй теоремi

Розглянемо послiдовнiсть (ξn, n ≥ 1) незалежних однаково розподiле-них величин, що є центрованими та нормованими: IEξn = 0, IDξn = 1. Тодiза класичною центральною граничною теоремою суми Sn = ξ1 + ... + ξn

пiсля нормування слабко збiгаються до стандартної нормальної величини:Sn/

√n →W ζ ' N(0, 1), n → ∞. Це твердження еквiвалентне поточковiй

збiжностi вiдповiдних функцiй розподiлу Fn(x) → Φ(x), ∀x ∈ R. Дана збi-жнiсть широко використовується, зокрема, у статистицi. Тому важливимиє питання про швидкiсть збiжнiсть у наведеному спiввiдношеннi, а такожпро можливiсть прискорення збiжностi. Цим питанням присвячений да-ний роздiл.

Для спрощення буде розглянуто локальну центральну граничну тео-рему, в якiй йдеться про збiжнiсть щiльностей. Доведення спирається наметод характеристичних функцiй, та такi леми.

Лема (про розклад логарифму характеристичної функцiї). Нехайвеличина ξ має характеристичну функцiю ϕ(s) = IE exp(isξ) та скiн-ченнi моменти µk = IEξk, k = 1, 3, IE |ξ|3 < ∞. Тодi

ln ϕ(s) = isσ1 + (is)2σ2/2 + (is)3σ3/6 + o(s3), s → 0,

де коефiцiєнти σk називаються семiiнварiантами (кумулянтами) вели-чини ξ i мають вигляд:

σ1 = µ1 = IEξ, σ2 = µ2 − µ21 = IDξ, σ3 = µ3 − 3µ2µ1 + 2µ3

1 = IE(ξ − µ1)3.

Доведення. Так само, як i в теоремi про властивостi характеристичноїфункцiї, з абсолютної iнтегровностi IE |ξ|3 < ∞ на пiдставi вiдповiдногорозкладу Тейлора функцiї exp(isx) виводимо зображення

ϕ(s) = 1 + isµ1 + (is)2µ2/2 + (is)3µ3/6 + o(s3), s → 0.


Звiдси, зокрема, ϕ(s) − 1 → 0. Пiсля застосування формули розкладуln(1+z) = z−z2/2+z3/3+o(z3), z → 0, у точцi z = ϕ(s)−1 та пiдстановкиу результат наведеного вище зображення отримуємо шуканий розклад ¡

Лема (про характеристичну функцiю абсолютно неперервного роз-подiлу). Нехай ξ1 – абсолютно неперервна величина з щiльнiстю f1 iхарактеристичною функцiєю ϕ. Тодi

θ(ε) ≡ sup|s|≥ε |ϕ(s)| < 1, ∀ε > 0.

Доведення. За теоремою про основнi властивостi характеристичноїфункцiї |ϕ(s)| ≤ 1. Тому θ(ε) ≤ 1. Припустимо, що θ(ε) = 1. За лемоюРiмана – Лебега про перетворення Фур’є вiд iнтегровної функцiї f1(x)має мiсце збiжнiсть ϕ(s) → 0, |s| → ∞. До того ж ϕ ∈ Cb(R). Тому верхнямежа в означеннi θ(ε) = 1 має досягатись для деякого s з |s| ≥ ε.

З рiвняння |ϕ(s)| = 1 виводимо, що ϕ(s) exp(iα) = 1 для α ∈ R. Тому

0 = 1− Re(ϕ(s) exp(iα)) =w ∞−∞

(1− cos(sx + α))f1(x)dx ≥ 0.

Оскiльки s 6= 0, то функцiя 1− cos(sx + α) > 0 для майже всiх x за мiроюЛебега. Тому з останньої рiвностi випливає, що f1(x) = 0 майже всюди,що суперечить визначенню щiльностi розподiлу ¡

Теорема (про розклад Еджуорта). Нехай (ξn, n ≥ 1) – незалежнiоднаково розподiленi випадковi величини, IEξ1 = 0, IDξ1 = 1, IE |ξ1|3 < ∞i IEξ3

1 = µ3. Припустимо також, що характеристична функцiя одногододанка ϕ(t) ≡ IE exp(itξ1) абсолютно iнтегровна:

rR |ϕ(t)| dt < ∞.

Тодi щiльнiсть fn(x) нормованих сум Sn/√

n = (ξ1 + ... + ξn)/√

nзадовольняє асимптотичне зображення

fn(x) = u(x) + u(x)(x3 − 3x)µ3/6√

n + o(1/√

n), n →∞,

рiвномiрно за x ∈ R, де u(x) = (2π)−1/2 exp(−x2/2) – щiльнiсть стандар-тного нормального розподiлу.

Зауваження. Iснування щiльностi fn випливає за теоремою про фор-мулу обертання для характеристичної функцiї з умови iнтегровностi ха-рактеристичної функцiї. Останню умову можна послабити.

Зауваження. З теореми Еджуорта можна зробити висновок: швидкiстьзбiжностi у центральнiй граничнiй теоремi за скiнченностi третього мо-менту IE |ξ1|3 дорiвнює O(1/

√n), i врахування поправки Еджуорта (другий

доданок у правiй частинi) дозволяє пiдвищити вказану швидкiсть. Можнадовести, що за скiнченностi четвертого моменту зазначений пiдвищенийпорядок (третiй доданок) дорiвнює O(1/n).


Доведення. Позначимо через ϕn(t) = IE exp(itSn/√

n) – характеристи-чну функцiю нормованої суми. За теоремою про властивостi характери-стичної функцiї w ∞

−∞exp(itx)fn(x)dx ≡ ϕn(t) = ϕn(t/

√n).

Розглянемо характеристичну функцiю v(t) = exp(−t2/2) стандартногонормального розподiлу, що визначається з рiвностi

v(t) =w ∞−∞

exp(itx)u(x)dx.

Диференцiюванням за t з цiєї рiвностi отримуємо тотожнiсть

v′′′(t) + 3v′(t) =w ∞−∞

exp(itx)(−ix3 + 3ix)u(x)dx.

Звiдси виводимо, що для всiх t ∈ Rw ∞−∞

exp(itx)(x3 − 3x)u(x)dx = i(−t3 + 3t− 3t)v(t) = (it)3v(t).

Позначимо через

∆n(x) = fn(x)− u(x)− (x3 − 3x)u(x)µ3/6√

n

рiзницю мiж доданками лiвої та правої частин зображення теореми. Твер-дження теореми еквiвалентне зображенню ∆n(x) = o(1/

√n), при n → ∞,

рiвномiрно за x.Визначимо функцiю

δn(t) ≡ ϕn(t/√

n)− v(t)− (it)3v(t)µ3/6√

n.

Унаслiдок лiнiйностi iнтеграла в означеннi характеристичної функцiї, зпопереднiх тотожностей робимо висновок, що

δn(t) =w ∞−∞

exp(itx)∆n(x)dx,

де функцiю ∆n(x) визначено вище.За очевидним узагальненням теореми про формулу обертання для ха-

рактеристичної функцiї, (б), враховуючи умову iнтегровностi характери-стичної функцiї, з останньої тотожностi виводимо спiввiдношення

∆n(x) = (2π)−1w ∞−∞

exp(−itx)δn(t)dt.

Тим самим доведення теореми зводиться до задачi оцiнювання iнте-грала в нерiвностi

supx∈R |∆n(x)| ≤ (2π)−1w ∞−∞

|δn(t)| dt.


Для оцiнки iнтегралу у правiй частинi зафiксуємо довiльне ε > 0.Позначимо iнтервал Tn = t : |t| < ε

√n та iнтеграли

In ≡w ∞−∞

|δn(t)| dt =w

Tn

|δn(t)| dt +w

Tn

|δn(t)| dt ≡ I1n + I2n.

З означення I1n та δn(t) виводимо для деякої сталої c спiввiдношення

I1n ≤rTn|ϕn(t/

√n)| dt +

rTn|v(t)| (1 + c |t|3)dt ≤

supt∈Tn|ϕn−1(t/

√n)| r

Tn|ϕ(t/

√n)| dt +

rTn|v(t)| (1 + c |t|3)dt ≤

θn−1(ε)√

nrR |ϕ(s)| ds + O(exp(−ε2n/3)) = O(ρn(ε)), n →∞,

для довiльного ρ(ε) ∈ (max(θ(ε), exp(−ε2/3), 1). Тут величина θ(ε) < 1 залемою про характеристичну функцiю абсолютно неперервного розподiлу.

З метою оцiнки I2n позначимо

β(s) ≡ ln ϕ(s) + s2/2, γ(s) ≡ ln ϕ(s) + s2/2− (is)3µ3/6.

За лемою про розклад логарифму характеристичної функцiї справе-дливi такi зображення:

β(s) = O(s3), γ(s) = o(s3), s → 0,

оскiльки внаслiдок умов µ1 = 0, µ2 = 1 вiдповiднi семiiнварiанти у вказа-нiй лемi дорiвнюють σ1 = 0, σ2 = 1, σ3 = µ3.

За означенням функцiй u, v та β, γ

I2n =rTn

v(t) |exp(nβ(t/√

n))− 1− (it)3µ3/6√

n| dt =rTn

v(t) |exp(nβ(t/√

n))− 1− nβ(t/√

n) + nγ(t/√

n)| dt ≤rTn

v(t) |exp(nβ(t/√

n))− 1− nβ(t/√

n)| dt +rTn

v(t) |nγ(t/√

n)| dt ≤rTn

v(t) |nβ(t/√

n)|2 exp(n |β(t/√

n)|)dt +rTn

v(t)n |γ(t/√

n)| dt ≡ I21n + I22n,

де використана елементарна нерiвнiсть для експоненти на комплекснiйплощинi |exp(z)− 1− z| ≤ |z|2 exp(|z|).

Оскiльки в областi t ∈ Tn виконується нерiвнiсть |t| /√n ≤ ε, таβ(s) = O(s3), s → 0, то n |β(t/

√n)| ≤ nC1(|t| /

√n)3 ≤ C1t

2ε для деякої ста-лої C1. Отже, для всiх досить малих ε > 0 показник пiд знаком експонентив означеннi I21n задовольняє нерiвнiсть n |β(t/

√n)| ≤ t2/3. З урахуванням

вище наведеної нерiвностi для цього ж показника отримуємо

I21n ≤rTn

v(t)n2C21(|t| /√n)6 exp(t2/3)dt ≤

n−1C21

rR t6 exp(−t2/6) = O(1/n), n →∞.


Нарештi, для оцiнки I22n розглянемо функцiю τ(ε) = sup|s|≤ε |γ(s)/s3| .Оскiльки γ(s) = o(s3), s → 0, то τ(ε) → 0, ε → 0. З урахуванням означенняτ та оцiнки |t| /√n ≤ ε при t ∈ Tn виводимо нерiвнiсть

I22n ≤w

Tn

v(t)n∣∣t/√n

∣∣3 τ(ε)dt ≤ C2τ(ε)/√

n.

Остаточно з нерiвностей для In, I1n, I2n, I21n, I22n отримуємо при кожно-му ε > 0 нерiвнiсть

limn→∞√

nIn ≤ limn→∞√

n(In1 + I21n + I22n) ≤limn→∞

√n (O(ρn(ε)) + O(1/n) + C2τ(ε)) = C2τ(ε),

де враховано, що ρ(ε) < 1. Оскiльки лiва частина нерiвностi не залежитьвiд ε, а τ(ε) = o(1), ε → 0, звiдси виводимо, що limn→∞

√nIn = 0. Отже,

In = o(1/√

n), n →∞ ¡Вправи(1) Вивести з нерiвностей при t ∈ R∣∣exp(it)−∑n

k=0(it)k/k!

∣∣ ≤ min(2 |t|n /n!, |t|n+1 /(n + 1)!)вiдповiднi нерiвностi для характеристичної функцiї ϕξ(t) = IE exp(itξ).

(2) Нехай (ξn, n ≥ 1) – незалежнi однаково розподiленi випадковi величиниз IEξ1 = 0, IDξ1 = 1 та абсолютно iнтегровною на R характеристичною фун-кцiєю ϕ. Тодi щiльнiсть fn(x) нормованих сум Sn/

√n задовольняє локальну

центральну граничну теорему: fn(x) → u(x), n →∞, рiвномiрно за x.

2.8.2. Нерiвнiсть Беррi-Ессеєна

Асимптотичний розклад Еджуорта для розподiлу сум незалежних ве-личин має якiсний характер: вiн встановлює порядок швидкостi збiжностiO(1/

√n) при n →∞, однак не мiстить чисельних границь для вiдповiдно-

го множника при 1/√

n. Нерiвнiсть Беррi-Ессеєна закриває цю прогалину.Доведення вказаної нерiвностi, як i теореми Еджуорта, спирається

на метод характеристичних функцiй – оскiльки характеристична фун-кцiя суми незалежних величин є значно простiшим об’єктом, нiж фун-кцiя розподiлу. Мiж простором функцiй розподiлу та простором хара-ктеристичних функцiй за теоремою про однозначну вiдповiднiсть мiжфункцiями розподiлу та характеристичними функцiями iснує взаємнооднозначна вiдповiднiсть. За теоремою Левi про критерiй слабкої збiжно-стi ця вiдповiднiсть є неперервною, якщо збiжнiсть функцiй розподiлує слабкою збiжнiстю, а збiжнiсть характеристичних функцiй визначити


як поточкову збiжнiсть. Тому доведення потрiбної нерiвностi проводи-ться у два етапи: (а) оцiнюється модуль неперервностi вказаного вiд-ображення, що зводиться до певного спiввiдношення мiж вiдповiднимиметриками у просторах функцiй розподiлу та характеристичних функцiй,(б) оцiнюється близькiсть у обранiй метрицi характеристичних функцiйсуми незалежних величин та стандартної нормальної величини.

Перший iз перерахованих етапiв становить предмет такої нерiвностi.Теорема (про спiввiдношення метрик у просторах функцiй розпо-

дiлу та характеристичних функцiй). Нехай F, G – функцiї розподiлуз характеристичними функцiями ϕ, γ вiдповiдно, причому G має обме-жену щiльнiсть g(x) ≤ m, ∀x ∈ R. Тодi для кожного T > 0 :

supx∈R |F (x)−G(x)| ≤ 1

π

w T

−T

∣∣∣∣ϕ(t)− γ(t)

t

∣∣∣∣ dt +24m

πT.

Зауваження. З даної нерiвностi випливає, зокрема, достатнiсть у те-оремi Левi про критерiй слабкої збiжностi. Дiйсно, якщо ϕn(t) → γ(t)поточково, а вiдповiдна функцiя розподiлу G задовольняє наведенi умо-ви, то вибором досить великого T з подальшим вибором n праву частинунерiвностi можна зробити як завгодно малою. Однак цiннiсть даної те-ореми значно бiльша, оскiльки вона дає можливiсть оцiнити швидкiстьзбiжностi кiлькiсно.

Доведення теореми спирається на таку лему.Лема (про нерiвнiсть згладжування). Нехай функцiї розподiлу F, G

такi ж, як i у теоремi про спiввiдношення метрик у просторах фун-кцiй розподiлу та характеристичних функцiй, ∆(x) ≡ F (x) − G(x), WT –функцiя розподiлу з параметром T > 0 та щiльнiстю

wT (x) = (1− cos(Tx))/πTx2, x ∈ R,

а функцiя ∆T (x) дорiвнює рiзницi згорток функцiй розподiлу :

∆T (x) = ∆ ∗WT (x) ≡wR

∆(x− y)wT (y)dy =wR

F (x− y)dWT (y)−wR

G(x− y)dWT (y).

Тодi справедлива нерiвнiсть

supx∈R |∆(x)| ≤ 2 supx∈R |∆T (x)|+ 24m / πT.

Доведення. Позначимо δ ≡ supx∈R |∆(x)| . Можна вважати, що δ > 0.Оскiльки ∆(±∞) = 0, а функцiя ∆ має границi справа та злiва ∆(x± 0),то знайдеться x0 ∈ R таке, що |∆(x0 − 0)| = δ або ж |∆(x0 + 0)| = δ.


Припустимо, що ∆(x0 − 0) = δ. Iншi випадки вигляду ∆(x0 ± 0) = ±δрозглядаються аналогiчно.

Нехай s ≥ 0. Тодi

∆(x0 + s) = F (x0 + s)−G(x0 + s) =

F (x0)−G(x0) + F (x0 + s)− F (x0)−G(x0 + s) + G(x0) ≥δ + 0− r x0+s

x0g(y)dy ≥ δ − r x0+s

x0m dy = δ −ms.

Визначимо h ≡ δ/2m, x ≡ x0+h, y ≡ h−s. Тодi з попередньої нерiвностiвиводимо, що при s ∈ [0, 2h]

∆(x− y) = ∆(x0 + s) ≥ δ −ms = δ/2 + my, ∀y : |y| ≤ h.

За означенням δ

∆(x− y) ≥ −δ, ∀y : |y| > h.

З останнiх двох нерiвностей отримуємо

∆T (x) =r|y|≤h

∆(x− y)wT (y)dy +r|y|>h

∆(x− y)wT (y)dy ≥r|y|≤h

(δ/2 + my)wT (y)dy − δr|y|>h

wT (y)dy =

δ/2− 3δry>h

wT (y)dy ≥ δ/2− 3δry>h

2(πTy2)−1dy =

δ/2− 6δ/πTh = δ/2− 12m/πT.

Звiдси за означенням величини δ та верхньої межi

supx∈R |∆T (x)| ≥ supx∈R |∆(x)| /2− 12m/πT ¡Доведення теореми. Будемо використовувати позначення, що мiстя-

ться у доведеннi леми.Розглянемо такi перетворення Фур’є функцiй обмеженої варiацiї:

δT (t) =w ∞−∞

exp(itx)d∆T (x), $T (t) =w ∞−∞

exp(itx)dWT (x).

Оскiльки ∆T за означенням є рiзницею згорток: ∆T = F ∗WT −G∗WT ,то за теоремою про властивостi характеристичної функцiї

δT (t) = ϕ(t)$T (t)− γ(t)$T (t) = (ϕ(t)− γ(t))$T (t),

де враховане означення ∆T та лiнiйнiсть iнтеграла.Нескладнi обчислення з використанням теореми про формулу обер-

тання для характеристичної функцiї призводять до такого виразу дляхарактеристичної функцiї $T (t) :

$T (t) = (1− |t| /T )1I|t|≤T .


Звiдси, зокрема, робимо висновок, що функцiя δT (t) дорiвнює нулюпри |t| > T, а отже, iнтегровна на R. Тому за теоремою про формулу обер-тання для характеристичної функцiї, (б), функцiя ∆T (x) має щiльнiсть∆′

T (x), яка дорiвнює

∆′T (x) = (2π)−1

w ∞−∞

exp(−itx)δT (t)dt = (2π)−1w T

−Texp(−itx)δT (t)dt.

Можна вважати, що функцiя (ϕ(t) − γ(t))/t iнтегровна в околi нуля,iнакше права частина нерiвностi згладжування є нескiнченною. За цьогоприпущення розглянемо функцiю

∆T (x) = (2π)−1w T

−Texp(−itx)(−it)−1δT (t)dt.

Оскiльки її похiдна за x дорiвнює iнтегралу вiд похiдної, що абсо-лютно збiгається, причому ця похiдна збiгається з щiльнiстю ∆′

T (x), тосправедлива тотожнiсть ∆T (x) = ∆T (x) для всiх x, враховуючи рiвнiстьпочаткових значень ∆T (−∞) = ∆T (−∞) = 0.

Тому з останнього зображення виводимо, що

supx∈R |∆T (x)| ≤ (2π)−1w T

−T

∣∣δT (t)t−1∣∣ dt ≤ (2π)−1

w T

−T|(ϕ(t)− γ(t))/t| dt,

де використано зображення для δT (t) та нерiвнiсть |$T (t)| ≤ 1.Пiсля пiдстановки останньої нерiвностi у твердження леми про нерiв-

нiсть згладжування отримуємо нерiвнiсть теореми ¡Теорема (про нерiвнiсть Беррi – Ессеєна). Нехай (ξn) – послiдов-

нiсть незалежних однаково розподiлених випадкових величин, що цен-трованi i нормованi: IEξ1 = 0, IDξ1 = 1 та ρ ≡ IE

∣∣ξ31

∣∣ < ∞. Тодi дляфункцiї розподiлу Fn(x) = IP((ξ1 + ...+ ξn)/

√n < x) має мiсце нерiвнiсть

supx∈R |Fn(x)− Φ(x)| < 33

4

ρ√n

,

де Φ є функцiєю стандартного нормального розподiлу.Зауваження. Абсолютну сталу 33/4 у правiй частинi можна зменшити

за рахунок бiльш точних оцiнок. Зокрема, вiдомий росiйський математикВ.М. Золотарьов довiв таку нерiвнiсть з константою 0.91. Однак з розкла-ду Еджуорта випливає, що швидкiсть збiжностi O(n−1/2) без додатковихумов посилити не можна.

Доведення. Позначимо через ϕ та ϕn характеристичнi функцiї вели-чин ξ1 та (ξ1 + ... + ξn)/

√n вiдповiдно, через γ(t) = exp(−t2/2) – характе-

ристичну функцiю стандартного нормального розподiлу. За теоремою провластивостi характеристичної функцiї ϕn(t) = ϕn(t/

√n).


Для доведення теореми скористаємося теоремою про спiввiдношенняметрик у просторах функцiй розподiлу та характеристичних функцiй, уякiй оберемо F ≡ Fn, G ≡ Φ, ϕ ≡ ϕn, γ ≡ γ, T =

√n/ρ, та m = G′(0) =

1/√

2π. З цiєї теореми отримуємо нерiвнiсть

supx∈R |Fn(x)− Φ(x)| ≤ π−1In +24

π√

2π

ρ√n

,

де In =w T

−T

∣∣(ϕn(t/√

n)− γ(t))t−1

∣∣ dt =w T

−Tγ(t) |t|−1

∣∣exp(nβ(t/√

n))− 1∣∣ dt,

а функцiя β(s) ≡ ln ϕ(s) + s2/2.Зазначимо, що 1 = IDξ1 = IEξ2

1 ≤ (IE |ξ1|3)2/3 = ρ2/3 внаслiдок нерiвностiЛяпунова, звiдки ρ ≥ 1.

Далi, з елементарних нерiвностей

|exp(iy)− 1− iy| ≤ y2/2,∣∣exp(iy)− 1− iy + y2/2

∣∣ ≤ |y|3 /6

при y = sξ1 обчисленням математичного сподiвання та врахуванням цен-трованостi i нормованостi величини ξ1 виводимо, що

|ϕ(s)− 1| ≤ s2/2,∣∣ϕ(s)− 1 + s2/2

∣∣ ≤ ρ |s|3 /6.

Звiдси при |s| ≤ 1/ρ ≤ 1 з розкладу логарифмiчної функцiї у рядТейлора отримуємо

|β(s)| = |ln ϕ(s) + s2/2| =∣∣ϕ(s)− 1 + s2/2−∑

n≥2(1− ϕ(s))n/n∣∣ ≤

ρ |s|3 /6 +∑

n≥2 s2n/2n+1 = ρ |s|3 /6 + s4/(8(1− s2/2)) ≤ρ |s|3 /6 + s4/4 ≤ ρ |s|3 /6 + ρ |s|3 /4 = 5

12ρ |s|3 ≤ 5

12s2.

З використанням останньої та передостанньої оцiнки для |β(s)| при s =t/√

n та нерiвностi |exp(z)− 1| ≤ |z| exp(|z|) при z = nβ(t/√

n) оцiнимододанок In, що визначений вище:

In ≤r T

−Tγ(t) |t|−1 |nβ(t/

√n)| exp(|nβ(t/

√n)|)dt ≤

r T

−Tγ(t) |t|−1 n 5

12ρ |t|3 n−3/2 exp(n 5

12t2n−1)dt =

ρ√n

512

r T

−Tt2 exp(− 1

12t2)dt ≤ ρ√

n512

rR t2 exp(− 1

12t2)dt = ρ√

n5√

3π.

Остаточно з нерiвностi на початку доведення виводимо, що

supx∈R |Fn(x)− Φ(x)| ≤ ρ√n

(5√

3π

π+

24

π√

2π

)<

33

4

ρ√n

¡


Вправи(1) Довести, що абсолютна стала у правiй частинi нерiвностi Беррi-Ессеєна не

менша за (2π)−1/2 ≈ 0.3989. Вказiвка: обрати випадковi величини з розподiломIP(ξn = ±1) = 1/2 та довести, що при n = 2k для таких величин має мiсцезображення: Fn(0)− Φ(0) = (2πn)−1/2 + o(n−1/2), n →∞.

(2) Випадковi величини (ξn, n ≥ 1) незалежнi , IEξn = 0, σ2n ≡

∑nk=1 IEξ2

k,

та IE |ξn|2+δ < ∞ при δ ∈ (0, 1]. Довести для деякої сталої A нерiвнiстьsupx∈R |IP((ξ1 + ... + ξn)/σn < x)− Φ(x)| ≤ Aσ−2−δ

n

∑nk=1 IE |ξk|2+δ .

2.9. Нескiнченно подiльнi розподiли

2.9.1. Означення нескiнченної подiльностi

У граничнiй теоремi Пуассона для стандартних серiй доведено, щограничним розподiлом для сум незалежних величин може виступати нетiльки нормальний розподiл. У зв’язку з цим виникає питання про те, якiж саме розподiли можуть бути граничними. Наступне означення визначаєтакi граничнi розподiли для сум серiй незалежних та однаково розподiле-них величин.

Означення. Випадкова величина ζ та її характеристична функцiяϕ називаються нескiнченно подiльними, якщо для кожного n ≥ 1 зна-йдеться послiдовнiсть (ξnk, k = 1, n) незалежних однаково розподiленихвеличин зi спiльною характеристичною функцiєю ϕn, причому

ξn1 + ... + ξnn →W ζ, n →∞,

або ж, що еквiвалентно, ϕnn(t) → ϕ(t), n →∞,∀t ∈ R.

Згадана еквiвалентнiсть є очевидним наслiдком теореми Левi про кри-терiй слабкої збiжностi.

Зауваження. Можна довести, що замiна умови однакової розподiле-ностi в означеннi нескiнченно подiльного розподiлу на умову рiвномiрноїмалостi: max1≤k≤n ξnk →P 0, n →∞, веде до еквiвалентного означення.

2.9.2. Канонiчнi мiри

Означення. Сигма-скiнченна мiра µ на B(R) є канонiчною, якщо:(а) µ(I) < ∞ для кожного обмеженого iнтервалу I ⊂ R,

(б)r|x|≥1

x−2µ(dx) < ∞.

2.9. Нескiнченно подiльнi розподiли 231

Наприклад, мiра Лебега є канонiчною. Наведенi двi умови еквiвалентнiоднiй умовi

rR(1 + x2)−1µ(dx) < ∞.

Визначимо такий клас неперервних функцiй:

Cb2(R) =g ∈ C(R) : supx∈R(1 + x2) |g(x)| < ∞

.

Зауважимо, що за означенням iнтегралrR g(x)µ(dx) коректно визначе-

ний для кожної канонiчної мiри µ та кожної функцiї g ∈ Cb2(R).

Природним є узагальнення слабкої збiжностi ймовiрнiсних мiр.Означення. Послiдовнiсть скiнчених мiр (µn) слабко збiгається до

скiнченої мiри µ (µn →W µ), якщоrR g dµn →

rR g dµ, n →∞, ∀g ∈ Cb(R).

Аналогiчно визначається збiжнiсть канонiчних мiр.Означення. Послiдовнiсть канонiчних мiр (µn) узагальнено слаб-

ко збiгається до канонiчної мiри µ (позначення µn →W2 µ), якщоrR g dµn →

rR g dµ, n →∞, для всiх g ∈ Cb2(R).

Кожна з наведених збiжностей породжує своє поняття компактностi.Означення. Клас M скiнченних мiр (канонiчних мiр) на B(R) є слабко

компактним (узагальнено слабко компактним), якщо для довiльної послi-довностi (µn) ⊂ M знайдеться пiдпослiдовнiсть (µnk

) ⊂ (µn) та скiнченна(канонiчна) мiра µ такi, що µnk

→W µ (вiдповiдно µnk→W2 µ).

Доведемо критерiї, що є аналогами теореми Прохорова про критерiйслабкої компактностi для узагальненої збiжностi.

Теорема (про умови слабкої компактностi класу обмежених мiр).Нехай M – клас скiнченних мiр на B(R) такий, що:

(а) supµ∈M µ(R) < ∞,

(б) limc→∞ supµ∈M µ([−c, c)) = 0.

Тодi цей клас є слабко компактним.Доведення. Позначимо через m ≡ limn→∞µn(R).

Припустимо, що m = 0. Тодi твердження теореми виконується дляnk = k та нульової мiри µ(B) ≡ 0.

Нехай m > 0 та для деякої пiдпослiдовностi mk ≡ µnk(R) → m, k →∞.

З (б) виводимо, що функцiї розподiлу Fk(x) ≡ m−1k µnk

((−∞, x)) задоволь-няють умову теореми Прохорова про критерiй слабкої компактностi. Зацiєю теоремою iснує слабко збiжна до деякої функцiї розподiлу F пiдпо-слiдовнiсть (Fnj

) ⊂ (Fnk). Визначимо скiнченну мiру µ(B) = mF (B). Тодi

для g ∈ Cb(R) при j →∞ отримуємоwR

g(x)µnj(dx) = mj

wR

g(x)Fnj(dx) → m

wR

g(x)F (dx) =wR

g(x)µ(dx) ¡


Теорема (про умови узагальненої слабкої компактностi класу ка-нонiчних мiр). Нехай M – клас канонiчних мiр на B(R) такий, що:

(а) supµ∈M µ(I) < ∞ для кожного обмеженого iнтервалу I ⊂ R,(б) limc→∞ supµ∈M

r|x|≥c

x−2µ(dx) = 0.

Тодi цей клас є узагальнено слабко компактним.Доведення. Розглянемо при кожному m ≥ 1 сiм’ю звужень мiр:

(µ(· ∩ [−m,m]), µ ∈ M). Цi звуження утворюють обмежену множину скiн-ченних мiр внаслiдок умови (а). Тому за теоремою про умови слабкоїкомпактностi класу обмежених мiр при кожному m знайдеться послiдов-нiсть (µmn, n ∈ Km) ⊂ M та скiнченна мiра νm на B([−m, m]) такi, щомає мiсце збiжнiсть звужень µmn |[−m,m]→W νm, n →∞, n ∈ Km.

Якщо будувати такi послiдовностi послiдовно за зростанням m, обира-ючи кожну наступну як пiдпослiдовнiсть попередньої, то можна вважати,що (µm+1,n, n ∈ Km+1) ⊂ (µmn, n ∈ Km). В цьому разi звуження мiри νm+1

на iнтервал [−m,m] збiгатиметься з νm. Оберемо дiагональну послiдов-нiсть Кантора µn ≡ µn,n для n з дiагональної множини Кантора K ≡(min Km,m ≥ 1), та визначимо µ = ν1 +

∑m≥1(νm+1 − νm) = limm→∞ νm.

Нехай неперервна функцiя g фiнiтна, тобто g(x) = 0 при |x| > m. Тодiз включення (µnn, n ≥ m,n ∈ K) ⊂ (µmn, n ∈ Km) для n ≥ m, отримуємопри n →∞, n ∈ K, збiжнiстьrR g(x)µn(dx) =

r m

−mg(x)µnn(dx) =

r m

−mg(x)µmn(dx) → r m

−mg(x)νm(dx) =

=rR g(x)νm(dx) =

rR g(x)µ(dx).

Нехай ρc(x) – неперервна функцiя зi значеннями у [0, 1] така, щоρc(x) = 0 при |x| > c + 1 та ρc(x) = 1 при |x| ≤ c.

За означенням µ([−m,m]) = νm(R) < ∞. З останньої збiжностi отри-муємо також нерiвнiсть при c ≥ 1

rR ρc(x)(1 + x2)−1µ(dx) = limn→∞

rR ρc(x)(1 + x2)−1µn(dx) ≤

supµ∈M

rR(1 + x2)−1µ(dx) ≤ supµ∈M

(µ([−1, 1] + 2

r|x|≥1

x−2µ(dx))

< ∞.

Оскiльки права частина не залежить вiд c, то з теореми Лебега про моно-тонну збiжнiсть при c →∞ виводимо збiжнiсть iнтегралу

r|x|≥1

x−2µ(dx).

Отже, µ є канонiчною мiрою.Нехай g ∈ Cb2(R) та L = supx∈R(1 + x2) |g(x)| . Тодi

limn→∞∣∣rR g(x)µn(dx)− rR g(x)µ(dx)

∣∣ ≤limn→∞

∣∣rR g(x)ρc(x)µn(dx)− rR g(x)ρc(x)µ(dx)

∣∣ +


limn→∞r|x|>c

|g(x)|µn(dx) +r|x|>c

|g(x)|µ(dx) ≤0 + L supµ∈M

r|x|≥c

x−2µ(dx) + Lr|x|≥c

x−2µ(dx) → 0

при c →∞, де врахована фiнiтнiсть неперервної функцiї g(x)ρc(x), умова(б) теореми та канонiчнiсть мiри µ. Оскiльки лiва частина нерiвностi незалежить вiд c, то вона дорiвнює нулю ¡

2.9.3. Зображення Левi-Хiнчина

Теорема (про зображення Левi – Хiнчина для нескiнченно по-дiльної характеристичної функцiї). Функцiя ϕ є характеристичноюфункцiєю нескiнченно подiльного розподiлу тодi й тiльки тодi, колизнайдеться канонiчна мiра µ та стала a ∈ R такi, що

ϕ(t) = exp(ita +

wR

gt(x)µ(dx))

, t ∈ R,

де gt(x) ≡ (exp(itx)− 1− it sin x))/x2.Зауваження. Функцiю sin x у означеннi gt можна замiнити на довiль-

ну обмежену неперервну функцiю, що еквiвалентна x + o(x), x → 0.Зауваження. Можна довести, що функцiя ϕ є характеристичною фун-

кцiєю нескiнченно подiльного розподiлу тодi й тiльки тодi, коли знайде-ться скiнченна мiра Π з Π(0) = 0, та сталi a, b такi, що має мiсцезображення Колмогорова-Левi-Хiнчина:

ϕ(t) = exp

(ita− b2t2/2 +

wR

(exp(itx)− 1− itx

1 + x2

)1 + x2

x2Π(dx)

).

Еквiвалентний варiант зображення Левi-Хiнчина виведений у теорiївипадкових процесiв з незалежними приростами:

ϕ(t) = exp(ita− b2t2/2 +

wR

(exp(itx)− 1− itx1I|x|≤1

)K(dx)

),

де σ-скiнченна мiра K така, що K(0) = 0, irRmin(1, x2)K(dx) < ∞.

Доведення необхiдностi в теоремi.Припустимо, що ϕ – нескiнченно подiльна характеристична функцiя,

тобто ϕ(t) = limn→∞ ϕnn(t), ∀t ∈ R, для характеристичних функцiй ϕn(t).

Оскiльки ϕ – характеристична функцiя, то знайдеться θ > 0 таке, що|ϕ(t)| ≥ 1/2 при |t| ≤ θ. Зафiксуємо таке θ.

Для |t| ≤ θ та t ∈ R коректно визначенi неперервнi обмеженi функцiї

ψ(t) ≡ ln ϕ(t), ψn(t) ≡ n(ϕn(t)− 1).


Лема 1. ψn(t) → ψ(t) при n →∞ рiвномiрно за |t| ≤ θ.Доведення. Унаслiдок теореми про рiвномiрну збiжнiсть характери-

стичних функцiй ϕnn(t) → ϕ(t), n →∞, рiвномiрно за t на кожному обме-

женому iнтервалi. Зокрема, |ϕnn(t)| ≥ 1/3 при |t| ≤ θ, починаючи з деякого

номера. Тому коректно визначенi функцiї ln ϕn(t).Зi збiжностi n ln ϕn(t) → ψ(t), n → ∞, рiвномiрно за |t| ≤ θ виводимо

таку саму рiвномiрну збiжнiсть ϕn(t) → 1. Отже, твердження леми єнаслiдком еквiвалентностi ln z ∼ z − 1 при z → 1 ¡

Розглянемо сигма-скiнченнi мiри

µn(B) =w

Bnx2Fn(dx), B ∈ B(R),

де Fn – мiра Лебега – Стiлтьєса для функцiї розподiлу, що вiдповiдаєхарактеристичнiй функцiї ϕn.

Лема 2. Для всiх t ∈ R має мiсце зображення

ψn(t) = itan +wR

gt(x)µn(dx),

де an ≡rR(sin x) nFn(dx).

Доведення є очевидним наслiдком рiвностi exp(itx) − 1 − it sin x =x2gt(x) та тотожностiw

Rf(x)µn(dx) =

wR

f(x)nx2Fn(dx),

для борелєвих обмежених функцiй f = gt, що виконується для простихf за означенням, та подовжується на функцiї f ∈ Cb2(R) за теоремоюЛебега про мажоровану збiжнiсть ¡

Лема 3. При кожному h > 0 справедлива тотожнiсть

− 1

2h

w h

−hψn(t)dt =

wR

(1− sin xh

xh

)nFn(dx) =

wR

(1− sin xh

xh

)x−2µn(dx).

Доведення. За означенням ψn

−(2h)−1r h

−hψn(t)dt = (2h)−1n

r h

−h(1− ϕn(t))dt =

(2h)−1r h

−h

rR(1− exp(itx))nFn(dx)dt =

(2h)−1rR nFn(dx)

r h

−h(1− exp(itx)) dt =

rR (1− (xh)−1 sin xh) nFn(dx).

Остання рiвнiсть у лемi доводиться так само, як i в лемi 2 ¡Лема 4. Клас мiр (µn, n ≥ 1) задовольняє умови (а),(б) теореми про

умови узагальненої слабкої компактностi класу канонiчних мiр.


Доведення. (а) Для кожного iнтервалу I = [−c, c] визначимо

δ(c, h) = infx∈I(1− (sin xh)/xh)/h2x2 > 0,

для досить малих h > 0, оскiльки неперервна функцiя 1− (sin y)/y строгододатна при y 6= 0, а в околi нуля дорiвнює y2/6 + o(y2).

З означення δ(c, h) та леми 3 виводимо, що для 0 ≤ h ≤ θ

δ(c, h)h2 supn≥1 µn(I) ≤ supn≥1

rI(1− sin xh

xh)x−2µn(dx) ≤

supn≥1

rR(1− sin xh

xh)x−2µn(dx) = supn≥1

(−(2h)−1

r h

−hψn(t)dt

)< ∞,

оскiльки функцiї ψn обмеженi при |t| ≤ θ при кожному n та ψn → ψ приn → ∞ рiвномiрно за t, за лемою 1, де функцiя ψ ≡ ln ϕ обмежена наiнтервалi [−h, h] при h ≤ θ, як вiдзначено вище.

(б) Розглянемо величини εn(c) ≡ r|x|≥c

x−2µn(dx). Послiдовнiсть εn(c)

не зростає за c та εn(c) → 0, c →∞, оскiльки мiра µn – канонiчна.Визначимо h = 2/c для c > 0. Тодi (sin xh)/xh ≤ 1/2 для всiх |x| ≥ c.

Звiдси за лемою 3 при h ≤ θ

εn(c) =r|x|≥c

x−2µn(dx) ≤ 2rR(1− sin xh

xh)x−2µn(dx) = − 2

2h

r h

−hψn(t)dt,

limn→∞εn(c) ≤ limn→∞ 22h

r h

−h(−ψn(t))dt = − 2

2h

r h

−hψ(t)dt → 0, h → 0,

оскiльки ψn(t) → ψ(t), i ψ(t) ≡ ln ϕ(t) → 0 при t → 0.Отже, визначена послiдовнiсть задовольняє умови теореми про верхнi

межу та границю монотонної послiдовностi. Тому supn≥1 εn(c) → 0 приc →∞, що доводить твердження леми ¡

За лемою 4 внаслiдок теореми про умови узагальненої слабкої ком-пактностi класу канонiчних мiр знайдеться пiдпослiдовнiсть K ⊂ N таканонiчна мiра µ такi, що

rR gt(x)µn(dx) → r

R gt(x)µ(dx) при n → ∞ так,що n ∈ K, для всiх t ∈ R, оскiльки функцiї gt ∈ Cb2(R).

За лемою 1 ψn(t) → ψ(t) при n → ∞ рiвномiрно за |t| ≤ θ, томудля таких t з попереднього твердження та з зображення леми 2 робимовисновок, що послiдовнiсть itan збiгається при n →∞, n ∈ K. Отже, iснуєскiнченна границя a ≡ limn→∞,n∈K an.

Ще одним застосуванням зображення леми 2 вже для всiх t ∈ R приn →∞, n ∈ K, виводимо iснування скiнченної границi

limn→∞,n∈K ψn(t) = ω(t) ≡ ita +wR

gt(x)µ(dx), ∀t ∈ R,

де µ – канонiчна мiра, що побудована вище. Оскiльки ψn ≡ n(ϕn−1), звiд-си виводимо, що ϕn(t) → 1, n →∞. Унаслiдок еквiвалентностi ln z ∼ z− 1


при z → 1, пiдстановкою z = ϕn(t) з останнього спiввiдношення отриму-ємо: ln ϕn

n(t) = n ln ϕn(t) ∼ n(ϕn(t) − 1) → ω(t), n → ∞. Тому за непе-рервнiстю експоненти ϕn

n(t) → exp(ω(t)) при n → ∞, та ϕ(t) = exp(ω(t)),звiдки випливає наведене зображення для ϕ. Необхiднiсть доведена.

Доведення достатностi в теоремi.Доведемо, що права частина наведеного зображення є характеристи-

чною функцiєю для довiльної канонiчної мiри µ. Для цього позначимоσ2 = µ(0) та розглянемо звуження µn(B) = µ(B ∩ x : n−1 ≤ |x| ≤ n),що є скiнченною мiрою та має нульове звуження на деякий окiл нуля.Зауважимо, що функцiя

ϕn(t) ≡ exp(ita− σ2t2/2 +

wR

gt(x)µn(dx))

=

exp(it

(a−

wR

x−2 sin x µn(dx))− σ2t2/2 +

wR(exp(itx)− 1)x−2µn(dx)

)

є характеристичною функцiєю суми нормальної величини та незалежно-го вiд неї зсунутого на сталу значення складного процесу Пуассона зфункцiєю розподiлу стрибкiв, що пропорцiйна x−2µn(dx).

Оскiльки за означенням канонiчної мiри µ та функцiї gt має мiсцезбiжнiсть

rR gtdµn → r

R\0 gtdµ, n → ∞, то поточково ϕn(t) → ϕ(t),де функцiя ϕ неперервна в нулi: limt→0 ϕ(t) = ϕ(0) = 1 за теоремоюЛебега про мажоровану збiжнiсть. Тому функцiя ϕ є характеристичноюза теоремою Левi про критерiй слабкої збiжностi.

Якщо µ – канонiчна мiра, то мiра n−1µ є канонiчною. Тому функцiя

ϕn(t) ≡ exp(itan−1 +

rR gt(x)n−1µ(dx)

)

є характеристичною, як доведено вище. Оскiльки ϕ(t) = ϕnn(t), то функцiя

ϕ є нескiнченно подiльною ¡Вправи(1) Нескiнченно подiльна характеристична функцiя не має коренiв.(2) Якщо ϕ1, ϕ2 – нескiнченно подiльнi характеристичнi функцiї, то їх добу-

ток ϕ1(t)ϕ2(t) – також нескiнченно подiльна характеристична функцiя.(3) Поточкова границя нескiнченно подiльних характеристичних функцiй, що

неперервна в нулi, є нескiнченно подiльною характеристичною функцiєю.(4) Нескiнченно подiльна величина є слабкою границею послiдовностей сум

незалежних величин, що мають розподiли Пуассона на решiтках a + bZ+.(5) Випадкова величина ξ має розподiл (а) нормальний, (б) Пуассона, причо-

му ξ = ξ1 + ξ2, де доданки незалежнi та мають нескiнченно подiльнi розподiли.Довести, що ξk мають розподiли (а) та (б).


(6) Довести, що функцiя ϕ(t) = exp(−c |t|α) при c > 0, α ∈ (0, 2] є не-скiнченно подiльною характеристичною функцiєю. Знайти канонiчне зображеннядля цiєї функцiї. Вказiвка: розглянути незалежнi симетричнi випадковi величи-ни такi, що IP(|ξ1| > x) = x−α, x ≥ 1 та довести, що характеристична функцiянормованих сум (ξ1 + ...ξn)n−1/α збiгається до ϕ(t).

(7) Гама-розподiл, розподiли Пуассона та Кошi є нескiнченно подiльними.(8) Бiномiальний та рiвномiрний розподiли не є нескiнченно подiльними.(9) Випадковi величини (ξn, n ≥ 1) незалежнi однаково розподiленi, цiло-

чисельна величина ν не залежить вiд них i є нескiнченно подiльною, а сумиSn = ξ1 + ... + ξn. Довести, що величина Sν є нескiнченно подiльною.

(10) Нехай ϕ – нескiнченно подiльна характеристична функцiя, ψ = ln ϕ,а S – функцiя розподiлу симетричної квадратично iнтегровної випадкової ве-личини. Довести, що функцiя ω = ψ − ψ ∗ S пiсля дiлення на сталу ω(0) єхарактеристичною.

(11) Випадковi величини (ξn, n ≥ 1) незалежнi однаково розподiленi, маютьщiльностi exp(− |x|)/2 та характеристичну функцiю 1/(1+ t2). Довести, що рядξ =

∑n≥1 ξn/n збiгається м.н., а характеристична функцiя ϕξ(t) = πt/ sinh(πt)

є нескiнченно подiльною. Знайти її канонiчне зображення.(12) Нехай ϕ – нескiнченно подiльна характеристична функцiя. Довести, що

(1− ln ϕ(t))−1 є нескiнченно подiльною характеристичною функцiєю.(13) Функцiя p(s) =

∑n≥0 pnsn така, що pn ≥ 0, p0 > 0, p(1) = 1, причому

ln p(s)/p0 розкладається у ряд Тейлора з невiд’ємними коефiцiєнтами. Довести,що для довiльної характеристичної функцiї ϕ суперпозицiя p(ϕ(t)) є нескiнченноподiльною характеристичною функцiєю. Зокрема, дане твердження виконуєтьсядля p(s) = (1− as)(1− bs)−1 при 0 ≤ a < b < 1.

(14) Характеристична функцiя ϕ називається стiйкою, якщо для довiльнихдодатних a, b знайдуться c, d > 0 такi, що ϕ(at)ϕ(bt) = exp(−itc)ϕ(dt). (а) До-вести, що стiйка характеристична функцiя є нескiнченно подiльною. (б) Характе-ристична функцiя ϕ є стiйкою тодi й тiльки тодi, коли знайдеться послiдовнiстьнезалежних однаково розподiлених величин (ξn, n ≥ 0) з характеристичною фун-кцiєю ϕ такi, що при кожному n ≥ 1 для деяких сталих an, bn > 0 має мiсцезбiжнiсть розподiлiв (ξ1 + ...+ ξn−an)/bn ' ξ0. (в) Характеристична функцiя ϕє стiйкою тодi й тiльки тодi, коли знайдеться послiдовнiсть незалежних однаковорозподiлених величин (ξn, n ≥ 0) такi, що при кожному n для деяких сталихan, bn > 0 має мiсце слабка збiжнiсть (ξ1 + ... + ξn − an)/bn →W ξ0. (г) Стiй-ким характеристичним функцiям вiдповiдають нескiнченно подiльнi функцiї, дляяких канонiчна мiра у зображеннi Левi-Хiнчина має щiльнiсть C± |x|1−α 1I x≶0

при деякому α ∈ (0, 2].


2.10. Випадковi блукання

Випадкове блукання є найпростiшим випадковим процесом.Означення. Випадковим блуканням (Sn, n ≥ 0) на Z називається по-

слiдовнiсть сум незалежних у сукупностi однаково розподiлених цiло-значних випадкових величин (ξn, n ≥ 1) :

Sn ≡∑n

k=1ξk, де за означенням S0 = 0.

Величину Sn можна трактувати як положення частинки в момент ча-су n, якщо вона в кожний момент k стрибком змiщується з поточногоположення Sk−1 на величину ξk, тобто Sk = Sk−1 + ξk, k ≥ 1.

Послiдовнiсть точок (n, Sn) розглядається як траєкторiя частинки вкоординатах час – простiр.

Означення. В момент n ≥ 1 вiдбувається повернення в 0, якщореалiзується подiя Un ≡ Sn = 0.

У момент n ≥ 1 вiдбувається перше повернення в 0, якщо справ-джується подiя Fn ≡ S1 6= 0, ..., Sn−1 6= 0, Sn = 0.

Означення. Повернення в 0 вiдбудеться коли-небудь, якщо реалiзу-ється подiя U ≡ ∪n≥1Un.

Зауваження. Справедлива рiвнiсть U ≡ ∪n≥1Un = ∪n≥1Fn, оскiлькиповернення коли-небудь є те саме, що повернення коли-небудь вперше.

На подiї U визначений час до першого повернення

τ ≡ inf(n ≥ 1 : Sn = 0),

а саме: τ(ω) = n на елементарних подiях ω ∈ Fn. Будемо вважати, щоτ = ∞ на доповненнi U. За означенням U = τ < ∞.

2.10.1. Рекурентнiсть блукання та її критерiй

Означення. Випадкове блукання (Sn, n ≥ 0) називається рекурен-тним, якщо IP(U) = 1, тобто IP(τ < ∞) = 1. У протилежному випадкублукання називається транзiєнтним.

Для аналiзу рекурентностi блукання введемо такi позначення

un = IP(Un), fn = IP(Fn), u0 = 1, f0 = 0.

Теорема (про рiвняння вiдновлення). Iмовiрностi повернення un таймовiрностi першого повернення fn задовольняють при n ≥ 1 рiвняннявiдновлення

un =∑n

k=1fk un−k.

2.10. Випадковi блукання 239

Означення. Права частина рiвняння вiдновлення називається згор-ткою послiдовностей un та fn i позначається як (f ∗ u)n.

Доведення. Оскiльки Sn = 0 ⊂ τ ≤ n, то справедлива тотожнiсть:Sn = 0 = Sn = 0, τ ≤ n. Унаслiдок попарної несумiсностi подiйτ = k звiдси отримуємо

un = IP(Sn = 0) = IP(Sn = 0, τ ≤ n) =∑n

k=1 IP(τ = k, Sn = 0) =∑n

k=1 IP(τ = k, Sn − Sk = 0) =∑n

k=1 IP(τ = k) IP(ξk+1 + ... + ξn = 0) =∑n

k=1 IP(τ = k) IP(ξ1 + ... + ξn−k = 0) =∑n

k=1 IP(Fk) IP(Sn−k = 0) =∑n

k=1 fk un−k,

де враховано незалежнiсть подiй τ = k = S1 6= 0..., Sk−1 6= 0, Sk = 0 таSn − Sk = 0 = ξk+1 + ... + ξn = 0, яка випливає з теореми про вектор-нi перетворення незалежних величин, а також однакова розподiленiстьвипадкових векторiв (ξ1, ..., ξn−k) та (ξk+1, ..., ξn) ¡

Означення. Генератрисою послiдовностi (an, n ≥ 0) називається сумастепеневого ряду

A(z) =∑

n≥0anz

n.

Зауваження. Якщо послiдовнiсть (an, n ≥ 0) обмежена, то генера-триса визначена та аналiтична всерединi одиничного кола z : |z| < 1.Для генератрис виконується бiльшiсть властивостей генератрис випадко-вих величин.

Теорема (про генератрису ймовiрностей повернення). Якщо послi-довностi (un, n ≥ 0), (fn, n ≥ 0) задовольняють рiвняння вiдновлення,та u0 = 1, f0 = 0, то для кожного z ∈ Z з |z| < 1 генератриси

u(z) ≡∑

n≥0unz

n, f(z) ≡∑

n≥0fnz

n

задовольняють рiвняння

u(z) = 1 + u(z)f(z).

Доведення. Помножимо n-те рiвняння на zn та додамо результати

∑n≥1 unz

n = u(z)− 1 =∑

n≥1 zn∑n

k=1 fk un−k =∑∞

k=1 fkzk∑

n≥k zn−kun−k =∑∞

k=1 fkzk∑

n≥0 znun = f(z)u(z).


Збiжнiсть рядiв обумовлена обмеженiстю послiдовностей un та fn ¡Теорема (про критерiй рекурентностi випадкового блукання). Ви-

падкове блукання (Sn, n ≥ 0) на Z рекурентне тодi й тiльки тодi,коли

U ≡∑

n≥0IP(Sn = 0) = ∞.

У випадку збiжностi цього ряду IP(τ < ∞) = 1− 1/U.Доведення. Оскiльки f(1) =

∑n≥0 fn = IP(τ < ∞), то f(1) = 1 тодi й

тiльки тодi, коли блукання рекурентне.З iншого боку, за теоремою Абеля про суму ряду з невiд’ємними кое-

фiцiєнтами (чи за теоремою Лебега про монотонну збiжнiсть ) має мiсцетотожнiсть u(1−) = u(1) ≤ ∞. Тому з теореми про генератрису ймовiрно-стей повернення при 0 ≤ z ↑ 1 дiстанемо

u(1) = 1 + u(1)f(1), 1 = 1/u(1) + f(1).

Отже, твердження f(1) < 1 та u(1) = U ≡ ∑n ≥ 0 un < ∞ еквiвалентнi ¡

2.10.2. Блукання Бернуллi

Означення. Випадковим блуканням Бернуллi (Sn, n ≥ 0) на Z нази-вається блукання зi стрибками (ξn, n ≥ 1) такими, що

IP(ξn = 1) = p = 1− IP(ξn = −1) = 1− q.

Теорема (про рекурентнiсть блукання Бернуллi). Блукання Бер-нуллi рекурентне тодi й тiльки тодi, коли p = q = 1/2.

Доведення. За формулою Стiрлiнга маємо

u2n = Cn2n pn(1− p)n ∼ (4p(1− p))n/

√πn, n →∞,

де 4p(1− p) < 1 при p 6= 1/2 та 4p(1− p) = 1 при p = 1/2 ¡Теорема (про ймовiрностi повернення). Для блукання Бернуллi ймо-

вiрностi першого повернення будь-коли та в момент 2n дорiвнюють

IP(τ < ∞) = 1− |p− q| , f2n =2

2n− 1Cn

2n−1(pq)n.

Доведення. Обчислимо при |z| < 1 за формулою розкладу в ряд Тей-лора генератрису послiдовностi ймовiрностей повернення

u(z) =∑

n≥0z2nCn

2n(pq)n = (1− 4pqz2)−1/2,

звiдки за теоремою про генератрису ймовiрностей повернення

f(z) = 1− 1 / u(z) = 1− (1− 4pqz2)+1/2.


Звiдси при z ↑ 1 дiстанемо першу тотожнiсть

IP(τ < ∞) = f(1−) = 1− (1− 4pq)+1/2 = 1− |p− q| .Другу тотожнiсть обчислюємо за означенням генератриси послiдовно-

стi за допомогою розкладу в ряд Тейлора функцiї (1− 4pqz2)+1/2 ¡Вправи(1, теорема Пойа) Симетричне блукання Бернуллi (з одиничними стрибками)

у просторi Zd рекурентне тодi й тiльки тодi, коли d ≤ 2.(2) Iмовiрнiсть того, що блукання Бернуллi (Sn, n ≥ 0) коли-небудь дося-

гне точку x > 0, дорiвнює 1 при p ≥ q, та (p/q)x при p < q. За останнiмприпущенням величина supn≥0 Sn має геометричний розподiл з параметром p/q.

(3) Випадкове блукання має такий розподiл стрибкiв: IP(ξ1 = −2) = 1/3,IP(ξ1 = 1) = 2/3. Довести, що воно є рекурентним.

(4) Блукання Бернуллi (Sn, n ≥ 0) таке, що S0 = x ∈ (a, b). Позначимомомент виходу τx = inf(n ≥ 1 : Sn /∈ (a, b)). (а) Скласти систему рiвнянь дляpx = IP(τx < ∞, Sτx = b) та знайти px = (θx−θa)/(θb−θa), якщо θ ≡ q/p 6= 1.(б) Аналогiчно знайти mx = IEτx = (bpx + a(1− px)− x)/(p− q).

2.10.3. Критерiй рекурентностiчерез характеристичнi функцiї

Застосуємо до аналiзу рекурентностi поняття характеристичної фун-кцiї. Позначимо через pn = P (ξ1 = n), n ∈ Z, розподiл стрибка i розгляне-мо його характеристичну функцiю:

ϕ(t) = ϕξ1(t) = IE exp(itξ1) =

∑n∈Z

exp(itn)pn,

Ця функцiя має перiод 2π, оскiльки ξ1 ∈ Z, та exp(2πiξ1) = 1.Лема (про формулу обертання характеристичної функцiї цiлочи-

сельної величини). Для всiх a ∈ Z справедлива формула:

IP(ξ1 = a) = pa = (2π)−1w π

−πexp(−iat)ϕξ1

(t)dt.

Доведення зводиться до обчислення iнтегралу з урахуванням того,що iнтеграл вiд гармонiчної функцiї exp(itn) на вiдрiзку [−π, π] дорiвнює2πδn0, де δij – символ Кронекера ¡

Означення. Перiодом блукання (Sn) називається число

d = max(h ≥ 1 :

∑n∈Z

IP(ξ1 = nh) = 1)

= н.с.д.(n ∈ Z : pn > 0).

Блукання називається негратчатим, якщо d = 1.


За означенням перiоду ξ1 ∈ dZ ≡ dn, n ∈ Z м.н.Лема (про перiод випадкового блукання).(а) Перiод блукання дорiвнює

d = 2π/r, де r = min(s > 0 : ϕ(s) = 1).

(б) Для негратчатого блукання ϕ(s) 6= 1 при 0 < |s| < 2π.

Доведення. (а) Доведемо, що r = 2π/d.

Для s = 2π/d маємо ϕ(s) =∑

n∈dZ exp(i(n/d)(sd))pn =∑

n∈dZ pn = 1.

Нехай s ∈ (0, 2π/d). Досить довести, що ϕ(s) 6= 1. Для цього знайдемо

Re(1− ϕ(s)) =∑

n∈dZ(1− cos(ns))pn =

∑n∈dZ

2 sin2(ns/2))pn.

Якщо ϕ(s) = 1 i pn > 0, то ns ∈ 2πZ i n ∈ dZ, n 6= 0, звiдки |sd| ≥ 2π, щосуперечить зробленому припущенню. При d = 1 звiдси виводимо (б) ¡

Лема (про характеристичну функцiю стрибка негратчатого блу-кання). Якщо блукання (Sn) є негратчатим, то для деякого α > 0

Re(1− ϕ(s)) ≥ αs2, ∀ |s| ≤ π.

Доведення. Позначимо

α ≡ inf(Re(1− ϕ(s))/s2 : |s| ≤ π).

Припустимо, що α = 0. Тодi вiдповiдна мiнiмiзуюча послiдовнiсть sn

не має 0 як граничну точку, адже за нерiвнiстю з леми про перiод випад-кового блукання вiдповiдне граничне значення для деякого n ∈ Z.додатне:

lims→0 Re(1− ϕ(s))/s2 ≥ lims→02 sin2(ns/2))pn/s2 = n2pn/2 > 0.

Якщо така гранична точка належить областi s : δ ≤ |s| ≤ π, товнаслiдок неперервностi функцiя Re(1− ϕ(s)) дорiвнює нулю в цiй точцi.Однак за лемою про перiод випадкового блукання та за умовою негра-тчатостi функцiя 1− ϕ(s) не має ненульових коренiв на [−π, π]. Тому вiдсупротивного α > 0 ¡

Означення. Часом до першого досягнення точки a ∈ Z випадковимблуканням (Sn) називається узагальнена випадкова величина

τa = inf(n ≥ 1 : Sn = a) ∈ N ∪ ∞, inf(∅) ≡ ∞.

Означення. Позначимо для a ∈ Z генератрису послiдовностi

ra(z) ≡∑

n≥0znIP(Sn = a).


Лема (про генератрису часу до першого досягнення). Для всiх a ∈Z\0 та z ∈ (0, 1) мають мiсце тотожностi

IEzτa = ra(z) / r0(z),∑

n≥0znIP(Sn = 0, τa ≤ n) = r0(z)IEzτaIEzτ−a .

Доведення. Оскiльки подiї τa = k та Sn − Sk = 0 незалежнi,аналогiчно теоремi про рiвняння вiдновлення виводимо рiвнiсть

IP(Sn = a) =∑n

k=1IP(τa = k, Sn − Sk = 0) =

∑n

k=1IP(τa = k)IP(Sn−k = 0).

Пiсля множення обох частин на zn та пiдсумовування за n ≥ 0, ана-логiчно доведенню теореми про генератрису часу до першого досягненняотримуємо першу рiвнiсть леми.

Аналогiчно з урахуванням першої виводиться друга рiвнiсть:∑

n≥0 znIP(Sn = 0, τa ≤ n) =∑

n≥0 zn∑n

k=1 IP(Sn = 0, τa = k) =∑

n≥0 zn∑n

k=1 IP(Sn − Sk = −a, τa = k) =∑

n≥0 zn∑n

k=1 IP(Sn−k = −a)IP(τa = k) =∑

k≥0 zkIP(τa = k)∑

n≥k zn−kIP(Sn−k = −a) = IEzτar−a(z) = IEzτaIEzτar0(z)¡

Теорема (про критерiй рекурентностi блукання через характери-стичну функцiю). Нехай випадкове блукання (Sn) на Z є негратчатим,а ϕ(t) – характеристична функцiя стрибка. Для його рекурентностiнеобхiдне i достатнє виконання однiєї з еквiвалентних умов:

(а) limz↑1w π

−πRe(1− z ϕ(t))−1dt = ∞,

(б)w π

−πRe(1− ϕ(t))−1dt = ∞,

причому кожний з цих iнтегралiв можна обчислювати у будь-якомуоколi нуля.

Доведення. Введемо при 0 < z ≤ 1, t ∈ [−π, π] позначення

Rz(t) = Re(1− zϕ(t))−1.

Зауважимо, що функцiї Rz(t) = (1 − z Re ϕ(t)) |1− zϕ(t)|−2 невiд’ємнiпри 0 < z ≤ 1, оскiльки |ϕ(t)| ≤ 1. Крiм того, за лемою про перiод ви-падкового блукання та з неперервностi характеристичної функцiї робимовисновок, що функцiя R1(t) неперервна та обмежена на [−π, π] поза будьяким околом нуля. Звiдси, зокрема, випливає обґрунтованiсть останньоготвердження теореми.


(а) За теоремою про властивостi характеристичної функцiї обчислимо

ϕSn(t) = IE exp(itSn) = IE exp(it(ξ1 + ... + ξn)) = ϕn(t).

Звiдси за лемою про формулу обертання характеристичної функцiї цi-лочисельної величини

IP(Sn = 0) = (2π)−1w π

−πexp(−i0t)ϕn(t)dt.

Множенням на zn та обчисленням суми при n ≥ 0 звiдси виводимо

r0(z) = (2π)−1∑

n≥0znw π

−πϕn(t)dt = (2π)−1

w π

−π(1− zϕ(t))−1dt,

де пiдiнтегральна функцiя неперервна та обмежена при 0 < z < 1, вна-слiдок неперервностi характеристичної функцiї та оцiнок |1− zϕ(t)| ≥1 − z |ϕ(t)| ≥ 1 − z > 0. Крiм того, оскiльки функцiя r0(z) – дiйсна, тоiнтеграл вiд уявної частини справа дорiвнює нулю. Тому пiдiнтегральнуфункцiю у наведенiй тотожностi можна замiнити на її дiйсну частину:

r0(z) = (2π)−1w π

−πRz(t)dt.

Тому за теоремою Лебега про монотонну збiжнiсть при z ↑ 1 отримує-мо тотожнiсть

limz↑1 r0(z) = limz↑1∑

n≥0znIP(Sn = 0) =

∑n≥0

IP(Sn = 0) = r0(1) ≤ ∞.

Отже, лiва та права її частини є нескiнченними одночасно. За теоремоюпро критерiй рекурентностi випадкового блукання рекурентнiсть еквiва-лентна розбiжностi ряду

∑n≥0 IP(Sn = 0), тому твердження (а) доведене.

(б) Достатнiсть. Скористаємося зауваженням до теореми Лебега промажоровану збiжнiсть та вiдзначеною вище невiд’ємнiстю Rz(t):

limz↑1w π

−πRz(t)dt ≥

w π

−πlimz↑1Rz(t)dt =

w π

−πR1(t)dt = ∞.

за умови (б). Отже, за твердженням достатностi (а) блукання рекурентне.Необхiднiсть. Для доведення вiд супротивного припустимо, що фун-

кцiя R1(t) iнтегровна: w π

−πR1(t)dt < ∞.

Нехай a ∈ Z\0, z ∈ (0, 1). Обчислимо з урахуванням леми про ге-нератрису часу до першого досягнення та леми про формулу обертанняхарактеристичної функцiї цiлочисельної величини Sn :

∑n≥0 znIP(Sn = 0, τa > n) = ra(z)−∑

n≥0 znIP(Sn = 0, τa ≤ n) =


r0(z) (1− IEzτaIEzτ−a) ≤ r0(z) (2− IEzτa − IEzτ−a) =

2r0(z)− ra(z)− r−a(z) =∑

n≥0 zn (2IP(Sn = 0)− IP(Sn = a)− IP(Sn = −a)) =

(2π)−1r π

−π

∑n≥0 zn (2− exp(−iat)− exp(iat)) ϕn(t)dt =

(2π)−1r π

−π2(1− cos at)(1− zϕ(t))−1dt = π−1

r π

−π1− cos at1−ϕ(t)

1−ϕ(t)1−zϕ(t)

dt.

За лемою про характеристичну функцiю стрибка негратчатого блуканняперший дрiб пiд знаком останнього iнтеграла обмежений на [−π, π]. Крiмтого, модуль функцiї (1 − u)(1 − zu)−1 не перевищує 2 на одиничномуколi u ∈ C : |u| ≤ 1 при 0 < z ≤ 1. Тому, переходячи до границiв попереднiй нерiвностi при z ↑ 1, з теореми Лебега про мажорованузбiжнiсть отримуємо∑

n≥0IP(Sn = 0, τa > n) ≤ 1

π

w π

−π

1− cos at

1− ϕ(t)dt =

1

π

w π

−π(1− cos at)R1(t)dt,

де остання рiвнiсть виконується, оскiльки її лiва частина та перший мно-жник пiд знаком iнтегралу є дiйсними.

Оскiльки при кожному фiксованому n > 0

IP(Sn = 0, τa ≤ n) ≤∑

k≤nIP(Sk = a) → 0, a →∞,

то IP(Sn = 0, τa > n) → IP(Sn = 0), a →∞. Тому при кожному N > 0∑

n≤N IP(Sn = 0) = lima→∞∑

n≤N IP(Sn = 0, τa > n) ≤π−1 lima→∞

r π

−π(1− cos at)R1(t)dt = π−1

r π

−πR1(t)dt,

де остання рiвнiсть є наслiдком iнтегровностi функцiї R1(t) та леми Рi-мана – Лебега з курсу математичного аналiзу. Спрямовуючи тут N →∞,переконуємося у збiжностi ряду

∑n≥0 IP(Sn = 0) ≤ π−1

r π

−πR1(t)dt < ∞.

Отримали суперечнiсть з рекурентнiстю за теоремою про критерiй реку-рентностi випадкового блукання, що i доводить (б) ¡

Теорема (про рекурентнiсть блукання з iнтегровними стрибками).Нехай (Sn, n ≥ 1) – негратчате випадкове блукання на Z, що має iнте-гровнi стрибки: IE |ξ1| < ∞. Це блукання є рекурентним тодi й тiлькитодi, коли IEξ1 = 0.

Доведення. Позначимо µ = IEξ1, pn = P (ξ1 = n), ϕ(t) = IE exp(itξ1),u(t) = Re ϕ(t), v(t) = Im ϕ(t). За теоремою про властивостi характеристи-чної функцiї ϕ(s) = 1+iµs+o(s), s → 0, звiдки u(s) = IE cos(sξ1) = 1+o(s),


v(s) = µs+o(s), s → 0. Далi, 1−u(s) ≥ αs2 при деякому α > 0 для |s| ≤ πза лемою про характеристичну функцiю стрибка негратчатого блукання.

За означенням має мiсце тотожнiсть

Rz(t) = Re(1− zϕ(t))−1 = (1− zu(t))(1− zu(t))2 + z2v2(t)

−1.

Необхiднiсть. Нехай µ 6= 0. Обчислимо з урахуванням останньогозображення при z = 1 :

R1(t) = (1− IE cos(tξ1))/(o(t2) + µ2t2) =

µ−2t−2∑

n∈Z(1− cos(tn))pn + o(1), t → 0.

Як зазначено у теоремi про критерiй рекурентностi блукання черезхарактеристичну функцiю, з умовою (б), для доведення вiдсутностi ре-курентностi досить перевiрити iнтегровнiсть R1(t) у деякому околi нуля.Оскiльки функцiя s−2(1−cos(s)) абсолютно iнтегровна на R, то для доситьмалого δ > 0

r|t|≤δ

R1(t)dt ≤ µ−2∑

n∈Zr|t|≤δ

t−2(1− cos(tn))pn dt + 1 =

µ−2∑

n ∈ Z |n| pn

r|s|≤|n|δ s−2(1− cos(s)) dt + 1 < ∞,

де враховано абсолютну збiжнiсть ряду∑

n∈Z npn, згiдно з iнтегровнiстюξ1, при внесеннi iнтеграла пiд знак суми. Отже, блукання не є рекурен-тним, що i доводить необхiднiсть вiд супротивного.

Достатнiсть. Припустимо, що µ = 0.Тодi (1− u(t))2 + v2(t) = o(t2), t → 0. Тому

ε2(δ) ≡ inf |t|≤δ t−2((1− u(t))2 + v2(t)) = o(1), δ → 0.

Крiм того, для кожного z ∈ (0, 1) з нерiвностi Кошi виводимо, що

(1− zu(t))2 + z2v2(t) = (1− z + z(1− u(t)))2 + z2v2(t) =

z2 ((1− u(t))2 + v2(t)) + (1− z)2 + 2z(1− z)(1− u(t)) ≤2z2 ((1− u(t))2 + v2(t)) + 2(1− z)2.

Звiдси та з урахуванням означення ε(δ)r|t|≤δ

Rz(t)dt =r|t|≤δ

(1− zu(t)) (1− zu(t))2 + z2v2(t)−1dt ≥

12

r|t|≤δ

(1− z) z2 ((1− u(t))2 + v2(t)) + (1− z)2−1dt ≥

12

r|t|≤δ

(1− z) z2t2ε2(δ) + (1− z)2−1dt =

(zε(δ))−1 arctan(δzε(δ)/(1− z)).

2.11. Граничнi задачi для випадкових блукань 247

Тому з урахуванням невiд’ємностi Rz(t)

limz↑1w|t|≤π

Rz(t)dt ≥ limz↑1w|t|≤δ

Rz(t)dt ≥ ε−1(δ) arctan(∞) = ε−1(δ)π/2.

Оскiльки лiва частина не залежить вiд δ, то

lim z↑1w|t|≤π

Rz(t)dt ≥ limδ→0 ε−1(δ)π/2 = ∞.

Отже, блукання є рекурентним за умовою (а) теореми про критерiйрекурентностi блукання через характеристичну функцiю ¡

Вправи(1) Стрибки випадкового блукання мають симетричний розподiл, причому

IP(ξ1 = n) ∼ cn−α, n → ∞. Довести, що при 1 < α < 2 блукання транзiєнтне,а при α > 2 – рекурентне.

(2) Зi збiжностir π

−π(1−Re ϕ(t))−1dt < ∞ випливає транзiєнтнiсть блукання.

(3) Нехай (Sn, n ≥ 0) – випадкове блукання зi стiйким розподiлом стрибкiв,що мають характеристичну функцiю exp(− |t|α), α ∈ (0, 2]. Довести, що цеблукання є рекурентним тодi й тiльки тодi, коли α ≥ 1.

(4) Довести, що клас симетричних розподiлiв q = (IP(ξ1 = n), n ∈ Z), дляяких вiдповiдне випадкове блукання є рекурентним, є опуклою множиною (длякожних двох своїх точок qk мiстить вiдрiзок αq1 + (1− α)q2, α ∈ (0, 1) ).

(5) Узагальнити теорему про критерiй рекурентностi блукання на випадокблукань у просторi Rd.

2.11. Граничнi задачiдля випадкових блукань

У теорiї граничних задач вивчаються так званi граничнi функцiона-ли вiд випадкових процесiв, а саме: їх послiдовнi максимуми, мiнiмуми,та вiдповiднi моменти досягнення. Вiдомий з комплексного аналiзу методфакторизацiї Вiнера-Хопфа дозволяє знайти низку аналiтичних спiввiдно-шень для характеристичних функцiй граничних функцiоналiв вiд випад-кових блукань.

У даному роздiлi будемо розглядати послiдовнiсть (ξn, n ≥ 1) незале-жних однаково розподiлених випадкових величин. Їх суми позначатимемочерез Sn = ξ1 + ... + ξn, S0 = 0, а максимуми та мiнiмуми сум – через

µn = max1≤k≤n Sk, µ∗n = min1≤k≤n Sk.

Нехай ϕ(t) = IE exp(itξ1) – характеристична функцiя одного доданка.


2.11.1. Граничнi функцiоналита факторизацiйнi тотожностi

Розглянемо такi граничнi функцiонали:

τ+ = inf(n ≥ 1 : Sn ≥ 0), τ− = inf(n ≥ 1 : Sn ≤ 0),

τ+ = inf(n ≥ 1 : Sn > 0), τ− = inf(n ≥ 1 : Sn < 0),

що називаються вiдповiдно верхнiми i нижнiми рекордними моментами,та верхнiми i нижнiми строгими рекордними моментами. Тут за означен-ням inf ∅ = ∞.

На подiях, де скiнченнi вiдповiднi моменти: τ± < ∞ або τ± < ∞,коректно визначенi також рекорднi висоти та строгi рекорднi висоти:

σ+ = Sτ+1Iτ+<∞, σ− = Sτ−1Iτ−<∞,

σ+ = Sτ+1Iτ+<∞, σ− = Sτ−1Iτ−<∞.Надалi у випадку, коли формулювання теорем та означень мiститимуть

символи (±, ∓, ≶, ≷, Q, R), їх слiд розумiти як пару тверджень: для(+, −, <, >, ≤, ≥) та (−, +, >, <, ≥, ≤).

Лема (про властивостi рекордних висот та моментiв).(а) На подiях τ± < ∞ та τ± < ∞ виконуються вiдповiдно не-

рiвностi σ± R 0 та σ± ≷ 0.(б) Для кожного n ≥ 1 справедливi тотожностi

τ+ > n = µn < 0, τ− > n = µ∗n > 0,τ+ > n = µn ≤ 0, τ− > n = µ∗n ≥ 0.

Доведення очевидне ¡Визначимо при t ∈ R, z ∈ C з |z| < 1 такi сумiснi перетворення:

ϕ±(t, z) = IE(exp(itσ±)zτ±1Iτ±<∞

),

ψ±(t, z) =∑

n≥0 znIE(exp(itSn)1Iτ∓>n

),

κ±(z) ≡ 1− IE(zτ±1Iσ±=0,τ±<∞),

ϕ±(t, z) = IE(exp(itσ±)zτ±1Iτ±<∞

),

ψ±(t, z) =∑

n≥0 znIE(exp(itSn)1Iτ∓>n

),

κ±(z) ≡ ∑n≥0 znIP(Sn = 0, τ∓ > n),

якi є сумами абсолютно збiжних при |z| < 1 рядiв внаслiдок обмеженостiгармонiчної функцiї вiд чисто уявного аргументу it.


Лема (про аналiтичне продовження перетворень вiд граничнихфункцiоналiв). При кожному z ∈ C з |z| < 1 функцiї ϕ±(t, z), ψ±(t, z),ϕ±(t, z), ψ±(t, z) мають аналiтичне та обмежене продовження на на-пiвплощину t ∈ Z : Im t ≷ 0, та є неперервними на її границi.

Крiм того, ψ±(±i∞, z) = 1 та ϕ±(±i∞, z) = 0.Доведення. Зауважимо, що для кожного x ≷ 0 функцiя exp(itx) не пе-

ревищує 1 за абсолютною величиною та є аналiтичною всерединi областiD± ≡ t ∈ Z : Im t R 0.

За лемою про властивостi рекордних висот та моментiв σ+ ≥ 0 намножинi τ+ < ∞. Тому функцiя IE

(exp(itσ+)1Iτ+<∞

)є аналiтичною i

обмеженою при Im t ≥ 0 та неперервною на границi Im t = 0. Унаслiдокобмеженостi |zτ+| ≤ 1 таку ж властивiсть має функцiя ϕ+(t, z).

Аналогiчно перевiряємо аналiтичнiсть i обмеженiсть у D+ функцiїϕ+(t, z). Крiм того, за лемою про властивостi рекордних висот та момен-тiв σ+ > 0 на подiї τ+ < ∞. Отже, за теоремою Лебега про мажоро-вану збiжнiсть ϕ+(+is, z) = IE

(exp(−sσ+)zτ+1Iτ+<∞

) → 0, s → ∞. Томуϕ+(+i∞, z) = 0.

Далi, за означенням моменту τ− на множинi τ− > n при n ≥ 1виконується нерiвнiсть Sn > 0. Тому доданок IE

(exp(itSn)1Iτ−>n

)в озна-

ченнi функцiї ψ+(t, z) аналiтичний i обмежений в областi t ∈ D+ та не-перервний на його границi. Отже, внаслiдок рiвномiрної збiжностi вiдпо-вiдного ряду при |z| < 1 функцiя ψ+(t, z) також має такi самi властиво-стi. Одночасно при t = is, s → +∞ вказаний доданок прямує до нуля:IE

(exp(−sSn)1Iτ−>n

) → 0, для всiх n ≥ 1, оскiльки величина Sn строгододатна на множинi iнтегрування. Звiдси виводимо рiвнiсть ψ+(i∞, z) = 1.

Аналогiчно перевiряються всi iншi твердження ¡Теорема (про факторизацiйнi тотожностi через перетворення ре-

кордних функцiоналiв). Для всiх t ∈ R, та z ∈ C з |z| < 1 справедливiтакi тотожностi:

(а) (1− ϕ+(t, z)) / ψ−(t, z) = 1− zϕ(t) = (1− ϕ−(t, z)) / ψ+(t, z),

(б) (1− ϕ+(t, z)) / ψ−(t, z) = 1− zϕ(t) = (1− ϕ−(t, z)) / ψ+(t, z).

Доведення(а) Оскiльки доданки (ξn) незалежнi та однаково розподiленi, то за

теоремою про властивостi характеристичної функцiї

ϕn(t) = IE exp(itSn) =

IE(exp(itSn)1Iτ+>n) +∑n

k=1 IE(exp(itSn)1Iτ+=k) =



k=1 IE(exp(it(Sn − Sk)) exp(itSk)1Iτ+=k) =


k=1 IE(exp(it(Sn − Sk))IE(exp(itSk)1Iτ+=k) =


k=1 ϕn−k(t) exp(itSτ+1Iτ+=k).

Тут використано незалежнiсть випадкових величин exp(itSk)1Iτ+=k таSn − Sk, що випливає з теореми про векторнi перетворення незалежнихвеличин, оскiльки вказанi величини є функцiями вiдповiдно векторiв(ξ1, ..., ξk) та (ξk+1 + ...+ξn). Одночасно врахована однакова розподiленiстьSn − Sk ' Sn−k, що випливає з незалежностi та однакової розподiленостiдоданкiв (ξn).

Множенням останньої тотожностi на zn та пiдсумовуванням по n ≥ 0отримуємо

(1− zϕ(t))−1 =∑

n≥0 znIE(exp(itSn)1Iτ+>n)+∑

n≥0 zn∑n

k=1 ϕn−k(t) IE exp(itSτ+1Iτ+=k) =

ψ−(t, z) +∑

k≥0 zkIE exp(itSτ+1Iτ+=k)∑

n≥k zn−kϕn−k(t) =

ψ−(t, z) + ϕ+(t, z)(1− zϕ(t))−1,

де враховано абсолютна збiжнiсть рядiв внаслiдок |z| < 1 та обмеженостiхарактеристичних функцiй. Цим доведено першу тотожнiсть (а) леми.Друга тотожнiсть доводиться аналогiчно.

(б) Застосування замiсть τ+ моменту τ− у попереднiх рiвностях при-зводить до тотожностi, що еквiвалентна рiвностям (б):

(1− zϕ(t))−1 = ψ+(t, z) + ϕ−(t, z)(1− zϕ(t))−1 ¡Теорема (про спiввiдношення для перетворень вiд граничних фун-

кцiоналiв). Для всiх t ∈ Z з Im t ≷ 0, та z ∈ C з |z| < 1 виконуютьсятотожностi

(а) (1− ϕ±(t, z)) ψ±(t, z) = κ+(z) = κ−(z),

(б) (1− ϕ±(t, z)) ψ±(t, z) = κ+(z) = κ−(z),

(в) (1− ϕ±(t, z)) ψ±(t, z) = 1,

(г) (1− ϕ∓(t, z)) ψ∓(t, z) = 1,

(д) κ±(z) = 1/κ±(z),

(е) 1− ϕ±(t, z) = (1− ϕ±(t, z)) / κ±(z).


Доведення(а) З тверджень (а) теореми про факторизацiйнi тотожностi через пе-

ретворення рекордних функцiоналiв виводимо, що для всiх t ∈ R, |z| < 1має мiсце тотожнiсть

(1− ϕ+(t, z)) ψ+(t, z) = (1− ϕ−(t, z)) ψ−(t, z).

За лемою про аналiтичне продовження перетворень вiд граничних фун-кцiоналiв лiва частина цiєї тотожностi аналiтична при t ∈ Z : Im t > 0та неперервна на границi t ∈ Z : Im t = 0, а права частина – аналiтичнав областi t ∈ Z : Im t < 0 та неперервна на границi t ∈ Z : Im t = 0.Оскiльки при t ∈ R вказанi функцiї збiгаються, то за теоремою про єди-нiсть аналiтичного продовження вони є вiдповiдними звуженнями на Rцiлої функцiї. Унаслiдок леми про аналiтичне продовження перетвореньвiд граничних функцiоналiв ця функцiя – обмежена, тому вона є ста-лою i не залежить вiд t. Позначимо цю сталу через κ(z). Тодi для всiхt ∈ C, |z| < 1 виводимо, що

(1− ϕ+(t, z)) ψ+(t, z) = κ(z) = (1− ϕ−(t, z)) ψ−(t, z).

Пiдставимо у лiву рiвнiсть t = is i спрямуємо s → ∞. З леми проаналiтичне продовження перетворень вiд граничних функцiоналiв маємо

κ(z) = ψ+(+i∞, z) lims→∞(1− ϕ+(is, z)) =

1− lims→∞ IE(exp(−sσ+)zτ+1Iτ+<∞

)=

1− IE(zτ+1Iσ+=0,τ+<∞) = κ+(z),

де передостання рiвнiсть випливає з теореми Лебега про мажоровану збi-жнiсть, оскiльки lims→∞ IE

(exp(−sσ+)zτ+1Iτ+<∞1Iσ+>0

)= 0.

Так само граничним переходом t = is, s → −∞ отримуємо з правоїтотожностi рiвнiсть κ(z) = κ−(z).

(б) З рiвностей (б) теореми про факторизацiйнi тотожностi через пе-ретворення рекордних функцiоналiв виводимо для всiх t ∈ R, |z| < 1тотожностi

(1− ϕ+(t, z)) ψ+(t, z) = 1− zϕ(t) = (1− ϕ−(t, z)) ψ−(t, z).

Як i в (а), звiдси виводимо iснування сталої κ(z) такої, що для всiхt ∈ C, |z| < 1 справедливi тотожностi:

(1− ϕ+(t, z)) ψ+(t, z) = κ(z) = (1− ϕ−(t, z)) ψ−(t, z).


Пiдставимо у лiву рiвнiсть t = is i спрямуємо s → ∞. З леми проаналiтичне продовження перетворень вiд граничних функцiоналiв маємо

κ(z) =(1− ϕ+(+i∞, z)

)lims→∞ ψ+(t, z) =

∑n≥0

zn lims→∞ IE(exp(−sSn)1Iτ−>n

)=

∑n≥0

znIP(Sn = 0, τ− > n) = κ+(z),

де використано також теорему Лебега про мажоровану збiжнiсть .Так само граничним переходом t = is, s → −∞ отримуємо з правої

тотожностi рiвнiсть κ(z) = κ−(z).(в,г,д) З порiвняння тотожностей (а) та (б) теореми про факторизацiйнi

тотожностi через перетворення рекордних функцiоналiв виводимо, що

(1− ϕ+(t, z)) / ψ−(t, z) = 1− zϕ(t) = (1− ϕ−(t, z)) / ψ+(t, z),

(1− ϕ+(t, z)) ψ+(t, z) = κ(z) = (1− ϕ−(t, z)) ψ−(t, z)

при всiх t ∈ C для деякої сталої κ(z). Пiдставимо сюди вже доведенiтотожностi (а),(б):

(1− ϕ+(t, z)) ψ+(t, z) = κ(z) = (κ−(z)/ψ−(t, z))(κ−(z)/(1− ϕ−(t, z))).

Спрямувавши тут t → ±i∞, за лемою про аналiтичне продовженняперетворень вiд граничних функцiоналiв отримуємо

1 = κ(z) = (κ−(z))(κ−(z)).

З останньої тотожностi та попереднiх виводимо твердження (в,г,д).(е) З правої рiвностi (в) та з рiвностi (а) виводимо, що

1/(1− ϕ+(t, z)) = ψ+(t, z) = κ+(z)/(1− ϕ+(t, z)) ¡Теорема (про факторизацiйнi тотожностi для граничних функцiо-

налiв). Для всiх t ∈ R, z ∈ C з |z| < 1 справедливi такi рiвностi:

(а) 1− zϕ(t) = (1− ϕ+(t, z))(1− ϕ−(t, z)) / κ+(z),

(б) 1− zϕ(t) = (1− ϕ+(t, z))(1− ϕ−(t, z)) / κ+(z),

(в) 1− zϕ(t) = (1− ϕ+(t, z))(1− ϕ−(t, z)),

(г) 1− zϕ(t) = (1− ϕ−(t, z))(1− ϕ+(t, z)).

Доведення(а) Пiдставимо у лiву тотожнiсть (а) теореми про факторизацiйнi тото-

жностi через перетворення рекордних функцiоналiв рiвнiсть (а) теоремипро спiввiдношення для перетворень вiд граничних функцiоналiв :

1− zϕ(t) = (1− ϕ+(t, z)) / ψ−(t, z) = (1− ϕ+(t, z)) /(κ+(z)/(1− ϕ−(t, z))),


що i доводить спiввiдношення (а).(б) Доведення цiлком аналогiчне (а).(в) Дана тотожнiсть виводиться з (а) та твердження (е) теореми про

спiввiдношення для перетворень вiд граничних функцiоналiв. Аналогiчнедоведення (г) ¡

Наслiдок (про максимум блукання з iнтегровними стрибками).Нехай IE |ξ1| < ∞.

(а) Якщо IEξ1 < 0, то µ∞ ≡ supk≥1 Sk < ∞ м.н., та

IEσ− = IEξ1/IP(µ∞ ≤ 0).

(б) Якщо IEξ1 = 0, то µ∞ > 0 м.н., та τ+ < ∞ м.н. i τ− < ∞ м.н.Доведення(а) З теореми про факторизацiйнi тотожностi для граничних функцiо-

налiв, (г), граничним переходом z ↑ 1 за теоремою Лебега про мажорованузбiжнiсть отримуємо при t ∈ R тотожнiсть

1− ϕ(t) = (1− IE(exp(itσ−)1Iτ−<∞

)) (1− IE

(exp(itσ+)1Iτ+<∞

)).

Зазначимо, що за критерiєм Колмогорова посиленого закону вели-ких чисел Sn/n →P1 IEξ1 < 0. Тому IP(limn→∞Sn ≤ 0) = 1, звiдкиIP(τ− < ∞) = 1 та µ∞ < ∞ м.н. З урахуванням теореми про властивостiхарактеристичної функцiї виводимо iснування границi

−iIEξ1 = limt→0(1− ϕ(t))/t =

limt→0 t−1(1− IE (exp(itσ−))) (1− IP(τ+ < ∞)) =

−iIEσ−IP(τ+ = ∞) = −iIEσ−IP(µ∞ ≤ 0),

де остання рiвнiсть є наслiдком недодатностi величини σ−.(б) Для ε > 0 позначимо ξ′n = ξn − ε, S ′n, µ′∞, σ′− – вiдповiднi функцiо-

нали. Тодi IEξ′n = −ε, µ′∞ ≤ µ∞, σ′− ≤ 0, σ′− = ξ′1 на множинi ξ′1 ≤ 0.Тому внаслiдок твердження (а)

IP(τ+ = ∞) = IP(µ∞ ≤ 0) ≤ IP(µ′∞ ≤ 0) = (IEξ′1)/IEσ′− = −ε/IEσ′− ≤−ε/IE(ξ′11Iξ′1≤0) = −ε/IE(ξ1 − ε)1Iξ1≤ε ≤ −ε/IEξ11Iξ1≤ε ≤ ε/m(δ),

для ε ∈ (0, δ), де m(δ) = −IEξ11Iξ1≤δ > 0 при деякому δ > 0. Оскiлькиймовiрностi у лiвiй частинi не залежать вiд ε, з отриманої нерiвностiвиводимо, що цi ймовiрностi нульовi. Скiнченнiсть м.н. τ− випливає зоцiнки τ− ≤ τ ′+, де останнiй момент будується за величинами (−ξn) ¡


2.11.2. Натуральна факторизацiя

Одночасно з наведеними у теоремi про факторизацiйнi тотожностi дляграничних функцiоналiв мають мiсце такого ж типу факторизацiї, алевже через розподiли послiдовних сум Sn = ξ1 + ... + ξn.

Лема (про натуральну факторизацiю). Для всiх t ∈ R та z ∈ C з|z| < 1 справедлива тотожнiсть

1− zϕ(t) = w0(z)w+(t, z) / w−(t, z),

де

w+(t, z) = exp

(−

∑n≥1

zn

nIE(exp(itSn)1ISn>0)

),

w−(t, z) = exp

(+

∑n≥1

zn

nIE(exp(itSn)1ISn<0)

),

w0(z) = exp

(−

∑n≥1

zn

nIP(Sn = 0)

),

причому всi функцiї w±(t, z) – аналiтичнi та обмеженi на напiвплощинit ∈ Z : Im t ≷ 0, i є неперервними на її границi.

Крiм того, w±(±i∞, z) = 1 та w±(t, z) 6= 0.Доведення. Аналiтичнiсть w±(t, z) є наслiдком обмеженостi та аналi-

тичностi експоненти exp(ita) при Im t ≷ 0 та a ≷ 0.Оскiльки |zϕ(t)| ≤ |z| < 1 для вказаних t, z, то за формулою розкладу

логарифмiчної функцiї у ряд Тейлора

1− zϕ(t) = exp(ln(1− zϕ(t))) =

exp

(−

∑n≥1

zn

nϕn(t)

)= w0(z)w+(t, z) / w−(t, z),

де враховано тотожнiсть

ϕn(t) = IE exp(itSn) =

IE exp(itSn)1ISn>0 + IE exp(itSn)1ISn=0 + IE exp(itSn)1ISn<0.Нормованiсть множникiв: w±(±i∞, z) = 1 випливає зi збiжностi пере-

творень IE(exp(−sSn)1ISn≷0) → 0, s → ±∞. Останнє твердження леми єнаслiдком вiдсутностi коренiв у експоненцiйної функцiї на C ¡

Вправи(1) Знайти для симетричного блукання Бернуллi w0(z) = (1 +

√1− z2)/2.

(2) Величини (ξn, n ≥ 1) незалежнi однаково розподiленi, IEξ1 = 0, IDξ1 = 1,а Sn = ξ1 + ... + ξn. Тодi max1≤k≤n Sk/

√n →W |ζ| .n →∞, де ζ ' N(0, 1).


Теорема (про натуральнi зображення для перетворень вiд грани-чних функцiоналiв). Для всiх t ∈ R та z ∈ C з |z| < 1 :

(а) 1− ϕ+(t, z) = w0(z)w+(t, z),

(б) 1− ϕ−(t, z) = w0(z)/w−(t, z),

(в) 1− ϕ+(t, z) = w+(t, z),

(г) 1− ϕ−(t, z) = 1/w−(t, z),

(д) κ±(z) = 1/κ±(z) = w0(z).

Доведення(а,г,д) За теоремою про факторизацiйнi тотожностi для граничних фун-

кцiоналiв, (в), та лемою про натуральну факторизацiю для t ∈ R, |z| < 1отримуємо тотожностi

(1− ϕ+(t, z))(1− ϕ−(t, z)) = 1− zϕ(t) = w0(z)w+(t, z) / w−(t, z),

звiдки виводимо, що

(1− ϕ−(t, z))w−(t, z) = w0(z)w+(t, z) / (1− ϕ+(t, z)).

Лiва частина цiєї тотожностi аналiтична в областi t ∈ Z : Im t < 0 танеперервна на її границi t ∈ Z : Im t = 0, а права частина – аналiтичнав областi t ∈ Z : Im t > 0 та неперервна на границi t ∈ Z : Im t = 0.Оскiльки при t ∈ R вказанi функцiї збiгаються, то за теоремою про єди-нiсть аналiтичного продовження вони є вiдповiдними звуженнями на R цi-лої функцiї, що внаслiдок обмеженостi є сталою. За лемою про аналiтичнепродовження перетворень вiд граничних функцiоналiв 1−ϕ−(−i∞, z) = 1,а за лемою про натуральну факторизацiю w−(−i∞, z) = 1. Отже, вказа-на стала дорiвнює 1. Тому з наведеної тотожностi випливають рiвностi(а,г). Оскiльки права частина цiєї тотожностi при t → +i∞ дорiвнюєw0(z) / κ+(z) за теоремою про спiввiдношення для перетворень вiд гра-ничних функцiоналiв, (а), то справедливi тотожностi (д).

Твердження (б,в) доводяться аналогiчно ¡Теорема (про скiнченнiсть граничних функцiоналiв). Припустимо,

що IP(ξ1 = 0) < 1.(1) Завжди збiгається числовий ряд∑

n≥1n−1IP(Sn = 0) = − ln(1− IP(σ± = 0, τ± < ∞)).

(2) Наступнi умови еквiвалентнi:(а) µ∞ < ∞ м.н., (б) IP(µ∞ ≤ 0) > 0, (в)

∑n≥1 n−1IP(Sn > 0) < ∞.


(3) IP(−∞ < µ∗∞, µ∞ < ∞) = 0.(4) Якщо величина ξ1 iнтегровна i IEξ1 < 0, то

IP(−∞ = µ∗∞, µ∞ < ∞) = 1.(5) Якщо величина ξ1 iнтегровна i IEξ1 = 0, то

IP(−∞ = µ∗∞, µ∞ = ∞) = 1.Доведення(1) Оберемо t = 0 у рiвностi (д) теореми про натуральнi зображення

для перетворень вiд граничних функцiоналiв i спрямуємо z ↑ 1 :

exp(−

∑n≥1

n−1IP(Sn = 0))

= w0(1) = κ±(1) = 1− IP(σ± = 0, τ± < ∞).

Припустимо, що ряд у лiвiй частинi розбiгається. Тодi права частинаостанньої тотожностi дорiвнює нулю. Якщо IP(ξ1 > 0) > 0, то

0 = 1− IP(σ+ = 0, τ+ < ∞) ≥ IP(σ+ > 0, τ+ < ∞) ≥ IP(ξ1 > 0) > 0.

Отримана суперечнiсть доводить збiжнiсть вказаного ряду. Альтернативнеприпущення IP(ξ1 < 0) > 0 розглядається аналогiчно.

(2) (а=⇒б) Для деяких c > 0 та n ≥ 1 :

IP(µ∞ ≤ 0) ≥ IPn(ξ1 ≤ −c)IP(supk>n(Sk − Sn) ≤ nc) =

IPn(ξ1 ≤ −c)IP(µ∞ ≤ nc) > 0

(б=⇒а) Випадкова подiя µ∞ < ∞ належить залишковiй сигма-алгебрilimn→∞σ[ξn]. Тому за теоремою про закон нуля та одиницi КолмогороваIP(µ∞ < ∞) ∈ 0, 1. Отже, з 0 < IP(µ∞ ≤ 0) ≤ IP(µ∞ < ∞) виводимо, щоIP(µ∞ < ∞) = 1.

(б⇐⇒в). Оберемо t = 0 у тотожностi (в) теореми про натуральнi зобра-ження для перетворень вiд граничних функцiоналiв та спрямуємо z ↑ 1 :

exp(−∑

n≥1 n−1IP(Sn > 0))

= w+(0, 1) = 1− ϕ+(0, 1) =

1− IP(τ+ < ∞) = IP(τ+ = ∞) = IP(µ∞ ≤ 0).

(3) З твердження (а) для послiдовностей (ξn) та (−ξn) виводимо, щоодночасне виконання подiй з (3) еквiвалентне одночаснiй збiжностi рядiввигляду:

∑n≥1 n−1IP(Sn ≷ 0), що суперечить твердженню (а) теореми.

(4) За наслiдком про максимум блукання з iнтегровними стрибками,(а), µ∞ < ∞ м.н.,.тому за твердженням (3) µ∗n = −∞ м.н.

(5) Подiя µ∞ < ∞ належить залишковiй сигма-алгебрi limn→∞σ[ξn].Припустимо, що IP(µ∞ < ∞) > 0. Тодi за теоремою про закон нуля таодиницi Колмогорова IP(µ∞ < ∞) = 1. Унаслiдок (2) звiдси виводимо, що


IP(µ∞ ≤ 0) > 0. Однак за наслiдком про максимум блукання з iнтегровни-ми стрибками, (б), остання ймовiрнiсть нульова. Отже, IP(µ∞ < ∞) = 0вiд супротивного. Застосування доведеного твердження до послiдовностi(−ξn) призводить до рiвностi µ∗∞ = −∞ м.н. ¡

2.11.3. Одностороннiй закон великих чисел

Теорема (про лiвостороннiй посилений закон великих чисел).(а) Нерiвнiсть limn→∞Sn/n ≤ c м.н. для сталої c ∈ R виконується

тодi й тiльки тодi, коли для кожного b > c збiгається ряд:∑

n≥1n−1IP(Sn > bn) < ∞.

(б) Справедлива тотожнiсть

limn→∞Sn/n = inf(a ∈ R :

∑n≥1

n−1IP(Sn > an) < ∞)

м.н.

Доведення(а) Розглянемо для b ∈ R послiдовнiсть ξ′n = ξn − b, S ′n = Sn − nb,

µ′∞ = supn≥1 S ′n.

Достатнiсть. Зi збiжностi ряду, що наведений в умовi, випливає збi-жнiсть ряду

∑n≥1 n−1IP(S ′n > 0), звiдки за теоремою про скiнченнiсть

граничних функцiоналiв, (2), виводимо, що µ′∞ < ∞ м.н. За означеннямµ′∞ при всiх n справедлива нерiвнiсть Sn ≤ nb+µ′∞. Тому limn→∞Sn/n ≤ bм.н. при кожному b > c, та limn→∞Sn/n ≤ c м.н.

Необхiднiсть. Для кожного b > c мають мiсце включення:

limn→∞Sn/n ≤ c ⊂ limn→∞(Sn − nb) < 0 ⊂limn→∞Sn − nb ≤ 0 = limn→∞S ′n ≤ 0 ⊂ supn≥1 S ′n < ∞,

де за умовою перша подiя має одиничну ймовiрнiсть. Тому i остання подiявиконується м.н., звiдки з теореми про скiнченнiсть граничних функцiо-налiв, (2), виводимо збiжнiсть ряду з умови.

(б) Величина limn→∞Sn/n вимiрна вiдносно залишкової сигма-алгебриlimn→∞σ[ξn], а тому за теоремою про закон нуля та одиницi Колмогороває виродженою: limn→∞Sn/n = c м.н. для деякої сталої c ∈ R. Позначимочерез b вказану в умовi нижню межу. Оскiльки

∑n≥1 n−1IP(Sn > an) < ∞

для всiх a > b, то внаслiдок твердження (а) c = limn→∞Sn/n ≤ a, звiдкививодимо нерiвнiсть c ≤ b. Аналогiчно з

∑n≥1 n−1IP(Sn > an) = ∞ при

a < b виводимо, що c ≥ b ¡


2.12. Гiллястi процеси

Гiллястий процес є стохастичною моделлю таких явищ, як спонтаннерозмноження частинок, зростання популяцiй, поширення iнфекцiї тощо.

Припустимо, що в початковий момент наявна одна частинка. Вона жи-ве певний вiдрiзок часу, потiм гине та одночасно породжує замiсть себевипадкову кiлькiсть таких самих частинок. Цi частинки утворюють пер-ше поколiння нащадкiв. Кожна з новоутворених частинок еволюцiонує затакими ж правилами, утворюючи друге поколiння i так далi. Постулює-ться, що подiї (щодо часу загибелi та кiлькостi нащадкiв), якi пов’язанi зрiзними частинками з одного чи рiзних поколiнь, незалежнi в сукупностi.

Означення. Нехай (ξnk , k ≥ 1, n ≥ 0) подвiйна послiдовнiсть не-

залежних у сукупностi однаково розподiлених невiд’ємних цiлозначнихвипадкових величин. Гiллястим процесом називається послiдовнiсть ви-падкових величин (ζn, n ≥ 0), що обчислюються рекурентно

ζ0 = 1, ζn+1 =∑ζn

k=1ξn

k , n ≥ 0.

Величина ζn задає загальну кiлькiсть частинок у n-ому поколiннi, а ξnk

iнтерпретується як кiлькiсть нащадкiв k-ої частинки з n-ого поколiння.Змiст останнього рiвняння очевидний: загальна кiлькiсть частинок на-

ступного поколiння дорiвнює сумi кiлькостей всiх нащадкiв всiх наявнихчастинок попереднього поколiння.

Зауважимо, що за означенням iз виродження популяцiї у n-му поко-лiннi: ζn = 0 випливає повна виродженiсть процесу: ζk = 0, ∀k ≥ n.

Для аналiзу гiллястих процесiв використаємо метод генератрис.

2.12.1. Генератриса гiллястого процесу

Теорема (про генератриси гiллястого процесу). Нехай гiллястийпроцес (ζn, n ≥ 0) має генератрису ϕ(z) = IEzξ1

1 числа нащадкiв однi-єї частинки, а ϕn(z) = IEzζn – генератриса кiлькостi частинок n-гопоколiння. Тодi для всiх n ≥ 0 :

(а) ϕn+1(z) = ϕn(ϕ(z)), ϕ0(z) = z,(б) ϕn+1(z) = ϕ(ϕn(z)).Доведення(а) є очевидним наслiдком означення гiллястого процесу та теореми

про властивостi генератрис, пункт (е). Незалежнiсть кiлькостi доданкiвζn та самих доданкiв ξn

k випливає з теореми про векторнi перетворення

2.12. Гiллястi процеси 259

незалежних величин, оскiльки величини ζn будується за значеннями по-переднiх кiлькостей нащадкiв (ξm

k , k ≥ 1,m ≤ n− 1), що не залежать вiд(ξn

k , k ≥ 1) за умови незалежностi в сукупностi величин (ξnk , k ≥ 1, n ≥ 0).

(б) З попереднього твердження за iндукцiєю отримуємо

ϕn(z) = ϕ(ϕ(...ϕ(z)...)),

де в правiй частинi мiститься n-кратна суперпозицiя. Очевидно, що оста-ння послiдовнiсть задовольняє тотожнiсть (б) ¡

2.12.2. Властивостi гiллястих процесiв

Означення. Критичним показником гiллястого процесу (ζn, n ≥ 0)називається середня кiлькiсть нащадкiв однiєї частинки:

µ = IEξ11.

Гiллястий процес називається(а) субкритичним, якщо µ < 1,(б) критичним, якщо µ = 1,(в) суперкритичним, якщо µ > 1.Означення. Iмовiрнiстю виродження у n-му поколiннi називається

ймовiрнiсть вiдсутностi частинок у цьому поколiннi:

πn = IP(ζn = 0),

а ймовiрнiстю виродження – границя

π = limn→∞ πn = IP(∪n ≥ 0ζn = 0).Зауваження. За означенням гiллястого процесу подiї ζn = 0 не

спадають, тому ζn = 0 ↑ ∪n ≥ 0ζn = 0, n → ∞, i за неперервнiстюймовiрностi πn ↑ π, n →∞.

Теорема (про ймовiрнiсть виродження гiллястого процесу).(а) Якщо гiллястий процес є субкритичним або (б) критичним, тодi

ймовiрнiсть виродження є одиничною: π = 1,(в) Якщо гiллястий процес – суперкритичний, то ймовiрнiсть виро-

дження π < 1 є єдиним на iнтервалi [0, 1) розв’язком рiвняння

π = ϕ(π).

Доведення. Оскiльки за означенням генератриси має мiсце рiвнiстьϕn(0) = IP(ζn = 0) = πn, то з теореми про генератриси гiллястого процесу,пункт (б), отримуємо при z = 0 рекурентне рiвняння

πn+1 = ϕ(πn),


причому π0 = 0. Переходячи тут до границi при n → ∞, з неперервно-стi ϕ робимо висновок, що ймовiрнiсть виродження π завжди є коренемрiвняння

p = ϕ(p), p ≥ 0.

Оскiльки ϕ(1) = 1, а функцiя ϕ як сума ряду з невiд’ємними коефiцiєн-тами опукла донизу на R+, то дане рiвняння завжди має не бiльше двохкоренiв, один з яких дорiвнює 1.

Доведемо, що ймовiрнiсть π є найменшим iз невiд’ємних коренiв. Дiй-сно, якщо p – якийсь невiд’ємний корiнь, то p ≥ π0 = 0. Тодi за iндукцiєюp ≥ πn, оскiльки з p ≥ πn−1 та з монотонностi ϕ випливає нерiвнiсть

p = ϕ(p) ≥ ϕ(πn−1) = πn.

Отже, π = lim πn ≤ p, що i доводить мiнiмальнiсть π.

В умовах твердження (а) маємо ϕ′(1) = µ < 1, тому в лiвому околiодиницi має мiсце зображення

ϕ(z) = 1 + (z − 1)µ + o(|z − 1|) > z.

Оскiльки з µ < 1 випливає ϕ(0) > 0, то з опуклостi ϕ робимо висновок,що ϕ(z) > z при всiх z ∈ [0, 1). Отже, найменший корiнь p = 1, томувиконується рiвнiсть π = 1.

У випадку (б) пряма y = z є дотичною до графiка ϕ(z) у точцi z = 1.Тому за опуклiстю ϕ знову ϕ(z) > z при z ∈ [0, 1) та p = 1, π = 1.

Отже, у випадках (а) i (б) мiнiмальний корiнь рiвняння p = ϕ(p), p ≥ 0,дорiвнює 1 i за доведеним вище π = 1.

(в) За умови µ > 1 у лiвому околi одиницi

ϕ(z) = 1 + (z − 1)µ + o(|z − 1|) < z.

Одночасно ϕ(0) ≥ 0. Тому з неперервностi ϕ випливає iснування коренярiвняння p = ϕ(p), p ∈ [0, 1), а з опуклостi – його єдинiсть (адже 1 –iнший корiнь) ¡

Теорема (про середню чисельнiсть поколiнь). Нехай (ζn, n ≥ 0) гi-ллястий процес. Середня чисельнiсть n-го поколiння µn = IEζn дорiвнює

µn = µn,

причому при n →∞ справедливi такi спiввiдношення:(а) для субкритичного процесу µn → 0,

(б) для критичного процесу µn = 1,

(в) для суперкритичного процесу µn →∞.

2.13.Мартингальнi послiдовностi 261

Доведення. З властивостi (г) теореми про властивостi генератрис та зтеореми про генератриси гiллястого процесу обчислимо

µn+1 = ϕ′n+1(1) = (ϕ(ϕn(z)))′ |z=1= ϕ′n(1)ϕ′(ϕn(1)) = µnµ.

Звiдси за iндукцiєю µn = µn ¡Вправи(1) Якщо (ζn) – гiллястий процес, а d ∈ N, то (ζnd) – гiллястий процес.(2) Довести, що побудована за методом Ньютона-Рафсона послiдовнiсть p0 =

0, pm+1 = pm + (ϕ(pm) − pm)/(ϕ′(pm) − 1),m ≥ 1, збiгається при m → ∞ доймовiрностi виродження π, та обчислити швидкiсть збiжностi.

(3) Довести, що за припущенням геометричного розподiлу числа нащадкiвчастинки: IP(ξ1

1 = k) = abk−1, k ≥ 1, з деякими a, b > 0, a + b < 1, генератрисиϕn є дробово-рацiональними функцiями, та обчислити цi функцiї.

(4) Знайти ймовiрнiсть виродження для гiллястого процесу такого, що кiль-кiсть нащадкiв ξ1

1 ∈ 0, 1, 2.(5) Вивести узагальнення теореми про ймовiрнiсть виродження на випадок,

коли генератриса кiлькостi нащадкiв дорiвнює ϕ для парних поколiнь та ψ – длянепарних. Чи змiняться вiдповiдi, якщо ϕ та ψ помiняти мiсцями ?

(6) Нехай (ζn) – гiллястий процес. Довести при k, m > 0 нерiвнiстьIP(∪m−1

n=1 ζn > k | ζm = 0) ≤ (IP(ζm = 0))k.

(7) Нехай (ζn) – гiллястий процес,.для якого IP(ξ11 = k) = bck при k ≥ 1.

Знайти граничний розподiл limn→∞ IP(ζn = k | ζn > 0).

(8) Нехай (ζn) – гiллястий процес.з генератрисою ϕ числа нащадкiв, аSn =

∑nk=0 ζk i ψn(z) = IEzSn . Довести, що ψn+1(z) = zϕ(ψn(z)).

(9) Нехай (ζn) – гiллястий процес з µ > 1. Довести, що ζn/µn →P1 η, деIEη = 1, IDη = IDζ1/(µ

2 − µ).

(10) Нехай (ζn) – гiллястий процес з µ < 1 та IEζ21 < ∞. Довести, що

limn→∞ IP(ζn = k | ζn 6= 0) є дискретним розподiлом ймовiрностей.

2.13. Мартингальнi послiдовностi

Мартингали широко використовуються у рiзноманiтних застосуванняхтеорiї ймовiрностей, зокрема, у фiнансовiй математицi.

Нехай T – деяка впорядкована множина цiлих чисел, наприклад:T = 0, N, T = Z+ або T = Z.

Надалi для скорочення будемо вживати такi позначення: a∧b ≡ min(a, b),a ∨ b ≡ max(a, b).


Означення. Сiм’я пiд-сигма-алгебр Ft ⊂ F, t ∈ T, на ймовiрнiсномупросторi (Ω, F, IP) називається стохастичним потоком (або ж фiльтра-цiєю), якщо Fs ⊂ Ft, ∀s < t, s, t ∈ T.

Наприклад, послiдовнiсть сигма-алгебр Ft = σ[ξs, 0 ≤ s ≤ t], що поро-дженi послiдовнiстю (ξt, t ≥ 0), є потоком.

Означення. Сiм’я випадкових величин (ξt, t ∈ T ) називається узго-дженою зi стохастичним потоком (Ft, t ∈ T ), якщо при кожному t ∈ Tвеличина ξt вимiрна вiдносно сигма-алгебри Ft.

2.13.1. Означення та приклади мартингалiв

Означення. Сiм’я iнтегровних випадкових величин (ξt, t ∈ T ) нази-вається мартингалом вiдносно стохастичного потоку (Ft, t ∈ T ), якщо

(а) вона узгоджена з цим потоком,(б) ξs = IE(ξt | Fs) м.н. для всiх s < t, s, t ∈ T.

Якщо замiсть рiвностей (б) виконуються нерiвностi:(б′) ξs ≤ IE(ξt | Fs) м.н. для всiх s < t, s, t ∈ T ,

то послiдовнiсть (ξt, t ∈ T ) називається субмартингалом, а при вико-наннi протилежних нерiвностей (≥) – супермартингалом.

За означенням мартингал одночасно є суб- та супермартингалом.Зауваження. Якщо в означеннi мартингальної послiдовностi (ξn) не

вказано, який саме стохастичний потiк (Fn) мається на увазi, то слiдвважати, що це – натуральний потiк: Fn = σ[ξk, k ≤ n].

Зауваження. Умову (б) в означеннi мартингалу можна замiнити наумову IE(ξt − ξs | Fs) = 0 м.н., оскiльки за теоремою про властивостiумовного сподiвання IE(ξs | Fs) = ξs м.н. За лемою про знаковизначенiстьвипадкової величини вказана умова еквiвалентна рiвностям

IE(ξt − ξs)1IA = 0, ∀A ∈ Fs,

оскiльки її лiва частина дорiвнює IE(IE(ξt | Fs)− ξs)1IA.

Аналогiчно, субмартингальна умова (б′) у означеннi еквiвалентна не-рiвностям: IE(ξt − ξs | Fs) ≥ 0 м.н., або ж: IE(ξt − ξs)1IA ≥ 0, ∀A ∈ Fs.

Лема (про критерiй мартингальної властивостi). Iнтегровна по-слiдовнiсть (ξn, n ∈ T ) є мартингалом (субмартингалом ) тодi й тiлькитодi, коли вона узгоджена з фiльтрацiєю (Fn) та виконуються умови:ξn = (≤) IE(ξn+1 | Fn) м.н. для всiх n ∈ T, n < sup T.

Для виконання останньої рiвностi (нерiвностi) необхiдно i доста-тньо, щоб IE(ξn+1 − ξn)1IA = (≥) 0, ∀A ∈ Fn.


Доведення проводиться за iндукцiєю. Якщо умова (б) виконуєтьсядля s < t < sup T, то за теоремою про властивостi умовного сподiвання

ξs = IE(ξt | Fs) = IE(IE(ξt+1 | Ft) | Fs) = IE(ξt+1 | Fs) м.н.

Отже, ця умова справедлива також для пари s, t + 1 ¡Приклади1. Випадковi блукання: нехай (ζn, n ≥ 1) послiдовнiсть незалежних

випадкових величин з IEζn = 0. Тодi послiдовнiсть ξn =∑n

k=1 ζk є мартин-галом вiдносно потоку Fn = σ[ζk, k ≤ n], оскiльки

IE(ξn+1 − ξn | Fn) = IE(ζn+1 | Fn) = IEζn+1 = 0 м.н.

внаслiдок незалежностi ζn+1 i Fn, та умови центрованостi доданкiв. Якщоумову центрованостi замiнити на IEζn ≥ 0 (для чого достатньо невiд’єм-ностi доданкiв), то послiдовнiсть ξn буде субмартингалом.

2. Випадковi еволюцiї: якщо (ζn, n ≥ 1) послiдовнiсть незалежнихдодатних випадкових величин з IEζn = 1. Тодi послiдовнiсть ξn =

∏nk=1 ζk

є мартингалом вiдносно потоку Fn = σ[ζk, k ≤ n], оскiльки

IE(ξn+1 | Fn) = IE(ξnζn+1 | Fn) = ξnIE(ζn+1 | Fn) = ξnIE(ζn+1) = ξn м.н.

за теоремою про властивостi умовного сподiвання.3. Умовнi щiльностi: нехай Q – довiльна мiра на F, що абсолютно

неперервна вiдносно мiри P : Q(A) = 0 для всiх A ∈ F з P (A) = 0, а(Fn) – стохастичний потiк. Тодi послiдовнiсть щiльностей ξn = dQn(·)

dPn(·) (щоiснують за теоремою Радона-Нiкодима ) звужень Qn мiри Q на Fn вiдноснозвуження Pn мiри P є мартингалом вiдносно Fn. Вимiрнiсть ξn вiдносноFn очевидна. З означення щiльностi отримуємо при Bn ∈ Fn також умовубалансу в означеннi умовного математичного сподiвання:

IEξn+11IBn =w

Bn

ξn+1dPn+1 = Qn+1(Bn) = Qn(Bn) =w

Bn

ξndPn = IEξn1IBn .

4. Мартингали Левi: якщо ξ – iнтегровна величина, а (Fn) – стоха-стичний потiк, то послiдовнiсть ξn = IE(ξ | Fn) є мартингалом за теоремоюпро властивостi умовного сподiвання.

2.13.2. Перетворення мартингалiв

Означення. Послiдовнiсть випадкових величин (Vn, n ∈ T ) назива-ється передбачуваною вiдносно потоку (Fn, n ∈ T ), якщо величина Vn

вимiрна вiдносно сигма-алгебри Fn−1 для всiх n > min T, а величинаVmin T – невипадкова.


Приклад. Якщо (ξn, n ≥ 1) вiдображає динамiку курсу акцiй на кiнецьn-го бiржового дня, а Vn – кiлькiсть таких акцiй, призначених брокеромна n-ий день для купiвлi або продажу, то послiдовнiсть (Vn) є передбачу-ваною вiдносно потоку (σ[ξk, k ≤ n]).

Теорема (про перетворення мартингальних послiдовностей). Не-хай (Ft, t ∈ T ) – фiксований стохастичний потiк, вiдносно якого роз-глядаються наведенi нижче мартингальнi послiдовностi.

(1) Якщо (ξt, t ∈ T ) – мартингал (субмартингал ), а S ⊂ T, то послi-довнiсть (ξt, t ∈ S) – також мартингал (субмартингал).

(2) Якщо (ξ(1)t , t ∈ T ) та (ξ

(2)t , t ∈ T ) – мартингали (субмартингали ),

а ck ∈ R (вiдповiдно ck ∈ R+), то (c1ξ(1)t + c2ξ

(2)t , t ∈ T ) – мартингал

(вiдповiдно субмартингал).(3) Послiдовнiсть (ξt, t ∈ T ) є супермартингалом тодi й тiльки тодi,

коли (−ξt, t ∈ T ) – субмартингал.(4) Якщо (ξ

(1)t , t ∈ T ) та (ξ

(2)t , t ∈ T ) – два субмартингали, то послi-

довнiсть (ξ(1)t ∨ ξ

(2)t , t ∈ T ) – також субмартингал.

(5) Нехай (ξt, t ∈ T ) – мартингал, борелєва функцiя g опукла донизу,i величини g(ξt) – iнтегровнi. Тодi (g(ξt), t ∈ T ) є субмартингалом.

(6) Нехай (ξt, t ∈ T ) – субмартингал, борелєва функцiя g опукла дони-зу, не спадає i така, що величини g(ξt) iнтегровнi. Тодi послiдовнiсть(g(ξt), t ∈ T ) є субмартингалом.

(7) Нехай (ξn, n ∈ 0, N) – мартингал, а послiдовнiсть (Vn, n ∈ 0, N) єпередбачуваною. Якщо величини ζn ≡ V0ξ0 +

∑nk=1 Vk(ξk − ξk−1) є iнте-

гровними, то вони утворюють мартингал (ζn, n ∈ 0, N).

(8) Якщо (ξn, n ∈ 0, N) – субмартингал (супермартингал ), а послi-довнiсть (Vn, n ∈ 0, N) є передбачуваною, невiд’ємною та обмеженою,то величини ζn ≡ V0ξ0 +

∑nk=1 Vk(ξk − ξk−1) утворюють субмартингал

(вiдповiдно супермартингал).Наслiдок. Якщо (ξt) – мартингал, то субмартингалами є послiдов-

ностi: (1) (ξt ∨ a) при a ∈ R, (2) (|ξt|α) при α ≥ 1, (3) (ξ+t ). Дiйсно,

функцiї x ∨ a, |x|α , x+ є опуклими донизу.Доведення(1) Твердження є очевидним наслiдком означення.(2) Лiнiйне перетворення зберiгає умову (а) вимiрностi в означеннi

мартингалу. Умова (б) на умовнi ймовiрностi виконується внаслiдок лiнiй-ностi в теоремi про загальнi властивостi умовного сподiвання.

(3) Це твердження випливає з означення.


(4) Величина ξt ≡ ξ(1)t ∨ ξ

(2)t є Ft-вимiрною за теоремою про вимiрнiсть

функцiї вiд випадкового вектора. Для перевiрки умови (б′) використаємомонотоннiсть умовного сподiвання: ξ(k)

s ≤ IE(ξ(k)t | Fs) ≤ IE(ξt | Fs) при

k = 1, 2, s < t. Звiдси ξs = ξ(1)s ∨ ξ(2)

s ≤ IE(ξt | Fs), що доводить (4).(5) За нерiвнiстю Йенсена (7) з теореми про властивостi умовного

сподiвання отримуємо g(ξs) = g(IE(ξt | Fs)) ≤ IE(g(ξt) | Fs) м.н.(6) Аналогiчно за нерiвнiстю Йенсена з урахуванням монотонностi g

виводимо нерiвнiсть g(ξs) ≤ g(IE(ξt | Fs)) ≤ IE(g(ξt) | Fs) м.н.(7) Вимiрнiсть ζn вiдносно Fn очевидна. З означення виводимо то-

тожнiсть ζn − ζn−1 = Vn(ξn − ξn−1). Її лiва частина є iнтегровною заумовою,.а величини ξn також iнтегровнi за означенням. Тому на пiдста-вi Fn−1-вимiрностi Vn за теоремою про властивостi умовного сподiвання,отримуємо

IE(ζn − ζn−1 | Fn−1) =

IE(Vn(ξn − ξn−1) | Fn−1) = VnIE((ξn − ξn−1) | Fn−1) = 0 м.н.(8) Доведення проводиться аналогiчно до (7), оскiльки iнтегровнiсть

Vnξn випливає з iнтегровностi ξn та обмеженостi Vn, а справедливiстьнеобхiдних нерiвностей випливає з невiд’ємностi Vn ¡

Теорема (теорема Дуба про зображення узгодженої послiдовно-стi). Для кожної iнтегровної послiдовностi (ξn, n ≥ 0), що узгоджена зпотоком (Fn, n ≥ 0), знайдеться мартингал (ζn, n ≥ 0) та передбачуванапослiдовнiсть (Vn, n ≥ 0) вiдносно (Fn) такi, що

ξn = ζn + Vn м.н. ∀n ≥ 0.

Це зображення є єдиним з точнiстю до рiвностi м.н. за умови V0 = 0.Якщо (ξn) – субмартингал, то послiдовнiсть (Vn) є м.н. неспадною.Означення. Послiдовнiсть (Vn) у зображеннi Дуба називається ком-

пенсатором процесу (ξn, n ≥ 0).Доведення. Визначимо ζ0 = ξ0, V0 = 0 та рекурентно при n ≥ 1

ζn = ζ0 +∑n

k=1(ξk − IE(ξk | Fk−1)),

Vn =∑n

k=1(IE(ξk | Fk−1)− ξk−1).

Тодi за означенням ζn + Vn = ξn, величина (ζn) є Fn-вимiрною, а по-слiдовнiсть (Vn) – передбачуваною. Оскiльки за теоремою про властивостiумовного сподiвання

IE((ζn+1 − ζn) | Fn) = IE((ξn+1 − IE(ξn+1 | Fn)) | Fn) = 0 м.н.,

то (ζn) – мартингал за лемою про критерiй мартингальної властивостi.


Для доведення єдиностi з рiвняння ζn + Vn = ζ ′n + V ′n обчисленням

умовного сподiвання вiдносно Fn−1 отримуємо ζn−1+Vn = ζ ′n−1+V ′n, звiдки

ζn − ζn−1 = ζ ′n − ζ ′n−1 i ζn = ζ ′n внаслiдок означення ζ0 = ζ ′0 = ξ0.Послiдовнiсть (Vn) м.н. не спадає за означенням субмартингалу ¡Вправи(1) Якщо (ξt, t ∈ T ) – мартингал, то послiдовнiсть IEξs = IEξt є сталою, а

для субмартингалу ця послiдовнiсть не спадає.(2) Випадковi величини (ζn, n ≥ 1) iнтегровнi. Довести, що послiдовнiсть

ξn = ζ1 + ...+ζn є мартингалом вiдносно потоку Fn = σ[ζk, k ≤ n] тодi й тiлькитодi, коли (ζn) є мартингал-приростами, тобто IEζn+1gn(ζ1, ..., ζn) = 0 для всiхобмежених борелєвих gn та всiх n ≥ 1.

(3) Послiдовнiсть величин (ξn, n ≥ 1) є мартингалом вiдносно потоку (Fn).Довести, що вона є мартингалом вiдносно натурального потоку (σ[ξk, k ≤ n]).

(4, М.Й.Ядренко) Випадковi величини (ξn) незалежнi рiвномiрно розподiленiна (0, 1), а Sn = ξ1+...+ξn, τ = inf(n : Sn > 1). Довести, що IP(τ > n) = 1/n!,IEτ = e, IESτ = e/2.

(5) Випадковi величини (ζn, n ≥ 1) незалежнi, IP(ζn = 0) = IP(ζn = 2) =1/2. Довести, що мартингал ξn =

∏nk=1 ζk не є мартингалом Левi.

(6) Послiдовнiсть (ξn, n ≥ 1) є мартингалом, ξ0 = 0, а ζn = ξn−ξn−1, n ≥ 1.Якщо

∑n≥1 IEζ2

n/n2 < ∞, то ξn/n →P1 0, n →∞.

(7) Величини (ζn, n ≥ 1) незалежнi та iнтегровнi, IEζn = 0. Довести, що:(а) для кожного k ≥ 1 послiдовнiсть ξn =

∑1≤i1<i2<...<ik≤n ζ i1 ...ζ ik

є мартинга-лом, (б) для сталих (cnk, 0 ≤ k < n) частиннi суми ряду

∑n≥1

∑k<n cnkζkζn

утворюють мартингал.(8) Величини (ζn, n ≥ 1) незалежнi, iнтегровнi, IEζn = 0, а (ηn, n ≥ 1)

– довiльна незалежна вiд (ζn) послiдовнiсть iнтегровних випадкових величин.Довести, що величини ξn =

∑nk=1 ζkηk утворюють мартингал.

(9) Величини (ζn, n ≥ 1) незалежнi, IP(ζn = ±1) = 1/2. Обчислити компен-сатор та вiдповiдний мартингал у розкладi Дуба для субмартингала ξn = |Sn| ,де Sn = ζ1 + ...+ ζn. Довести, що IE

∑n−1k=1 1ISk=0 = IE |Sn| ∼

√2n/π, n →∞.

(10) Випадковi величини (ζn, n ≥ 1) незалежнi та квадратично iнтегровнi,IEζn = 0, а ηn =

∑nk=1 ζk. Довести, що послiдовнiсть ξn = η2

n − IEη2n є мартин-

галом, тобто (IEη2n, n ≥ 1) є компенсатором субмартингалу (η2

n, n ≥ 1).(11) Нехай (ξn, n ≥ 0) – мартингал вiдносно потоку (Fn) , що є квадратично

iнтегровним: IEξ2n < ∞, для всiх n. Довести, що компенсатор субмартингалу

(ξ2n, n ≥ 0) дорiвнює Vn =

∑nk=1 IE((ξk − ξk−1)

2 | Fn−1).(12) Величини (ζn, n ≥ 1) незалежнi, IP(ζn = 1) = p, IP(ζn = −1) = q,

p + q = 1, а ηn =∑n

k=1 ζk. Довести, що ξn ≡ (q/p)ηn – мартингал.


(13) Нехай (ζn, n ≥ 0) – гiллястий процес з ζ0 = 1 та IEζ1 = µ > 0. Довести,що (ζnµ−n) – мартингал.

(14) Пересвiдчитись, що в iнтерпретацiї прикладу до означення передбачу-ваної послiдовностi, послiдовнiсть у теоремi про перетворення мартингальнихпослiдовностей, (7), збiгається з сумарним прибутком (втратами) брокера вiдоперацiй з акцiями на кiнець n-го дня.

(15) Випадковi величини (ζn, n ≥ 1) незалежнi, однаково розподiленi та iнте-гровнi. Визначимо ξ−n = (ζ1 + ... + ζn)/n при n ≥ 1. Довести, що послiдовнiсть(ξn, n ≤ −1) є мартингалом.

2.13.3. Моменти зупинки

Означення. Випадкова величина τ зi значеннями у множинi T ємоментом зупинки вiдносно потоку (Ft, t ∈ T ), якщо τ ≤ t ∈ Ft длявсiх t ∈ T. Вiдповiдна величина τ зi значеннями у множинi T ∪ ∞називається марковським моментом.

Приклад. Якщо (ξn, n ≥ 1) незалежнi випадковi величини, що поро-джують потiк Fn = σ[ξk, k ≤ n], i Sn = ξ1 + ... + ξn, то випадкова величина

τ = inf(n ≤ N : Sn ≥ a) ∧N

є моментом зупинки. Дiйсно, при n < N подiя τ ≤ n = ∪nk=1Sk ≥ a ∈

Fn, i за означенням τ ≤ N = Ω ∈ FN .Зауваження. Якщо τ – момент зупинки, то випадковi подiї τ < t,

τ = t, τ > t належать Ft при t ∈ T.Доведення випливає зi спiввiдношень τ < t = ∪k≥1τ ≤ t − 1/k,

τ = t = τ ≤ t\τ < t, τ > t = τ ≤ t ¡Теорема (про перетворення моментiв зупинки). Нехай τn – невiд’-

ємнi моменти зупинки. Тодi: (а) τ 1 ∨ τ 2, (б) τ 1 + τ 2, (в) τ 1 ∧ τ 2 такожє моментами зупинки. (г) Якщо τn ↑ τ або τn ↓ τ при n → ∞, то τ –марковський момент.

Доведення(а) τ 1 ∨ τ 2 ≤ t = τ 1 ≤ t ∩ τ 2 ≤ t ∈ Ft.(б) τ 1 + τ 2 ≤ t = ∪t

s=0(τ 1 ≤ t− s ∩ τ 2 = s) ∈ Ft.(в) τ 1 ∧ τ 2 ≤ t = τ 1 ≤ t ∪ τ 2 ≤ t ∈ Ft.(г) τ ≤ t = ∪n≥1τn ≤ t при τn ↓ τ ,

τ > t = ∪n≥1τn > t при τn ↑ τ ¡Означення. Нехай τ – момент зупинки вiдносно потоку (Ft, t ∈ T ).

Сигма-алгеброю подiй, що передують моменту τ , називається такий


клас випадкових подiй:

Fτ ≡ A ∈ F : A ∩ τ ≤ t ∈ Ft, ∀t ∈ T.Цей клас є сигма-алгеброю, оскiльки: (1) Ω ∈ F за означенням моменту

зупинки. (2) Якщо A ∈ Fτ , то A ∩ τ ≤ t = τ ≤ t\(A ∩ τ ≤ t) ∈ Ft.(3) Для Ak ∈ Fτ маємо (∪k≥1Ak) ∩ τ ≤ t = ∪k≥1(Ak ∩ τ ≤ t) ∈ Ft ¡

Теорема (про подiї, що передують моментам зупинки).(а) Якщо τ k, k = 1, 2, – моменти зупинки вiдносно стохастичного

потоку (Ft, t ∈ T ), i τ 1 ≤ τ 2, то Fτ1 ⊂ Fτ2 .(б) Нехай послiдовнiсть (ζt, t ∈ T ) та потiк (Ft, t ∈ T ) такi, що ζt

є Ft-вимiрними, а τ – момент зупинки вiдносно (Ft). Тодi випадковавеличина

ζτ ≡∑

t∈Tζt1Iτ=t

є вимiрною вiдносно сигма-алгебри Fτ .Доведення(а) Нехай A ∈ Fτ1 . Оскiльки τ 2 ≤ t ⊂ τ 1 ≤ t, то

A ∩ τ 2 ≤ t = (A ∩ τ 1 ≤ t) ∩ τ 2 ≤ t ∈ Ft, ∀t ∈ T.

(б) ζτ < a ∩ τ ≤ t = ∪s∈T,s≤tζs < a ∩ τ = s ∈ Ft, ∀t ∈ T ¡Вправи(1) Обчислити Fτ для сталого моменту зупинки τ ≡ c ∈ T.(2) Нехай A ∈ Fτ . Довести, що A ∩ τ < t ∈ Ft, A ∩ τ = t ∈ Ft.(3) Довести, що момент зупинки τ вимiрний вiдносно Fτ .(4) Нехай τ , σ – моменти зупинки. Довести, що: (а) Fτ ⊂ Fσ при τ ≤ σ,

(б) τ ≤ σ ∈ Fτ ∩ Fσ, (в) Fτ∧σ = Fτ ∩ Fσ.(5) Якщо (τn) – моменти зупинки, то величини inf τn, sup τn, limτn, limτn є

марковськими моментами.(6) Нехай (ξn) – мартингал вiдносно (Fn), а τ – момент зупинки вiдносно

цього потоку. Довести, що (ξn∧τ ) – також мартингал.(7) Нехай (τ k, k = 1, n) – неспадна послiдовнiсть моментiв зупинки вiдносно

потоку (Fn), а величини ξk обмеженi та Fτk-вимiрнi. Довести, що послiдовнiсть

ζt =∑

k≤n ξk1It>τk є передбачуваною.(8) Визначимо σ-алгебру Fτ+0 замiною подiї τ ≤ t у означеннi на подiю

τ < t. Знайти аналоги тверджень теореми про перетворення моментiв зупинки.(9, теорема Гальмарiно) Нехай Ω = C[0, 1], F = B[Ω], Ft = σ[ω : ωs < x,

s ≤ t, x ∈ R]. Довести, що невiд’ємна борелєва функцiя τ = τ(ω) : Ω → R ємарковським моментом вiдносно потоку (Ft) тодi й тiльки тодi, коли з ωs = ω′sпри всiх s ≤ t та з τ(ω) ≤ t випливає, що τ(ω) = τ(ω′).


(10) Величина ξ набуває ненульових значень, а τ ∈ Z+. Довести, що послi-довнiсть (ξ1Iτ≤n, n ≥ 0) є узгодженою з заданим потоком (Fn) тодi й тiлькитодi, коли τ є моментом зупинки вiдносно цього потоку, а ξ є Fτ -вимiрною.Знайти вiдповiднi умови для послiдовностi (ξ1Iτ<n, n ≥ 0).

2.13.4. Випадкова зупинка субмартингалу

Теорема (теорема Дуба про вiльний вибiр). Нехай (ξn, n = 0, N) –мартингал (субмартингал ) вiдносно потоку (Fn). Якщо τ 1 ≤ τ 2 ≤ ... ≤ τm

– моменти зупинки вiдносно цього потоку зi значеннями у iнтервалi0, N, то послiдовнiсть (ξτk

, 1 ≤ k ≤ m) є мартингалом (вiдповiдносубмартингалом) вiдносно потоку (Fτk

, 1 ≤ k ≤ m).Зокрема, ξτk

= (≤)IE(ξτk+1| Fτk

), м.н. ∀k < m.Доведення. Послiдовнiсть сигма-алгебр (Fτk

) є стохастичним потокомза теоремою про подiї що передують моментам зупинки, з якої випливаєтакож Fτk

-вимiрнiсть величин ξτk.

Визначимо рекурентно при j = 0, N − 1 випадковi величини, якi вна-слiдок теореми про перетворення моментiв зупинки є моментами зупинки:

τ k0 = τ k, τ k,j+1 = (τ k + j) ∧ τ k+1.

Зауважимо, що за означенням τ k,j+1−τ k,j ∈ 0, 1. Оскiльки τ k+1 ≤ N,то τ kN = τ k+1. Крiм того, при фiксованому k послiдовнiсть τ kj не спадаєза j. Отже, подвiйна послiдовнiсть (τ kj, 0 ≤ j ≤ N, 0 ≤ k ≤ m) та-кож є неспадною послiдовнiстю моментiв зупинки зi значеннями у 0, N.Ця послiдовнiсть мiстить (τ k) як пiдпослiдовнiсть та пiсля перенумерацiїзадовольняє умову τ i+1 − τ i ∈ 0, 1. Тому за теоремою про перетворен-ня мартингальних послiдовностей досить довести твердження теореми заумови, що τ k+1 − τ k ∈ 0, 1.

З урахуванням наведеної вище властивостi вимiрностi величин ξτkза

лемою про критерiй мартингальної властивостi досить перевiрити при всiх0 ≤ k < m рiвностi (для випадку субмартингалу – нерiвностi виду ≥ 0):

IE(ξτk+1− ξτk

)1IA = 0, ∀A ∈ Fτk.

Для цього розглянемо при A ∈ Fτkостаннє математичне сподiвання з

урахуванням умови τ k+1 − τ k ∈ 0, 1 :

IE(ξτk+1− ξτk

)1IA = IE(ξτk+1− ξτk

)1IA1Iτk+1−τk=1 =

IE∑

s≥01Iτk=s(ξτk+1

− ξs)1IA1Iτk+1−s=1 =


IE∑

s≥01Iτk=s(ξs+1 − ξs)1IA1Iτk+1=s+1 =

IE∑

s≥0IE

((ξs+1 − ξs)1IA∩τk=s1Iτk+1>s | Fs

)=

IE∑

s≥0IE((ξs+1 − ξs) | Fs)1IA∩τk=s1Iτk+1>s = 0.

Тут врахованi включення A ∩ τ k = s ∈ Fs, τ k+1 > s ∈ Fs, з означеннямоменту зупинки, та теорема про властивостi умовного сподiвання ¡

З теореми про вiльний вибiр випливає низка нерiвностей для макси-муму мартингальних послiдовностей.

Теорема (нерiвнiсть Колмогорова для субмартингалу).(а) Нехай (ξn, n ∈ 0, N) – субмартингал вiдносно потоку (Fn). Тодi

для кожного ε > 0 справедлива нерiвнiсть

IP (max0≤n≤N ξn ≥ ε) ≤ IEξ+N /ε.

(б) Для субмартингалу (ξn, n ∈ Z+) при кожному ε > 0

IP(supn≥0 ξn ≥ ε) ≤ supN≥0 IEξ+N /ε.

Доведення(а) Розглянемо момент зупинки τ = N ∧ inf(n ≤ N : ξn ≥ ε).

За теоремою Дуба про вiльний вибiр послiдовнiсть (ξτ , ξN) є субмар-тингалом вiдносно вiдповiдного потоку.

Оскiльки max0≤n≤N ξn ≥ ε = ξτ ≥ ε, тоεIP(max0≤n≤N ξn ≥ ε) = IEε1Iξτ≥ε ≤ IEξτ1Iξτ≥ε ≤ IEξN1Iξτ≥ε ≤ IEξ+

N ,

де середня нерiвнiсть випливає з леми про критерiй мартингальної вла-стивостi, оскiльки ξτ ≥ ε ∈ Fτ , а iншi є наслiдками нерiвностей мiжвеличинами пiд знаком математичного сподiвання.

(б) Звуження (ξn) на 0, N є субмартингалом. З нерiвностi (а) для ньогозамiною правої частини на її верхню межу i граничним переходом N →∞отримуємо нерiвнiсть (б) ¡

Теорема (нерiвнiсть Колмогорова для мартингалу).(а) Нехай (ξn, n ∈ 0, N) – мартингал вiдносно потоку (Fn). Тодi для

кожного p ≥ 1 та всiх ε > 0 виконується нерiвнiсть

IP(max0≤n≤N |ξn| ≥ ε) ≤ IE |ξN |p /εp.

(б) Для мартингалу (ξn, n ∈ Z+) при всiх p ≥ 1, ε > 0

IP(supn≥0 |ξn| ≥ ε) ≤ supN≥0 IE |ξN |p /εp.


Доведення(а) За наслiдком теореми про перетворення мартингальних послiдовно-

стей послiдовнiсть ζn ≡ |ξn|p є субмартингалом. Застосування нерiвностiКолмогорова для субмартингалу до цiєї послiдовностi зi сталою εp > 0призводить до нерiвностi (а).

(б) Звуження (ξn) на 0, N є мартингалом. Тому нерiвнiсть (б) є очеви-дним наслiдком (а) пiсля граничного переходу N →∞ ¡

Вправи(1) На прикладi симетричного блукання Бернуллi з моментом досягнення

стану 1 перевiрити суттєвiсть умови обмеженостi τ ≤ N в теоремi Дуба провiльний вибiр.

(2) Послiдовнiсть iнтегровних величин (ξn, 0 ≤ n ≤ N) узгоджена з потоком(Fn). Довести, що вона утворює мартингал (субмартингал) тодi й тiльки тодi,коли IEξτ = (≤)IEξν для довiльних моментiв зупинки τ ≤ ν ≤ N.

(3) Нехай (ξn, n ≥ 0) – (Fn)-субмартингал такий, що ξn ≤ IE(ξ | Fn) м.н.для iнтегровної ξ, а τ , ν – моменти зупинки. Тодi ξτ∧ν ≤ IE(ξν | Fτ ) м.н.

(4) Якщо (ξn) – мартингал, а τ – момент зупинки, то IE |ξτ | ≤ limn→∞ IE |ξn|.(5) Нехай (ξn, n ≥ 0) – субмартингал, ε > 0. Довести такi нерiвностi:

(а) εIP(mink≤n ξk ≤ −ε) ≤ IEξ+n − IEξ0,

(б) εIP(maxk≤n |ξk| ≥ ε) ≤ 3 maxk≤n IE |ξk| .(6) Для мартингалу (ξn, n ≥ 0) довести при α > 1 нерiвностi:

IE |ξn|α ≤ IE maxk≤n |ξk|α ≤ IE |ξn|α (α/(α− 1))α.(7) Для мартингалу чи невiд’ємного супермартингалу (ξn) довести, що

IE maxk≤n |ξk| ≤ ee−1

(1 + IE |ξn| ln max(|ξn| , 1)).(8) Нехай (ξn, n ≥ 0) – мартингал, а τ – момент зупинки такий, що величина

ξτ iнтегровна i IEξn1Iτ>n → 0, n →∞. Довести, що IEξτ = IEξ0.(9) Випадковi величини (ζn, n ≥ 1) незалежнi однаково розподiленi, IEζ1 = 0,

та ξn = ζ1 + ... + ζn. Довести, що IE max1≤k≤n |ξk| ≤ 8IE |ξn| .(10) Нехай (ξn, n ≥ 0) – субмартингал, g – додатна неспадна опукла донизу

функцiя, i ε > 0. Довести, що εIP(maxk≤n ξk ≥ ε) ≤ IEg(ξn)/g(ε).(11) Випадковi величини (ζn, n ≥ 1) задовольняють такi умови: IEζ2

k < ∞ iIE(ζk | ζ1, ...ζk−1) = 0, k > 1, а ξn = ζ1 + ... + ζn. Довести при ε > 0 нерiвнiстьIP(max1≤k≤n |ξk| ≥ ε) ≤ IEξ2

n / ε2.(12, Тотожностi Вальда) Величини (ζn, n ≥ 1) незалежнi однаково розподiле-

нi, ξn = ζ1 + ...+ ζn, а τ – iнтегровний момент зупинки вiдносно (σ[ζk, k ≤ n]).Якщо величини ζk є (а) iнтегровними, то IEξτ = IEτ IEζ1, (б) квадратичноiнтегровними, то IE(ξτ − τ IEζ1)

2 = IEτ IDζ1. (в) Якщо ϕ(t) ≡ IE exp(itζ1) 6= 0, амомент τ обмежений, то IE (exp(itξτ )(ϕ(t))−τ ) = 1.


(13) Довести твердження попередньої вправи для рiзнорозподiлених незале-жних величин. Вказiвка: замiнити iнтегровнiсть τ на IE (

∑τk=0 IE |ζk|) < ∞.

(14) Нехай (ξn, n = 0, N) – мартингал, а τ – момент зупинки. Довести, щопослiдовнiсть ηn = ξn1In≤τ + (2ξτ − ξn)1In>τ – також мартингал.

(15) Нехай (ξ(k)n , n ≥ 0) – субмартингали, а τ – момент зупинки такий, що

ξ(1)τ ≤ ξ(2)

τ . Тодi послiдовнiсть ηn = ξ(1)n 1Iτ≤n + ξ(2)

n 1Iτ>n є субмартингалом.

2.13.5. Число перетинiв субмартингалом смуги

Для послiдовностi випадкових величин (ξn, n ≤ N), пари дiйсних a < bта k ≥ 1 розглянемо випадковi подiї

ANk (a, b) ≡

⋃1≤s1<t1<s2<...<sk<tk≤N

ξs1

≥ b, ξt1 ≤ a, ξs2≥ b, ..., ξtk

≤ a

.

Зауважимо, що подiї ANk (a, b) не зростають за k, та AN

N(a, b) = ∅.Означення. Число перетинiв θN(a, b) згори донизу смуги (a, b) послi-

довнiстю (ξn, n ≤ N) дорiвнює k ≥ 1, якщо справджується випадковаподiяAN

k (a, b)\ANk+1(a, b), та дорiвнює нулю на доповненнi AN

1 (a, b).Очевидно, що величина θN(a, b) визначена коректно для всiх ω.Теорема (про нерiвнiсть Дуба для числа перетинiв).(а) Нехай (ξn, n = 0, N) – субмартингал вiдносно потоку (Fn). Тодi

при a < b виконується нерiвнiсть

IEθN(a, b) ≤ IE(ξN − b)+ / (b− a).

(б) Для субмартингалу (ξn, n ∈ Z+) при всiх a < b

IEθ∞(a, b) ≤ supN≥0 IE(ξN − b)+ / (b− a).

де величина θ∞(a, b) визначена як число перетинiв згори донизу на всiймножинi Z+ – замiною N на ∞ в означеннi AN

k (a, b).Доведення(а) Визначимо рекурентно при k ≥ 1 величини

νk = inf(s > τ k−1 : ξs ≥ b), τ k = inf(t > νk−1 : ξt ≤ a),

де τ 0 ≡ 0, ν0 ≡ 0, нижнi межi обчислюються за s, t ≤ N i вважається,що inf ∅ = N. За означенням

θN(a, b) = m = νm < N ∩ ξτm≤ a ∩ (ξνm+1

< b ∪ ξτm+1> a) ⊂

(∩mk=1ξνk

− ξτk≥ b− a) ∩ τm+1 = N ∩ (∩N

k=m+2νk = τ k = N).


За iндукцiєю перевiряємо, що величини νk, τ k є моментами зупинки:

νk+1 ≤ m = ∪m−1n=1 τ k = n ∩ (∪m

s=n+1ξs ≥ b) =

∪m−1n=1 ∪m

s=n+1 τ k = n, ξs ≥ b ∈ Fm.

Розглянемо випадкову величину

ζ =∑N

k=1(ξνk

− ξτk).

Оскiльки νk ≤ τ k – моменти зупинки, то за теоремою Дуба про вiльнийвибiр пара (ξνk

, ξτk) є субмартингалом. Отже, з теореми про властивостi

умовного сподiвання та означення субмартингалу отримуємо

IEζ =∑N

k=1IE(ξνk

− ξτk) =

∑N

k=1IE(ξνk

− IE(ξτk| Fνk

)) ≤ 0.

З iншого боку, з наведеного вище включення для подiї θN(a, b) = mвиводимо такi спiввiдношення

ζ =∑N

m=0ζ1IθN (a,b)=m =

∑Nm=0 1IθN (a,b)=m

(∑mk=1(ξνk

− ξτk) + ξνm+1

− ξτm+1+

∑Nk=m+2(ξN − ξN)

)

≥ ∑Nm=0 1IθN (a,b)=m

(m(b− a) + ξνm+1

− ξτm+1

)=

(b− a)θN(a, b) +∑N

m=0 1IθN (a,b)=m(ξνm+1− ξN) =

(b− a)θN(a, b) +∑N

m=0 1IθN (a,b)=m1Iξνm+1≥b(ξνm+1

− ξN) ≥

(b− a)θN(a, b) +∑N

m=0 1IθN (a,b)=m1Iξνm+1≥b(b− ξN) ≥

(b− a)θN(a, b)−∑Nm=0 1IθN (a,b)=m(ξN − b)+ = (b− a)θN(a, b)− (ξN − b)+,

де враховано рiвнiсть τm+1 = N на подiї θN(a, b) = m, та тотожнiстьξνm+1

− ξN = ξN − ξN = 0 на подiї ξνm+1< b.

З наведених нерiвностей виводимо оцiнку

0 ≥ IEζ ≥ IE((b− a)θN(a, b)− (ξN − b)+) = (b− a)IEθN(a, b)− IE(ξN − b)+,

що i доводить твердження (а).(б) Позначимо через θN(a, b) число перетинiв смуги згори донизу для

звуження (ξn) на 0, N . Тодi θN(a, b) ↑ θ∞(a, b), N → ∞. Тому нерiвнiсть(б) випливає з (а) за теоремою Лебега про монотонну збiжнiсть ¡


2.13.6. Збiжнiсть мартингальних послiдовностей

Лема (про критерiй збiжностi числової послiдовностi). Для число-вої послiдовностi x = (xn, n ≥ 0) позначимо через θx(a, b) число перети-нiв згори донизу смуги a < b послiдовнiстю x, що визначається таксамо, як i величина θ∞(a, b) для (ξn, n < ∞).

Для iснування скiнченної границi limn→∞ xn необхiдно та доста-тньо, щоб для всiх a < b зi щiльної пiдмножини R

θx(a, b) < ∞, та limm→∞ θx(−m, b) = 0, limm→∞ θx(a,m) = 0.

Доведення. Оскiльки величина θx(a, b) набуває цiлих невiд’ємних зна-чень, то з умови limm→∞ θx(−m, b) = 0 виводимо, що θx(−m, b) = 0, почи-наючи з деякого m, тобто послiдовнiсть x обмежена знизу. Аналогiчно пе-реконуємося у обмеженостi x згори. Тому границi limn→∞xn ≤ limn→∞xn єскiнченними. Якщо остання нерiвнiсть є строгою, то для деяких α, β > 0кiлькiсть перетинiв смуги limn→∞xn + α < limn→∞xn − β є нескiнченною,що суперечить умовi. Отже, iснування границi limn→∞ xn доведено вiдсупротивного. Необхiднiсть наведеної умови очевидна ¡

Теорема (про збiжнiсть субмартингалу). Нехай (ξn, n ∈ Z+) – су-бмартингал вiдносно потоку (Fn, n ∈ Z+).

(а) Якщо supn≥0 IEξ+n < ∞, то м.н. iснує limn→∞ ξn ≡ ξ∞, i IE |ξ∞| < ∞.

(б) За умови рiвномiрної iнтегровностi послiдовностi (ξn) має мiсцезбiжнiсть у середньому: IE |ξn − ξ∞| → 0, n →∞, причому для всiх n ≥ 0м.н. справедливi нерiвностi ξn ≤ IE(ξ∞ | Fn). Тому розширена послi-довнiсть (ξn, n ∈ Z+ ∪ ∞) також є субмартингалом, якщо обратиF∞ ≡ σ[∪n≥0Fn].

Доведення(а) З теореми про нерiвнiсть Дуба для числа перетинiв, (б), виводимо,

що θ∞(a, b) < ∞ м.н. для всiх a < b. З тiєї ж нерiвностi при b ≥ 0 маємоIEθ∞(a, b) ≤ (supN≥0 IEξ+

N)/(b − a) → 0 при b → ∞ або a → −∞. Оскiлькивеличина θ∞(−a, b) ∈ Z+ не зростає за a.b ≥ 0, з останньої нерiвностiвипливає, що θ∞(−a, b) ↓ 0 м.н. при a →∞ або b →∞. Тому

IP

( ⋂

a<b∈Q

θ∞(a, b) < ∞, lim

m→∞θ∞(−m, b) = 0, lim

m→∞θ∞(a,m) = 0

)= 1.

Отже, за лемою про критерiй збiжностi числової послiдовностi маємiсце рiвнiсть IP(∃ limn→∞ ξn ∈ R) = 1. Позначимо через ξ∞ ≡ limn→∞ ξn.


За означенням субмартингалу послiдовнiсть IEξn не спадає, тому

supn≥0 IE |ξn| = supn≥0(2IEξ+n − IEξn) ≤ 2 supn≥0 IEξ+

n − IEξ0 < ∞.

Звiдси за нерiвнiстю Фату з теореми Лебега про мажоровану збiжнiстьвипливає iнтегровнiсть

IE |ξ∞| = IElimn→∞ |ξn| ≤ limn→∞IE |ξn| < ∞.

(б) З твердження (а) та теореми про граничний перехiд для рiвномiрноiнтегровної послiдовностi виводимо, що IE |ξn − ξ∞| → 0, n →∞.

Далi, за означенням субмартингалу та умовного математичного сподi-вання IEξs1IA ≤ IEξt1IA,∀A ∈ Fs при кожних s < t. За теоремою про умовирiвномiрної iнтегровностi послiдовнiсть (ξt1IA, t ≥ 0) також є рiвномiр-но iнтегровною. Тому за теоремою про граничний перехiд для рiвномiрноiнтегровної послiдовностi спрямуванням t → ∞ з останньої нерiвностiотримуємо: IEξs1IA ≤ IEξ∞1IA, ∀A ∈ Fs, що внаслiдок Fs-вимiрностi ξs

за лемою про критерiй мартингальної властивостi спричиняє нерiвнiстьξn ≤ IE(ξ∞ | Fn).

Останнє твердження теореми є очевидним наслiдком попередньої не-рiвностi, якщо врахувати F∞-вимiрнiсть величин ξn та limn→∞ξn, та обра-ти дану границю як F∞-вимiрний варiант для ξ∞ ¡

Теорема (про збiжнiсть мартингалу). Нехай (ξn, n ∈ Z+) – мартин-гал вiдносно потоку (Fn, n ∈ Z+), а F∞ = σ[∪n≥0Fn].

(а) Якщо supn≥0 IE |ξn| < ∞, то м.н. iснує limn→∞ ξn ≡ ξ∞, причомуIE |ξ∞| < ∞.

(б) Для того, щоб iснувала iнтегровна F∞-вимiрна величина ζ та-ка, що ξn = IE(ζ | Fn) м.н. для всiх n ≥ 0, необхiдно i достатньо, щобпослiдовнiсть (ξn) була рiвномiрно iнтегровною.

(в) За умов (б) ζ = ξ∞ м.н., IE |ξn − ξ∞| → 0, n → ∞, причо-му послiдовнiсть (ξn, n ∈ Z+ ∪ ∞) є мартингалом вiдносно потоку(Fn, n ∈ Z+ ∪ ∞).

Доведення(а) Оскiльки мартингал є субмартингалом, а IEξ+

n ≤ IE |ξn| , то iснува-ння та iнтегровнiсть величини ξ∞ = limn→∞ ξn випливає з теореми прозбiжнiсть субмартингалу.

(б) Достатнiсть рiвномiрної iнтегровностi. З (а) та теореми про гра-ничний перехiд для рiвномiрно iнтегровної послiдовностi випливає збi-жнiсть ξn у середньому до величини ξ∞. Остання iнтегровна згiдно з(а) та м.н. дорiвнює F∞-вимiрнiй величинi ζ = limn→∞ξn, оскiльки длязбiжної послiдовностi верхня границя дорiвнює границi.


Далi, як i вище, з рiвностi IEξs1IA = IEξt1IA,∀A ∈ Fs при всiх s < t, зтеореми про граничний перехiд для рiвномiрно iнтегровної послiдовностiспрямуванням t →∞ виводимо IEξs1IA = IEζ1IA i ξn = IE(ζ | Fn) м.н.

Необхiднiсть. За теоремою про властивостi умовного сподiвання вна-слiдок зображення (б) для всiх A ∈ Fn справедлива нерiвнiсть

IE |ξn| 1IA ≤ IE(IE(|ζ| | Fn)1IA) = IE(IE(|ζ| 1IA | Fn)) = IE(|ζ| 1IA).

Звiдси IP(|ξn| ≥ c) ≤ IE |ξn| /c ≤ IE |ζ| /c для c > 0 за загальною нерiвнi-стю Чебишева. Отже, з Fn-вимiрностi ξn при b > 0 випливає нерiвнiсть

IE |ξn| 1I|ξn|≥c ≤ IE |ζ| 1I|ξn|≥c = IE |ζ| 1I|ζ|≥b,|ξn|≥c + IE |ζ| 1I|ζ|<b,|ξn|≥c ≤IE |ζ| 1I|ζ|≥b + bIP(|ξn| ≥ c) ≤ IE |ζ| 1I|ζ|≥b + bIE |ζ| /c,

звiдки limc→∞ supn≥0 IE |ξn| 1I|ξn|≥c ≤ IE |ζ| 1I|ζ|≥b+0. Оскiльки лiва части-на не залежить вiд b, спрямувавши b → ∞, виводимо, що вона дорiвнюєнулю. Останнє за теоремою про умови рiвномiрної iнтегровностi доводитьрiвномiрну iнтегровнiсть.

(в) Рiвнiсть ζ = ξ∞ м.н доведено в частинi достатностi умови рiвно-мiрної iнтегровностi, справедливiсть якої також встановлено. Збiжнiсть усередньому випливає з рiвномiрної iнтегровностi, як вказано вище ¡

Вправи(1) Величини (εk, k ≥ 1) незалежнi, IP(εk = ±1) = 1/2, ξk = ε1 + ... + εk.

Розглянемо розподiл числа перетинiв qr = IP(θn(−1, 1) = r). Довести при r ≥ 1тотожнiсть qr + qr+1 = IP(max1≤k≤n ξk ≥ 2r + 1).

(2) Незалежнi величини (ζn) такi, що IP(ζ1 = 0) = 1/2 = IP(ζn = 2), а потiкFn = σ[ζk, k ≤ n]. Довести, що послiдовнiсть ξn =

∏nk=1 ζk є мартингалом,

однак його не можна подати у виглядi ξn = IE(ξ | Fn) з iнтегровною ξ.(3) Мартингал (ξn) з supn IE |ξn| < ∞ є рiзницею невiд’ємних мартингалiв.(4) Довести, що невiд’ємний супермартингал (мартингал) збiгається м.н.(5) Функцiя f ∈ L1([0, 1)). Довести, що: (а) послiдовнiсть функцiй вигляду

fn(ω) =∑∞

k=−∞ 1Iω∈Ikn2nrIkn

f(x)dx, з Ikn = [k2−n, (k+1)2−n), є мартингаломна просторi (Ω, F, IP) = ([0, 1), B[0, 1), L), (б) fn → f, n →∞, м.н.

(6) Функцiя f : [0, 1) → R задовольняє умову Лiпшиця. Довести, що iснуєборелєва iнтегровна за Лебегом функцiя g така, що f(x) = f(0) +

r x

0g(y)dy.

Вказiвка: послiдовнiсть ξn(ω) =∑2n−1

k=0 2n(g(tn,k+1) − g(tnk))1Itnk≤ω<tn,k+1 зtnk ≡ k2−n є рiвномiрно iнтегровним мартингалом на просторi ([0, 1), B[0, 1), L).

(7) Нехай (ζn) послiдовнiсть незалежних однаково розподiлених iнтегровнихвеличин, Sn = ζ1 + ... + ζn. Довести, що IE(ζ1 | σ[Sk, k ≥ n]) = Sn/n м.н. тавивести звiдси посилений закон великих чисел: Sn/n →P1 IEζ1, n →∞.

2.14. Ланцюги Маркова 277

(8) Мартингал (ξn, n ≥ 0) такий, що∣∣ξn+1 − ξn

∣∣ ≤ c м.н. Вивести з теореми

про збiжнiсть мартингалу, що IP(limn→∞ |ξn| = ∞∪∃ limn→∞ ξn ∈ R) = 1.(9) Послiдовнiсть σ-алгебр (Fn) незростає, F∞ = ∩n≥1Fn, а величина ξ

iнтегровна. Довести, що IE(ξ | Fn) → IE(ξ | F∞), n →∞, м.н. i в середньому.(10) Нехай (Fn, n ≥ 0) – стохастичний потiк, Fn ↑ F∞, n → ∞, i A ∈ F∞.

Довести, що IP(A | Fn) →P1 1IA, n →∞.(11) Нехай (Fn, n ∈ Z+) – стохастичний потiк з F0 = ∅, Ω, а An ∈ Fn.

Довести (а) рiвнiсть limn→∞An =∑

n≥1 IP(An | Fn−1) = ∞, (б) збiжнiсть

(∑n

k=1 1IAk) / (

∑nk=1 IP(Ak | Fk−1)) →P1 1, n →∞, на множинi limn→∞An.

(12) Сигма-алгебри (Fn, n ≥ 0) незалежнi у сукупностi. Довести, що з точнi-стю до подiй нульової ймовiрностi ∩n≥1σ[∪k≥nFk ∪ F0] = F0.

(13, розклад Рiсса) Нехай (ξn, n ∈ Z+) – рiвномiрно iнтегровний супер-мартингал вiдносно потоку (Fn). Тодi ξn = Mn + Un, де (Mn) – рiвномiрноiнтегровний мартингал, а (Un) – потенцiал, тобто рiвномiрно iнтегровний невiд’-ємний супермартингал такий, що Un →P1 0, n →∞.

(14) Випадковi величини (ξn, ζn, n ≥ 1), невiд’ємнi, iнтегровнi, узгодженiз потоком (Fn) та IE(ξn+1 | Fn) ≤ (1 + ζn)ξn м.н. для всiх n ≥ 1, причому∑

n≥1 ζn < ∞ м.н. Довести, що ξn збiгається м.н.(15) Нехай (ξn, n ∈ Z+) – мартингал (субмартингал) вiдносно натурального

потоку Fn ≡ σ[ξk, k ≤ n] такий, що |ξ0| ≤ c, IE(∣∣ξk+1 − ξk

∣∣ | Fk) ≤ c м.н. длядеякої сталої c, а τ – момент зупинки вiдносно (Fn) i IEτ < ∞. Довести, щовипадкова величина ξτ – iнтегровна та ξτ = (≤)IE(ξ0 | Fτ ) м.н.

(16) Нехай (ξn, n ∈ Z+) – мартингал такий, що sup IEξ2n < ∞. Довести, що

IE |ξn − ξ|2 → 0, n →∞, для деякої ξ.(17) Випадковi величини (ζn, n ≥ 1) незалежнi однаково розподiленi, а фун-

кцiя ϕ : Rk → R – обмежена борелєва. Визначимо послiдовнiсть випадковихвеличин ξn = (Ak

n)−1∑

1≤i1,i2,...ik≤n ϕ(ζ i1 ...ζ ik), n ≥ k, де сума обчислюється за

всiма наборами рiзних iндексiв з 1, n, i нормується на їх кiлькiсть. Довести, що(а) послiдовнiсть (ξ−n, n ≤ −k) – мартингал, (б) ξn →P1 IEϕ(ζ1, ..., ζk), n →∞.

2.14. Ланцюги Маркова

Спецiальний клас залежних випадкових величин був розглянутий А.А.Марковим на початку 20 ст. при дослiдженнi необхiдних умов у централь-нiй граничнiй теоремi. Згодом виявилось, що модель марковської залежно-стi є цiлком самодостатньою i може бути застосована в рiзних прикладнихгалузях теорiї ймовiрностей.


Розглянемо послiдовнiсть випадкових величин (ζt, t = 0, 1, ...), в якiйiндекс t будемо iнтерпретувати як час. Тодi подiї, що вiдбуваються в мо-менти s < t, можна iнтерпретувати як минуле вiдносно сучасного моментуt, а подiї у моменти s > t – як майбутнє.

Марковська залежнiсть означає, що майбутнє умовно не залежитьвiд минулого за умови вiдомого сучасного – тобто залежнiсть вiдбуває-ться виключно через сучасне:

IP(Майбутнє ∩Минуле | Сучасне) =

IP(Майбутнє | Сучасне) · IP(Минуле | Сучасне)

З означення умовної ймовiрностi виводимо, що остання рiвнiсть еквi-валентна рiвностi

IP(Майбутнє |Минуле ∩ Сучасне) = IP(Майбутнє | Сучасне).Звiдси приходимо до формального означення.Означення. Послiдовнiсть випадкових величин (ζt, t = 0, 1, ...) iз

дискретним простором значень E = i, j, ... називається однорiднимланцюгом Маркова, якщо для всiх t ≥ 1, i0, i1, ..., it−1, i, j ∈ E виконую-ться рiвностi

IP(ζt+1 = j | ζ0 = i0, ..., ζt−1 = it−1, ζt = i) =

IP(ζt+1 = j | ζt = i) = IP(ζ1 = j | ζ0 = i).

Перша з цих рiвностей визначає власне марковську властивiсть, а дру-га – однорiднiсть за часом.

Приклади1. Незалежнi однаково розподiленi величини – для них умовнi ймо-

вiрностi збiгаються з безумовними.2. Суми незалежних однаково розподiлених величин (випадковi блу-

кання). Для них справедлива тотожнiсть

ζt+1 = ζt + ξt+1,

де стрибок ξt+1 не залежить вiд наявного положення ζt, оскiльки останнєоднозначно визначається попереднiми стрибками ξs, s ≤ t. Тому умовнаймовiрнiсть збiгається з безумовною:

IP(ζt+1 = j | ζ0 = i0, ..., ζt−1 = it−1, ζt = i) =

IP(i + ξt+1 = j | ζ0 = i0, ..., ζt−1 = it−1, ζt = i) =

IP(i + ξt+1 = j) = P (i + ξt+1 = j | ζt = i)


3. Рекурентнi послiдовностi вигляду

ζt+1 = g(ζt, ξt+1)

iз незалежними величинами (ξt, t ≥ 1) та борелєвими функцiями g є лан-цюгами Маркова за таких самих мiркувань, що i в попередньому пунктi.

4. Серiї успiхiв у схемi Бернуллi. Якщо ξk ∈ 0, 1 результат k-говипробування Бернуллi, то довжина серiї успiхiв у момент n дорiвнює

ζn = inf(k ≥ 0 : ξn−k 6= 0)

та задовольняє вiдповiдне марковське рекурентне рiвняння.5. Модель черги. Нехай ξk – випадкова кiлькiсть викликiв, що надi-

йшли до сервера на iнтервалi [k, k + 1), кожний виклик обслуговується заодиницю часу, причому у випадку зайнятостi сервера виклики стають учергу. Якщо ζn – кiлькiсть заявок у системi в момент n, то марковськавластивiсть є наслiдком рiвняння

ζn+1 = max(ζn − 1, 0) + ξn+1.

6. Гiллястi процеси.Вправа. Випадковi величини (ξt, t ≥ 0) незалежнi i IP(ξt = ±1) = 1/2.

Довести, що послiдовнiсть ζt = (ξt + ξt+1)/2, t ≥ 0, не є ланцюгом Маркова.

2.14.1. Перехiдна матриця за один крок

Означення. Матрицею перехiдних iмовiрностей за один крок марков-ського ланцюга (ζt, t ≥ 0) називається матриця

P = (pij, i, j ∈ E), pij = IP(ζ1 = j | ζ0 = i).

Початковий розподiл ланцюга дорiвнює qi = IP(ζ0 = i).

Зауваження. З властивостей умовної ймовiрностi випливає, що пере-хiдна матриця завжди є стохастичною матрицею, тобто задовольняє умови

pij ≥ 0,∑

j∈Epij = 1.

Теорема (про розподiл траєкторiй марковського ланцюга). Длявсiх t ≥ 1, i0, i1, ..., it−1, it ∈ E виконуються рiвностi

IP(ζ0 = i0, ..., ζt−1 = it−1, ζt = it) = qi0pi0i1pi1i2 ...pit−1it ,

IP(ζ1 = i1, ..., ζt−1 = it−1, ζt = it | ζ0 = i0) = pi0i1pi1i2 ...pit−1it .


Доведення випливає з теореми про ймовiрнiсть перерiзу n подiй (ви-раз через умовнi ймовiрностi) та з марковської властивостi ланцюга:

IP(∩t

s=0ζs = is)

= IP(ζ0 = i0)∏t

s=1IP(ζs = is | ∩s−1

r=0ζr = ir) =

IP(ζ0 = i0)∏t

s=1IP(ζs = is | ζs−1 = is−1) = qi0pi0i1pi1i2 ...pit−1it .

Друге рiвняння є наслiдком означення марковської властивостi ¡Зауваження. Наведенi у теоремi рiвняння задають узгоджену послi-

довнiсть сумiсних функцiй розподiлу, що за теоремою Колмогорова пропобудову ймовiрностi на множинах послiдовностей через сумiснi функцiїрозподiлу задають iмовiрнiсну мiру на R∞, за якою можна побудуватиканонiчний ланцюг Маркова з матрицею перехiдних iмовiрностей за одинкрок (pij) та початковим розподiлом (qi).

2.14.2. Iмовiрностi переходу за t крокiв

Означення. Iмовiрностями переходу за t крокiв називаються умовнiймовiрностi

p(t)ij = IP(ζt = j | ζ0 = i).

Теорема (про ймовiрностi переходу за t крокiв).(а) Справедливi рiвняння Колмогорова – Чепмена:

p(t+s)ik =

∑j∈E

p(t)ij p

(s)jk , ∀i, k ∈ E, ∀t, s ≥ 1.

(б) Має мiсце тотожнiсть

P (t) ≡(p

(t)ij , i, j ∈ E

)= (P )t,

де права частина є ступенем порядку t матрицi P.Доведення(а) Суму ймовiрностей всiх траєкторiй ланцюга довжини t + s вигляду

(i, i1, ..., it−1, j, j1, ..., js−1, k) за теоремою про розподiл траєкторiй марков-ського ланцюга можна подати як повторну суму – спочатку за змiннимиj1, ..., js−1, далi за змiнними i1, ..., it−1, а потiм за j :

p(t+s)ik =

∑i1,...,.it−1, j, j1,...,js−1∈E

pii1pi1i2 ...pit−1j pjj1 ...pjs−1k =

∑j∈E

(∑i1,...,it−1∈E

pii1pi1i2 ...pit−1j

)(∑j1,...,js−1∈E

pjj1 ...pjs−1k

).

За тiєю ж теоремою останнi двi суми дорiвнюють p(t)ij i p

(s)jk вiдповiдно.


(б) У матричнiй формi рiвняння (а) має вигляд P (t+s) = P (t)P (s). Звiдси(б) виводиться за iндукцiєю, оскiльки P (1) = P ¡

Лема (про нерiвнiсть мiноризацiї). Для всiх t, s ≥ 0 та i, j, k ∈ Eмають мiсце нерiвностi

p(t+s)ik ≥ p

(t)ij p

(s)jk .

Доведення очевидне.Означення. Для будь-якої подiї A, що пов’язана з ланцюгом Марко-

ва (ζs), для скорочення будемо вживати такi позначення

IPi(A) ≡ IP(A | ζ0 = i), IEiξ ≡ IE(ξ | ζ0 = i).

Вправи(1) Величини (ξt, t ≥ 1) незалежнi однаково розподiленi зi значеннями ±1, а

St =∑t

s=1 ξs. Довести, що ζt ≡ max0≤k≤t Sk – не є ланцюгом Маркова.(2) Обчислити при кожному n > 1 матрицю ймовiрностей переходу P n для

випадку з двоелементним простором E = 0, 1 та для загальної стохастичноїматрицi P. Дослiдити її асимптотику при n →∞.

(3) Нехай (qk, k = 0,m− 1) – iмовiрнiсний розподiл, а стохастична матрицяP = (qk+j, 0 ≤ k, j ≤ m − 1), де сума k + j обчислюється за модулем m.Обчислити Pm та зайти границю матриць P t при t →∞.

(4) Ланцюг Маркова (ζt, t ≥ 0) має матрицю перехiдних iмовiрностей P , аd ∈ N. Довести, що (ζtd, t ≥ 0) – ланцюг Маркова з перехiдною матрицею P d.

2.14.3. Розширена та строга марковська властивiсть

Для кожного n ≥ 0 розглянемо сигма-алгебру випадкових подiй, поро-джених значеннями ланцюга до моменту n :

Fn = σ[ζk, 0 ≤ k ≤ n],

та сигма-алгебру, що породжується цими значеннями пiсля моменту n :

Fn = σ[ζn ∈ B0, ..., ζn+m ∈ Bm, m ≥ 0, Bs ⊂ E].

Зауважимо, що мiж F0 та Fn iснує iзоморфiзм, що полягає у замiнi ζt

на ζt+n, t ≥ 0. Позначимо його через θn. За означенням

θnζ0 ∈ B0, ..., ζm ∈ Bm = ζn ∈ B0, ..., ζn+m ∈ Bm.Теорема (про розширену марковську властивiсть). Нехай

(ζn, n ≥ 0) – ланцюг Маркова. Тодi для довiльних n ≥ 1, k, i ∈ E, A ∈ Fn,C ∈ Fn, C ⊂ ζn = i мають мiсце тотожностi

IP(A | C, ζn = i) = IP(A | ζn = i) = IPi(θ−nA),


IPk(A | C, ζn = i) = IPk(A | ζn = i) = IPi(θ−nA).

Доведення. Оскiльки права та лiва частини першої тотожностi – сигма-адитивнi функцiї вiд A ∈ Fn, то досить довести цю тотожнiсть для подiйiз класу подiй вигляду A = ζn ∈ B0, ..., ζn+m ∈ Bm, що породжує Fn.

Для цього припустимо, що C = ζ0 ∈ C0, ..., ζn ∈ Cn та обчислимодля подiй A за теоремою про розподiл траєкторiй марковського ланцюга

IP(C, ζn = i, A) = IP(ζ0 ∈ C0, ..., ζn ∈ Cn, ζn = i, A) =∑

is∈Cs,0≤s<n

∑jt∈Bt,1≤t≤m

qi0pi0i1 ...pin−1i1Ii∈B0pij1 ...pjm−1jm =(∑

is∈Cs,0≤s<nqi0pi0i1 ...pin−1i

)1Ii∈B0

(∑jt∈Bt,1≤t≤m

pij1 ...pjm−1jm

)=

IP(ζ0 ∈ C0, ..., ζn ∈ Cn, ζn = i) IP(ζ0 ∈ B0, ..., ζm ∈ Bm | ζ0 = i) =

IP(C, ζn = i) IP(θ−nA | ζ0 = i) = IP(C, ζn = i) IP(A | ζn = i),

де використано однорiднiсть ланцюга за часом, включення i ∈ Cn, що єнаслiдком припущення C ⊂ ζn = i, та включення i ∈ B0. Очевидно, щопри порушеннi останнього включення обидвi частини отриманої рiвностiє нульовими. Оскiльки клас подiй C наведеного вище вигляду породжуєсигма-алгебру Fn, звiдси отримуємо рiвнiсть

IP(C, ζn = i, A) = IP(C, ζn = i) IP(A | ζn = i), ∀C ∈ Fn.

Тому з означення умовної ймовiрностi випливає перша тотожнiсть те-ореми. Друга є наслiдком першої та означення умовної ймовiрностi ¡

Розширену марковську властивiсть можна поширити також i на ви-падковi моменти часу. Нагадаємо, що означення моменту зупинки τ тавiдповiдної сигма-алгебри подiй Fτ дано у роздiлi про мартингальнi по-слiдовностi.

Теорема (про строго марковську властивiсть). Нехай ланцюг Мар-кова (ζn, n ≥ 0) породжує стохастичний потiк (Fn ≡ σ[ζk, k ≤ n]), а τ– момент зупинки вiдносно цього потоку. Тодi для всiх i ∈ E, m ≥ 1,C ∈ Fτ , C ⊂ ζτ = i, i B1, ..., Bm ⊂ E мають мiсце тотожностi

IP(ζτ+1 ∈ B1, ..., ζτ+m ∈ Bm | C, ζτ = i) = IP(ζ1 ∈ B1, ..., ζm ∈ Bm | ζ0 = i).

Доведення. Обчислимо з урахуванням марковської властивостi

IP(ζτ+1 ∈ B1, ..., ζτ+m ∈ Bm, C, ζτ = i) =∑

n≥0 IP(ζτ+1 ∈ B1, ..., ζτ+m ∈ Bm, C, ζτ = i, τ = n) =∑

n≥0 IP(ζn+1 ∈ B1, ..., ζn+m ∈ Bm, C ∩ τ = n, ζn = i) =


∑n≥0 IP(∩m

k=1ζn+k ∈ Bk | C ∩ τ = n, ζn = i)IP(C ∩ τ = n, ζn = i) =∑n≥0 IP(∩m

k=1ζn+k ∈ Bk | ζn = i) IP(C ∩ τ = n, ζn = i) =∑n≥0 IP(∩m

k=1ζk ∈ Bk | ζ0 = i) IP(C ∩ τ = n, ζn = i) =

IP(∩mk=1ζk ∈ Bk | ζ0 = i)

(∑n≥0 IP(C ∩ τ = n, ζτ = i)

)=

IP(∩mk=1ζk ∈ Bk | ζ0 = i) IP(C, ζτ = i),

де врахованi включення C ∩ τ = n ∈ Fn, C ∩ τ = n ⊂ ζn = i,що є наслiдком означення моменту зупинки, та теорему про розширенумарковську властивiсть ¡

2.14.4. Класифiкацiя станiв ланцюга Маркова

Означення. Стан j ∈ E досяжний з i ∈ E, позначення i → j, якщоiснує t ≥ 0 таке, що p

(t)ij > 0. Позначимо через A(i) = j ∈ E : i → j

вiдповiдний клас досяжних станiв.Лема (про транзитивнiсть досяжностi). Якщо i → j та j → k, то

i → k.Доведення випливає з леми про нерiвнiсть мiноризацiї ¡Означення. Стани i, j ∈ E сполучаються, позначення i ←→ j, якщо

i → j та одночасно j → i.Теорема (про класи еквiвалентностi). Нехай за означенням p

(0)ii =

1, тобто i → i. Тодi(а) вiдношення i ←→ j є вiдношенням еквiвалентностi на E,(б) iснує розбиття простору E на класи еквiвалентностi :

E =⋃

s≥1Es, Es ∩ Et = ∅, s 6= t,

(або класи станiв Es), причому включення i, j ∈ Et вiдбуваються придеякому t тодi й тiльки тодi, коли i ←→ j.

Доведення. Транзитивнiсть вiдношення ←→ випливає з леми протранзитивнiсть досяжностi, симетрiя є наслiдком означення, рефлектив-нiсть випливає з припущення i → i ¡

Означення. Позначимо через C(i) = j ∈ E : j ←→ i клас станiв,який мiстить даний стан i ∈ E.

Означення. Ланцюг Маркова (ζt) називається незвiдним, якщо весьпростiр E утворює один клас, тобто всi його стани сполучаються.

Означення. Стан i ∈ E називається iстотним станом, якщо всi ста-ни, що з нього досяжнi, сполучаються з ним: ∀j : i → j =⇒ j → i,тобто у випадку рiвностi C(i) = A(i).


Теорема (про iстотнiсть класу станiв). Iстотнiсть є властивiстюкласу станiв, тобто всерединi класу всi стани iстотнi чи не iстотнiодночасно. У першому випадку клас називається iстотним.

Доведення є наслiдком такого твердження: з iстотного стану дося-жним може бути лише iстотний стан. Для його перевiрки припустимовiд супротивного, що стан i – iстотний, i → j, а j – не iстотний. Тодiза означенням знайдеться k ∈ E такий, що j → k та одночасно k 9 j.За лемою про транзитивнiсть досяжностi з i → j, j → k робимо висновокi → k, звiдки k → i, оскiльки стан i – iстотний. За тiєю ж транзитивнiстюз k → i, i → j випливає, що k → j. Це суперечить вибору стану k.

Оскiльки всерединi класу всi стани досяжнi з кожного, то наявнiстьхоча б одного iстотного стану спричиняє iстотнiсть всiх ¡

Означення. Перiодом стану i ∈ E називається число

d(i) = н.с.д.D(i), D(i) ≡

n ≥ 1 : p(n)ii > 0

,

де н.с.д.D – найбiльший спiльний дiльник множини D.Лема (про iдеал у множинi натуральних чисел). Нехай множина

D ⊂ N замкнена вiдносно додавання та має перiод d ≡ н.с.д.D. Тодiзнайдеться номер N такий, що nd, n ≥ N, n ∈ N ⊂ D.

Доведення. За алгоритмом Евклiда побудови н.с.д. знайдуться числаm ≥ 1, z1, ..., zm ∈ Z та l1, ..., lm ∈ D такi, що

∑ms=1 zsls = d. Позначимо

l = l1 + ... + lm. Довiльне натуральне n запишемо у формi n = pl + r, де0 ≤ r < l, i p →∞ при n →∞. Звiдси

nd = pld + rd = pd∑m

s=1ls + r

∑m

s=1zsls =

∑m

s=1(pd + rzs)ls.

Вибором досить великого n (а саме, при pd > r max |zs| ) всi цiлi мно-жники pd + rzs можна зробити додатними, тобто натуральними числами.Оскiльки D замкнена вiдносно додавань, включаючи й однаковi доданки,то вiдповiдна лiнiйна комбiнацiя ls ∈ D знову належить D ¡

Теорема (про додатнiсть iмовiрностей повернення). Нехайстан i ∈ E має перiод d(i) = d. Тодi:

(а) p(n)ii = 0 для всiх n /∈ td, t ∈ N .

(б) p(td)ii > 0 для всiх t ≥ N, для деякого N.

Доведення. Твердження (а) є очевидним наслiдком означення перiоду:адже всi елементи D(i) подiльнi на d.

З леми про нерiвнiсть мiноризацiї та з означення множини D(i) ви-водимо, що ця множина замкнена вiдносно додавань, тобто з s, t ∈ D(i)


випливає включення s + t ∈ D(i). Крiм того, перiод d = н.с.д.D(i). Тому(б) є наслiдком леми про iдеал у множинi натуральних чисел ¡

Теорема (про перiод класу станiв). Перiод є характеристикою кла-су станiв, тобто всерединi класу всi стани мають однаковi перiоди.

Означення. Незвiдний ланцюг Маркова назвемо аперiодичним, якщоклас станiв E має одиничний перiод.

Доведення теореми. Якщо i ←→ j, то знайдуться t, s такi, що p(t)ij > 0,

p(s)ji > 0. За лемою про нерiвнiсть мiноризацiї та за теоремою про дода-

тнiсть iмовiрностей повернення p(s+n+t)jj ≥ p

(s)ji p

(n)ii p

(t)ij > 0 для всiх досить

великих n, що подiльнi на перiод d(i). Тому s + n + t дiлиться на d(j)для всiх таких n. Обчисливши рiзницю двох послiдовних номерiв, виво-димо подiльнiсть d(i) на d(j), звiдки d(i) ≥ d(j). Мiняючи i, j мiсцями,отримуємо рiвнiсть ¡

Теорема (про перiодичнi пiдкласи). Нехай клас станiв C ⊂ E лан-цюга Маркова (ζt, t ≥ 0) має перiод d = d(C) > 1.

Тодi iснує його розбиття на перiодичнi пiдкласи:

C =⋃d−1

s=0Cs, Cs ∩ Ct = ∅, s 6= t,

з такими властивостями.(а) З кожного стану i ∈ Cs за один крок можливий або вихiд iз C,

або перехiд у пiдклас Cs+1:∑j∈C\Cs+1

pij = 0,

де Cd ≡ C0. Зокрема, для iстотного класу C∑j∈Cs+1

pij = 1.

(б) Якщо i ∈ Cs, j ∈ Ct, то з p(nd+r)ij > 0 випливає, що r − t + s

дiлиться на d. Крiм того, p(nd+t−s)ij > 0, починаючи з деякого n.

Доведення. Зафiксуємо k ∈ C. Позначимо Dk(i) =

n ≥ 1 : p(n)ki > 0

для i ∈ C. Оскiльки k ←→ i, то p(m)ik > 0 для деякого фiксованого m. З

леми про нерiвнiсть мiноризацiї виводимо, що для довiльного n ∈ Dk(i)сума n+m ∈ Dk(k) дiлиться на d за теоремою про додатнiсть iмовiрностейповернення. Тому всi елементи множини Dk(i) мають однаковий залишокпри дiленнi на d. Позначимо цей залишок через r(i).

Покладемо Cs = i ∈ C : r(i) = s , s = 0, d− 1. За означенням цi мно-жини попарно несумiснi та в об’єднаннi утворюють весь клас C.


Для доведення (а) припустимо, що i ∈ Cs, j ∈ Cr та pij > 0. Оскiлькиr(i) = s, то знайдеться n ∈ Dk(i), що має залишок s при дiленнi на d. Тодiза нерiвнiстю мiноризацiї

p(n+1)kj ≥ p

(n)ki pij > 0,

отже, n+1 ∈ Dk(j) за означенням. Таким чином, залишок r(j) = r має збi-гатися з залишком s+1, що доводить першу рiвнiсть. Друга отримується зпершої та з властивостi замкненостi iстотного класу:

∑j∈C pij = 1, ∀i ∈ C.

Нехай виконуються умови (б). Оберемо m ∈ Dk(i). Тодi m має зали-шок r(i) = s i за нерiвнiстю мiноризацiї p

(m+nd+r)kj ≥ p

(m)ki p

(nd+r)ij > 0, отже,

m + nd + r ∈ Dk(j) має залишок r(j) = t при дiленнi на d. Тому s + r − t

дiлиться на d. Далi, зафiксуємо m так, щоб p(md+t−s)ij > 0. Тодi з нерiв-

ностi мiноризацiї та за теоремою про додатнiсть iмовiрностей поверненнявиводимо, що

p(nd+md+t−s)ij ≥ p

(nd)ii p

(md+t−s)ij > 0,

починаючи з деякого n ¡Вправи(1) Довести, що умову ζn = i пiд знаком умовної ймовiрностi у теоремi про

розширену марковську властивiсть, не можна замiнити на умову ζn ∈ C.

(2) Ланцюги Маркова з перехiдними ймовiрностями P = (pij) та Q = (qij)такими, що pij = 0 ⇐⇒ qij = 0, мають однаковi класи станiв.

(3) Нехай C – клас станiв, j /∈ C та i → j для деякого i ∈ C. Довести, щоIPj(∪n≥1ζn ∈ C) = 0.

(4) Навести приклад ланцюга Маркова, всi стани якого – неiстотнi.

(5) Якщо ланцюг не є скiнченним, то iстотних класiв може не iснувати.

(6) Нехай ланцюг скiнченний: |E| = n < ∞. (а) Якщо i → j, то знайдеться

k ≤ n таке, що p(k)ij > 0. (б) Iснує принаймнi один iстотний клас. (в) Множина

E однозначно розбивається у об’єднання декiлькох iстотних класiв та множинунеiстотних станiв, можливо, порожню.

(7) Клас C iстотний тодi й тiльки тодi, коли вiн є замкненим класом, тобто∑j∈C pij = 1 для всiх i ∈ C.

(8) Звуження ланцюга (ζs) на замкнений клас є ланцюгом Маркова.

(9) Якщо стан j є неiстотним, то IPi(ζn = j) → 0, n →∞.

(10) Для ланцюга Маркова (ζn, n ≥ 0) та обмеженої функцiї (gi, i ∈ E)послiдовнiсть ξn = g(ζn)−g(ζ0)−

∑n−1k=0 h(ζk) є мартингалом, де функцiя h(i) =

IEig(ζ1)− g(i).


2.14.5. Рекурентнiсть

Розглянемо для кожного j ∈ E момент першого досягнення

τ j = inf(n ≥ 1 : ζn = j).

Якщо вiдповiдна множина n є порожньою, покладемо τ j = ∞.Визначимо ймовiрностi першого досягнення

f(n)ij ≡ IPi(τ j = n), n ≥ 1, f

(0)ij ≡ 0,

та ймовiрностi досягнення коли-небудь стану j зi стану i :

Fij ≡∑

n≥0f

(n)ij = IPi(τ j < ∞).

Остання рiвнiсть випливає з зображення τ j < ∞ = ∪n≥1τ j = n.При i = j визначенi ймовiрностi називають iмовiрностями першого по-

вернення та ймовiрностями повернення вiдповiдно.Означення. Стан i ∈ E є рекурентним, якщо IPi(τ i < ∞) = 1, або ж

Fii = 1. У протилежному випадку цей стан називається транзiєнтним.Теорема (про рiвняння першого досягнення). Для довiльних i, j ∈ E

та n ≥ 1 має мiсце рiвняння першого досягнення

p(n)ij =

∑n

s=1f

(s)ij p

(n−s)jj ,

де за означенням p(0)jj = 1.

Доведення. Оскiльки ζn = j ⊂ τ j ≤ n, тоp

(n)ij = IPi(ζn = j) = IPi(ζn = j, τ j ≤ n) =

∑ns=1 IPi(ζn = j, τ j = s) =

∑ns=1 IPi(τ j = s)IPi(ζn = j | τ j = s) =

∑ns=1 f

(s)ij IP(ζn = j | ζ0 = i, ζ1 6= j, ..., ζs−1 6= j, ζs = j) =

∑ns=1 f

(s)ij IP(ζn = j | ζs = j) =

∑ns=1 f

(s)ij IP(ζn−s = j | ζ0 = j),

де використана теорема про розширену марковську властивiсть та одно-рiднiсть ланцюга за часом ¡

Теорема (про критерiй рекурентностi стану). Стан i ∈ E є ре-курентним тодi й тiльки тодi, коли розбiгається ряд з iмовiрностейповернення :

Gii ≡∑

n≥0p

(n)ii = ∞.

У випадку збiжностi цього ряду

Fii ≡ IPi(τ i < ∞) = 1− 1/Gii.


Доведення. Визначимо послiдовностi un = p(n)ii , fn = f

(n)ii , n ≥ 0, де за

означенням u0 = 1, f0 = 0. За теоремою про рiвняння першого досягненняцi послiдовностi задовольняють рiвняння вiдновлення

un =∑n

k=1fk un−k, n ≥ 1.

Тому аналогiчно доведенню теореми про генератриси ймовiрностей повер-нення з роздiлу про випадковi блукання та її наслiдку – теореми прокритерiй рекурентностi випадкового блукання – отримуємо шукане твер-дження ¡

Теорема (про рекурентнi класи станiв). Рекурентнiсть є властивi-стю класу станiв, тобто всерединi класу всi стани є рекурентнимиабо транзiєнтими одночасно.

Означення. Клас станiв C називається рекурентним, якщо всi йогостани рекурентнi.

Доведення теореми. Якщо i ←→ j, то знайдуться t, s ≥ 0 такi, щоp

(t)ij > 0, p

(s)ji > 0. За лемою про нерiвнiсть мiноризацiї p

(t+n+s)ii ≥ p

(t)ij p

(n)jj p

(s)ji .

Звiдси робимо висновок, що з розбiжностi ряду Gjj випливає розбiжнiстьряду Gii. З симетрiї i, j виводимо, що рекурентнiсть стану i еквiвалентнарекурентностi j ¡

Вправи(1, теорема Пойа) Блукання Бернуллi на Z є рекурентним тодi й тiльки тодi,

коли воно симетричне. Це твердження справедливе для Z2 та не для Z3.(2) Рекурентний клас є iстотним. Вказiвка: Fii ≤ IPi(ζ1 /∈ C) < 1 для

деякого i ∈ C, якщо цей клас не є iстотним.(3) Для скiнченого незвiдного аперiодичного ланцюга Маркова всi елементи

матрицi перехiдних iмовiрностей за деяку кiлькiсть крокiв строго додатнi.

2.14.6. Iмовiрностi досягнення та вiдвiдувань

Одночасно з iмовiрностями досягнення Fij розглянемо ймовiрностi не-скiнченної кiлькостi вiдвiдувань стану j зi стану i :

Qij = IPi

(limt→∞ ζt = j) = IPi (ζt = j нескiнченно часто) .

Теорема (про ймовiрностi нескiнченного числа вiдвiдувань).(а) Якщо стан j рекурентний, то Qjj = 1 та Qij = Fij, ∀ i ∈ E.(б) Якщо j – транзiєнтний стан, то Qij = 0, ∀ i ∈ E.Доведення. Визначимо узагальненi випадковi величини

νsj =

∑t>s

1I ζt = j,


що дорiвнюють кiлькостi вiдвiдань стану j пiсля моменту s. За означен-ням сигма-алгебри Fs+1 випадкових подiй, що породжується значеннямиланцюга не ранiше моменту s + 1, має мiсце включення

νs

j ≥ n ∈ Fs+1.

Визначимо також iмовiрностi Q(n)ij = IPi

(ν0

j ≥ n). Оскiльки

ν0

j ≥ n

ºν0

j = ∞ ≡ ζt = j нескiнченно часто при n →∞,

то за неперервнiстю ймовiрностi Qij = limn→∞ Q(n)ij .

При n ≥ 1 виконується включення ν0j ≥ n ⊂ τ j < ∞, тому

Q(n)ij =

∑s≥1 IPi

(ν0

j ≥ n, τ j = s)

=∑

s≥1 IPi

(νs

j ≥ n− 1, τ j = s)

=∑

s≥1 IPi (τ j = s) IPi

(νs

j ≥ n− 1 | τ j = s)

=∑

s≥1 IPi (τ j = s) IP(νs

j ≥ n− 1 | ζ0 = i, ζ1 6= j, ..., ζs = j)

=∑

s≥1 IPi (τ j = s) IPj

(ν0

j ≥ n− 1 | ζ0 = j)

=∑

s≥1 f(s)ij Q

(n−1)j = FijQ

(n−1)jj ,

де врахованi означення кiлькостi вiдвiдань νsj та теорема про розширену

марковську властивiсть.За означенням Q

(1)jj = Fjj, тому за iндукцiєю з останньої рiвностi при

i = j отримуємо Q(n)jj = (Fjj)

n, звiдки

Q(n)ij = Fij (Fjj)

n−1 , n ≥ 1.

За означенням рекурентностi з умови (а) випливає, що Fjj = 1, а зумови (б), що Fjj < 1. Тому з Qij = limn→∞ Q

(n)ij у кожному випадку з

урахуванням останньої тотожностi отримуємо твердження теореми ¡Лема (про досяжнiсть рекурентних станiв). Якщо стан j рекурен-

тний та j → i, то Qij = Fij = 1.Доведення. Зауважимо, що для кожного s ≥ 0

ζt = j нескiнченно часто =ν0

j = ∞=

νs

j = ∞.

Тому за теоремою про ймовiрностi нескiнченного числа вiдвiдувань таз рекурентностi j виводимо такi тотожностi:

1 = Qjj = IPj(ν0j = ∞) =

∑s≥1 IPj(ν

0j = ∞, τ i = s) + IPj(ν

0j = ∞, τ i = ∞) ≤

∑s≥1 IPj(τ i = s)IPj(ν

0j = ∞ | τ i = s) + IPj(τ i = ∞) =

∑s≥1 f

(s)ji IPj(ν

sj = ∞ | τ i = s) + IPj(τ i = ∞) =

∑s≥1 f

(s)ji IP(νs

j = ∞ | ζs = i) + 1− Fji =∑

s≥1 f(s)ji Qij + 1− Fji = FjiQij + 1− Fji,


де враховано теорему про розширену марковську властивiсть та означенняймовiрностей досягнення Fji.

Оскiльки Fji ≥ IPj(τ i ≤ n) ≥ p(n)ji > 0 для деякого n за умовою дося-

жностi j → i, то з доведеної вище нерiвностi 1 ≤ FjiQij + 1 − Fji робимовисновок, що Qij = 1, а з нерiвностi Qij ≤ Fij отримуємо Fij = 1 ¡

Лема (про рiвняння першого стрибка). Для всiх i, j ∈ E маютьмiсце спiввiдношення

Fij = pij +∑

k 6=jpikFkj.

Доведення. За означенням та за теоремою про розширену марковськувластивiсть

Fij = IPi(τ j < ∞) = IPi(τ j < ∞, ζ1 = j) + IPi(τ j < ∞, ζ1 6= j) =

IPi(ζ1 = j) +∑

k 6=j IPi(τ j < ∞, ζ1 = k) =

IPi(ζ1 = j) +∑

k 6=j IPi(ζ1 = k)IPi(τ j < ∞ | ζ1 = k) = pij +∑

k 6=j pikFkj ¡

Теорема (про критерiй рекурентностi через iмовiрностi досягнен-ня). Клас C є рекурентним тодi й тiльки тодi, коли Fij = 1, для всiхi 6= j, i, j ∈ C.

Доведення. Необхiднiсть є наслiдком леми про досяжнiсть рекурен-тних станiв, згiдно з якою Fij = 1 ∀i, j ∈ C.

Достатнiсть. Клас C є iстотним, iнакше Fij ≤ IPi(ζ1 ∈ C) < 1 длядеякого i ∈ C. Рекурентнiсть виводиться з леми про рiвняння першогострибка та рiвностi pik = 0 при k /∈ C, що випливає з iстотностi C :

Fij = pij +∑

k 6=j pikFkj = pij +∑

k 6=j,k∈C pikFkj =

pij +∑

k 6=j,k∈C pik1 = pij +∑

k 6=j pik1 = 1 ¡

Означення. Функцiя (vi, i ∈ E) називається супергармонiчною дляматрицi перехiдних iмовiрностей (pij), якщо при всiх i ∈ E

vi ≥∑

j∈Epijvj.

Зауважимо, що дану умову завжди задовольняє стала функцiя vi ≡ v.Теорема (про алгебраїчний критерiй рекурентностi). Незвiдний

ланцюг Маркова з матрицею перехiдних iмовiрностей (pij) є рекурентнимтодi й тiльки тодi, коли кожна невiд’ємна супергармонiчна функцiя єсталою.


Доведення. Необхiднiсть. Якщо ланцюг є транзiєнтним, то за те-оремою про критерiй рекурентностi через iмовiрностi досягнення зна-йдеться пара станiв k 6= j з Fkj < 1. Зафiксуємо стан j i визначимоvi = 1Ii=j + 1Ii6=jFij. Тодi ця функцiя невiд’ємна, не стала та є супергар-монiчною за лемою про рiвняння першого стрибка, оскiльки при i 6= jнерiвнiсть у означеннi супергармонiчної функцiї є рiвнiстю з леми, а приi = j нерiвнiсть випливає зi стохастичностi: 1 =

∑j∈E pij ≥

∑j∈E pijvj.

Достатнiсть. Нехай (vi) – не стала невi’ємна супергармонiчна фун-кцiя, а клас C рекурентний. Тодi vj > 0 для деякого j ∈ C. Зафiксуємоцей стан та розглянемо функцiю ui = vi/vj, i ∈ C. Тодi за означенням

uj = 1, ui ≥ 0, ui ≥ pij +∑

k 6=jpikuk, ∀i ∈ C.

Оскiльки матриця (pik) невiд’ємна, то пiсля пiдстановки замiсть uk управу частину вiдповiдної нерiвностi (тобто пiсля iтерацiї) з останньоїсистеми отримаємо правильну нерiвнiсть:

ui ≥ pij +∑

k 6=jpikpkj +

∑k 6=j

∑l 6=j

pikpklul.

У результатi (n+1)-кратної iтерацiї з урахуванням невiд’ємностi uk ≥ 0отримуємо з теореми про розподiл траєкторiй марковського ланцюга та зозначення ймовiрностей першого досягнення

ui ≥ pij +∑

k 6=j pikpkj + ... +∑

k1 6=j

∑k2 6=j ...

∑kn 6=j pik1pk1k2 ...pkn−1knpknj =

f(1)ij + f

(2)ij + ... + f

(n+1)ij = IPi(τ j ≤ n + 1).

Переходячи до границi при n →∞, звiдси маємо

ui ≥ IPi(τ j < ∞) = Fij = 1, ∀i ∈ C,

за теоремою про критерiй рекурентностi через iмовiрностi досягнення,оскiльки клас C – рекурентний за припущенням.

Отже, за означенням функцiї ui для всiх станiв i ∈ C виконуютьсянерiвностi vi ≥ vk > 0. Переставляючи i, k мiсцями, виводимо, що vi ≡ vk,тобто функцiя v – стала. Отримана суперечнiсть доводить достатнiсть ¡

Вправи(1) Всерединi не iстотного або не рекурентного класу Qij = 0.(2) Всерединi рекурентного класу Qij = Fij = 1.(3) Довести, що Qij = Fij для iстотного стану j.(4) Довести, що з другої умови теореми про критерiй рекурентностi через

iмовiрностi досягнення випливає суттєвiсть класу C.


(5) Для незвiдного транзiєнтного ланцюга Маркова з перехiдною матрицеюP довiльний стовпчик матрицi

∑n≥0 P n є супергармонiчною функцiєю.

(6) Задано нескiнченну послiдовнiсть полiномiальних випробувань Бернуллiз результатами i = 1, k. (а) Знайти ймовiрнiсть того, що комбiнацiя i, j сусiднiхрезультатiв вперше зустрiнеться пiсля n випробувань. (б) Знайти генератрисуймовiрностей того, що r-кратне повторення i-го результату зустрiнеться першимсеред iнших. (в) Знайти розподiл найдовшої серiї сусiднiх результатiв вигляду i,що спостерiгається у n випробуваннях.

2.14.7. Ергодичнiсть у середньому

Важливою властивiстю марковських ланцюгiв є ергодична власти-вiсть. Вона полягає в тому, що процес ”забуває” свiй початковий станi з плином часу переходить у певний стацiонарний режим, тобто йогоймовiрностi переходiв за t крокiв p

(t)ij при великих t перестають залежати

як вiд t, так i вiд i.З iншого боку, ергодичнiсть зводять до того, що вказанi ”фiнальнi”

ймовiрностi збiгаються з певними середнiми (як у випадку строго стацiо-нарних послiдовностей). Тому властивiсть ергодичностi пов’язана з iнте-гровнiстю моментiв першого досягнення τ j ≡ inf(t ≥ 1 : ζt = j), тобто зiскiнченнiстю математичних сподiвань:

mij ≡ IEiτ j,

та з середнiми кiлькостями вiдвiдувань станiв:

r(k)ij ≡

∑t≥0

IPi(ζt = j, τ k > t) = IEi

∑τk−1

t=01Iζt=j.

Зауважимо, що при j = k остання сума мiстить лише перший доданок,оскiльки τ k ≥ 1, тому r

(k)ik = δik.

Лема (про середнi моментiв досягнення). Для всiх i, k ∈ E справе-дливi тотожностi, включаючи випадок розбiжностi ряду:

mik = 1 +∑

j 6=kpijmjk.

Доведення. За формулою повної ймовiрностi

IEiτ k =∑

j IEiτ k1Iζ1=j = pik +∑

j 6=k

∑t≥1 tIPi(τ k = t, ζ1 = j) =

pik +∑

j 6=k

∑t≥2 tIPi(ζ1 = j, ζ2 6= k, ..., ζt = k) =

pik +∑

j 6=k

∑t≥2 tIPi(ζ1 = j)IP(ζ2 6= k, ..., ζt = k | ζ0 = i, ζ1 = j) =

pik +∑

j 6=k

∑t≥2 tpijIPj(τ k = t− 1) = pik +

∑j 6=k pij(IEjτ k + 1) =


pik +∑

j 6=k pij +∑

j 6=k pijmjk = 1 +∑

j 6=k pijmjk,

де врахована теорема про розширену марковську властивiсть. Оскiлькиданi ряди є невiд’ємними, то наведенi рiвностi виконуються i у випадкурозбiжностi за теоремою Лебега про монотонну збiжнiсть ¡

Лема (про середнi кiлькостi вiдвiдувань). Нехай ланцюг (ζt) – не-звiдний та рекурентний, а стан k ∈ E такий, що mkk < ∞. Тодi

(а) mik < ∞ для всiх i,

(б)∑

j∈E r(k)ij = mik < ∞,

(в) матрицi R(k) ≡ (r(k)ij , i, j ∈ E), I ≡ (δij, i, j ∈ E), Ik ≡ (δkj, i, j ∈ E)

задовольняють тотожнiсть

R(k) = I − Ik + R(k)P.

Доведення. (а) З леми про середнi моментiв досягнення виводимо длявсiх i ∈ E нерiвнiсть

mik = 1 +∑

j 6=k pijmjk ≥ m−1kk

∑j∈E pijmjk,

що при j = k випливає з 1 ≥ pik, а при j 6= k – з нерiвностi mkk ≥ 1. Iте-руючи цю нерiвнiсть (пiдстановкою її у праву частину) t разiв, виводимо,що при i = k

mkk = mik ≥ m−tkk

∑j∈E p

(t)ij mjk.

Оскiльки ланцюг незвiдний, то p(t)ij > 0 для кожного j при деякому t. Тому

mjk < ∞ для всiх j.(б) Шукана рiвнiсть випливає з тотожностей

∑j∈E r

(k)ij =

∑t≥0 IPi(τ k > t) = IEiτ k = mik.

(в) З (а) виводимо, що ряди у означеннi добутку R(k)P збiгаються,оскiльки рядки матрицi R(k) є сумованими послiдовностями, а pij ≤ 1.

З означення та з теореми про розширену марковську властивiсть ви-водимо тотожностi

(R(k)P )ij =∑

l∈Er(k)il plj =

∑l∈E

(δil +

∑t≥1

IPi(ζt = l, τ k > t))

plj =

pij +∑

l 6=k

∑t≥1

IPi(ζ1 6= k, ..., ζt−1 6= k, ζt = l)IP(ζt+1 = j | ζt = l) =

pij +∑

l 6=k

∑t≥1

IPi(ζ1 6= k, ..., ζt−1 6= k, ζt = l, ζt+1 = j) =

pij +∑

t≥1IPi(ζ1 6= k, ..., ζt−1 6= k, ζt 6= k, ζt+1 = j).

Нехай j 6= k. Тодi за останньою рiвнiстю


(R(k)P )ij = pij +∑

t≥1 IPi(τ k ≥ t, ζt 6= k, ζt+1 = j) =

pij +∑

t≥1 IPi(τ k > t + 1, ζt+1 = j) =∑

t≥1 IPi(τ k > t, ζt = j) =

(R(k))ij − δij = (R(k) − I + Ik)ij.

Нехай j = k. Тодi за тiєю ж рiвнiстю внаслiдок рiвностi r(k)ik = δik

(R(k)P )ik = pik +∑

t≥1 IPi(τ k = t + 1) = pik + IPi(2 ≤ τ k < ∞) =

IPi(1 ≤ τ k < ∞) = Fik = 1 = (R(k) − I + Ik)ik ¡

Для формулювання ергодичної теореми визначимо середнi за Чезаро,що дорiвнюють середнiм частотам вiдвiдувань стану j за час t :

p(t)ij ≡

1

t

∑t−1

s=0p

(s)ij = IEi

(1

t

∑t−1

s=01Iζs=j

), P

(t)= (p

(t)ij , i, j ∈ E).

Визначимо також Банахiв простiр сумованих послiдовностей

l1(E) =

µ = (µj, j ∈ E) : ‖µ‖ ≡∑

j∈E

∣∣µj

∣∣ < ∞

.

Зауважимо, що кожна стохастична матриця Q є стискаючим операто-ром на l1(E), оскiльки ‖µQ‖ =

∑j |

∑i µiQij| ≤

∑i |µi|

∑j Qij = ‖µ‖ . Тут i

надалi добуток вектора на матрицю µQ визначимо через (µQ)j =∑

i µiQij.

Теорема (ергодична теорема для ланцюга Маркова). Нехай (ζt) –незвiдний та рекурентний ланцюг Маркова.

(а) Якщо mkk < ∞ для деякого k ∈ E, то iснує ймовiрнiсний роз-подiл π = (πj, j ∈ E) такий, що

∥∥∥αP(t) − π

∥∥∥ → 0, t → ∞, для кожногорозподiлу α, причому πk = 1/mkk i розподiл π задовольняє лiнiйну си-стему рiвнянь

π = πP.

(б) Якщо mkk = ∞, то p(t)ik → 0, t →∞ для всiх i.

Доведення. (а) Визначимо πj ≡ r(k)kj /mkk. За лемою про середнi кiль-

костi вiдвiдувань, (б), вектор π ≡ (πj, j ∈ E) є ймовiрнiсним розподiлом.Обчисливши з тотожностi (в) цiєї леми

r(k)kj = (R(k))kj = (I − Ik + R(k)P )kj = δkj − δkj +

∑i r

(k)ki pij,


отримуємо рiвняння π = πP. Звiдси виводимо також за iндукцiєю π = πP t

та π = πP(t)

. Рiвнiсть πk = 1/mkk випливає з r(k)ik = δik при i = k.

Нехай µ = (µj, j ∈ E) – такий дискретний розподiл, що µj = πj,

починаючи з деякого j. Тодi сума у визначеннi добутку (µ − π)R(k) ви-значена коректно, тому що є скiнченною, i є сумованою послiдовнiстю:∥∥(µ− π)R(k)

∥∥ < ∞, оскiльки сумованими є всi рядки матрицi R(k).З тотожностi (в) леми про середнi кiлькостi вiдвiдувань виводимо, що

µP(t) − π = (µ− π)P

(t)= (µ− π)(Ik + R(k) −R(k)P )P

(t)=

(µ− π)R(k)(I − P )P(t)

= (µ− π)R(k)(I − P t)t−1,

де врахованi тотожностi ((µ− π)Ik)j =∑

i(µi − πi)δkj = 0 та (I − P )P(t)

=t−1(I − P )

∑t−1s=0 P s = t−1(I − P t). Оскiльки матриця P t є стискаючим

оператором, з доведеної нерiвностi виводимо, що∥∥∥µP(t) − π

∥∥∥ ≤∥∥(µ− π)R(k)

∥∥ 2t−1 → 0, t →∞.

Нехай тепер α = (αj, j ∈ E) – довiльний розподiл, а En – множинаперших n елементiв простору E. Позначимо εn =

∑j /∈En

αj, δn =∑

j /∈Enπj

та розглянемо розподiли µn = (µnj , j ∈ E) з координатами µn

j = πj приj /∈ En i µn

j = αj(1− εn)/(1− δn) при j ∈ En. Оскiльки

‖α− µn‖ ≤ |1− (1− εn)/(1− δn)|+ εn + δn → 0, n →∞,

то за доведеним вище

limt→∞∥∥∥αP

(t) − π∥∥∥ ≤ limt→∞

∥∥∥µnP(t) − π

∥∥∥ + limt→∞∥∥∥(µn − α)P

(t)∥∥∥ ≤

0 + ‖µn − α‖ → 0, n →∞.

Отже, лiва частина цих нерiвностей нульова, що доводить (а).(б) Визначимо послiдовностi ймовiрностей повернення p = (p

(t)kk) при

t ≥ 0 i першого повернення f = (f(t)kk ), f

(0)kk = 0. Рiвняння теореми про

рiвняння першого досягнення при i = j = k має вигляд p = δ + f ∗ p,де (f ∗ p)t ≡

∑ts=0 fspt−s – згортка послiдовностей f, p, а δ ≡ (δ0t, t ≥ 0).

Позначимо через 1 послiдовнiсть (1, t ≥ 0). Тодi за асоцiативнiстю згортки

1 = 1 ∗ δ = 1 ∗ (p− f ∗ p) = 1 ∗ p− 1 ∗ f ∗ p = (1− 1 ∗ f) ∗ p = g ∗ p.

Тут послiдовнiсть gt = (1− 1 ∗ f)t =∑

s>t fs =∑

s>t f(s)kk .

Отриману тотожнiсть знову згорнемо з 1 :

1 ∗ 1 = 1 ∗ p ∗ g.


Зауважимо, що (1 ∗ 1)t = t + 1, а (1 ∗ p)t =∑t

s=0 ps = (t + 1)p(t+1)kk . Тому з

останньої тотожностi при t > n отримуємо нерiвнiсть

t + 1 =∑t

s=0(t− s + 1)p(t−s+1)kk gs ≥

∑ns=0(t− s + 1)p

(t−s+1)kk gs.

Оберемо послiдовнiсть K = tk ⊂ N так, щоб

limt→∞p(t+1)kk = limt→∞,t∈K p

(t+1)kk .

Зауважимо, що границя limt→∞,t∈K p(t+1−s)kk не залежить вiд s при ко-

жному s ≥ 0, оскiльки t−1∑t

r=t−s p(r)kk ≤ t−1(s + 1) → 0, t →∞. Тому пiсля

дiлення на t + 1 попередньої нерiвностi та спрямування t → ∞, t ∈ Kотримуємо

1 ≥ limt→∞,t∈K

∑ns=0(t + 1)−1(t− s + 1)p

(t−s+1)kk gs =

∑ns=0 limt→∞,t∈K p

(t−s+1)kk gs =

∑ns=0 limt→∞p

(t+1)kk gs = limt→∞p

(t+1)kk

∑ns=0 gs.

Оскiльки∑n

s=0 gs →∑∞

t=0 gt =∑∞

t=0

∑s>t f

(s)kk =

∑s≥0 sf

(s)kk = IEkτ k = ∞

за умовою, то з останньої нерiвностi виводимо, що limt→∞p(t+1)kk = 0.

Нарештi, з теореми про рiвняння першого досягнення при j = k згор-ткою рiвняння з послiдовнiстю 1 отримуємо рiвнiсть

(t + 1)p(t+1)ik =

∑ts=0 f

(s)ik (t− s + 1)p

(t−s+1)kk ,

звiдки дiленням на t + 1 та граничним переходом при t →∞ отримуємо

limt→∞p(t+1)ik ≤ ∑∞

s=0 f(s)ik limt→∞p

(t−s+1)kk = 0 ¡

Означення. Рекурентний стан i ∈ E називається позитивним ста-ном, якщо πi ≡ limt→∞ p

(t)ii > 0, i нульовим станом у протилежному ви-

падку. Граничнi значення πi називаються ергодичними ймовiрностямиланцюга.

Теорема (про позитивнiсть класу станiв). Позитивнiсть є хара-ктеристикою рекурентного класу станiв, тобто всерединi класу всiстани одночасно є позитивними, або одночасно нульовими. Рекурен-тний клас станiв C є позитивним тодi й тiльки тодi, коли mkk < ∞для деякого k ∈ C, або, що еквiвалентно, для всiх k ∈ C.

Означення. Незвiдний ланцюг називається позитивним ланцюгом,якщо його клас станiв E є позитивним.

Доведення теореми. Якщо i ←→ j, то знайдуться m,n ≥ 0 такi, щоp

(m)ij > 0, p

(n)ji > 0. З леми про нерiвнiсть мiноризацiї виводимо нерiвностi


p(m+s+n)ii ≥ p

(m)ij p

(s)jj p

(n)ji . Звiдси пiдсумовуванням за s = 0, t− 1 отримуємо

нерiвнiсть (m + t + n)p(m+t+n)ii − (m + n)p

(m+n)ii ≥ tp

(m)ij p

(t)jj p

(n)ji . Якщо πj > 0,

то limt→∞ p(t)ii = πi ≥ p

(t)ij πjp

(s)ji > 0.

Друге твердження теореми є очевидним наслiдком ергодичної теоремидля ланцюга Маркова ¡

Лема (про рiвняння для ергодичних iмовiрностей). Нехай (ζt) –незвiдний рекурентний ланцюг Маркова. Тодi система рiвнянь

uj =∑

k∈Eukpkj

має єдиний з точнiстю до множника розв’язок (uk) у класi абсолютносумованих послiдовностей. Вiн є пропорцiйним вектору ергодичних iмо-вiрностей (πj) для позитивного ланцюга :

uj =(∑

i∈Eui

)πj.

та нульовим у протилежному випадку.Доведення. Пiдставимо у праву частину вказаної системи рiвнянь ви-

раз для uk, що визначається цiєю системою:

uj =∑

k∈E

(∑l∈E

ulplk

)pkj =

∑l∈E

ul

(∑k∈E

plkpkj

)=

∑l∈E

ulp(2)lj ,

де використано сумованiсть (ui) та рiвняння Колмогорова – Чепмена.Виконавши попереднi перетворення n разiв, прийдемо до тотожностi

uj =∑

i∈Euip

(n)ij .

Пiсля знаходження суми останнiх тотожностей за n = 0, t− 1 маємо

uj =∑

i∈Euip

(t)ij .

Звiдси за ергодичною теоремою для ланцюгiв Маркова та за теоремоюЛебега про мажоровану збiжнiсть

uj = limt→∞∑

i∈Euip

(t)ij =

∑i∈E

ui limt→∞ p(t)ij =

(∑i∈E

ui

)πj ¡

Теорема (про властивостi ергодичних iмовiрностей). Нехай (ζt) –рекурентний незвiдний позитивний ланцюг Маркова.

(а) Ергодичнi ймовiрностi (πi, i ∈ E) є дискретним розподiлом iмо-вiрностей, та єдиним з точнiстю до множника розв’язком у класiсумованих послiдовностей лiнiйної системи рiвнянь

πj =∑

i∈Eπipij.


(б) Якщо обрати початковий розподiл IP(ζ0 = i) = πi, i ∈ E, то послi-довнiсть (ζt, t ≥ 0) є строго стацiонарною, тобто сумiснi розподiли:

IP(ζt = i0, ..., ζt+n = in) = πi0

∏n−1

s=0pisis+1 , ∀t, n ≥ 0, ∀ir ∈ E,

не залежать вiд часового зсуву t.Доведення(а) Справедливiсть системи π = πP є елементом доведення ергодичної

теореми для ланцюгiв Маркова. Цiкаво, що дане твердження є прямимнаслiдком збiжностi перехiдних iмовiрностей.

Позначимо через En множину перших n елементiв простора E. Тодi заергодичною теоремою для ланцюгiв Маркова∑

j∈Eπj = limn→∞

∑j∈En

πj = limn→∞ limt→∞∑

j∈En

p(t)ij ≤ 1,

i послiдовнiсть (πi) є сумованою.Пiдсумувавши рiвняння Колмогорова – Чепмена p

(s+1)ij =

∑k∈E p

(s)ik pkj

по s = 0, t− 1, отримуємо нерiвнiсть

(t + 1)p(t+1)ij − p

(0)ij = t

∑k∈E

p(t)ik pkj ≥ t

∑k∈En

p(t)ik pkj.

Звiдси дiленням на t за ергодичною теоремою виводимо нерiвностi

πj = limt→∞ p(t+1)ij ≥ limt→∞

∑k∈En

p(t)ik pkj =

∑k∈En

πkpkj.

Переходячи до границi n →∞, приходимо до системи нерiвностей

πj ≥∑

k∈Eπkpkj.

Якщо хоча б одна нерiвнiсть тут є строгою, то їх сума теж є строгоюнерiвнiстю:

∑j∈E πj >

∑j∈E

∑k∈E πkpkj =

∑k∈E πk

∑j∈E pkj =

∑k∈E πk.

Оскiльки послiдовнiсть (πi) є сумованою, остання нерiвнiсть є суперечли-вою. Отже, всi нерiвностi у попереднiй системi є рiвностями:

πj =∑

k∈Eπkpkj.

Звiдси за лемою про рiвняння для ергодичних iмовiрностей виводиморiвнiсть πj =

(∑i∈E πi

)πj. Тому

∑i∈E πi = 1 унаслiдок позитивностi πj.

Отже, послiдовнiсть (πi) є сумованою, задовольняює вказану системута є дискретним розподiлом iмовiрностей. Єдинiсть розв’язку є наслiдкомлеми про рiвняння для ергодичних iмовiрностей.

(б) Як це зроблено у доведеннi згаданої леми, з системи рiвнянь (а)методом iтерацiй виводимо, що πj =

∑i∈E πip

(t)ij для всiх t ≥ 1. Тому за


формулою повної ймовiрностi та означенням iмовiрностей переходу за tкрокiв IP(ζt = j) =

∑i∈E IP(ζ0 = i)p

(t)ij = πj для всiх t ≥ 1. Застосування

властивостi однорiдностi за часом та теореми про розподiл траєкторiймарковського ланцюга завершує доведення (б):

IP(ζt = i0, ..., ζt+n = in) = IP(ζt = i0)IP(ζt+1 = i1, ..., ζt+n = in | ζt = i0) =

πi0IP(ζ1 = i1, ..., ζn = in | ζ0 = i0) ¡Теорема (про алгебраїчний критерiй позитивностi). Нехай (ζt) –

незвiдний ланцюг Маркова. Вiн є рекурентним i позитивним ланцюгомтодi й тiльки тодi, коли система рiвнянь

uj =∑

k∈Eukpkj

має ненульовий абсолютно сумований розв’язок.Доведення. Необхiднiсть. Якщо ланцюг є рекурентним та позитив-

ним, то вказана система має ненульовий розв’язок (πj).Достатнiсть. Нехай (ui) – ненульовий сумований розв’язок. Як i в

лемi про рiвняння для ергодичних iмовiрностей, з даної системи виводимототожнiсть uj =

∑i∈E uip

(n)ij . Тому за теоремою Фубiнi

∑i ui

∑n≥1 p

(n)ij =

∑n≥1

∑i uip

(n)ij =

∑n≥1 uj = ±∞

для деяких j. Оскiльки за теоремою про рiвняння першого досягнення∑

i ui

∑n≥1 p

(n)ij =

∑i ui

∑n≥1

∑ns=1 f

(s)ij p

(n−s)jj = (

∑i uiFij)

∑n≥1 p

(n)jj ,

де Fij =∑

s≥1 f(s)ij ≤ 1, то ряд

∑n≥0 p

(n)jj розбiгається при деякому j, i з те-

ореми про критерiй рекурентностi стану випливає рекурентнiсть ланцюга.Якщо цей ланцюг – нульовий, то за лемою про рiвняння для ергодичнихiмовiрностей розв’язок системи дорiвнює

(∑i∈E ui

)0 = 0 внаслiдок теоре-

ми про позитивнiсть класу станiв ¡

2.14.8. Ланцюг народження та загибелi

Розглянемо ланцюг народження та загибелi на E = Z+ з перехiднимиймовiрностями pi,i+1 = pi, i ≥ 0 та pi,i−1 = qi, i ≥ 1, p00 = q0, де pi + qi = 1.Припустимо, що pi > 0 i qi > 0 для всiх i ≥ 0. Тодi ланцюг є незвiдним.

Позначимо

δk =∏k

i=1

qi

pi

, θk =∏k

i=1

pi−1

qi

=p0

pkδk

.


Теорема (критерiї рекурентностi та позитивностi ланцюга наро-дження та загибелi). Ланцюг народження та загибелi (ζt) є

(а) рекурентним тодi й тiльки тодi, коли∑

k≥0δk = ∞,

(б) рекурентним i позитивним тодi й тiльки тодi, коли∑

k≥0θk < ∞.

У останньому випадку ергодичнi ймовiрностi дорiвнюють

πi = θi /∑

k≥0θk.

Доведення. (а) Умова теореми про алгебраїчний критерiй рекурентно-стi зводиться до сталостi супергармонiчної невiд’ємної функцiї (vi, i ≥ 0),що є розв’язком системи нерiвностей

vi ≥ pivi+1 + qivi−1, i ≥ 1, v0 ≥ p0v1 + q0v0.

Позначимо через ∆i ≡ vi+1 − vi, i ≥ 0, та δ0 ≡ 1.

З першої нерiвностi множенням на pi + qi = 1 виводимо еквiвалентнунерiвнiсть ∆i ≤ (qi/pi)∆i−1, i ≥ 1, а з другої – нерiвнiсть ∆0 ≤ 0.

Звiдси отримуємо ∆i ≤ 0, i ≥ 0, i нерiвностi ∆i ≤ ∆kδi/δk, i ≥ k.

Якщо функцiя (vi, i ≥ 0) не є сталою, то ε ≡ ∆N/δN < 0 для деякогоN. Тодi ∆i ≤ ∆Nδi/δN = εδi для i ≥ N. Тому vi = v0 +

∑i−1k=0 ∆k → −∞

при i → ∞ за умови розбiжностi ряду з δi. Це суперечить невiд’ємностi,отже, ланцюг є рекурентним.

Припустимо, що ряд з δi збiгається. Обчислимо рекурентно за заданим∆0 < 0 величини ∆i = δi∆0 з отриманих вище нерiвностей, вважаючи їхрiвностями. Тодi величини vi = v0 + ∆0

∑i−1k=0 δk утворюватимуть супер-

гармонiчну функцiю i вибором досить великого v0 > 0 їх можна зробитидодатними та рiзними. Тому ланцюг є транзiєнтним.

(б) За теоремою про алгебраїчний критерiй позитивностi ця власти-вiсть випливає з iснування ненульового сумованого розв’язку системи

ui = pi−1ui−1 + qi+1ui+1, i ≥ 1, u0 = q0u0 + q1u1..

З першої рiвностi множенням на pi +qi = 1 отримуємо рiвностi виглядуΛi+1 ≡ qi+1ui+1−piui = Λi, а з другої – Λ0 = 0. Тому Λi = 0 i qi+1ui+1 = piui

для всiх i ≥ 0. Звiдси за iндукцiєю ui = θiu0. Отже, наявнiсть ненульовогосумованого розв’язка еквiвалентна збiжностi ряду з θi ¡


2.14.9. Ергодична теорема Деблiна

У наступнiй теоремi, на вiдмiну вiд теореми про ергодичнiсть у сере-дньому, йдеться про збiжнiсть неусереднених перехiдних iмовiрностей.

Теорема (ергодична теорема Деблiна для аперiодичних ланцюгiв).Нехай (ζt) – незвiдний аперiодичний рекурентний позитивний ланцюгМаркова. Тодi для всiх i ∈ E має мiсце збiжнiсть

∑j∈E

∣∣∣p(t)ij − πj

∣∣∣ → 0, t →∞,

де (πj) – ергодичнi ймовiрностi для ланцюга.Доведення. Використаємо метод зклеювання, що був запропонований

В.Деблiном.Нехай (ζ ′t, t ≥ 0) – незалежна копiя послiдовностi (ζt) така, що має

початковi ергодичнi ймовiрностi : IP(ζ ′0 = k) = πk, k ≥ 0. Тодi за теоремоюпро властивостi ергодичних iмовiрностей, (б), IP(ζ ′t = k) = πk,∀t ≥ 0.

Розглянемо послiдовнiсть ζt = (ζt, ζ′t) ∈ E2. З означення ζ ′t виводимо,

що ζt є ланцюгом Маркова. Цей ланцюг є незвiдним та аперiодичним,оскiльки за умовою аперiодичностi ланцюгiв (ζt), (ζ

′t) та за теоремою про

додатнiсть iмовiрностей повернення, (б),

IP(ζt = (j, l) | ζ0 = (i, k)) = p(t)ij p

(t)kl > 0,

починаючи з деякого t. Далi, даний ланцюг є рекурентним i позитив-ним за теоремою про алгебраїчний критерiй позитивностi, оскiльки iснуєпозитивний розв’язок πjπl системи

πjπl =∑

i,k∈E πiπkp(1)ij p

(1)kl .

Позначимо D = (i, i), i ∈ E ⊂ E2. Розглянемо марковський момент

τD = inf(t ≥ 1 : ζt ∈ D).

З теореми про критерiй рекурентностi через iмовiрностi досягненнявиводимо, що τD < ∞ м.н. для довiльного початкового розподiлу ζ0,оскiльки τ (i,i) < ∞ ⊂ τD < ∞, а момент досягнення стану (i, i) єскiнченним м.н. за теоремою про критерiй рекурентностi через iмовiрностiдосягнення.

Розглянемо ймовiрнiсть

IP(ζt = j, τD ≤ t) =∑t

s=1

∑l∈E

IP(ζt = j, ζs = l, τD = s) =

∑t

s=1

∑l∈E

IP(ζt = j | ζs = l)IP(ζs = l, τD = s) =


∑t

s=1

∑l∈E

IP(ζ ′t = j | ζ ′s = l)IP(ζ ′s = l, τD = s) = IP(ζ ′t = j, τD ≤ t),

де врахованi теорема про строго марковську властивiсть ланцюга, означе-ння процесу (ζ ′t) та моменту зупинки τD, за якими ζs = ζ ′s при виконаннiподiї τD = s.

Звiдси виводимо нерiвностi

|IP(ζt = j)− IP(ζ ′t = j)| =

|IP(ζt = j, τD ≤ t) + IP(ζt = j, τD > t)−IP(ζ ′t = j, τD ≤ t)− IP(ζ ′t = j, τD > t)| =|IP(ζt = j, τD > t)− IP(ζ ′t = j, τD > t)| ≤

IP(ζt = j, τD > t) + IP(ζ ′t = j, τD > t).

Отже,∑j∈E

|IP(ζt = j)− IP(ζ ′t = j| ≤ 2IP(τD > t) → 0, t →∞ ¡

Теорема (ергодична теорема для перiодичних ланцюгiв). Нехай(ζn) – незвiдний рекурентний позитивний ланцюг Маркова, що має пе-рiод d > 1 та перiодичнi пiдкласи Cs, s = 0, d− 1 класу станiв E.Тодiдля всiх t, r = 0, d− 1 та всiх i ∈ Ct, j ∈ Cr iснують граничнi ймовiрно-стi, що залежать лише вiд j та r :

limn→∞ p(nd+r−t)ij = πj(r).

Доведення. Зауважимо, що за теоремою про перiодичнi пiдкласи по-слiдовнiсть у лiвiй частинi дорiвнює нулю при j /∈ Cr, а за теоремою проперiод класу станiв всi стани мають перiод d.

Розглянемо ланцюг Маркова (ζnd, n ≥ 0) з матрицею перехiдних iмо-вiрностей P d. З теореми про перiодичнi пiдкласи неважко вивести, щоцей ланцюг має d iстотних класiв станiв Cs, s = 0, d− 1, оскiльки Cs –перiодичнi пiдкласи класу E. Звуження цього ланцюга на Cs є незвiднимрекурентним аперiодичним ланцюгом Маркова. Це звуження є позитив-ним ланцюгом за теоремою про позитивнiсть класу станiв, оскiльки вiдпо-вiднi моменти повернення mii для (ζn, n ≥ 0) та (ζnd, n ≥ 0) вiдрiзняютьсялише множником d i є скiнченними одночасно.

Тому за ергодичною теоремою Деблiна для аперiодичних ланцюгiв длявсiх s та i, j ∈ Cs iснує limn→∞ p

(nd)ij = πj(s), де (πj(s), j ∈ Cs) є ймовiрнi-

сним розподiлом. За теоремою про перiодичнi пiдкласи для всiх i, j ∈ E

limn→∞ p(nd)ij =

∑d−1

s=0πj(s)1I i∈Cs,j∈Cs .


Звiдси за рiвняннями Колмогорова – Чепмена та за теоремою Лебегапро мажоровану збiжнiсть при t, r = 0, d− 1 та i ∈ Ct, j ∈ Ct+r

limn→∞ p(nd+r−t)ij = limn→∞

∑k∈E

p(r−t)ik p

(nd)kj =

∑k∈E

p(r−t)ik limn→∞ p

(nd)kj =

∑k∈E

p(r−t)ik

∑d−1

s=0πj(s)1Ik∈Cs,j∈Cs =

∑d−1

s=0πj(s)1Ij∈Cs

∑k∈E

p(r−t)ik 1Ik∈Cs =

∑d−1

s=0πj(s)1Ij∈Cs1Is=r = πj(r),

де за теоремою про перiодичнi пiдкласи передостання рiвнiсть випливаєз включення i ∈ Ct, а остання – з j ∈ Cr ¡

Вправи(1) Нехай νj(n) =

∑ns=1 1Iζs=j кiлькiсть вiдвiдувань стану j ланцюгом

(ζn). Довести посилений закон великих чисел: νj(n)/n →P1 1/IEjτ j, n →∞.(2) Довести, що при iснуваннi стацiонарних iмовiрностей πj для незвiдного

ланцюга Маркова з πj > 0 випливає рекурентнiсть стану j.(3) Матриця перехiдних iмовiрностей ланцюга Маркова двiчi стохастична:∑

i pij = 1, ∀j ∈ E. Тодi ергодичний розподiл πj = 1/ |E| , j ∈ E.(4) Матриця перехiдних iмовiрностей ланцюга Маркова на Z+ має вигляд:

pi0 = qi, i ≥ 0, та pij = (1 − qi)1Ij=i+1, i ≥ 0, j ≥ 1. Довести, що ланцюгрекурентний тодi й тiльки тодi, коли

∑i≥0 qi = ∞. Знайти умови ергодичностi

ланцюга, а також вiдповiднi ергодичнi ймовiрностi.(5) Матриця перехiдних iмовiрностей ланцюга Маркова на Z+ має вигляд:

(а) p0j = pj, pij = pj−i+1, i ≥ 1, j ≥ 0, (б) p0j = pj, j ≥ 0, та pij = 1Ij=i−1,при i ≥ 1, j ≥ 0. Тут (pj, j ≥ 0) – деякий дискретний розподiл. У припу-щеннi додатностi pj > 0 встановити необхiднi та достатнi умови рекурентностi,позитивностi. Методом генератрис обчислити ергодичний розподiл.

(6) Величини (ξk, k ≥ 1) незалежнi, однаково розподiленi, IP(ξ1 = j) = fj,

j ∈ N, а Sk =∑k

i=1 ξi. Довести, що послiдовнiсть ζt = inf(Sk−t, Sk ≥ t) є лан-цюгом Маркова на Z+ (який називається процесом вiдновлення) та знайти йогоматрицю перехiдних iмовiрностей. Довести, що цей ланцюг є (а) аперiодичнимтодi й тiльки тодi, коли н.с.д.(j ≥ 1 : fj > 0) = 1, (б) ергодичним тодi й тiлькитодi, коли m =

∑jfj < ∞, а ергодичний розподiл дорiвнює πj = m−1

∑∞k=j fk.

(7) Нехай (ζt, t ≥ 0) – рекурентний ланцюг Маркова з множиною значень

E, а стан k ∈ E – аперiодичний. Довести, що limt→∞ p(t)ik = IPi(τ k < ∞)/IEkτ k.

(8) Нехай ланцюг народження i загибелi (ζt, t ≥ 0) є ергодичним, причомупочатковий розподiл IP(ζ0 = i) = πi. Довести, що послiдовнiсть ξs = ζt−s,0 ≤ s ≤ t, також є ланцюгом Маркова з початковим розподiлом π та матрицеюперехiдних iмовiрностей за один крок pij = πjIP(ζ1 = i | ζ0 = j)/πi.


(9) Нехай (ζt, t ≥ 0) – ергодичний аперiодичний ланцюг Маркова з ергоди-чним розподiлом (πj), τ – момент зупинки вiдносно σ[ζs, s ≤ t], причому ζτ = i

м.н. Довести, що IEi

∑τ−1t=0 1Iζt=j = πjIEiτ .

(10) Знайти необхiднi та достатнi умови рекурентностi та ергодичностi лан-цюга народження та загибелi, для якого qk − 1/2 ∼ ck−α, k →∞,з α > 0.

(11) Ланцюг Маркова (ζt, t ≥ 0) з множиною значень E має перехiднi iмо-вiрностi pik. Тодi послiдовнiсть ξt = (ζt, ζt+1), t ≥ 0, також є ланцюгом Мар-кова зi значеннями у E2 та перехiдними ймовiрностями p(ij)(kl) = pikpjl1Ij=k,i, j, k, l ∈ E. За умови ергодичностi (ζt) знайти ергодичнi ймовiрностi для (ξt).

(12) Нехай (ζt, t ≥ 0) – незвiдний аперiодичний ланцюг Маркова зi скiнчен-ною множиною значень E. Довести, що для моменту зклеювання τD з ергодичноїтеореми для аперiодичних ланцюгiв справедлива нерiвнiсть IP(τD > t) ≤ aρt длядеякого ρ < 1, i швидкiсть збiжностi у цiй теоремi є геометричною.

2.14.10. Ергодична теорема Колмогорова

А.М.Колмогорову належить конструктивний варiант ергодичної теоре-ми, у якому явно оцiнюється швидкiсть збiжностi.

Теорема (ергодична теорема Колмогорова для ланцюгiв Марко-ва). Нехай ланцюг Маркова (ζt, t ≥ 0) задовольняє умову Колмогорова

∃ε > 0, ∃r ≥ 1, ∃l ∈ E : p(r)il ≥ ε, ∀i ∈ E.

Тодi для всiх i, j ∈ E iснує та не залежить вiд i границя

limt→∞ p(t)ij = πj,

причому (πj, j ∈ E) є дискретним розподiлом iмовiрностей на E.

Цей розподiл називається ергодичним розподiлом марковського лан-цюга i є розв’язком лiнiйної системи рiвнянь

πj =∑

i∈Eπipij, ∀j ∈ E.


m(s)j ≡ mini∈E p

(s)ij ≤ maxi∈E p

(s)ij ≡ M

(s)j .

З рiвнянь Колмогорова – Чепмена при t = 1 виводимо, що

m(s)j = mini∈E p

(s)ij = mini∈E

∑kpikp

(s−1)kj ≥ mini∈E

∑kpikm

(s−1)j = m

(s−1)j .

Аналогiчно отримуємо монотоннiсть M(s)j ↓ за аргументом s.


Нехай qij = p(r)ij −εδjl. Тодi qij ≥ 0,

∑j∈E qij = 1−ε за умовою. Запишемо

рiзницю рiвнянь Колмогорова – Чепмена в точках i, k та скористаємосятим, що матриця перехiдних iмовiрностей є стохастичною матрицею :

p(t)ij − p

(t)kj =

∑h∈E

(p

(r)ih − p

(r)kh

)p

(t−r)hj =

∑h∈E

(p

(r)ih − p

(r)kh

) (p

(t−r)hj −m

(t−r)j

)=

∑h∈E

(p

(r)ih − εδhl − p

(r)kh + εδhl

) (p

(t−r)hj −m

(t−r)j

)=

∑h∈E(qih − qkh)

(p

(t−r)hj −m

(t−r)j

)≤ ∑

h∈E qih

(p

(t−r)hj −m

(t−r)j

)≤

∑h∈E qih

(M

(t−r)j −m

(t−r)j

)= (1− ε)

(M

(t−r)j −m

(t−r)j

).

Перейдемо в цiй нерiвностi до верхньої межi за i, k, та знайдемо верхнюоцiнку

M(t)j −m

(t)j ≤ (1− ε)

(M

(t−r)j −m

(t−r)j

).

Аналогiчно виводиться оцiнка знизу

M(t)j −m

(t)j ≥ −(1− ε)

(M

(t−r)j −m

(t−r)j

).

З цих нерiвностей за iндукцiєю дiстанемо∣∣∣M (t)j −m

(t)j

∣∣∣ ≤ (1− ε)[t / r] → 0, t →∞.

Позначимоπj = limt→∞ M

(t)j = limt→∞ m

(t)j .

Границi тут iснують через монотоннiсть послiдовностей M(t)j , m

(t)j , а рiв-

нiсть є наслiдком попередньої нерiвностi. З цiєї ж монотонностi отримує-мо πj ∈ [m

(t)j ,M

(t)j ], тому з означення m

(t)j ≤ p

(t)ij ≤ M

(t)j виводимо, що

∣∣∣p(t)ij − πj

∣∣∣ ≤∣∣∣M (t)

j −m(t)j

∣∣∣ ≤ (1− ε)[t / r],

звiдки limt→∞ p(t)ij = πj.

Оскiльки∑

j≤N πj = limt→∞∑

j≤N p(t)ij ≤ 1 для всiх N, то

∑j∈E πj ≤ 1.

Перейдемо до границi при t →∞ в нерiвностi

p(t+1)ik =

∑j∈E

p(t)ij pjk ≥

∑j≤N

p(t)ij pjk,


та оберемо N →∞. Отримаємо нерiвностi πk ≥∑

j∈E πj pjk. Якби хоча бодна з цих нерiвностей є строгою, то їх сума – теж строга нерiвнiсть:

∑k∈E

πk >∑

k∈E

∑j∈E

πj pjk =∑

j∈Eπj

∑k∈E

pjk =∑

j∈Eπj.

Звiдси вiд супротивного дiстанемо наведену систему рiвнянь для πj ¡Вправи(1) З умов ергодичної теореми Колмогорова випливає аперiодичнiсть ланцюга.(2) Довести, що (а) для скiнченного простору значень E з властивостi ерго-

дичностi: ∃ limt→∞ p(t)ij = πj > 0,∀i, j ∈ E, випливає умова ергодичної теореми

Колмогорова, (б) при |E| = ∞ навести приклад ергодичного ланцюга, для якоговказана умова не виконується.

(3) Ланцюги Маркова X та Y мають скiнченний простiр значень E, пе-рехiднi матрицi P i Q, та вектори ергодичних iмовiрностей π, ν. (а) Довестистiйкiсть стацiонарних iмовiрностей: ‖ν − π‖ = O(‖Q− P‖), ‖Q− P‖ → 0.(б) Знайти матрицю R таку, що справедливе скориговане граничне зображення:‖ν − π − πR(Q− P )‖ = o(‖Q− P‖), ‖Q− P‖ → 0. Тут норми векторiв таматриць визначаються як ‖µ‖ =

∑k∈E |µk| , ‖M‖ = supi∈E

∑j∈E |Mij| .

2.15. Процес Пуассона

Вище ми розглядали лише послiдовностi випадкових величин, що єфункцiями дискретних моментiв часу. Процес Пуассона є моделлю длявипадкових потокiв подiй, якi вiдбуваються в неперервному часi. Напри-клад, для потоку викликiв, що надходять до телефонної станцiї чи мере-жевого сервера.

Означення. Випадковим процесом на R називається сiм’я випадко-вих величин (ξ(t) = ξ(t, ω), t ∈ R), що залежать вiд дiйсного параметраt. Для кожної елементарної подiї ω дiйсна функцiя (ξ(t, ω), t ∈ R) нази-вається траєкторiєю процесу.

Як i завжди, аргумент ω у позначеннi процесу часто не вказується.Звичайно опис випадкового процесу починається з задання класу його

можливих траєкторiй.Означення. Лiчильним процесом, або ж точковим процесом на R+

називається випадковий процес (ν(t), t ∈ R+), такий, що:(а) ν(0) = 0, ν(t) ∈ Z+,(б) має кусково-сталi i неперервнi злiва за t траєкторiї при всiх ω,(в) має одиничнi прирости: ν(t + 0)− ν(t) ∈ 0, 1, ∀t, ω.

2.15. Процес Пуассона 307

Означення. Стохастичним потоком подiй на R+ називається довiльназростаюча необмежена послiдовнiсть додатних випадкових величин:0 < τ 1 < τ 2 < ... < τn < ..., lim τn = ∞ м.н.

Теорема (про вiдповiднiсть мiж потоком та лiчильним процесом).Iснує взаємно-однозначна вiдповiднiсть мiж стохастичними потоками(τn, n ≥ 1) та лiчильними процесами ν(t) на R+. Ця вiдповiднiстьзадається формулами

ν(t) =∑

n≥11Iτn<t = |n ≥ 1 : τn < t| ,

τn = inf(t > 0 : ν(t) = n).

Доведення для скiнчених послiдовностей очевидне, для злiченних отри-мується граничним переходом зi скiнчених ¡

Означення. Нехай ξ(t) – випадковий процес. Його приростом на iн-тервалi [s, t) називається випадкова величина

ξ[s, t) ≡ ξ(t)− ξ(s).

Означення. Випадковий процес ξ(t) має незалежнi прирости, якщодля довiльних 0 ≤ t1 < t2 < ... < tn випадковi величини

ξ[t1, t2), ξ[t2, t3), ..., ξ[tn−1, tn)

незалежнi в сукупностi .Означення. Випадковий процес ξ(t) має однорiднi прирости, якщо

функцiя розподiлу приросту ξ[t, t + h) залежить лише вiд h i не зале-жить вiд аргумента t ∈ R+.

Зауваження. Сам прирiст ξ[t, t + h), звичайно, може залежати вiд t.Так, наприклад, прирости на одиничних iнтервалах послiдовностi сум не-залежних однаково розподiлених величин є незалежними та однорiдними,однак рiзними – адже вони збiгаються з вiдповiдним доданками.

2.15.1. Процес Пуассона та його розподiл

Означення. Випадковий процес ν(t), t ∈ R+, називається процесомПуассона, якщо цей процес:

(а) є лiчильним процесом,(б) має незалежнi прирости та однорiднi прирости.Теорема (про розподiл процесу Пуассона). Нехай ν(t) – процес Пу-

ассона, який не є тотожним нулем. Iснує стала 0 < λ < ∞, така, що


для всiх t ≥ 0, n ≥ 0 виконуються рiвностi

IP(ν(t) = n) =(λt)n

n!e−λt,

IEν(t) = λt, IDν(t) = λt, λ = limh→0 h−1IP(ν(h) = 1).

Означення. Параметр λ називається iнтенсивнiстю процесу.Зауваження. Твердження теореми лишаються справедливими, якщо

замiсть умов (б),(в) на траєкторiю в означеннi лiчильного процесу вико-нується така аналiтична умова ординарностi:

(о) IP(ν(h) > 1) = o(h), h → 0.


pn(t) = IP(ν(t) = n).

Нехай t, s > 0. Оскiльки величини ν(t) = ν[0, t) та ν[t, t + s) незалежнi, товиконуються рiвностi

p0(t + s) = IP(ν(t + s) = 0) =

IP(ν(t) = 0, ν[t, t + s) = 0) = IP(ν(t) = 0) IP(ν[t, t + s) = 0) =

IP(ν(t) = 0)IP(ν[0, 0 + s) = 0) = IP(ν(t) = 0)IP(ν(s) = 0) = p0(t)p0(s),

де використанi також однорiднiсть приростiв, та рiвнiсть ν(0) = 0 з вла-стивостi (а) означення лiчильного процесу.

Отже, функцiя p0(t) мультиплiкативна. Звiдси виводимо, що

p0(1/n) = (p0(1))1/n, p0(m/n) = (p0(1))m/n.

Оскiльки процес не вироджений, то p0(m) < 1 для деякого m, а томуp0(1) < 1. Якщо p0(1) = 0, то p0(t) = 0 при всiх t, i IP(ν(h) ≥ 1) = 1для h > 0. У цьому випадку з незалежностi та однорiдностi приростiввиводимо, що IP(ν(1) ≥ n) = 1 для всiх n. Це суперечить скiнченностiпроцесу.

Отже, стала λ ≡ − ln p0(1) скiнченна i додатна. Оскiльки p0(r) =exp(−λr) для всiх рацiональних r, а функцiя p0(t) не зростає i p0(0) = 1,то ця функцiя неперервна в нулi. Тодi з мультиплiкативностi p0(t + h) =p0(t)p0(h) випливає неперервнiсть справа p0(t). Переходячи до границir ↓ t, з p0(r) = exp(−λr) дiстанемо p0(t) = exp(−λt) для всiх t ≥ 0.

Доведемо, що з умов (б),(в) в означеннi лiчильного процесу випливаєумова ординарностi (о) зауваження. За доведеним вище IP(ν(h) > 0) =1 − p0(h) = 1 − exp(−λh) ≤ λh. Оскiльки ν(h) =

∑2n−1k=0 νk(h), де доданки


νk(h) ≡ ν[kh2−n, (k+1)h2−n) незалежнi в сукупностi, однаково розподiленii за умовою (в) не перевищують 1, починаючи з деякого номера n, то привиконаннi умови ν(h) > 1 принаймнi два з них будуть додатними:

IP(ν(h) > 1) ≤ limn→∞ IP(∪i < jνi(h) > 0, νj(h) > 0) ≤limn→∞ 2n−1(2n − 1) (IP(ν0(h2−n) > 0))

2 ≤ λ2h2 = o(h), h → 0.

Отже, умова (о) виконана.Враховуючи умову (а) в означеннi лiчильного процесу ν(t), розглянемо

при n ≥ 1 таку тотожнiсть:

ν(t + h) = n = ν(t) = n, ν[t, t + h) = 0⋃

ν(t) = n− 1, ν[t, t + h) = 1⋃ν(t + h) = n, ν[t, t + h) > 1.Оскiльки три подiї в правiй частинi попарно несумiснi, з незалежностi

та однорiдностi приростiв отримуємо

pn(t + h) = pn(t)p0(h) + pn−1(t)p1(h) + O(p(ν[t, t + h) > 1)) =

pn(t)p0(h) + pn−1(t)(1− p0(h)− o(h)) + o(h), h → 0,

де двiчi використана умова (о) ординарностi. Пiсля пiдстановки в останнєрiвняння p0(h) = exp(−λh) = 1− λh + o(h) маємо

(pn(t + h)− pn(t))/h = −λ pn(t) + λ pn−1(t) + o(1), h → 0,

причому o(1) у правiй частинi є рiвномiрним за t. Отже, функцiї pn ди-ференцiйовнi справа, неперервнi та диференцiйовнi внаслiдок вiдзначеноїрiвномiрностi, i задовольняють такi диференцiальнi рiвняння:

p′n(t) = −λ pn(t) + λ pn−1(t), pn(0) = 0, ∀n ≥ 1.

З використанням iнтегруючого множника exp(λt) звiдси виводимо дляфункцiй qn(t) ≡ exp(λt)pn(t) систему рiвнянь

q′n(t) = λ qn−1(t), qn(0) = 0, n ≥ 1,

звiдки з урахуванням доведеної вище рiвностi q0(t) = 1 рекурентно обчи-слюємо qn(t) = (λt)n/n!, pn(t) = (λt)n e−λt /n!.

Останнi рiвностi теореми є наслiдками першої ¡Наслiдок (про iнтенсивностi переходу процесу Пуассона). Перехi-

днi ймовiрностi процесу Пуассона з iнтенсивнiстю λ задовольняютьтакi iнфiнiтезимальнi зображення при n ≥ 0:

IP(ν(t + h) = n + 1 | ν(t) = n) = λh + o(h), h → 0,

IP(ν(t + h) > n + 1 | ν(t) = n) = o(h), h → 0,

IP(ν(t + h) = n | ν(t) = n) = 1− λh + o(h), h → 0.


Зауваження. З даних умов також випливає твердження теореми пророзподiл процесу Пуассона (вправа), тому iнодi саме їх використовуютьяк означення цього процесу.

Доведення. Оскiльки подiї ν(t + h) − n ∈ B за умови ν(t) = nзбiгаються з ν[t, t + h) ∈ B та за властивiстю незалежностi приростiвне залежать вiд цiєї умови, то з урахуванням однорiдностi приростiв ро-бимо висновок, що ймовiрностi у лiвих частинах дорiвнюють вiдповiдноIP(ν(h) = 1), IP(ν(h) = 0), IP(ν(h) > 1). Тому наведенi зображення отриму-ємо з формули для розподiлу процесу, що доведена в теоремi.

Твердження зауваження фактично обґрунтованi у останнiй частинi до-ведення теореми про розподiл процесу Пуассона, оскiльки з припущеньзауваження за формулою повної ймовiрностi отримуємо

p0(t + h) = p0(t)(1− λh + o(h)), h → 0,

pn(t + h) = pn(t)(1− λh + o(h)) + pn−1(t)(λh + o(h)) + o(h), h → 0,

звiдки обчислюються pn(t) ¡

2.15.2. Траєкторiї процесу Пуассона

Теорема (про властивостi траєкторiй процесу Пуассона). Нехай(τn, n ≥ 1) – стохастичний потiк, що пов’язаний з процесом Пуассонаν(t), i θn ≡ τn − τn−1, n ≥ 1 – iнтервали мiж стрибками процесу, деτ 0 = 0. Тодi випадковi величини (θn, n ≥ 1) незалежнi в сукупностi i ма-ють однаковий показниковий розподiл iз параметром λ, який дорiвнюєiнтенсивностi процесу.

Зауваження. Лiчильний процес, що утворений стохастичним потокомсум незалежних однаково показниково розподiлених випадкових величин,має незалежнi прирости та однорiднi прирости, тобто є процесом Пуассо-на. Це твердження (Вправа) випливає з властивостi вiдсутностi пiслядiїдля показникового розподiлу.

Доведення. Для випадкової величини θ1 = τ 1 за теоремою про розпо-дiл процесу Пуассона маємо

IP(θ1 ≥ t) = IP(τ 1 ≥ t) = IP(ν(t) = 0) = exp(−λt),

отже, розподiл θ1 – показниковий iз параметром λ.Для доведення твердження при n > 1 визначимо сумiснi функцiї роз-

подiлуHn(x1, ..., xn) = IP(τ 1 < x1, ..., τn < xn)


та множину Dn = x = (x1, ..., xn) : x1 ≤ x2 ≤ ... ≤ xn.Позначимо через Γk(D) – клас функцiй обмеженої варiацiї на D ⊂ Rn

таких, що вони не залежать вiд аргументу xk, k = 1, n.Припустимо, що x /∈ Dn, тобто xk > xk+1 для деякого k = 1, n. Тодi

τ k < xk, τ k+1 < xk+1 = τ k+1 < xk+1, тому Hn ∈ Γk(Rn\Dn).Нехай тепер x ∈ Dn. За означенням

Hn(x1, ..., xn) = IP(ν(x1) ≥ 1, ..., ν(xn) ≥ n) =∑n−1

k=1 IP(ν(x1) = k) IP(ν[x1, xk+1) ≥ 1, ..., ν[x1, xn) ≥ n− k)+

IP(ν(x1) ≥ n) = IP(ν(x1) = 1)Hn−1(x2 − x1, ..., xn − x1)+∑n−1k=2 IP(ν(x1) = k)Hn−k(xk+1 − x1, ..., xn − x1) + IP(ν(x1) ≥ n) =

λx1 exp(−λx1)Hn−1(x2 − x1, ..., xn − x1) + Rn(x),

де враховано незалежнiсть та однорiднiсть приростiв процесу, а функцiяRn ∈ Γ2(Dn).

З останньої тотожностi за iндукцiєю виводимо, що

Hn(x1, ..., xn) = −λn−1x1(x2 − x1)...(xn−1 − xn−2) exp(−λxn) + Sn(x),

де функцiя Sn є сумою функцiй iз класiв Γk(Dn). Звiдси послiдовнимдиференцiюванням за аргументами xn, xn−1, ...x1 знаходимо сумсну щiль-нiсть вектора (τ 1, ..., τn) :

fτ1,...,τn(x1, ..., xn) = λn exp(−λxn)1I0≤x1≤x2≤...≤xn .

Тому сумiсна характеристична функцiя iнтервалiв θk = τ k − τ k−1 мiжстрибками дорiвнює

IE exp (i∑n

k=1 tkθk) = IE exp (i∑n

k=1(tk − tk−1)τ k) =r0≤x1≤x2≤...≤xn

λn exp (i∑n

k=1(tk − tk−1)xk − λxn) dx1...dxn =r0≤y1,...0≤yn

λn exp (i∑n

k=1 tkyk − λ∑n

k=1 yk) dy1...dyn =∏n

k=1 λ/(λ− itk),

де використана замiна змiнних xk =∑k

i=1 yi.Вираз у правiй частинi є сумiсною характеристичною функцiєю неза-

лежних однаково розподiлених показникових величин iз параметром λ.Тому шукане твердження випливає з теореми про однозначну вiдповiд-нiсть мiж функцiями розподiлу та характеристичними функцiями ¡

Вправи(1) Довести посилений закон великих чисел: ν(t)/t →P1 λ, t →∞.


(2) Довести, що процес Пуассона є стохастично неперервним, тобто має мiсцезбiжнiсть ν(t + h) →P ν(t), h → 0.

(3) Нехай (τn, n ≥ 1) – стохастичний потiк для процесу Пуассона з па-раметром λ, а (δn, n ≥ 1) – незалежна вiд нього послiдовнiсть незалежнихвеличин таких, що IP(δn = 1) = p = 1 − IP(δn = 0). Довести, що послiдов-нiсть (δnτn, n ≥ 1) пiсля усунення нульових значень є стохастичним потокомдля процесу Пуассона з параметром λp. Вказiвка: скористатись зауваженням дотеореми про властивостi траєкторiй процесу Пуассона.

(4) Нехай (τ(i)n , n ≥ 1), i = 1, 2, – стохастичнi потоки для незалежних проце-

сiв Пуассона з параметрами λi. Тодi послiдовнiсть (τ (1)n , n ≥ 1∪τ (2)

n , n ≥ 1)пiсля впорядкування за зростанням є стохастичним потоком для процесу Пуассо-на з параметром λ1 + λ2. Вказiвка: скористатись означенням процесу Пуассона.

(5) Для послiдовностi (g(n)) визначимо f(n, t) = IEg(n + νt). Довести, що(∂/∂t)f(n, t) = λg(n + 1)− λg(n), n ≥ 0.

(6) Нехай νk(t), t ≥ 0, k = 1, 2, пара незалежних процесiв Пуассона з па-раметрами λk. Довести, що ймовiрнiсть перетину двовимiрним випадковим про-цесом (ν1(t), ν2(t)) прямої (i, j) : i + j = n саме у точцi (i, j) дорiвнюєCi

npi(1− p)n−i, де p = λ1/(λ1 + λ2).

2.16. Процес народження та загибелi

Процес Пуассона є моделлю процесу чистого народження, якщо мит-тєвий прирiст процесу iнтерпретувати як народження нової частинки впопуляцiї. Процес народження та загибелi дозволяє моделювати ситуацiї,коли одночасно можливою є також i загибель частинок. Цей процес єузагальненням поняття ланцюга Маркова на неперервний час.

Означення. Випадковий процес (ζt, t ∈ R+) з дискретним просторомзначень E = i, j, ... називається однорiдним марковським процесом,якщо для всiх n ≥ 1, i0, i1, ..., in−1, i, j ∈ E, 0 ≤ t0 < ... < tn−1 < t < t + sвиконуються рiвностi

IP(ζt+s = j | ζt0 = i0, ..., ζ tn−1= in−1, ζt = i) =

IP(ζt+s = j | ζt = i) = IP(ζs = j | ζ0 = i) ≡ pij(s).

Як i для ланцюгiв Маркова, перша рiвнiсть вiдображає марковськувластивiсть процесу, друга – однорiднiсть за часом, а третя визначає ймо-вiрностi переходу процесу за промiжок часу s iз стану i до стану j. Iмо-вiрнiснi властивостi процесу визначаються поведiнкою функцiй pij(s).

2.16. Процес народження та загибелi 313

Означення. Випадковий процес (ζt, t ∈ R+) називається процесомнародження та загибелi, якщо:

(1) вiн є однорiдним марковським процесом зi значеннями у Z+,(2) для деяких невiд’ємних чисел λi (iнтенсивностей народжень) i µi

(iнтенсивностей загибелi), i ≥ 0, справедливi такi iнфiнiтезимальнi зо-браження для ймовiрностей одиничних стрибкiв:

IP(ζh = i + 1 | ζ0 = i) = λih + o(h), h → 0, ∀i ≥ 0,

IP(ζh = i− 1 | ζ0 = i) = µih + o(h), h → 0, ∀i > 0,

(3) iмовiрностi iнших стрибкiв є нескiнченно малими:

IP(|ζh − i| > 1 | ζ0 = i) = o(h), h → 0.

Наслiдок (про ймовiрнiсть невиходу процесу народження та заги-белi). З умов (1)-(3) попереднього означення випливає зображення

IP(ζh = i | ζ0 = i) = 1− aih + o(h), h → 0, ∀i ≥ 0,

де сумарна iнтенсивнiсть

ai ≡ λi + µi, i ≥ 0, µ0 ≡ 0.


IP(ζh = i | ζ0 = i) = 1− IP(|ζh − i| > 1 | ζ0 = i)−IP(ζh = i + 1 | ζ0 = i)− IP(ζh = i− 1 | ζ0 = i) =

1− (λi + µi)h + o(h), h → 0.

Очевидно, що при i = 0 останнiй доданок у середнiй частинi даногорiвняння вiдсутнiй, тому для справедливостi зображення в даному випад-ку слiд покласти µ0 = 0 ¡

Означення. Часом перебування процесу в станi ζ0 = i називаєтьсявипадкова величина

τ = inf(t > 0 : ζt 6= ζ0).

Теорема (про траєкторiї процесу народження та загибелi). Нехай(ζt, t ∈ R+) – процес народження та загибелi, що має неперервнi справатраєкторiї, а τ – час перебування в станi ζ0 = i. Тодi для всiх i ≥ 0,j 6= i виконуються рiвностi

IP(τ < t | ζ0 = i) = 1− exp(−ait),

IP(τ < t, ζτ = j | ζ0 = i) = (1− exp(−ait)) pij,


де стохастична матриця (pij) має вигляд

pij =

λi/ai, j = i + 1µi/ai, j = i− 1

0, |j − i| 6= 1, i 6= 0

Зауваження. Твердження теореми можна переформулювати так: часперебування в початковому станi ζ0 = i та положення процесу пiсля пер-шого стрибка незалежнi, час перебування має показниковий розподiл iзпараметром ai, а положення пiсля стрибка збiгається зi станом пiсля пе-реходу на один крок вкладеного ланцюга Маркова, що має матрицю пе-рехiдних iмовiрностей за один крок (pij, i, j ≥ 0).

Наслiдок. Нехай (ξn, n ≥ 0) – ланцюг Маркова з матрицею пере-хiдних iмовiрностей за один крок (pij, i, j ≥ 0), випадковi величини(θn, n ≥ 1) при фiксованих (ξn, n ≥ 0) незалежнi в сукупностi i ма-ють показниковий розподiл iз параметром aζn−1

вiдповiдно, причомуτn = θ1 + ... + θn. Тодi процес

ζt =∑

n≥0ξn 1I τn≤ t <τn+1,

є процесом народження та загибелi, що має вказанi в означеннi iнфiнi-тезимальнi зображення.

Доведення теореми. Позначимо

tnk = k2−n, τn = inf(tnk > 0 : ζtnk

6= ζ0

).

Оскiльки tnk ⊂ tn+1,k, то послiдовнiсть τn не зростає. Траєкторiїпроцесу ζt набувають цiлих значень та неперервнi справа. Тому знайде-ться м.н. додатне ε(ω) > 0 таке, що ζτ+s = ζτ для всiх s ∈ [0, ε). Знеперервностi траєкторiй процесу справа виводимо, що з iмовiрнiстю 1ζτn

= ζτ починаючи з деякого номера, отже τn ↓ τ , ζτn→ ζτ , n → ∞.

Тому за неперервнiстю ймовiрностi

IP(τ < t, ζτ = j | ζ0 = i) = limn→∞ IP(τn < t, ζτn= j | ζ0 = i).

Як i вище, позначимо

pij(t) = IP(ζt = j | ζ0 = i).

Визначимо номери kn(t) = [t 2n] = sup(k : tnk < t) та подiї

Aink = ζ0 = i, ζtn1

= i, ..., ζtnk= i.

Для часу перебування обчислимо за формулою про ймовiрнiсть пере-рiзу n подiй та за марковською властивiстю процесу


IP(τ ≥ t | ζ0 = i) = limn→∞ IP(τn ≥ t | ζ0 = i) =

limn→∞ IP(Ain, kn(t) | ζ0 = i) = limn→∞

∏kn(t)l=1 IP(ζtnl

= i | Ain, l−1) =

limn→∞∏kn(t)

l=1 IP(ζtnl= i | ζtn,l−1

= i) = limn→∞(pii(2−n))kn(t) =

limn→∞(1− ai2−n + o(2−n))t2n

= exp(−tai),

де використаний наслiдок про ймовiрнiсть невиходу процесу народженнята загибелi. Перше твердження доведене.

Якщо ж j 6= i, то ймовiрнiсть виходу дорiвнює

IP(τn < t, ζτn= j | ζ0 = i) =

∑kn(t)k =1 IP(τn = tnk, ζτn

= j | ζ0 = i) =

∑kn(t)k =1 IP(Ai

n,k−1 ∩ ζtnk= j | ζ0 = i) =

∑kn(t)k =1 IP(ζtnk

= j | Ain,k−1)

∏k−1l=1 IP(ζtnl

= i | Ain,l−1) =

∑kn(t)k =1 IP(ζtnk

= j | ζtn,k−1= i)

∏k−1l=1 IP(ζtnl

= i | ζtn,l−1= i) =

∑kn(t)k =1 pij(2

−n)(pii(2−n))k−1 = pij(2

−n)(1− (pii(2

−n))kn(t))

/ (1− pii(2−n)).

Границю другого множника в правiй частинi обчислено вище:

limn→∞(1− (pii(2

−n))kn(t))

= 1− exp(−tai).

З означення pij, умов (2),(3) та наведеного вище наслiдку про ймовiр-нiсть невиходу процесу народження та загибелi pii(h) отримуємо також

limn→∞ pij(2−n) / (1− pii(2

−n)) = pij.

Це доводить друге твердження теореми ¡Наступна теорема дає можливiсть обчислити ймовiрностi переходу че-

рез iнфiнiтезимальнi характеристики λi, µi. Зауважимо, що для будь-якогопочаткового розподiлу qk = IP(ζ0 = k) безумовний розподiл процесу ви-значається за формулою повної ймовiрностi

IP(ζt = j) =∑

k≥0IP(ζ0 = k)IP(ζt = j | ζ0 = k) =

∑k≥0

qk pkj(t).

Теорема (про систему диференцiальних рiвнянь Колмогорова).Нехай (ζt, t ∈ R+) є процесом народження та загибелi з iнфiнiтезималь-ними характеристиками (λi, µi), причому асимптотичне зображення вумовi (3) означення є рiвномiрним за i.


Тодi розподiл процесу pk(t) = IP(ζt = k) при довiльних початковихумовах є диференцiйовною функцiєю часу t та задовольняє при k ≥ 0зворотну систему диференцiальних рiвнянь Колмогорова

p′k(t) = λk−1 pk−1(t) + µk+1 pk+1(t)− (λk + µk) pk(t),

де за означенням λ−1 = 0, µ0 = 0.Доведення. При h > 0 за означенням умовної ймовiрностi

IP(ζt = j, ζ t+h = k) = pj(t)IP(ζt+h = k | ζt = j) = pj(t)pjk(h).

Тому за формулою повної ймовiрностi

pk(t + h) = IP(ζt+h = k) =

IP(ζt = k − 1, ζt+h = k) + IP(ζt = k + 1, ζt+h = k)+

IP(ζt = k, ζt+h = k) + IP(|ζt − k| > 1, ζt+h = k) =

pk−1(t) pk−1,k(h) + pk+1(t) pk+1,k(h) + pk(t) pkk(h)+∑

j: |k−j|>1 pj(t)pjk(h).

За умовою

supj,k: |k−j|>1 pjk(h) ≤ supj IP(|ζh − j| > 1 | ζ0 = j) = o(h), h → 0.

Тому останнiй доданок у попереднiй сумi дорiвнює o(h).Пiдставимо в першi два доданки зображення з умови (2), а в тре-

тiй – рiвнiсть наслiдку про ймовiрнiсть невиходу процесу народження тазагибелi :

pk(t + h) = pk−1(t)(λk−1h + o(h)) + pk+1(t) (µk+1h + o(h))+

pk(t)(1− (λk + µk)h + o(h)) + o(h), h → 0.

Звiдси

pk(t + h)− pk(t)

h= pk−1(t)λk−1 +pk+1(t) µk+1−pk(t)(λk +µk)+

o(h)

h, h → 0.

Оскiльки права частина має границю при h → 0, а величина o(h)/h єрiвномiрно за t малою, то функцiї pk(t) диференцiйовнi та задовольняютьсистему диференцiальних рiвнянь Колмогорова.

При k = 0 за умовою в правiй частинi вiдсутнi доданки з pk−1(t) та µ0.Тому слiд вважати, що λ−1 = 0, µ0 = 0 ¡

Означення. Початковий розподiл qk = IP(ζ0 = k) називається ста-цiонарним розподiлом процесу, якщо IP(ζt = k) = qk для всiх t ≥ 0, k ≥ 0.


Теорема (про рiвняння для стацiонарних iмовiрностей). Нехай(ζt, t ∈ R+) є процесом народження та загибелi з iнфiнiтезимальнимихарактеристиками (λi, µi), i зображення у (3) є рiвномiрним за i.

Процес (ζt, t ∈ R+) має стацiонарний розподiл (qk, k ≥ 0) тодi йтiльки тодi, коли система рiвнянь

πk−1λk−1 + πk+1 µk+1 − πk(λk + µk) = 0, k ≥ 0,

має розв’язок (πk, k ≥ 0) у класi дискретних розподiлiв iмовiрностей.Цей розв’язок збiгається зi стацiонарним розподiлом : qk = πk.

Доведення. Необхiднiсть є наслiдком теореми про систему диференцi-альних рiвнянь Колмогорова, оскiльки при виборi стацiонарного розподiлуяк початкового функцiї pk(t) = πk сталi i мають нульовi похiднi. Доста-тнiсть не доводиться ¡

Теорема (про iснування стацiонарних iмовiрностей). Система рiв-нянь iз теореми про рiвняння для стацiонарних iмовiрностей має нену-льовий розв’язок (πk, k ≥ 0) у класi дискретних iмовiрнiсних розподiлiвтодi й тiльки тодi, коли збiгається ряд

θ =∑

k≥0θk < ∞, θk =

∏k−1

i=0

λi

µi+1

,

i у випадку збiжностi стацiонарний розподiл має вигляд

πk = θk / θ, k ≥ 0.

Доведення. Позначимо δk = πk+1 µk+1 − πkλk, k ≥ 0.

Система рiвнянь iз теореми про рiвняння для стацiонарних iмовiрно-стей еквiвалентна системi δ0 = 0, δk+1 = δk, k ≥ 0.

Отже , з πk = πk−1λk−1/µk рекурентно отримуємо πk = θkπ0.

Якщо θ = ∞, з цих рiвностей дiстанемо πk = π0 = 0. У протилежномувипадку знаходимо шуканий розподiл за означенням θ ¡

Теорема (про ергодичнiсть процесу народження та загибелi). Заумови iснування стацiонарного розподiлу (πk, k ≥ 0) процесу народженнята загибелi iснує границя, що не залежить вiд початкового стану:

limt→∞ pik(t) = πk, ∀i, k ≥ 0.

Доведення не наводиться.Вправи(1) Довести, що процес народження та загибелi (ζt, t ≥ 0) з iнтенсивностями

λn = λ, µn = 0 є процесом Пуассона.


(2) Довести, що процес народження та загибелi (ζt, t ≥ 0) з iнтенсивностямиµn = 0 можна зобразити у виглядi ζt =

∑n≥1 n1ISn−1<t≤Sn, де Sn =

∑nk=1 ξk,

а ξk має показниковий розподiл Exp(λk). Якщо λn = nλ (процес Юла) таζ0 = k, то IEzζt = (z exp(−t)) (1− z + z exp(−t))k .

(3) Знайти стацiонарний розподiл у системi M/M/n, що вiдповiдає процесународження та загибелi з iнтенсивностями λn = λ, µn = µ min(n,m).

(4) Нехай (νt) – процес Пуассона. Знайти середнє та коварiацiйну функцiюпроцесу ((−1)νt , t ≥ 0). Чи є цей процес марковським ?

(5) Нехай (ζt, t ≥ 0) – процес народження та загибелi з iнтенсивностями:λn = λ, µn = nµ (система обслуговування M/M/∞), i ζ0 = k. Довести тото-жнiсть IEzζt = exp (λ(z − 1)(1− exp(−µt))/µ) (1 + (z − 1) exp(−µt))k .

(6) Нехай (ζt, t ≥ 0) – процес народження та загибелi з iнтенсивностямиλn = nλ, µn = nµ. Довести, що розподiл числа частинок у момент першоїзагибелi є геометричним, та знайти його параметр.

(7) Нехай (ζt, t ≥ 0) – процес народження та загибелi з iнтенсивностямиλn = nλ + a, µn = nλ. Позначимо u(t) = IP(ζt = 0 | ζ0 = 1) (а) Методомпершого стрибка довести, що ця функцiя задовольняє диференцiальне рiвнянняРiкаттi: u′(t) + 2λu(t) = λ + λu2(t). (б) Вивести, що u(t) = λt/(1 + λt).

2.17. Складний процес Пуассона

На вiдмiну вiд звичайного, прирости складного процесу Пуассона необов’язково є одиничними.

Означення. Нехай (ξn, n ≥ 1) – незалежнi у сукупностi однаковорозподiленi випадковi величини, а ν(t) – незалежний вiд них процесПуассона з параметром λ. Складним процесом Пуассона, що породжу-ється процесом ν та стрибками (ξn, n ≥ 1), називається випадковийпроцес

ξ(t) ≡∑ν(t)

n=1ξn =

∑n≥1

ξn 1In ≤ ν(t), t ≥ 0.

За означенням, траєкторiї процесу ξ(t) кусково-сталi, неперервнi злiва,їх стрибки вiдбуваються в моменти стрибкiв процесу ν(t), а величинистрибкiв задаються послiдовнiстю ξn.

Приклад. Розглянемо модель страхової фiрми, яка регулярно отримуєвiд застрахованих осiб страховi премiї з iнтенсивнiстю c за одиницю часу,та проводить страховi виплати випадкових обсягiв (ξn, n ≥ 1) у момен-ти страхових випадкiв, що утворюють стохастичний потiк, модельований

2.17. Складний процес Пуассона 319

процесом Пуассона. Якщо початковий страховий фонд фiрми дорiвнює x,то на момент часу t страховий фонд становитиме

η(t) = x + ct− ξ(t),

де ξ(t) – складний процес Пуассона. Випадковий процес η(t) називаєтьсякласичним процесом ризику.

Теорема (про властивостi складного пуассонiвського процесу).Складний процес Пуассона має незалежнi та однорiднi прирости, при-чому для всiх u ∈ R виконується рiвнiсть

IE exp(iuξ(t)) = exp(λt(ϕ(u)− 1)),

де ϕ(u) = IE exp(iuξ1) – характеристична функцiя стрибка, та

IEξ(t) = λtIEξ1, IDξ(t) = λtIEξ21.

Доведення. Незалежнiсть та однорiднiсть приростiв є наслiдком цихвластивостей процесу Пуассона, оскiльки прирiст процесу має вигляд

ξ[s, t) =∑

ν(s)<n≤ν(t)ξn =

∑ν[s,t)

n=1ξν(s) + n, t ≥ s ≥ 0,

де величини ν(s), ν[s, t), ξn незалежнi в сукупностi.Вираз для характеристичної функцiї виводимо з теореми про власти-

востi генератрис, пункт (е), при z = exp(iu) :

IE exp(iuξ(t)) = ϕν(t)(IE exp(iuξ1)) = ϕν(t)(ϕ(u)) =

∑n≥0

(ϕ(u))n (λt)n

n!e−λt = exp(λtϕ(u)− λt),

де використана також теорема про розподiл процесу Пуассона.Далi, за теоремою про властивостi характеристичних функцiй

iIEξ(t) = ϕ′ξ(t)(0) = λtϕ′(u) exp(λtϕ(u)− λt) |u=0= λtϕ′(0) = iλtIEξ1,

−IEξ2(t) = ϕ′′ξ(t)(0) = (λtϕ′′(u) + (λtϕ′(u))2) exp(λtϕ(u)− λt) |u=0=

λtϕ′′(0) + (λtϕ′(0))2 = −λtIEξ21 − (λtIEξ1)

2,

звiдки отримуємо останнi рiвностi теореми ¡За допомогою граничного переходу зi складного процесу Пуассона мо-

жна отримати неперервний процес iз незалежними та однорiдними приро-стами. Для цього розглянемо складний процес Пуассона з малими симе-тричними приростами: IP(ξn = ±ε) = 1/2, ε → 0, та одночасно з великоюкiлькiстю стрибкiв за одиницю часу: λ → ∞. За теоремою про власти-востi складного пуассонiвського процесу характеристична функцiя такого


процесу має вигляд

IE exp(iuξ(t)) = exp(λt(cos(εu)− 1)).

Для iснування її границi при ε → 0, λ →∞ оберемо λ ∼ ε−2. Тодi

lim ε→0, λ→∞ IE exp(iuξ(t)) = exp(−u2t/2),

тобто слабка границя ξ(t) повинна мати нормальний розподiл N(0, t).Вправи(1) У припущеннi iнтегровностi стрибка ξ1 довести посилений закон великих

чисел: ξ(t)/t →P1 λIEξ1, t →∞.(2) У припущеннях IEξ1 = m, IDξ1 = σ2 довести центральну граничну теоре-

му: (ξ(t)−mt)/√

σ2t →W ζ ' N(0, 1).

(3) Нехай∑ν(t)

n=1 ξn – складний процес Пуассона, а множини Bi ∈ B[R],

i = 1, k, попарно несумiснi. Визначимо ξ(t, B) ≡ ∑ν(t)n=1 ξn1Iξn∈B. Довести, що

(а) випадковий процес ξ(t, Bi) є узагальненим процесом Пуассона та знайти йогохарактеристичну функцiю, (б) випадковi величини (ξ(t, Bi), i = 1, k) незалежнi.

(4) Нехай ξ(t) – складний процес Пуассона з iнтегровними стрибками, апроцес η(t) = x + ct− ξ(t). Знайти умову, за якої supt>0 η(t) < ∞ м.н.

(5) Нехай ξ(t) – складний процес Пуассона з iнтенсивнiстю λ, що задоволь-няє умову Крамера: ϕ(u) ≡ IE exp(uξ1) < ∞ для деяких u > 0. Визначимо про-цес η(t) = x + ct− ξ(t). (а) Довести, що при 0 ≤ s < t виконується тотожнiстьIE exp(−u(η(t)−η(s))) = exp((t−s)g(u)), де функцiя g(u) = λ(ϕ(u)−1)−uc.(б) Визначимо момент банкрутства τx = inf(t > 0 : η(t) < 0), де x = η(0) > 0.Довести при u ≥ 0 нерiвнiсть IP(τx ≤ t) ≤ sup0≤s≤t exp(−ux + sg(u)). (б) Заумови c > λIEξ1 iснує єдине α > 0 таке, що g(α) = 0 i IP(τx ≤ t) ≤ exp(−αx).

2.18. Вiнерiвський процес

На початку 20 ст. Норберт Вiнер побудував математичну модель дляпроцесу хаотичного теплового (Броунiвського) руху мiкрочастинок у рiди-нi. Цей процес характеризується неперервнiстю траєкторiй, незалежнiстюта однорiднiстю приростiв, нульовим середнiм змiщенням за будь-якийчас та дифузiйним характером руху, що проявляється виключно у змiнахсереднього квадратичного вiдхилення частинок вiд початкового стану.

Означення. Вiнерiвським, (Вiнерiвим), або Броунiвським процесом на-зивається випадковий процес (w(t), t ∈ R+), який:

(а) має неперервнi траєкторiї,(б) має незалежнi прирости та однорiднi прирости,

2.18. Вiнерiвський процес 321

(в) w(0) = 0, IEw(t) = 0, IDw(t) < ∞.

2.18.1. Розподiл вiнерiвського процесу

Теорема (про розподiл вiнерiвського процесу). Нехай w(t) – вiнерiвпроцес. Тодi iснує стала σ ≥ 0 така, що для всiх t > 0

w(t) ' N(0, σ2t), IEw(t) = 0, IDw(t) = σ2t.

Зауваження. При виконаннi решти припущень умову (а) неперервно-стi траєкторiй в означеннi вiнерiвського процесу можна замiнити на бiльшпросту аналiтичну умову

IP(|w(h)| ≥ ε) = o(h), h → 0, для кожного ε > 0.

Доведення теореми. Нехай t > 0 фiксоване. Розглянемо прирости

wnk ≡ w[t(k − 1)/n, tk/n),

де w[s, t) ≡ w(t) − w(s). За умови (б) випадковi величини (wnk, k = 1, n)незалежнi в сукупностi та однаково розподiленi, wn1 = w(t/n), IEwnk = 0.

Лема 1. За припущень (б), (в) неперервнiсть траєкторiй процесуw(t) еквiвалентна умовi, що сформульована у зауваженнi.

Доведення необхiдностi. З неперервностi траєкторiй процесу на ком-пактному iнтервалi [0, t] випливає рiвномiрна неперервнiсть, з якої, у своючергу, слiдує збiжнiсть до нуля модуля неперервностi на цьому iнтервалi:max1≤k≤n |wnk| →P 0 при n →∞, тобто умова

IP (max 1≤k≤n |wnk| ≥ ε) → 0, n →∞, ∀ε > 0.

Згiдно з незалежнiстю та однорiднiстю приростiв

IP (max 1≤k≤n |wnk| < ε) = exp(−n ln IP(|wn1| < ε)).

Тому збiжнiсть до нуля модуля неперервностi еквiвалентна спiввiд-ношенню ln IP(|wn1| < ε) = o(1/n), n → ∞, що внаслiдок зображенняln(1 + ε) = ε + o(ε), ε → 0, еквiвалентне спiввiдношенню:

IP(|wn1| ≥ ε) ≡ IP(|w(t/n)| ≥ ε) = o(1/n), n →∞ ¡Лема 2. Iснують εn → 0 такi, що nIP(|wn1| ≥ εn) → 0, n →∞.Доведення. За лемою 1 для кожного ε > 0 справедливе зображення

IP(|wn1| ≥ ε) = o(1/n), n →∞.

Виходячи з нього, побудуємо неспадну послiдовнiсть nk ≥ k таку, що

nIP(|wn1| ≥ 1/k) ≤ 1/k


для всiх n ≥ nk i покладемо εn = 1/k для nk ≤ n < nk+1. Послiдовнiсть εn

є шуканою, оскiльки при nk ≤ n < nk+1

nIP(|wn1| ≥ εn) = nIP(|wn1| ≥ 1/k) ≤ 1/k → 0, n →∞ ¡Лема 3. За умов теореми(а) функцiя σ2(t) ≡ Dw(t) адитивна i не спадає,(б) σ2(t) неперервна,(в) σ2(t) = σ2t для всiх t ≥ 0 та деякої сталої σ ≥ 0.Доведення. (а) За означенням приросту

w(t + s) = w(t) + w[t, t + s),

де величини в правiй частинi незалежнi, та w[t, t+ s) ' w(s) за однорiднi-стю приростiв. Тому адитивнiсть випливає з теореми про дисперсiю суминезалежних величин. Монотоннiсть є наслiдком невiд’ємностi дисперсiї

σ2(t + s) = σ2(t) + σ2(s) ≥ σ2(t).

(б) Розглянемо монотонну границю δ ≡ limh ↓ 0 σ2(h). Якщо δ > 0, тоз монотонностi випливало б, що σ2(h) ≥ δ при всiх h > 0 та внаслiдокадитивностi σ2(1) = nσ2(1/n) ≥ nδ → ∞, що суперечить скiнченностiдисперсiї в означеннi процесу (в). Тому δ = 0 i σ2(h) → 0, h → 0, звiдки

σ2(t± h)− σ2(t) = ± σ2(h) → 0, h → 0.

(в) Позначимо σ2 ≡ σ2(1). З адитивностi та нормованостi виводимо, щоσ2(m/n) = m/n IDw(1) = (m/n)σ2 для натуральних m,n. Переходячи тутдо границi m/n ↑ t, з неперервностi дiстанемо рiвнiсть (в) ¡

Можна вважати, що σ2 > 0 – iнакше процес є тотожнiм нулем майженапевне. Позначимо

ξnk = wnk1I|wnk| ≤ εn.Випадковi величини (ξnk, k = 1, n) незалежнi за теоремою про перетворе-ння незалежних величин, однаково розподiленi та |ξnk| ≤ εn.

Розглянемо сумиξn =

∑n

k=1ξnk.

З нерiвностiIP (ξn 6= w(t)) ≤ IP (∪n

k=1ξnk 6= wnk) ≤∑n

k=1IP(|wnk| > εn) = nIP(|wn1| > εn) → 0, n →∞,

та леми 2 виводимо, що ξn →P w(t), n →∞.Позначимо

σ2n ≡ IDξn, µn ≡ IEξn.


Дисперсiя тут iснує та обмежена, оскiльки

IDξn =∑n

k=1IDξnk ≤

∑n

k=1IEξ2

nk ≤∑n

k=1IEw2

nk = nIEw2n1 = nσ2t/n,

де використана лема 3(в) та однакова розподiленiсть величин wnk i wn1.(а) Припустимо, що limn→∞ σ2

n = 0. Тодi ξn − µn →P 0 по деякiйпiдпослiдовностi, отже w(t) − µn = (ξn − µn) − (ξn − w(t)) →P 0. Оскiль-ки величина w(t) не залежить вiд n, а за теоремою про спiввiдношенняслабкої збiжностi та збiжностi за ймовiрнiстю має мiсце слабка збiжнiстьw(t)− µn →W 0, що спричиняє збiжнiсть характеристичних функцiй:

IE exp(isw(t)) exp(−isµn) → 1, n →∞, ∀s ∈ R,

то числова послiдовнiсть µn повинна збiгатися до деякої сталої. Томуw(t) є сталою майже напевне. Це суперечить невиродженостi w(t) – якпоказано вище, IDw(t) = σ2t > 0.

(б) Отже, limn→∞ σ2n > 0, звiдки σ2

n ≥ δ2 > 0, починаючи з деякогономера. Враховуючи однакову розподiленiсть величин ξnk, та нерiвнiсть|ξnk| ≤ εn, пiдрахуємо показник з умови Лiндеберга для загальної послi-довностi серiй (ξnk, k = 1, n, n ≥ 1) :

Ln(ε) = σ−2n nIE(ξn1 − IEξn1)

21I|ξn1−IEξn1|≥εσn ≤ δ−2n4ε2n1I2εn≥εδ = 0,

починаючи з деякого номера, оскiльки εn → 0.Отже, внаслiдок центральної граничної теореми Лiндеберга для за-

гальних серiй має мiсце слабка збiжнiсть

(ξn − µn)/σn →W ζ ' N(0, 1),

Враховуючи обмеженiсть σ2n, оберемо пiдпослiдовнiсть номерiв n таку, що

σn → b > 0. Звiдси за теоремою про добуток слабко збiжної послiдовностiзi збiжною дiстанемо ξn − µn →W bζ. За теоремою Левi про критерiйслабкої збiжностi виводимо iснування границi характеристичних функцiй

IE exp(isbζ) = limn→∞ IE exp(is(ξn − µn)) = limn→∞ exp(−isµn)IE exp(isξn).

З iншого боку, границя

limn→∞ IE exp(isξn) = IE exp(isw(t))

iснує та не дорiвнює нулю при досить малих s, оскiльки ξn →P w(t),як показано вище, а характеристична функцiя неперервна в нулi. Отже,iснує границя limn→∞ µn = µ. Тому

IE exp(isw(t)) = limn→∞ IE exp(isµn) limn→∞ IE exp(is(ξn − µn)) =

exp(isµ)ϕb ζ(s) = exp(isµ− s2b2/2),


тобто w(t) ' N(µ, b2). Оскiльки IEw(t) = 0 та IDw(t) = σ2t за лемою 3, тоw(t) ' N(0, σ2t) за теоремою про iнтерпретацiю параметрiв нормальногорозподiлу ¡

2.18.2. Властивостi траєкторiйвiнерiвського процесу

Теорема (про властивостi траєкторiй вiнерiвського процесу). Не-хай w(t) – вiнерiв процес, а tnk = k2−n. Тодi:

(а) IP(∪t∈[0,1]∃w′(t)) = 0,

(б) Var[0,1]w ≡ limn→∞∑2n

k=1 |w[tn,k−1, tnk)| = ∞ майже напевне,

(в)∑2n

k=1 (w[tn,k−1, tnk))2 →P σ2, n →∞.

Доведення. Вважатимемо, що σ2 = 1.(а) Розглянемо подiї A = ∪t∈[0,1]∃w′(t),

Bmn = ∪t∈[0,1] ∩s: |t−s|≤2−n+1 |w(t)− w(s)| ≤ m |t− s|,Cmn = ∪2n−2

k=1 δnk ≤ m2−n+2,де δnk = maxi=0,1,2 |w[tn,k+i−1, tn,k+i)| .

Оскiльки A ⊂ ∪n≥1 ∪m≥1 Bmn, то досить довести рiвностi IP(Bmn) = 0.Має мiсце включення Bmn ⊂ Cmn. Дiйсно, нехай ω ∈ Bmn, тобто

для деякого t ∈ [0, 1] та всiх s з |t− s| ≤ 2−n+1 виконується нерiвнiсть|w(t)− w(s)| ≤ m |t− s| . Нехай t ∈ [tnk, tn,k+1) для деякого k. Тодi длякожного i = 0, 1, 2

|w[tn,k+i−1, tn,k+i)| ≤ |w(t)− w(tn,k+i−1)|+ |w(t)− w(tn,k+i)| ≤m |t− tn,k+i−1|+ m |t− tn,k+i| ≤ 2m2−n+1 = m2−n+2,

за означенням Bmn, оскiльки |tn,k+i − t| ≤ 2−n+1. Тому ω ∈ Cmn.Далi, оцiнимо через напiвадитивнiсть та монотоннiсть iмовiрностi, та

за властивостями незалежностi приростiв та однорiдностi приростiв

IP(Bmn) ≤ IP(Cmn) ≤∑2n−2

k=1IP(δnk ≤ m2−n+2) =

(2n − 2)IP(δn1 ≤ m2−n+2) ≤ 2n(IP(|w[0, tn1)| ≤ m2−n+2)

)3 ≤2n

((2π2−n)−1/22 ·m2−n+2

)3 ≤ c2−n/2 → 0, n →∞,

де враховано верхню межу (2πσ2)−1/2 для нормальної щiльностi N(µ, σ2).Зауважимо, що подiї Bmn не спадають за n. Тому з отриманої збiжностi

IP(Bmn) → 0, n → ∞, виводимо, що IP(Bmn) = 0 для всiх n. Оскiлькипараметр m тут є довiльним, то твердження (а) доведене.


(б) Позначимо

wnk = w[tn,k−1, tnk), ζn =∑2n

k=1|wnk| .

Тодi ζn ↑ ζ ≡ Var[0,1]w, n →∞. Крiм того, wnk ' N(0, 2−n), тому випадко-ва величина η ≡ 2n/2wn1 має стандартний нормальний розподiл. Оскiлькиза властивостями незалежностi приростiв та однорiдностi приростiв вели-чини (wnk, k = 1, 2n) незалежнi в сукупностi та однаково розподiленi, тоза теоремами про перетворення незалежних величин та про математичнесподiвання добутку незалежних величин для s > 0 :

IE exp(−sζn) = (IE exp(−s |wn1|))2n

=(IE exp(−s2−n/2

∣∣2n/2wn1

∣∣))2n

=(IE exp(−s2−n/2 |η|))2n

=

(1− s2−n/2IE |η|+ o(2−n/2))2n → 0, n →∞.

Оскiльки ζn ↑ ζ, n →∞, звiдси отримуємо

IP(ζ < ∞) = lims↓0 IE exp(−sζ) = lims↓0 limn→∞ IE exp(−sζn) = 0.

(в) Нехай (ηk, k ≥ 1) послiдовнiсть незалежних стандартних нормаль-них величин. Оскiльки (wnk, 1 ≤ k ≤ 2n) незалежнi i однаково розподiленi,причому величини 2n/2wn1 ' ηk ' N(0, 1), то

IP(∣∣∣

∑2n

k=1(wnk)

2 − 1∣∣∣ ≥ ε

)= IP

(∣∣∣2−n∑2n

k=1(2n/2wnk)

2 − 1∣∣∣ ≥ ε

)

= IP(∣∣∣2−n

∑2n

k=1η2

k − 1∣∣∣ ≥ ε

)→ 0, n →∞,

за теоремою Чебишева про закон великих чисел, оскiльки η2k незалежнi

однаково розподiленi, IEη2k = 1 ¡

Вправи. Нехай w(t) – вiнерiвський процес.(1) Для довiльних 0 < t1 < ... < tn знайти сумiсну щiльнiсть випадкових

величин (w(t1), ..., w(tn)).(2) Довести, що вiнерiвськими є такi перетворення w(t): (а) −w(t), t ≥ 0,

(б) tw(1/t), t > 0, w(0) ≡ 0, (в) w(t + c) − w(c), t ≥ 0, (г) w(c) − w(c − t),0 ≤ t ≤ c, (д) c−1w(c2t).

(3)Визначимо tnk = k2−n. Довести, що прирости та подвiйнi приростиζ0k ≡ w(t0k)−w(t0,k−1), ζnk ≡ w(tn,2k−1)−(w(tn−1,k−1)+w(tn−1,k))/2, n, k ≥ 1,є незалежними з нормальним розподiлом. Обчислити w(tnk) через (ζnk).

(4) Знайти розподiл величин: (а) w(t) + w(s), t < s, (б)r 1

0w(s)ds.

(5) Довести, що для кожного α < 1/2 траєкторiї w(t) м.н. задовольняютьумову Гельдера порядку α.


(6) Довести, що процес (|w(t)| , t ≥ 0) (а) є марковським, (б) має такийсамий розподiл, що i процес sups≤t w(s)− w(t).

(7) Нехай τ – момент зупинки вiдносно потоку (Ft = σ[w(s), s ≤ t]). Дове-сти, що процес w(t + τ)− w(τ) є вiнерiвським та не залежить вiд .Fτ .

(8) Для t ∈ (0, 1).знайти умовну щiльнiсть w(t) за умови w(1) = 0.(9) Визначимо τ b = inf(t > 0 : w(t) ≥ b) при b > 0. (а) Довести, що

τ b < ∞ м.н. (б) Довести, що процес $(t) = w(t)1It<τb + (2b − w(t))1It≥τbтакож є вiнерiвським.(в) Вивести принцип вiдбиття: IP(τ b < t) = 2IP(w(t) ≥ b).(г) Обчислити IE exp(−sτ b) = exp(−b

√2s). (д) Довести, що (τ b, b > 0) є ви-

падковим процесом з незалежними приростами.(10) (а) Довести, що inf(t > 0 : w(t) = 0) = 0 м.н. (б) Нехай τ 1 – макси-

мальний нуль w(t) на вiдрiзку [0, 1]. Довести, що IP(τ 1 < t) = 2π−1 arcsin√

t.(в) Знайти щiльнiсть мiнiмального нуля w(t) на вiдрiзку [1,∞).

(11) Для x ∈ (a, b) позначимо через u(x) iмовiрнiсть того, що процес x+w(t)досягне рiвня b ранiше, нiж рiвня a. (а) Довести, що

u(x) = (2π)−1/2r b

aexp(−(x− y)2/2t)u(y)dy + o(t2), t → 0.

(б) Вивести звiдси, що функцiя u задовольняє при x ∈ (a, b) диференцiальнерiвняння u′′(x) = 0 та крайовi умови u(a) = 0, u(b) = 1. (в) Знайти u(x).

(12) Позначимо через f(x, t, y) щiльнiсть випадкової величини x+at+ bw(t)для x, a ∈ R, b > 0. (а) Довести, що ця функцiя задовольняє диференцiаль-не рiвняння (∂/∂t)f(x, t, y) = a(∂/∂x)f(x, t, y) + (b/2)(∂2/∂x2)f(x, t, y) длявсiх x, y та t > 0. (б) Довести, що для довiльної g ∈ Cb наведене рiвняннязадовольняє також функцiя f(t, x, y) = IEg(x + at + bw(t)).

(13) Випадковi процеси (а) (w2(t) − t, t ≥ 0), (б) (w3t − 3twt, t ≥ 0),

(в) (w4t − 6tw2

t + 3t2, t ≥ 0), (г) (exp(w(t)− t/2), t ≥ 0) є мартингалами.(14) Довести, що lim (lim)t→∞ t−1/2w(t) = +(−)∞ м.н.

Роздiл 3

Математична статистика

Вступ

Первiсна задача математичної статистики є в певному сенсi обер-неною до основної задачi теорiї ймовiрностей. У теорiї ймовiрностей мипостулювали iснування теоретично повнiстю визначеного ймовiрнiсногопростору та виводили тi чи iншi властивостi подiй i випадкових величин.Однак намагання застосувати певну ймовiрнiсну модель на практицi частостикається з тiєю обставиною, що теоретичний (гiпотетичний) розподiлподiй та випадкових величин є невiдомим. Якнайбiльше можна припу-стити, що цей розподiл мiститься в деякому вiдомому класi (наприклад,є нормальним). Тому необхiдну iнформацiю про теоретичнi ймовiрностiдоводиться отримувати з того ж самого стохастичного експерименту, про-водячи спостереження над його промiжними результатами. Наприклад,так, як це робилося у формулi Байєса в курсi теорiї ймовiрностей.

Математична статистика – це роздiл математики, який базується натеорiї ймовiрностей та призначений для формулювання i доведення стати-стичних висновкiв про властивостi ймовiрнiсного простору за результатамиспостережень над вiдповiдним стохастичним експериментом.

Висновок про ймовiрнiсний простiр можна вiднести до однiєї з груп:(1) висновок про кiлькiсне значення деякої величини (параметра),(2) якiсний висновок про значення параметру чи iншу властивiсть iмо-

вiрнiсного простору.Тому умовно задачi математичної статистики можна розбити на групи:(1) задачi статистичного оцiнювання, що спрямованi на побудову кiль-

кiсних оцiнок невiдомих параметрiв,

328 Математична статистика

(2) задачi перевiрки статистичних гiпотез, в яких встановлюються якi-снi властивостi ймовiрнiсного простору.

Приклади1. Спостерiгається послiдовнiсть випробувань Бернуллi. Треба кiлькi-

сно оцiнити ймовiрнiсть успiху в одному випробуваннi.2. Проводяться пiдкидання монети. За результатами спостережень не-

обхiдно зробити якiсний висновок про вiдносну симетрiю монети.Математична статистика мiстить велику кiлькiсть спецiальних роздi-

лiв. Серед них:(а) непараметрична статистика – в якiй невiдомими ”параметрами”

виступають загальнi функцiї розподiлу;(б) теорiя оптимальних незмiщених оцiнок, де в класi незмiщених

оцiнок дисперсiя є мiрою якостi i знаходяться оптимальнi оцiнки;(в) теорiя оцiнок максимальної вiрогiдностi, де пропонується унi-

версальний метод для побудови якiсних статистичних оцiнок параметрiв;(г) статистичнi висновки для нормальних спостережень, що ґрун-

туються на спецiальних властивостях вибiркових статистик;(д) регресiйний аналiз, в якому вивчаються задачi встановлення фун-

кцiональної залежностi мiж числовими змiнними при наявностi похибок;(е) дисперсiйний аналiз, де аналiзується залежнiсть мiж стохастични-

ми якiсними факторами;(ж) непараметрична перевiрка гiпотез, яка мiстить класичну задачу

про вiдповiднiсть спостережень наперед заданiй функцiї розподiлу;(з) параметрична перевiрка гiпотез, де перевiряються припущення

щодо значень параметрiв;(i) теорiя найбiльш потужних критерiїв, в якiй вивчаються опти-

мальнi процедури перевiрки статистичних критерiїв;(к) послiдовний статистичний аналiз, в якому статистичнi висновки

робляться безпосередньо в процесi надходження спостережень;(л) теорiя планування статистичного експерименту, де пропоную-

ться рацiональнi схеми збору статистичних даних для їх подальшої оброб-ки, з урахуванням лiмiтiв чи затрат на кожне спостереження;

тощо.У свою чергу, математична статистика є теоретичною основою для та-

ких дисциплiн, як прикладна статистика, бiометрика, соцiологiя, те-хнометрика, аналiз даних, економетрика, фiнансовий аналiз та iнших.Її результати використовують при розробцi комп’ютерних статистичнихпакетiв, таких як SAS, SPSS, MS Statistics тощо.

3.1. Статистичний простiр, вибiрка. Статистики та оцiнки 329

Зважаючи на вищу технiчну складнiсть теорем математичної статисти-ки в порiвняннi з курсом теорiї ймовiрностей, деякi з наведених нижчедоведень спираються на гранично спрощенi чи навiть не точно сформульо-ванi припущення. Однак треба мати на увазi, що в кожнiй iз розглянутихсхем iснують точно сформульованi та доведенi математичнi твердження.Отже, основна мета даного роздiлу полягає в тому, щоб дати первiснеуявлення про методи та результати математичної статистики.

При викладi наведено прямi посилання на вiдповiднi теореми курсу те-орiї ймовiрностей за їх назвами, що мiстяться у предметному покажчику.

Даний роздiл мiстить матерiал семестрового курсу математичної статистикидля студентiв III курсу спецiальностей математика, статистика, що розрахова-ний на 51 годину лекцiй та 17 годин практичних занять. За браком часу такiтеми, як теорема Глiвенка-Кантеллi, асимптотична нормальнiсть оцiнок методумоментiв, властивостi iнформацiї та нерiвнiсть Крамера-Рао для векторного пара-метра, критерiй хi-квадрат для складних гiпотез, кореляцiйний аналiз, критерiїз монотонним вiдношенням вiрогiдностей, послiдовний аналiз, полiномiальна ре-гресiя, теорема Хiнчина про зображення коварiацiйної функцiї, лiнiйний прогнозу гiльбертовому просторi, регулярнi стацiонарнi послiдовностi – викладаютьсябез доведень з розрахунком на самостiйну роботу студентiв.

3.1. Статистичний простiр, вибiрка.Статистики та оцiнки

Означення. Статистичним простором називається трiйка

(Ω, F, (IPθ, θ ∈ Θ)),

що складається з таких елементiв:Ω – простiр елементарних подiй деякого стохастичного експерименту,F ⊂ 2Ω – сигма-алгебра випадкових подiй – пiдмножин Ω,(IPθ, θ ∈ Θ) – деяка параметрична сiм’я ймовiрностей на F,Θ – параметричний простiр – множина довiльної природи.Вважається, що вигляд залежностi ймовiрностей IPθ(A) вiд випадко-

вих подiй A ∈ F при заданому значеннi параметра θ повнiстю вiдомий, утой час як сам параметр θ – невiдомий статистику.

Найчастiше Θ ⊂ Rd, тобто ймовiрнiсний розподiл на F вважаєтьсявiдомим повнiстю за винятком d числових параметрiв – координат θ. Уцьому випадку говорять про параметричну статистику. Якщо ж множина


Θ є пiдмножиною функцiонального простору (наприклад, простору всiхфункцiй розподiлу ), то можна говорити про непараметричну статистику.

Означення. Якщо ξ – випадкова величина на ймовiрнiсному просторi(Ω, F, IPθ), математичне сподiвання ξ (абстрактний iнтеграл Лебега ) займовiрнiстю IPθ будемо позначати через

IEθξ =w

Ωξ(ω)IPθ(dω).

Аналогiчний змiст має позначення IDθξ для дисперсiї.

3.1.1. Статистична вибiрка

Статистичнi висновки про ймовiрнiсть IPθ будемо робити на пiдста-вi спостережень, тобто значень певних випадкових величин, векторiв таiнших функцiй вiд елементарних подiй.

Означення. Статистичною вибiркою називається довiльна вимiрнафункцiя X : Ω → S зi значеннями у вимiрному вибiрковому просторi(S, Σ, λ), де:

S – деяка множина (вибiрковий простiр ),Σ – сигма-алгебра пiдмножин S,λ – деяка сигма-скiнченна мiра на Σ.Вважається, що значення X(ω) = x є вiдомим для статистика (тобто

спостерiгається) i може використовуватись для отримання статистичнихвисновкiв.

Надалi вибiрковим простором буде обиратися переважно евклiдiв про-стiр S = Rn iз борелєвою сигма-алгеброю Σ = B(R), тому пiд вибiркоюслiд розумiти звичайний випадковий вектор, що спостерiгається в стоха-стичному експериментi. У бiльшостi випадкiв мiрою λ слугує або точковамiра – вiдносно неї кожна одноточкова множина з певного класу маєодиничне значення мiри (у випадку дискретної вибiрки X), або ж мiраЛебега, якщо S ⊂ Rn i вибiрка X має сумiсну щiльнiсть.

У випадку, коли вектор X мiстить всю наявну iнформацiю про стоха-стичний експеримент, для спрощення часто вважають, що простiр елемен-тарних подiй збiгається з вибiрковим простором : (Ω,F) = (S, Σ), а окремiспостереження є елементарними подiями: X(ω) = ω.

Приклад. Побудова висновку про симетричнiсть монети за результа-тами серiї з 1000 пiдкидань. Якщо вибiрка мiстить результати кожногоз пiдкидань, то вибiрковий простiр має вигляд S = Ω = A,P1000. Дляпараметризацiї задачi позначимо θ ∈ Θ = (0, 1) iмовiрнiсть аверсу при


одному пiдкиданнi. Тодi ймовiрнiсть IPθ задає розподiл вектора iндикато-рiв успiхiв у схемi випробувань Бернуллi з параметрами n = 1000, p = θ.

Нагадаємо таке важливе поняття з теорiї мiри.Означення. Мiра µ на деякому вимiрному просторi (S, Σ) абсолютно

неперервна вiдносно мiри λ, (позначення µ ¿ λ), якщо для довiльноїмножини B ∈ Σ iз λ(B) = 0 випливає µ(B) = 0.

За теоремою Радона – Нiкодима ця властивiсть еквiвалентна iснуван-ню вимiрної iнтегровної за мiрою λ функцiї f(x), x ∈ S, такої, що

µ(B) =w

Bf(x)λ(dx), ∀B ∈ Σ.

Функцiя f = dµ/dλ називається щiльнiстю мiри µ вiдносно λ.

У деяких роздiлах статистики використовується умова пiдпорядкова-ностi. Вона полягає в тому, що розподiл вибiрки є абсолютно неперервним(має щiльнiсть) вiдносно фiксованої мiри λ на вибiрковому просторi :

IPθ(X ∈ ·) ¿ λ(·), ∀θ ∈ Θ.

У будь-якому випадку для злiченного параметричного простору Θ така мi-ра завжди iснує. Дiйсно, довiльна мiра зi злiченної множини ймовiрнiснихмiр (µθ, θ ∈ Θ) абсолютно неперервна вiдносно мiри λ =

∑θ∈Θ 2−n(θ)µθ, де

n(θ) – номер елемента θ у послiдовностi Θ.

Приклад. Спостерiгається результат пiдкидання несиметричної моне-ти з невiдомою ймовiрнiстю аверса. У цьому випадку

Ω = A,P, F = 2Ω, S = Ω, Σ = F, λ – точкова мiра,

IP(A) = 1− IP(P) = θ ∈ Θ = [0, 1].

3.1.2. Функцiя вiрогiдностi

Означення. Нехай X : Ω → S – вибiрка зi значеннями у вимiрномупросторi (S, Σ, λ), яка задовольняє умову пiдпорядкованостi. Функцiєювiрогiдностi (або функцiєю правдоподiбностi) вибiрки називається сумi-сна щiльнiсть розподiлу вибiрки вiдносно мiри λ у вибiрковому просторi :

L(x, θ) ≡ dIPθ(X ∈ ·)dλ(·) (x),

тобто така вимiрна за x функцiя, що для всiх B ∈ Σ i всiх θ ∈ Θ

IPθ(X ∈ B) =w

BL(x, θ) λ(dx).


Для абсолютно неперервної вибiрки X мiра λ є мiрою Лебега, функцiявiрогiдностi як функцiя x є сумiсною щiльнiстю розподiлу:

IPθ(X ∈ B) =w

BL(x, θ) dx,

а для дискретної вибiрки λ – точкова мiра, функцiя вiрогiдностi є дискре-тним розподiлом iмовiрностей:

IPθ(X ∈ B) =∑

x∈B∩SL(x, θ).

Означення. Вибiрковою функцiєю вiрогiдностi (емпiричною функцiєювiрогiдностi) називається випадкова величина, що отримується в ре-зультатi пiдстановки у функцiю вiрогiдностi замiсть аргумента x ∈ Sзначення вибiрки як випадкового вектора

L(X, θ) ≡ L(x, θ) | x = X .

3.1.3. Кратнi вибiрки

Часто у статистицi використовується схема багатократних спостере-жень.

Означення. Вимiрний простiр (S, Σ, λ) = (R, B, υ)n є n-кратнимпрямим добутком вимiрного простору (R, B, υ), якщо

S = Rn ≡ x = (x1, ..., xn), xk ∈ R,Σ = B⊗ ...⊗B ≡ σ[B1 × ...×Bn, Bk ∈ B, k = 1, n],

а мiра λ ≡ υ × ...× υ визначається на прямокутниках як добуток

λ(B1 × ...×Bn) ≡ υ(B1)...υ(Bn).

Наприклад, (Rn, B(Rn), Ln) = (R,B(R), L1)n, де Ln – n-вимiрна мiра

Лебега (довжина, площа, об’єм...).Означення. Нехай вибiрковий простiр (S, Σ, λ) є n-кратним пря-

мим добутком (R, B, υ)n. Випадковий вектор X : Ω → S називаєтьсяn-кратною вибiркою, якщо X = (ξ1, ..., ξn) складається з незалежних усукупностi однаково розподiлених випадкових величин ξk, k = 1, n, зiзначеннями у просторi (R, B, υ), тобто

IPθ(X ∈ B1 × ...×Bn) =∏n

k=1IPθ(ξ1 ∈ Bk), ∀Bk ∈ B, θ ∈ Θ.

Означення. Число n називається об’ємом вибiрки X.Якщо X – кратна вибiрка, її вибiркова функцiя вiрогiдностi познача-

ється через Ln(X, θ), де n – об’єм вибiрки.


Зауваження. Для кратної вибiрки X = (ξ1, ..., ξn) множина всiх випад-кових величин ξ, що мають однакову з ξ1 функцiю розподiлу, називаєтьсягенеральною сукупнiстю (популяцiєю). У зв’язку з цим вибiрку X можнауявляти як результат n-кратного незалежного послiдовного вибору пред-ставникiв з генеральної сукупностi.

Означення. Функцiєю вiрогiдностi спостереження для кратної вибiр-ки називається щiльнiсть розподiлу величини ξ1 вiдносно мiри υ :

f(y, θ) =dIPθ(ξ1 ∈ ·)

dυ(·) (y),

тобто така вимiрна функцiя f, що

IPθ(ξk ∈ B) =w

Bf(y, θ) υ(dy), ∀B ∈ B, ∀θ ∈ Θ.

Теорема (про функцiю вiрогiдностi кратної вибiрки). Нехай кра-тна вибiрка X = (ξ1, ..., ξn) мiстить спостереження ξk зi значеннями впросторi (R, B, υ). Припустимо, що ξk мають функцiю вiрогiдностi спо-стережень f(y, θ). Тодi функцiя вiрогiдностi всiєї вибiрки X дорiвнюєдобутковi

Ln(x, θ) =∏n

k=1f(xk, θ), x = (x1, ..., xn).

Доведення є наслiдком теореми про критерiй незалежностi абсолютнонеперервних величин, оскiльки вибiрковий вектор X = (ξ1, ..., ξn) утворе-ний саме незалежними однаково розподiленими величинами ¡

3.1.4. Статистики та оцiнки

Означення. Статистикою називається довiльна вимiрна функцiя вiдвибiрки : T = T (X), яка не мiстить значень невiдомого параметра θ.

Множина значень статистики є довiльним вимiрним простором (C, C).Найчастiше це евклiдiв простiр: (C, C) = (Rm,B(Rm)).

Зауваження. Термiном ”статистика ” будемо одночасно визначати яксаму функцiональну залежнiсть T (x) : S → C вiд вибiрки, так i її значе-ння T (ω) = T (X(ω)) : Ω → C, яке отримується пiсля пiдстановки вибiркиx = X(ω). Тлумачення випливатиме зi змiсту вiдповiдного аргумента.

Означення. Оцiнкою невiдомого параметра θ ∈ Θ називається будь-яка статистика зi значеннями у параметричному просторi Θ.

Щоб пiдкреслити спецiальний характер оцiнки, часто її зображають увиглядi θ. Очевидно, оцiнка є засобом для прогнозування, передбачення,оцiнювання значення невiдомого параметра θ на пiдставi спостережень X.


Означення. Нехай Θ ⊂ Rd. Iнтервальною оцiнкою (або надiйним iнтер-валом) невiдомого параметра θ називається пара Rd-значних статистик(θ1, θ2) таких, що θ1 ≤ θ2 майже напевне. Оцiнкою тут є паралелепiпед

[θ1, θ2) = θ ∈ Rd : θ1 ≤ θ < θ2.Iнодi щодо невiдомого значення θ досить вказати обмеження лише з

одного боку. У цьому разi на вiдмiну вiд попередньої iнтервальної оцiнки,яка називається двобiчною, розглядають також однобiчнi оцiнки: лiвобiчнуiнтервальну оцiнку [θ,∞) та правобiчну iнтервальну оцiнку (−∞, θ).

Зауваження. Якщо при кожному n спостерiгається кратна вибiрка Xоб’єму n, а спосiб, яким утворена оцiнка, один i той самий (не залежитьвiд об’єму вибiрки n), то поняття ”оцiнка” використовують також у широ-кому розумiннi як ”послiдовнiсть оцiнок”, що утворенi за одним правиломпри рiзних значеннях об’єму вибiрки. Послiдовностi оцiнок позначаютьсячерез θn.

Приклад. Вибiркове середнє є оцiнкою, що дорiвнює середньому ари-фметичному спостережень, якi утворюють вибiрку. Однак це є послiдов-нiсть оцiнок, оскiльки при кожному значеннi об’єму вибiрки є окремастатистика.

3.1.5. Властивостi оцiнок

Надалi для двох випадкових величин ξ, η запис ξ ' η означає, що цiвеличини мають однаковi функцiї розподiлу,.отже, i однаковi породженiмiри Лебега – Стiлтьєса. Символом N(µ, σ2) позначатимемо випадковувеличину з нормальним розподiлом та середнiм µ i дисперсiєю σ2.

Якiсть тiєї чи iншої оцiнки потребує порiвняльного аналiзу. Для порiв-няння оцiнок чи їх послiдовностей будемо використовувати такi поняття.

Означення. Оцiнка θ називається незмiщеною, якщо її математичнесподiвання збiгається з точним значенням θ :

IEθ θ = θ, ∀θ ∈ Θ.

Означення. Оцiнка θn називається асимптотично незмiщеною, якщомає мiсце асимптотична збiжнiсть середнiх

IEθ θn → θ, n →∞, ∀θ ∈ Θ.

Означення. Оцiнка θn називається конзистентною (або слушною),якщо вона збiгається за ймовiрнiстю до iстинного значення θ :

θn →Pθ θ, n →∞, ∀θ ∈ Θ,


тобто IPθ(|θn − θ| ≥ ε) → 0, n →∞, ∀ε > 0, ∀θ ∈ Θ.

Означення. Оцiнка θn називається строго конзистентною, якщо воназбiгається з iмовiрнiстю 1 до iстинного значення θ :

θn →Pθ1 θ, n →∞, ∀θ ∈ Θ,

тобто IPθ(∃ limn→∞ θn = θ) = 1, ∀θ ∈ Θ.

Зауваження. Наведенi властивостi стосуються оцiнок θ для значенняневiдомого параметру θ. У випадку, коли цей параметр – векторний, до-цiльно розглядати також оцiнки τ для значень деякої функцiї τ = τ(θ)вiд параметра θ. Сформульованi вище означення поширюються також i надану схему, якщо замiнити θ на τ(θ), а θ на τ .

Означення. Iнтервальна оцiнка (θ1, θ2) невiдомого параметра θ є не-змiщеною оцiнкою надiйностi p, якщо для всiх θ ∈ Θ

IPθ(θ1 ≤ θ ≤ θ2) = p.

Означення. Оцiнка θn параметра θ називається асимптотично нор-мальною, якщо знайдеться числова нормуюча послiдовнiсть cn = cn(θ)така, що має мiсце слабка збiжнiсть

cn(θn − θ) →Wθ ζ ' N(0, 1), n →∞, ∀θ ∈ Θ.

За теоремою про еквiвалентнiсть слабкої збiжностi та в основномуасимптотична нормальнiсть еквiвалентна збiжностi

IPθ(cn(θn − θ) < x) → Φ(x), n →∞, ∀x ∈ R,∀θ ∈ Θ,

де Φ – стандартна нормальна функцiя розподiлу.Зауваження (про побудову iнтервальної оцiнки). Якщо оцiнка θn

є асимптотично нормальною, а cn ∼√

n/σ, то за теоремою про добутокслабко збiжної послiдовностi зi збiжною√

n(θn − θ) →W σζ ≡ η ' N(0, σ2), n →∞.

У цьому разi величина σ2 називається асимптотичною дисперсiєю оцiн-ки θn. Iстинне її значення σ2 = σ2(θ) є вiдомою функцiєю параметра θ.З наведеної слабкої збiжностi випливає, що розподiл нормованої величи-ни

√n(θn − θ)/σ(θ) наближається до розподiлу стандартної нормальної

величини ζ. Оберемо для заданого рiвня p ∈ (0, 1) значення xp так, щоб

IP(|ζ| ≤ xp) = p.

Для знаходження xp досить чисельно розв’язати рiвняння

Φ(xp) = (1 + p)/2.


Наприклад, x0.997 ≈ 3 за правилом трьох сигма.Тодi при великих n наближено

IPθ

(√n|θn − θ|/σ(θ) ≤ xp

)≈ IP(|ζ| ≤ xp) = p.

Припустимо, що функцiя σ(θ) неперервна, а оцiнка θn – конзистентна.З цих припущень випливає збiжнiсть за ймовiрнiстю σ(θn) →P σ(θ). Томуможна наближено замiнити σ(θ) на σ(θn) пiд знаком iмовiрностi i ствер-джувати (внаслiдок теореми про добуток слабко збiжної послiдовностi зiзбiжною ), що при великих n подiя √n|θn − θ|/σ(θn) ≤ xp наближе-но теж має ймовiрнiсть p. Отже, властивостi асимптотичної нормальностiта конзистентностi дають можливiсть наближеної побудови iнтервальнихасимптотично незмiщених оцiнок надiйностi p для невiдомого параметра,що мають вигляд

IPθ

(θn − xpσ(θn)/

√n ≤ θ ≤ θn + xpσ(θn)/

√n)≈ p, ∀θ ∈ Θ.

Означення. Оцiнка θn називається локально незмiщеною, локальноконзистентною тощо, якщо вiдповiдна властивiсть виконується лишедля значень параметра θ ∈ Θ iз деякого околу iстинного значення.

3.2. Оцiнювання ймовiрностi успiхуу схемi Бернуллi

3.2.1. Частота успiхiв та її властивостi

Розглянемо статистичний простiр (Ω, F, (IPθ, θ ∈ Θ)), в якому

Ω = ω = (ω1, ..., ωn), ωk ∈ 0, 1 = 0, 1n, F = 2Ω,

Θ = [0, 1], IPθ(ω) = θνn(ω)(1− θ)n−νn(ω),

де функцiя

νn(ω) = νn((ω1, ..., ωn)) = |k : ωk = 1| =∑n

k=1ωk

задає кiлькiсть успiхiв (одиниць) в елементарнiй подiї ω.

Даний простiр вiдповiдає експерименту, в якому проводяться n ви-пробувань Бернуллi з невiдомою ймовiрнiстю p = θ успiху в окремомувипробуваннi.

3.2. Оцiнювання ймовiрностi успiху у схемi Бернуллi 337

Нехай спостерiгаються результати всiх випробувань, тобто вимiрнийпростiр (S, Σ) = (Ω, F) i кратна вибiрка має вигляд X = (χ1, ..., χn), деχk(ω) = 1Iωk = 1 = ωk – iндикатор успiху в k-му випробуваннi.

Величини (χ1, ..., χn) незалежнi в сукупностi та однаково розподiленi,

IPθ(χ1 = 1) = θ, IPθ(χ1 = 0) = 1− θ, IEθ χ1 = θ.

Розглянемо оцiнку, що збiгається з вiдносною частотою успiхiв

θn =νn

n=

1

n

∑n

k=1χk.

Теорема (про властивостi вiдносної частоти). Вiдносна частота успi-ху у схемi випробувань Бернуллi :

(1) має бiномiальний розподiл :

IPθ(θn = k/n) = Cknθk(1− θ)n−k, k = 0, n,

(2) є незмiщеною оцiнкою ймовiрностi успiху θ,(3) є конзистентною i строго конзистентною оцiнкою,(4) є асимптотично нормальною з асимптотичною дисперсiю θ(1− θ).Доведення(1) Перше твердження є наслiдком означення бiномiального розподiлу,

оскiльки чисельник νn в означеннi θn є кiлькiстю успiхiв у n випробува-ннях Бернуллi з iмовiрнiстю успiху θ.

(2) Незмiщенiсть виводиться з лiнiйностi математичного сподiвання таз формули для математичного сподiвання iндикаторної величини

IEθθn =1

n

∑n

k=1IEχk =

1

n

∑n

k=1θ = θ, ∀θ ∈ Θ.

(3) Зауважимо, що частота успiху

νn =∑n

k=1χk

є сумою незалежних у сукупностi однаково розподiлених величин. Залiнiйнiстю математичного сподiвання та теоремою про дисперсiю суминезалежних величин

IEθνn = nθ, IDθνn = nθ(1− θ).

Звiдси IDθθn = IEθ(θn − θ)2 = nθ(1 − θ)/n2 → 0, n → ∞. Тому має мiсцезбiжнiсть θn →L2 θ, отже, θn →Pθ θ за теоремою про спiввiдношеннямiж рiзними видами збiжностi. Бiльше того, за критерiєм Колмогоровапосиленого закону великих чисел θn →Pθ1 IEθ χ

1= θ.


(4) На пiдставi зображення пункту (3) iз класичної центральної гра-ничної теореми виводимо, що

√n(θn − θ)/

√θ(1− θ) =

(νn − IEνn)/√

IDνn →W ζ ' N(0, 1), n →∞,

звiдки √n(θn − θ) →W

√θ(1− θ)ζ = η ' N(0, θ(1− θ)), n →∞.

Отже, оцiнка θn є асимптотично нормальною з дисперсiєю θ(1− θ) ¡

3.2.2. Iнтервальнi оцiнки ймовiрностi успiху

Властивiсть асимптотичної нормальностi вiдносної частоти θn можнавикористати для побудови iнтервальних оцiнок параметра θ. Нехай p ∈(0, 1) – деякий вiрогiдний рiвень (наприклад, p = 0.99). Визначимо значе-ння xp так, щоб IP(|ζ| ≤ xp) = p, як це зроблено в роздiлi про властивостiоцiнок у зауваженнi про побудову iнтервальних оцiнок.

(а) Спецiальний метод.З асимптотичної нормальностi виводимо, що подiя√

n∣∣∣θn − θ

∣∣∣ /√

θ(1− θ) ≤ xp

при досить великих n наближено має ймовiрнiсть p. Розв’язуючи нерiв-нiсть n(θn − θ)2 ≤ θ(1− θ) x2

p вiдносно θ, робимо висновок, що з напередзаданою ймовiрнiстю p невiдомий параметр θ належить надiйному iнтер-валу з кiнцями(

nθn + x2p/2 ± xp

√nθn(1− θn) + x2

p/4

)/ (n + x2

p),

який є наближено асимптотично незмiщеною оцiнкою надiйностi p.(б) Загальний наближений метод.Замiнимо множник θ(1 − θ) у нерiвностi

√n

∣∣∣θn − θ∣∣∣ ≤ xp

√θ(1− θ),

яка вiдбувається при великих n з iмовiрнiстю p, на величину θn(1 − θn).

Ця замiна вносить похибку другого порядку малостi, оскiльки оцiнка θn

є конзистентною, а замiнюваний вираз впливає лише на асимптотичнудисперсiю. Тому наближено отримуємо асимптотично незмiщену оцiнкунадiйностi p

IPθ

(θn − xp

√θn(1− θn)/n ≤ θ ≤ θn + xp

√θn(1− θn)/n

)≈ p, ∀θ ∈ Θ.

3.3. Емпiрична функцiя розподiлу 339

Вправи(1) Нехай θn – довiльна незмiщена конзистентна оцiнка параметра θ, а подiя

An не залежить вiд θn i IPθ(An) = 1/n. Довести, що оцiнка θn = θn1IAn+n21IAn

є конзистентною, однак змiщена та асимптотично змiщена.(2) Випадкова величина ζθ має розподiл Пуассона. (а) Довести асимптотичну

нормальнiсть: (ζθ−θ)/√

θ →W ζ ' N(0, 1), θ →∞. (б) Для заданого p ∈ (0, 1)побудувати наближений надiйний iнтервал рiвня p для параметра θ, який має

вигляд (ζθ + x2p/2± xp

(ζθ + x2

p/4)1/2

).

(3) Спостерiгається величина ν, що має бiномiальний розподiл з параметромp та невiдомою кiлькiстю випробувань n. Знайти надiйний iнтервал для n.

(4) Спостерiгається кiлькiсть успiхiв νn у перших n випробуваннях Бернуллiз невiдомою ймовiрнiстю успiхiв p. Знайти надiйний iнтервал для числа успiхiвνm у наступних m випробуваннях.

(5) Спостерiгаються n випробувань Бернуллi з iмовiрнiстю успiху θ та вiдно-сною частотою θn. Тодi

√n(θn − θ)/(θn(1− θn))1/2 →W ζ ' N(0, 1), n →∞.

(6) Спостерiгається двi незалежнi послiдовностi випробувань Бернуллi з iмо-вiрностями успiхiв θi, та з ni випробуваннями, i = 1, 2. Нехай θni

– вiдноснi

частоти успiхiв. Тодi√

n1(θn1−θn2−θ1+θ2) →W ζ ' N(0, (θ1−θ21)+ρ(θ2−θ2

2))при ni →∞ так, що n1/n2 → ρ. Побудувати надiйний iнтервал для θ1 − θ2.

3.3. Емпiрична функцiя розподiлу

Розглянемо статистичний простiр, в якому спостерiгається кратна ви-бiрка X = (ξ1, ..., ξn) зi спостереженнями ξk, k = 1, n, що мають невiдо-му теоретичну функцiю розподiлу F (x) = IP(ξk < x). У цьому випадкупараметром θ статистичного простору є функцiя розподiлу F. Для вiд-ображення цiєї обставини у наступних декiлькох роздiлах iмовiрнiсть таматематичне сподiвання будемо позначати через IP та IE.

Означення. Емпiричною функцiєю розподiлу називається така пара-метрична сiм’я статистик:

Fn(x) =1

n

∑n

k=11Iξk < x , x ∈ R.

Функцiя Fn(x) будується лише за значеннями вибiрки та заданим ар-гументом x, є кусково-сталою та має прирости величини 1/n у точкахξk, k = 1, n. При кожнiй фiксованiй елементарнiй подiї ω вона є дискре-тною функцiєю розподiлу як функцiя аргументу x.


3.3.1. Загальнi властивостi

Теорема (про властивостi емпiричної функцiї розподiлу). Для ко-жного x ∈ R значення Fn(x) емпiричної функцiї розподiлу:

(1) має бiномiальний розподiл :

IP(Fn(x) = k/n

)= Ck

nF k(x)(1− F (x))n−k, k = 0, n,

(2) є незмiщеною оцiнкою значення теоретичної функцiї розподiлу:

IEFn(x) = F (x),

(3) є строго конзистентною оцiнкою для цього значення:

Fn(x) →P1 F (x), n →∞,

(4) є асимптотично нормальною оцiнкою з асимптотичною дисперсiєюF (x)(1− F (x) :

√n(Fn(x)− F (x)) →W η ' N(0, F (x)(1− F (x))), n →∞.

Доведення. Зафiксуємо x. Розглянемо послiдовнiсть iз n випробувань,в яких k-м успiхом називається подiя ξk < x. Оскiльки величини ξk

незалежнi в сукупностi та однаково розподiленi, то дана послiдовнiсть єсхемою випробувань Бернуллi, причому ймовiрнiсть успiху не залежитьвiд номера випробування та дорiвнюватиме θ = IP(ξk < x) = F (x). Заозначенням величина Fn(x) збiгатиметься з вiдносною частотою успiхiв.Тому всi вказанi властивостi емпiричної функцiї розподiлу випливають iзнаведеної вище теореми про властивостi вiдносної частоти – частотноїоцiнки ймовiрностi успiху у випробуваннях Бернуллi ¡

3.3.2. Рiвномiрнi за x властивостi

Емпiрична функцiя розподiлу Fn(x) є випадковим процесом : вонаодночасно є функцiєю елементарної подiї ω ∈ Ω та аргумента x ∈ R.

Теорема (теорема Глiвенка – Кантеллi). Емпiрична функцiя розпо-дiлу є рiвномiрно строго конзистентною оцiнкою функцiї розподiлу F :

sup x∈R∣∣∣Fn(x)− F (x)

∣∣∣ →P1 0, n →∞.

Доведення. Зафiксуємо m ∈ N i визначимо при 0 ≤ k < m величини

xmk = sup(x ∈ R : F (x) < k/m),

3.3. Емпiрична функцiя розподiлу 341

де sup∅ ≡ −∞, та визначимо xm = ∞. Ця послiдовнiсть не спадає за k тау припущеннi невиродженостi F мiстить хоча б один скiнченний елемент.У випадку, коли F (x) = 1Ic<x, твердження теореми очевидне.

Зауважимо, що F (xmk) = F (xmk − 0) ≤ k/m та F (xmk + 0) ≥ k/m заумови xmk > −∞, оскiльки з F (xmk + 0) < k/m випливало б iснуванняx > xmk таких, що F (x) < k/m.

Визначимо випадкову величину

dmn = max 0≤k≤m |Fn(xmk)− F (xmk)|.За теоремою про властивостi емпiричної функцiї розподiлу має мiсце збi-жнiсть Fn(xmk)−F (xmk) →P1 0 при n →∞ для кожного k. Тому dmn →P1 0при n →∞ для кожного фiксованого m.

Для кожного x iснує k таке, що x ∈ (xmk, xm,k+1]. Якщо xmk > −∞, то

Fn(x)− F (x) ≤ Fn(xm,k+1)− F (xmk + 0) =

Fn(xm,k+1)− F (xm,k+1) + F (xm,k+1)− F (xmk + 0) ≤dmn + (k + 1)/m− k/m = dmn + 1/m.

У випадку xmk = −∞ за означенням F (x) ≥ k/m для всiх x, звiдкиотримуємо замiною xmk + 0 на x таку ж саму оцiнку.

Аналогiчно доводимо вiдповiдну оцiнку знизу. Зважаючи на довiль-нiсть x, з отриманих нерiвностей виводимо, що

supx∈R |Fn(x)− F (x)| ≤ dmn + 1/m.

Отже, для довiльного m ≥ 1 з iмовiрнiстю 1 виконується нерiвнiсть

limn→∞ supx∈R |Fn(x)− F (x)| ≤ limn→∞dmn + 1/m = 1/m,

звiдки отримуємо при m →∞ твердження теореми ¡Теорема (теорема Колмогорова про вiдхилення емпiричної фун-

кцiї розподiлу). Якщо теоретична функцiя розподiлу F неперервна,(а) то розподiл статистики Колмогорова:

κn ≡√

n sup x∈R∣∣∣Fn(x)− F (x)

∣∣∣не залежить вiд вигляду невiдомої функцiї F,

(б) i має мiсце слабка збiжнiсть

κn →W κ, n →∞,

причому гранична величина має функцiю розподiлу Колмогорова:

IP(κ < x) = K(x) ≡∑+∞

k=−∞(−1)k exp(−2k2x2), x > 0.


Доведення(а) Для спрощення припустимо, що функцiя F строго монотонна. Тодi

коректно визначена обернена до F функцiя

F (−1)(u) = sup(x : F (x) < u), 0 < u < 1,

причому F (F (−1)(u)) = u.Зробимо замiну змiнної x = F (−1)(u), 0 < u < 1, в означеннi емпiричної

функцiї розподiлу

Fn(F (−1)(u)) =1

n

∑n

k=11Iξk < F (−1)(u) =

1

n

∑n

k=11IF (ξk) < u,

де за монотоннiстю та означенням оберненої функцiї використано тото-жнiсть ξk < F (−1)(u) = F (ξk) < u. Величини αk ≡ F (ξk) незалежнi затеоремою про перетворення незалежних величин, та рiвномiрно розподi-ленi на [0, 1]:

IP(F (ξk) < u) = IP(ξk < F (−1)(u)) = F (F (−1)(u)) = u, ∀u ∈ [0, 1].

З означення отримуємо F (−1)(u), 0 < u < 1 = x : 0 < F (x) < 1,а при F (x) ∈ 0, 1 виводимо рiвнiсть Fn(x) = F (x) м.н. Тому замiнаx = F (−1)(u) в означеннi статистики Колмогорова веде до рiвностi м.н.

κn =√

n sup u∈(0,1) |Fn(F (−1)(u))− F (F (−1)(u))| =√

n sup u∈(0,1) | 1n∑n

k=1 1Iαk < u − u|.Отже, за теоремою про обчислення ймовiрностей i математичного спо-

дiвання функцiї вiд випадкового вектора розподiл величини κn як функцiївiд вектора (α1, ..., αn) з незалежних рiвномiрно розподiлених величин ви-значається однозначно i не залежить вiд F.

(б) Обчислення граничного розподiлу статистики Колмогорова спира-ється на граничнi теореми теорiї випадкових процесiв i не наводиться ¡

Теорема Колмогорова дає можливiсть обчислити iнтервальну асимпто-тично незмiщену оцiнку надiйностi p для функцiї розподiлу

IP(|Fn(x)− xp /√

n ≤ F (x) ≤ Fn(x) + xp /√

n, ∀x ∈ R|) ≈ p,

де xp – розв’язок рiвняння K(xp) = p.Для бiльш точного оцiнювання замiсть K слiд використати формули

для функцiй розподiлу статистик κn, що були знайденi В.С. Королюком.Вправи(1) Для нестрого монотонних F iснує неперервний злiва варiант F (−1). Ви-

користати його для доведення теореми Колмогорова у загальному випадку.

3.4. Варiацiйний ряд. Квантилi 343

(2) Довести, що K(x) = 1− 2∑+∞

k=1(−1)k−1 exp(−2k2x2).(3) Знайти розподiл статистик κ1, κ2.(4) Вивести з теореми про закон повторного логарифму, щоIP(limn→∞

√2n/ ln ln n supx∈R |Fn(x)− F (x)| = 1) = 1.

(5) Нехай Fn(x) – емпiрична функцiя розподiлу для незалежних спостере-жень з рiвномiрним на iнтервалi [0, 1] розподiлом, α, β > 0, α + β > 1. Роз-

глянемо ймовiрностi pn(α, β) ≡ IP(Fn(x) < α + βx, ∀x ∈ [0, 1]). Довести, що:(а) pn(α, β) = 1 − ((1 − α)/β)n при α ∈ [1 − 1/n, 1], (б) при α < 1 − 1/n

pn+1(α, β) =r 1

(1−α)/βpn

(n+1

nα, n+1

nβt

)(n + 1)tndt. (в) Обчислити pn(α, β).

3.4. Варiацiйний ряд. Квантилi

У процесi побудови графiка емпiричної функцiї розподiлу ми стикає-мося з задачею впорядкування точок її стрибкiв – вибiркових значень.

Означення. Варiацiйним рядом вибiрки X = (ξ1, ..., ξn) називаютьсявибiрковi значення

ξ(k), k = 1, n

= ξk, k = 1, n, що впорядкованi за

зростанням: ξ(1) ≤ ξ(2) ≤ ... ≤ ξ(n).Означення. k-ою порядковою статистикою називається k-й елемент

ξ(k) варiацiйного ряду.Наприклад, варiацiйним рядом вибiрки 3, 2, 5 є 2, 3, 5.Для спрощення формулювань визначимо також ξ(0) ≡ −∞, ξ(n+1) ≡ ∞.Теорема (про однозначнiсть визначення порядкових статистик).

Нехай вибiрка X = (ξ1, ..., ξn) складається з незалежних у сукупностiоднаково розподiлених величин, що мають неперервну функцiю розподi-лу F. Тодi з iмовiрнiстю 1 всi нерiвностi в означеннi варiацiйного рядує строгими:

ξ(1) < ξ(2) < ... < ξ(n).

Доведення. За напiвадитивнiстю ймовiрностi

IP(⋃

i 6= jξ(i) = ξ(j)

)= IP

(⋃i 6= j

ξi = ξj)≤

∑i 6= j

IP(ξi = ξj) = 0,

оскiльки при h > 0 та i 6= j

IP(ξi = ξj) ≤ IP([ξi/h] = [ξj/h]) =∑

n∈Z IP([ξi/h] = [ξj/h] = n) =∑

n∈Z IP(ξi ∈ [nh, nh + h), ξj ∈ [nh, nh + h)) =∑

n∈Z(F (nh + h)− F (nh))2 ≤ supn∈Z(F (nh + h)− F (nh)) → 0, h → 0 ¡

У даному роздiлi функцiя розподiлу F вважається неперервною.


3.4.1. Розподiл порядкових статистик

Лема (про емпiричну функцiю розподiлу та порядковi статисти-ки). Справедливi такi спiввiдношення:

Fn(x) =∑n

k=0

k

n1Iξ(k)<x≤ξ(k+1), ξ(k) < x = nFn(x) ≥ k, ∀k = 1, n.

Доведення обох тотожностей полягає в тому, що за означенням по-рядкових статистик включення x ∈ (ξ(k), ξ(k+1)] та ξ(k) ∈ (−∞, x) маютьмiсце тодi i тiльки тодi, коли iнтервал (−∞, x) мiстить точно k чи вiдпо-вiдно, не менше нiж k порядкових статистик. Це еквiвалентно наявностiв (−∞, x) такої самої кiлькостi спостережень, що дорiвнює nFn(x) ¡

Теорема (про функцiю розподiлу порядкових статистик). НехайX = (ξ1, ..., ξn) – кратна вибiрка з неперервною функцiєю розподiлу Fокремих спостережень. Тодi для k = 1, n справедливi рiвностi

IP(ξ(k) < x

)=

∑n

i=kCi

n F i(x)(1− F (x))n−i, ∀x ∈ R.

Доведення. Визначимо цiлозначну випадкову величину νn(x) = nFn(x).Як показано в роздiлi про емпiричну функцiю розподiлу, ця величина до-рiвнює кiлькостi успiхiв у n випробуваннях Бернуллi з iмовiрнiстю успiхуF (x), якщо k-й успiх iнтерпретувати як подiю ξk < x. Тому наведенийвираз випливає з леми про емпiричну функцiю розподiлу та порядковiстатистики, i з формули для бiномiального розподiлу величини νn(x):

IP(ξ(k) < x) = IP(νn(x) ≥ k) =∑n

i=k IP(νn(x) = i) =∑n

i=k C in F i(x)(1− F (x))n−i ¡

Теорема (про емпiричний розподiл порядкових статистик). НехайX = (ξ1, ..., ξn) – кратна вибiрка з неперервною функцiєю розподiлу F (x)окремих спостережень, а величина ξ не залежить вiд (ξ1, ..., ξn) i маєтаку саму функцiю розподiлу. Тодi

(а) IP(ξ(k) < ξ ≤ ξ(k+1)) = 1/(n + 1), k = 0, n,

(б) IP(ξ ≤ ξ(k)) = k/(n + 1), k = 0, n, де ξ(0) ≡ −∞, ξ(n+1) ≡ ∞.Зауваження. Дану теорему можна iнтерпретувати так: варiацiйний

ряд об’єму n розбиває числову вiсь на n + 1 iнтервал, якi є рiвноймовiр-ними для наступного незалежного спостереження.

Доведення(а) За формулою про ймовiрнiсть вкладеної рiзницi подiй та за теоре-

мою про функцiю розподiлу порядкових статистик для кожного x


IP(ξ(k) < x ≤ ξ(k+1)) = IP(ξ(k) < x\ξ(k+1) < x) =

IP(ξ(k) < x)− IP(ξ(k+1) < x) = Ckn F k(x)(1− F (x))n−k.

Оскiльки випадковi величини у парах ξ i ξ(k), ξ i ξ(k+1) незалежнi затеоремою про векторнi перетворення незалежних величин, то внаслiдоктеореми про математичне сподiвання функцiї вiд незалежних величин татеореми про емпiричний розподiл порядкових статистик

IP(ξ(k) < ξ ≤ ξ(k+1)

)= IP(ξ(k) < ξ)− IP

(ξ(k+1) < ξ

)=

r∞−∞

(IP(ξ(k) < x)− IP

(ξ(k+1) < x

))dFξ(x) =

r∞−∞ IP

(ξ(k) < x ≤ ξ(k+1)

)dFξ(x) =

r∞−∞ Ck

n F k(x)(1− F (x))n−kdF (x) =r 1

0Ck

n uk(1− u)n−kdu = Ckn B(k, n− k) =

Ckn Γ(k + 1)Γ(n− k + 1)/Γ(k + 1 + n− k + 1) = 1/(n + 1),

де використана замiна змiнної u = F (x) та означення повної бета-функцiї.(б) Дана рiвнiсть випливає з попереднього твердження та з формули

IP(ξ ≤ ξ(k)) =∑k−1

i=0IP(ξ(i) < ξ ≤ ξ(i+1)) = k/(n + 1) ¡

3.4.2. Вектор рангiв, сумiсний розподiлпорядкових статистик

Означення. Нехай X = (ξ1, ..., ξn) – кратна вибiрка з варiацiйним ря-дом (ξ(1)...ξ(n)). Рангом спостереження νk називається номер k-го спо-стереження ξk у складi варiацiйного ряду: ξ(νk) = ξk. Вектором рангiвназивається випадковий вектор ν = (ν1, ..., νn), що складений з рангiвспостережень, та задовольняє умову:

(ξ(ν1), ..., ξ(νn)) = (ξ1, ..., ξn).

Iншими словами, величина νk збiгається з мiсцем k-го спостереженняξk у вибiрцi за порядком зростання, де найменший є першим. Наприклад,для вибiрки (3, 9, 2, 5) величина ν1 = 2, оскiльки 1-е спостереження ξ1 = 3знаходиться на 2-му мiсцi у варiацiйному рядi (2, 3, 5, 9).

Зауваження. За умови неперервностi функцiї розподiлу F вектор ран-гiв визначений однозначно з iмовiрнiстю 1, оскiльки всi значення поряд-кових статистик є рiзними майже напевне за теоремою про однозначнiстьвизначення порядкових статистик. Надалi будемо припускати, що ця умо-ва виконана.


Очевидно, що вектор рангiв набуває значень у просторi Πn усiх пере-становок розмiрностi n. Позначимо через π− обернену до π перестанов-ку. Оскiльки νν−k

= k, то з ξk = ξ(νk) випливає ξν−k= ξ(k), тобто значення

ν−k iнтерпретується як номер k-ї порядкової статистики ξ(k) у вибiрцi X.Отже, за означенням порядкових статистик справедлива тотожнiсть

ν = π− = ξπ1< ξπ2

< ... < ξπn.

Теорема (про розподiл вектора рангiв). Вектор рангiв ν кратноївибiрки X = (ξ1, ..., ξn) рiвномiрно розподiлений на Πn :

IP(ν = π) = 1/n!, ∀π ∈ Πn.

Доведення. Нехай π = (π1, ..., πn) ∈ Πn.За теоремою про обчислення ймовiрностей, пов’язаних iз випадковим

вектором, iмовiрностi у правiй частинi рiвностi

IP(ν = π−) = IP(ξπ1< ξπ2

< ... < ξπn) = IP(ξ1 < ξ2 < ... < ξn),

не залежать вiд π, оскiльки однозначно визначаються сумiсними функцiя-ми розподiлу випадкових векторiв (ξπ1

, ..., ξπn) та (ξ1, ..., ξn), якi внаслiдок

незалежностi та однакової розподiленостi ξk є однаковими i дорiвнюютьдобутковi:

IP(ξπ1< x1, ...ξπn

< xn) = F (x1)...F (xn) = IP(ξ1 < x1, ...ξn < xn).

Очевидно, що множина всiх обернених перестановок π−, π ∈ Πn збi-гається з Πn, а їх кiлькiсть дорiвнює n!, тому

1 =∑

π∈Πn

IP(ν = π−) = n!IP(ν = π) ¡

Теорема (про сумiсний розподiл порядкових статистик). Припу-стимо, що функцiя розподiлу спостережень F має щiльнiсть f. Тодiсумiсна щiльнiсть вектора варiацiйного ряду (ξ(1), ..., ξ(n)) дорiвнює

f(ξ(1),...,,ξ(n))(x1, ..., xn) = n! f(x1)...f(xn)1Ix1 < x2 <...< xn .

Доведення. За властивостями вектора рангiв

IP(ξ(1) < x1, ..., ξ(n) < xn) =∑

π∈ΠnIP(ξ(1) < x1, ..., ξ(n) < xn, ν = π−) =

∑π∈Πn

IP(ξπ1< x1, ..., ξπn

< xn, ξπ1< ξπ2

< ... < ξπn) =

n! IP(ξ1 < x1, ..., ξn < xn, ξ1 < ξ2 < ... < ξn) =r

..r

y1<x1,....,yn<xnn! f(y1)...f(yn)1Iy1 < y2 <..< yndy1...dyn,


де передостання рiвнiсть випливає з того, що внаслiдок незалежностiта однакової розподiленостi спостережень (ξ1, ..., ξn) випадковi вектори(ξπ1

, ..., ξπn) та (ξ1, ..., ξn) мають однаковi сумiснi функцiї розподiлу, а

остання рiвнiсть є наслiдком теореми про обчислення ймовiрностей, по-в’язаних iз неперервним вектором, оскiльки сумiсна щiльнiсть вектора(ξ1, ..., ξn) дорiвнює добутковi f(y1)...f(yn) за теоремою про критерiй неза-лежностi абсолютно неперервних величин. За означенням сумiсна щiль-нiсть вектора порядкових статистик дорiвнює пiдiнтегральнiй функцiї вправiй частинi останньої рiвностi, яка збiгається зi вказаною в формулю-ваннi теореми ¡

Вправи(1) Знайти: (а) сумiсну щiльнiсть порядкових статистик ξ(j), ξ(k), j < k,

(б) функцiю розподiлу, математичне сподiвання i дисперсiю розмаху ξ(n) − ξ(1).

(2) Спостереження у кратнiй вибiрцi мають щiльнiсть f та функцiю розподiлуF. Тодi щiльнiсть статистики ξ(k) дорiвнює nCk−1

n−1Fk−1(x)f(x)(1− F (x))n−k.

(3) Довести, що для кратної вибiрки X з неперервною функцiєю розподiлустатистика Колмогорова κn =

√n supx∈R |Fn(x)− F (x)| дорiвнює

κn =√

n max1≤k≤n max(k/n− F (ζ(k)), F (ζ(k))− (k − 1)/n

).

(4) Нехай X = (ξ1, ..., ξn) – кратна вибiрка з неперервною функцiєю розпо-дiлу F спостережень. Довести, що статистики (F (ξ(k))/F (ξ(k+1)))

k, 1 ≤ k < n,незалежнi, та знайти їх розподiл.

(5) Нехай X = (ξ1, ..., ξn) – кратна вибiрка з експоненцiйного розподiлуExp(θ), а (ξ(k), k = 1, n) – її варiацiйний ряд, ξ(0) = 0. (а) Сумiсна щiль-

нiсть вектора (ξ(k), k = 1, r) дорiвнює θrCrnr! exp (−θ [

∑rk=1 xk + (n− r)xr]) .

(б) Величина 2θ[∑r

k=1 ξ(k) + (n− r)ξ(r)

]має хi-квадрат розподiл з 2r ступеня-

ми свободи. (в) Випадковi величини ηk = (n − k + 1)(ξ(k) − ξ(k−1)), k = 1, rнезалежнi та експоненцiйно розподiленi з параметром θ. (г) У класi лiнiйнихнезмiщених оцiнок для θ−1 вiд ξ(i), що мають вигляд

∑ki=1 ciξ(i), найменшу

дисперсiю має оцiнка k−1∑k

i=1 ξ(i) + k−1(n− k)ξ(k), а вiдповiдна дисперсiя до-

рiвнює 1/kθ2.

(6) Нехай (ξn, n ≥ 1) незалежнi однаково розподiленi невiд’ємнi величини знеперервною функцiєю розподiлу. Довести, що IP(ξn > max1≤k<n ξk) = 1/n.

(7) Нехай (ξn, n ≥ 1) незалежнi однаково розподiленi величини з неперерв-ною функцiєю розподiлу, а ξ(n−r+1) – порядковi статистики для n-кратної ви-бiрки. Визначимо випадковий номер νn,r = min(k ≥ 1 : ξn+k ≥ ξ(n−r+1)) приr ≥ 1. Довести, що: (а) IP(νn,1 > k) = n/(n + k), (б) IP(νn,r > k) = Cr

n/Crn+k,

(в) limn→∞ IP(νn,r > nx) = (1 + x)−r, x ≥ 0.


(8) Нехай X = (ξ1, ..., ξn) – кратна вибiрка з рiвномiрним на [0, 1] розподiломспостережень. (а) Знайти сумiсну щiльнiсть, математичнi сподiвання та дисперсiїстатистик ξ(1), ξ(n). (б) Вивести незалежнiсть та функцiї розподiлу спейсингiвδk ≡ ξ(k+1) − ξ(k), 0 ≤ k < n, де ξ(0) = 0, ξ(n+1) = 1. (в) Обчислити фун-кцiю розподiлу величини min0≤k≤n δk. (г) Довести, що limn→∞ IP(nξ(k) < x) =Γk−1,1(x) для всiх k, де Γkλ – функцiя гама-розподiлу з параметрами k, λ.

(9) Нехай (ξn, n ≥ 1) незалежнi рiвномiрно розподiленi на iнтервалi [0, 1]величини. Визначимо випадковий номер ν = inf(k ≥ 1 : ξk < ξk+1). Довестипри x ∈ [0, 1], k ≥ 1 тотожнiсть IP(ξ1 < x, ν = k) = xk/k!− xk+1/(k + 1)!.

3.4.3. Теоретичнi квантилi

При побудовi надiйних iнтервалiв широко застосовуються такi числовiхарактеристики функцiй розподiлу.

Означення. Теоретичним квантилем рiвня p ∈ (0, 1) для величини ξ зфункцiєю розподiлу F називається число xp, що є розв’язком рiвняння

F (xp) = p = IP(ξ < xp).

Якщо функцiя F неперервна i строго монотонно зростає на R, то кван-тиль будь-якого рiвня визначений однозначно. При порушеннi строгої мо-нотонностi природно визначати xp як середину вiдрiзка, що утворенийрозв’язками наведеного рiвняння.

Частковими випадками квантилей є поняття медiани та квартилей.Означення. Теоретичною медiаною, нижнiм та верхнiм квартилем на-

зиваються вiдповiдно квантилi

m ≡ x1/2, ql ≡ x1/4, qu ≡ x3/4.

Приклад. Для стандартного нормального розподiлу(x1/4, x1/2, x3/4) ≈ (−0.674, 0, +0.674).

Вправи(1) Довести, що теоретична медiана m = x1/2 є абсолютним центром поло-

ження iнтегровної випадкової величини ξ, тобто

m = argmin a∈R IE |ξ − a| .(2) Випадковi величини ξn, ξ мають однозначно визначенi медiани mn,m. До-

вести, що з ξn →W ξ, n → ∞, випливає збiжнiсть mn → m. Навести приклад,коли таке твердження не виконується для математичних сподiвань.


3.4.4. Емпiричнi квантилi

Враховуючи теорему про емпiричний розподiл порядкових статистик,згiдно з якою IP(ξ < ξ(k)) = k/(n + 1) ≈ p при k ∼ np, приходимо довибiркових аналогiв квантилiв.

Означення. Нехай X = (ξ1, ..., ξn) – кратна вибiрка, а (ξ(k), k = 1, n)– її варiацiйний ряд. Емпiричним квантилем (вибiрковим квантилем) рiвняp ∈ (0, 1) називається статистика

ζnp ≡ ξ([np]).

Вибiрковою медiаною називається статистика

mn ≡

ξ([n/2]+1) , якщо n – непарне,(ξ(n/2) + ξ(n/2+1))/2, якщо n – парне.

Нижнiй та верхнiй вибiрковий квартиль дорiвнюють вiдповiдно

ql ≡ ξ([n/4+1/2]), qu ≡ ξ([3n/4+1/2]).

Розмахом вибiрки називається вiдстань ξ(n) − ξ(1) мiж екстремальнимистатистиками – найбiльшим ξ(n) та найменшим ξ(1) спостереженнями.

Зауваження. Для скороченого опису вибiрки X = (ξ1, ..., ξn) викори-стовується поняття ящик iз вусами (whisker-box). Це п’ятiрка статистик

ξ(1) ≤ ql ≤ mn ≤ qu ≤ ξ(n),

якi зображують у виглядi горизонтально розташованого ящика шириноюqu − ql (мiжквартильний розмах) iз видiленим центром mn та вусами злiвай справа шириною ql − ξ(1) та ξ(n) − qu вiдповiдно.

3.4.5. Конзистентнiсть вибiркових квантилей

Теорема (про строгу конзистентнiсть вибiркових квантилей). Не-хай функцiя розподiлу F (x) неперервна i строго монотонно зростає.Тодi вибiрковий квантиль ζnα = ξ([nα]) є строго конзистентною оцiнкоюдля теоретичного квантиля xα. Зокрема, це справедливо для вибiрковоїмедiани та вибiркових квартилей.

Доведення. Нехай, як i вище, νn(x) = nFn(x) – кiлькiсть спостере-жень, менших за x. Тодi за лемою про емпiричну функцiю розподiлу тапорядковi статистики справедливi тотожностi:

ζnα < x = ξ([nα]) < x = νn(x) ≥ [nα] = Fn(x) ≥ [nα]/n.


Оскiльки при кожному ε > 0 внаслiдок зауваження про верхню границювеличин та подiй мають мiсце включення:

limn→∞ζnα < xα − ε ⊂ limn→∞ζnα < xα − ε,limn→∞ηn ≥ ε ⊂ limn→∞ηn ≥ ε,

то за монотоннiстю ймовiрностi

IP (limn→∞ζnα < xα − ε) ≤ IP(limn→∞ ζnα < xα − ε) =

IP(

limn→∞

Fn(xα − ε) ≥ [nα]/n

)= IP

(lim

n→∞

Fn(xα − ε) n/[nα] ≥ 1

)≤

IP(

limn→∞Fn(xα − ε) n/[nα] ≥ 1)

= IP (F (xα − ε)/α ≥ 1) = 0.

Тут використана збiжнiсть Fn(xα − ε) → F (xα − ε) майже напевне завластивiстю строгої конзистентностi емпiричної функцiї розподiлу, i збi-жнiсть [nα]/n → α, та врахована нерiвнiсть F (xα − ε) < α = F (xα) заумови строгої монотонностi F. Отже, limn→∞ζnα ≥ xα − ε майже напевне.З довiльностi ε > 0 звiдси виводимо, що limn→∞ ζnα ≥ xα майже напевне.Аналогiчно доводиться нерiвнiсть limn→∞ ζnα ≤ xα майже напевне ¡

3.4.6. Асимптотична нормальнiстьвибiркових квантилей

Теорема (про асимптотичну нормальнiсть вибiркових квантилей).Нехай функцiя розподiлу F (x) має щiльнiсть f(x) та квантиль xα рiвняα ∈ (0, 1), а функцiя f неперервна i додатна в точцi xα. Тодi вибiрковийквантиль ζnα ≡ ξ([nα]) є асимптотично нормальною оцiнкою для xα :

√n(ζnα − xα) →W η ' N(0, σ2), n →∞,

де асимптотична дисперсiя σ2 = α(1− α) / f 2(xα).Доведення. Позначимо βn =

√n(ζnα − xα) / σ.

Твердження теореми випливатиме з теореми про добуток слабко збi-жної послiдовностi зi збiжною, якщо довести, що

βn →W β ' N(0, 1).

Нехай, як i вище,

νn(x) = nFn(x) =∑n

k=1 1Iξ k < x.

За лемою про емпiричну функцiю розподiлу та порядковi статистикимає мiсце тотожнiсть ξ(k) < x = νn(x) ≥ k. Тому

IP(βn < y) = IP(ζnα < xα + yσ/√

n) =


IP(ξ([nα]) < xα + yσ/√

n) = IP(ξ([nα]) < zn) = IP(νn(zn) ≥ [nα]),

де zn ≡ xα + yσ/√

n = xα + o(1), n →∞.

Послiдовнiсть νn(zn) є сумою незалежних у сукупностi, однаково роз-подiлених iндикаторних випадкових величин χnk ≡ 1Iξk<zn, що утворю-ють загальну послiдовнiсть серiй випадкових величин, однаково розпо-дiлених у кожнiй серiї та обмежених. Тому вони задовольняють умовицентральної граничної теореми Ляпунова для загальних серiй згiдно з їїнаслiдком. Отже, має мiсце асимптотична нормальнiсть

γn ≡ (νn(zn)−mn)/sn →W β ' N(0, 1),

де mn ≡ IEνn(zn) = nF (zn), s2n ≡ IDνn(zn) = nF (zn)(1− F (zn)).

З формули Тейлора та диференцiйовностi F у точцi xα отримуємо

F (zn) = F (xα) + f(xα) yσ/√

n + o(1/√

n) =

= α + y√

α(1− α)/n + o(1/√

n) → α, n →∞,

звiдки виводимо асимптотичнi зображення:

mn = nα + y√

nα(1− α) + o(√

n), s2n = nα(1− α) + o(n), n →∞.

Зокрема, має мiсце збiжнiсть yn ≡ ([nα]−mn)/sn → −y, n →∞.З наведених зображень виводимо граничне спiввiдношення

IP(βn < y) = IP(νn(zn) ≥ [nα]) = IP(γn ≥ ([nα]−mn)/sn) =

IP(γn − yn ≥ 0) →n→∞ IP(β + y ≥ 0) = IP(β ≥ −y) = IP(β < y).

Остання рiвнiсть випливає з симетрiї нормального розподiлу. Отже, маємiсце збiжнiсть в основному βn →O β, i за теоремою про еквiвалентнiстьслабкої збiжностi та в основному βn →W β, що доводить теорему ¡

Вправи(1) Нехай (ξ1, ..., ξn) – кратна вибiрка з неперервною функцiєю розподiлу F.

Знайти граничний розподiл при n →∞ величин n√

F (ξ(1))(1− F (ξ(n))).

(2) Нехай (ξ1, ..., ξn) – кратна вибiрка з рiвномiрним на [0, 1] розподiлом.Довести асимптотичну нормальнiсть:,IP(mn − 1/2 < x/

√8n) → Φ(x), n →∞.

(3) Нехай (ξ1, ..., ξn) – кратна вибiрка з нормальним розподiлом спостере-жень N(θ, 1). Знайти граничний розподiл величин

√n(mn − θ), n → ∞, для

вибiркової медiани mn. Як спiввiдносяться асимптотичнi ефективностi медiанита вибiркового середнього при оцiнювання θ ?


3.5. Вибiрковi моменти. Метод моментiв

Велику групу статистик утворюють вибiрковi моменти, якi за зако-ном великих чисел є природними оцiнками для теоретичних моментiв –математичних сподiвань степеневих функцiй вiд випадкової величини.

3.5.1. Теоретичнi та вибiрковi моменти

Означення. Нехай ξ – випадкова величина. Її (нецентральним) тео-ретичним моментом порядку k ∈ N називається число

µk ≡ IEξk,

за умови iнтегрованостi величини ξk.Центральним теоретичним моментом порядку k називається число

µ0k ≡ IE(ξ − µ)k,

де µ ≡ µ1 – математичне сподiвання , µ02 = σ2 – дисперсiя ξ.

Зауваження. Значення центральних моментiв використовуються в те-орiї розподiлiв для означення таких спецiальних характеристик:

kv = σ / µ1 – коефiцiєнт варiацiї (дорiвнює 1 для показникового розпо-дiлу),

ks = 3(µ1−x1/2)/σ– коефiцiєнт скошеностi (нульовий для симетричнихрозподiлiв),

ka = µ03 /σ3 – коефiцiєнт асиметрiї (аналогiчно),

ke = µ04 /σ4 − 3 – коефiцiєнт ексцесу (нульовий для нормальних спо-

стережень).Всi наведенi характеристики є безрозмiрними та вiдображають певнi

особливостi форми вiдповiдного розподiлу.Означення. Нехай X = (ξ1, ..., ξn) – вибiрка. Її (нецентральним) ви-

бiрковим моментом порядку k називається статистика

µkn ≡1

n

∑n

i=1ξk

i .

Центральним вибiрковим моментом порядку k називається статистика

µ0kn ≡

1

n

∑n

i=1(ξi − µn)k ,

де µn ≡ µ1n – вибiркове середнє, а, µ02n = σ2

n – вибiркова дисперсiя.Зауваження. Важливою властивiстю центральних моментiв є iнварi-

антнiсть вiдносно зсувiв – вони не змiнюються при одночасному зсувi всiх

3.5. Вибiрковi моменти. Метод моментiв 353

спостережень на сталу:

µ0kn =

1

n

∑n

i=1(ξi −

1

n

∑n

j=1ξj)

k =1

n

∑n

i=1(ξi − c− 1

n

∑n

j=1(ξj − c))k.

Зауваження. Як i в теоремi про властивостi дисперсiї, для вибiрковоїдисперсiї має мiсце тотожнiсть

σ2n = µ2,n − (µn)2.

Дiйсно, σ2n = 1

n

∑ni=1(ξi − µn)2 = 1

n

∑ni=1 ξ2

i − 2(µn)2 + (µn)2.

Теорема (про моменти вибiркових моментiв). Нехай (ξ1, ..., ξn) –кратна вибiрка. Тодi

IEµkn = µk, IDµkn =1

n(µ2k − µ2

k).

Зокрема, IEµn = µ, IDµn = σ2 /n. Крiм того,

IEσ2n =

n− 1

nσ2, IDσ2

n =n− 1

n3((n− 1)µ0

4 − (n− 3)σ4).

Доведення. Незмiщенiсть нецентральних моментiв є очевидним на-слiдком лiнiйностi математичного сподiвання. Вираз для їх дисперсiй ви-пливає з незалежностi в сукупностi i однакової розподiленостi степене-вих функцiй (ξk

i , i = 1, n) та з теореми про дисперсiю суми незалежнихвеличин :

ID

(1

n

∑n

i=1ξk

i

)=

1

n2

∑n

i=1ID(ξk

i ) =1

n2nID(ξk

1) =1

n(IEξ2k

1 − (IEξk1)

2).

Середнє для вибiркової дисперсiї обчислюється з урахуванням останньогозауваження шляхом пiднесення до квадрату пiд знаком суми:

IEσ2n = IE(µn2 − µ2

n) = IEµn2 − IE µ2n =

µ2 −(IE

∑ni=1 ξ2

i + IE∑

i6=j ξiξj

)/ n2 =

µ2 − µ2/n− µ2(n− 1)/n = (µ2 − µ2)(n− 1)/n = σ2(n− 1)/n.

При обчисленнi дисперсiї σ2n можна вважати, що µ = 0, оскiльки оцiн-

ка σ2n iнварiантна вiдносно зсувiв, зокрема, не змiнюється при вiднiманнi

вiд спостережень їх спiльного середнього µ. Тому:

n4IE(σ2

n

)2= IE

(n

∑k ξ2

k − (∑

k ξk)2)2

= IE((n− 1)

∑k ξ2

k − 2∑

i<j ξiξj

)2

=

(n− 1)2IE(∑

k ξ2k

)2+ 4IE(

∑i<j ξiξj)

2 − 4(n− 1)IE(∑

k ξ2k

∑i < j ξiξj) =


(n− 1)2 (n µ04 + n(n− 1)σ4) + 2n(n− 1)σ4 − 0 =

(n− 1) [(n− 1)µ04 + (n2 − 2n + 3)σ4] ,

IDσ2n = IE

(σ2

n

)2 − (IEσ2

n

)2= IE

(σ2

n

)2 − σ4(n− 1)2/n2 =

(n− 1) ((n− 1)µ04 − (n− 3)σ4) / n3,

де використане припущення IEξj = 0 ¡З теореми про моменти вибiркових моментiв випливає, що вибiркова

дисперсiя σ2n є змiщеною оцiнкою для теоретичної дисперсiї σ2. Тому

часто використовують її скоригований незмiщений варiант.Означення. Нормованою вибiрковою дисперсiєю є статистика

s2n ≡

1

n− 1

∑n

i=1(ξi − µn)2 =

n

n− 1σ2

n ,

що є незмiщеною оцiнкою дисперсiї: IEs2n = n

n−1IEσ2

n = σ2 ¡Теорема (про асимптотичнi властивостi вибiркових моментiв). Не-

хай X = (ξ1, ..., ξn) – кратна вибiрка.(а) Якщо IE |ξ1|k < ∞, то нецентральний вибiрковий момент µkn є

незмiщеною та строго конзистентною оцiнкою теоретичного моменту µk.(б) Якщо IEξ2k

1 < ∞, то оцiнки µkn є асимптотично нормальними :√n( µkn − µk) →W η ' N(0, µ2k − µ2

k).

Доведення. Випадковi величини ζ i ≡ ξki є незалежними за теоремою

про перетворення незалежних величин та однаково розподiленими за тео-ремою про збереження однакової розподiленостi, оскiльки отриманi засто-суванням однiєї (степеневої порядку k) функцiї до величин з однаковимирозподiлами. Умова (а) гарантує справедливiсть критерiю Колмогоровапосиленого закону великих чисел, що i доводить (а).

Для доведення (б) застосуємо класичну центральну граничну теорему.Скiнченнiсть математичних сподiвань та дисперсiй, а також формула длядисперсiї доданка наведенi в теоремi про моменти вибiркових моментiв.Тому асимптотична нормальнiсть є наслiдком вказаної теореми ¡

Вибiрковi моменти можна розглядати одночасно у виглядi випадковоговектора вибiркових моментiв наперед заданої розмiрностi d:

µ(d)n ≡ (µkn, k = 1, d), IEµ(d)

n = µ(d) ≡ (µk, k = 1, d).

Теорема (про асимптотику вектора вибiркових моментiв). НехайX = (ξ1, ..., ξn) – кратна вибiрка.

(а) Якщо IE |ξ1|d < ∞, то векторна статистика µ(d)n є строго конзи-

стентною оцiнкою для вектора µ(d).


(б) Якщо IEξ2d1 < ∞, то вектор вибiркових моментiв є асимптотично

нормальним з коварiацiйною матрицею V (d) = (µk+l − µk µl, k, l = 1, d) :√

n(µ(d)

n − µ(d))→W η ' Nd(0, V (d)), n →∞,

Доведення(а) З теореми про асимптотичнi властивостi вибiркових моментiв ви-

водимо збiжнiсть µkn →P1 µk, n →∞, для всiх k = 1, d, θ ∈ Θ. Тому

IP(lim µ(d)

n = µ(d)(θ))

= IP(∩d

k=1lim µkn = µk)

= 1.

(б) Розглянемо послiдовнiсть випадкових векторiв

γj ≡(ξk

j − µk, k = 1, d), j ≥ 1.

Вони є незалежними за теоремою про перетворення незалежних величин,та однаково розподiленими, оскiльки отриманi з однаково розподiленихвеличин застосуванням однiєї функцiї. Дана послiдовнiсть задовольняєумови класичної центральної граничної теореми для випадкових векторiвiз параметрами m = 0, V = V (d), тому що

IEγj = 0, Cov(γj) = (IE(ξkj − µk)(ξ

lj − µl), k, l = 1, d) =

((µk+l − µkµl), k, l = 1, d) = V (d).

Отже, зi вказаної теореми отримуємо при n →∞√

n(µ(d)n − µ(d)) =

1√n

∑n

j=1γj = ηn →W η ' Nd(0, V (d)) ¡

Вправи(1) Довести, що вибiрковi моменти та емпiрична функцiя розподiлу Fn пов’я-

занi такими спiввiдношеннями:µkn =

r∞−∞ xkdFn(x), µ0

kn =r∞−∞ (x− µn)k dFn(x).

(2) Визначити вибiрковi аналоги коефiцiєнтiв варiацiї, асиметрiї, скошеностiта ексцесу як вiдповiдних функцiй вiд вибiркових моментiв.

(3) Обчислити коефiцiєнти асиметрiї та ексцесу для стандартних дискретнихта абсолютно неперервних розподiлiв.

(4) Для стандартної нормальної випадкової величини ξ ' N(0, 1) довестиiнтегруванням за частинами тотожнiсть µk = (k − 1)µk−2 та рiвностi

µ2k = 2kπ−1/2Γ(k + 1/2) = 1 · 3 · ...(2k − 1) ≡ (2k − 1)!!.(5) Для ξ ' Γ(λ, α) обчислити µk = λ−kα(α + 1)...(α + k − 1).(6) Довести асимптотичне зображення для дисперсiї

ID(µ0kn) = (µ2k−µ2

k +kµk−1(kµk−1µ2−2µk+1))/n + O(1/n2), n →∞.


(7) Довести, що вибiркове середнє для кратної вибiрки зi щiльнiстю Кошi1/π(1 + (x − θ)2) не є конзистентною оцiнкою центра симетрiї θ, оскiльки роз-подiл цiєї статистики не залежить вiд n.

(8) Нехай (ξ1, ..., ξn) – кратна вибiрка з неперервною функцiєю розподiлу F,варiацiйним рядом (ξ(1), ..., ξ(n)), а α ∈ (0, 1/2). Для усунення впливу можливихвипадкових збурень iз занадто великими чи малими значеннями використовуютьробастний (стiйкий до збурень) аналог вибiркового середнього, що має вигляд

µnα ≡ (n(1−2α))−1∑[n−nα]

k=[nα]+1 ξ(k). Довести (а) рiвнiсть µn,0 = µn, (б) збiжнiсть

µnα →P1r x1−α

xαydF (y), n →∞, де xp – квантиль рiвня p для F.

(9) Нехай (ξ1, ..., ξn) – кратна вибiрка з показниковим розподiлом Exp(θ).Знайти оцiнку методу моментiв для через (а) перший вибiрковий момент,(б) другий вибiрковий момент, (в) першi два вибiрковi моменти. (г) Знайти такуоцiнку для ймовiрностi IPθ(ξ1 ≥ 1).

(10) Довести такi спiввiдношення мiж центральними та нецентральними мо-ментами: µ0

2 = µ2 − µ21, µ0

3 = µ3 − 3µ2µ1 + 2µ21, µ0

n =∑n

k=0 Cknµn−k(−µ1)

k.

(11) Для покращення властивостей оцiнок застосовують метод розщеплень(bootstrap). Для довiльних оцiнок Tn = Tn(ξ1, ..., ξn) обирають оцiнку виглядуT ∗

n = n−1∑n

k=1 Tn−1(ξ1, ...ξk−1, ξk+1, ..., ξn). Довести, що застосування методурозщеплень до статистик σ2

n при n > 2 призводить до статистик s2n.

3.5.2. Метод моментiв

Метод моментiв є спецiальним методом оцiнювання невiдомих параме-трiв, який спирається на асимптотичнi властивостi вибiркових моментiв.

Припустимо, що параметричний простiр є d-вимiрним: Θ ⊂ Rd.Оскiльки розподiл вибiрки X = (ξ1, ..., ξn) вiдомий повнiстю при зада-

ному значеннi θ ∈ Θ, то повнiстю вiдомими є функцiї

µk(θ) ≡ IEθ ξk1, θ ∈ Θ.

Розглянемо векторну функцiю

µ(d)(θ) ≡ (µk(θ), k = 1, d) : Θ → Rd.

Припустимо, що iснує неперервне вiдображення Td(µ) : Rd → Θ, якеє оберненим до µ(d)(θ) , тобто

Td(µ(d)(θ)) = θ, ∀θ ∈ Θ.

Ця умова виконується, зокрема, за теоремою про обернене вiдображенняз курсу математичного аналiзу, якщо функцiя µ(d)(θ) неперервно дифе-


ренцiйовна, якобiан det∣∣ ddθ

µ(d)(θ0)∣∣ 6= 0 для деякого θ0 ∈ Θ i простiр Θ

звужено до деякого околу точки θ0.Означення. Оцiнкою методу моментiв параметра θ називається та-

ка статистика вiд вектора вибiркових моментiв µ(d)n = (µnk, k = 1, d), що

мiстить значення перших d вибiркових моментiв :

θn ≡ Td(µ(d)n ),

де Td : Rd → Θ – обернена функцiя до вектора моментiв µ(d)(θ).Зауваження. З означення оберненої функцiї випливає, що оцiнка ме-

тоду моментiв θn є єдиним розв’язком системи рiвнянь методу моментiв

µ(d)(θn) = µ(d)n .

Зауваження. У деяких випадках кiлькiсть дiйсно залежних вiд θ ко-ординат вектора µ(d)(θ) може бути меншою за d, тому вiдображення Td(µ)не iснує – наприклад, при рiвномiрному на [−θ, θ] розподiлу спостереженьта d = 1. У цьому разi необхiдно збiльшити розмiрнiсть d вектора µ(d)(θ).

Теорема (про строгу конзистентнiсть оцiнок методу моментiв).Якщо X = (ξ1, ..., ξn) – кратна вибiрка, IEθ |ξ1|d < ∞, i функцiя Td не-перервна, то оцiнка методу моментiв є строго конзистентною оцiнкоюпараметра θ.

Доведення. За теоремою про асимптотику вектора вибiркових момен-тiв µ(d)

n →Pθ1 µ(d)(θ), ∀θ ∈ Θ. Тому з неперервностi та означення Td маємо

θn = Td(µ(d)n ) →Pθ1 Td(µ

(d)(θ)) = θ, n →∞, ∀θ ∈ Θ ¡Зауваження. Якщо IEθξ

2d1 < ∞ i функцiя Td неперервно диференцi-

йовна, то можна довести, що оцiнка методу моментiв є асимптотичнонормальною з матрицею td = ∂

∂µTd(µ) |µ=µ(d)(θ):

√n(θn − θ) →W η ' Nd(0, tdV

(d)t′d), n →∞.

Приклади1. Оцiнка параметрiв гама-розподiлу. Нехай X = (ξ1, ..., ξn) – кра-

тна вибiрка з гама-розподiлом ξ1 ' Γ(λ, α), невiдомий параметр θ =(λ, α), dim θ = 2. Тодi теоретичнi моменти мають вигляд µ1(θ) = α/λ,µ2(θ) = α/λ2 + (α/λ)2.

Оцiнку методу моментiв (α, λ) знаходимо з системи рiвнянь

α/λ = µn, α/(λ)2 + (α/λ)2 = µ2n = σ2n + (µn)2,

звiдки дiстанемоλ = µn/ σ2

n, α = (µn)2/ σ2n.


2. Оцiнка параметрiв рiвномiрного розподiлу. Нехай X = (ξ1, ..., ξn)– кратна вибiрка з рiвномiрним розподiлом ξ1 ' U(a, b), невiдомий пара-метр θ = (a, b), dim θ = 2. Тодi µ1(θ) = (a+b)/2, µ2(θ) = µ2

1(θ)+(b−a)2/12.

Оцiнку методу моментiв (a, b) знаходимо з системи

(a + b)/2 = µn, (b− a)2/12 = σ2n,

b = µn +√

3σn, a = µn −√

3σn.

3. Оцiнка параметрiв логнормального розподiлу. Випадкова величи-на ξ має логнормальний розподiл, позначення ξ ' LN(µ, σ2), якщо її ло-гарифм має нормальний розподiл: ln ξ ' N(µ, σ2). Нехай X = (ξ1, ..., ξn) –кратна вибiрка з логнормальним розподiлом спостережень: ξ1 ' LN(µ, σ2).Для оцiнки параметрiв методом моментiв можна скористатися перетворе-нням вибiрки за допомогою логарифмiчної функцiї. За теоремою про пере-творення незалежних величин статистика Y = (η1, ..., ηn) з координатамиηk = ln ξk, k = 1, n, є кратною вибiркою, а її елементи мають нормальнийрозподiл. За теоремою про iнтерпретацiю параметрiв нормального розпо-дiлу вибiрковi середнє та дисперсiя вектора Y :

µn =1

n

∑n

k=1ln ξk, σ2

n =1

n

∑n

k=1(ln ξk − µn)2

є строго конзистентними оцiнками параметрiв µ, σ2.Зауважимо, шо одночасно з логарифмiчним у прикладнiй статистицi

широко застосовується цiла шкала первинних трансформацiй:

gα(x) =

(xα − 1)/α, α > 0,

ln x, α = 0.

Параметр α пiдбирається згiдно з властивостями розподiлу спостережень.Вправи(1) Знайти щiльнiсть, математичне сподiвання та дисперсiю випадкової вели-

чини з логнормальним розподiлом.(2) Для кратної вибiрки X = (ξ1, ..., ξn) з µ4 < ∞ довести асимптотичну

нормальнiсть:√

n(s2n − σ2) →W N(0, µ0

4 − σ4), n →∞.(3) Нехай при Fn – функцiя розподiлу з моментами (µk(n), k ≥ 0), i при

кожному k iснує границя mk = limn→∞ µk(n). Довести, що (а) послiдовнiсть(mk, k ≥ 0) утворена моментами деякої функцiї розподiлу F . (б) Якщо F –нормальна функцiя розподiлу, то Fn →W F, n →∞.

(4) Нехай випадкова величина ξ набуває значень на вiдрiзку [0, 1]. (а) Дове-сти, що вiдповiдна послiдовнiсть нецентральних моментiв (µn, n ≥ 0) з µ0 ≡ 1 єцiлком монотонною, тобто (−1)k∆kµn ≥ 0 для всiх k ≥ 1, n ≥ 0, де рiзницевий

3.6. Незмiщенi оптимальнi оцiнки 359

оператор визначається як ∆xn ≡ xn+1 − xn, n ≥ 0. (б) Вивести з теореми Берн-штейна, що

∑k<nx Ck

n(−1)n−k∆n−kµk →O IP(ξ < x), n → ∞ (в) Застосуватиформулу (б) до послiдовностей µn = pn, 1/(n + 1), 2/(n + 2).

3.6. Незмiщенi оптимальнi оцiнки

У межах задачi оцiнювання невiдомого параметра θ важливу роль вi-дiграє умова незмiщеностi, оскiльки вона сприяє задовiльнiй якостi оцiнкинавiть при невеликих об’ємах вибiрки.

Часто у випадку багатовимiрного параметра треба оцiнити не всi йогоскладовi, а лише деякi. Тому розглянемо задачу незмiщеного оцiнюваннядеякої функцiї вiд невiдомого параметра.

Означення. Статистика T = T (X) називається незмiщеною оцiнкоюзначення функцiї τ = τ(θ) вiд параметра θ ∈ Θ, якщо dim T = dim τ та

IEθT = τ(θ), ∀θ ∈ Θ.

Приклад. Для кратної вибiрки X = (ξ1, ..., ξn) вибiркова дисперсiяσ2

n є незмiщеною оцiнкою функцiї n−1n

σ2 вiд дисперсiї σ2, а нормованавибiркова дисперсiя s2

n є незмiщеною оцiнкою σ2. Так само статистики ξ1

та (ξ1 − ξ2)2/2 є незмiщеними оцiнками середнього та дисперсiї, хоча i не

надто ефективними.

3.6.1. Оптимальнi оцiнки

Якщо iснують незмiщенi оцiнки, то їх можна порiвнювати мiж собоюза величиною середнього квадратичного вiдхилення вiд значення, яке оцi-нюється, та одночасно збiгається з середнiм цих оцiнок.


Γτ = T = T (X) : IEθT = τ(θ), ∀θ ∈ Θклас усiх незмiщених оцiнок дiйсної параметричної функцiї τ(θ) : Θ → R.

Означення. Статистика T ∗ ∈ Γτ називається оптимальною незмi-щеною оцiнкою значення τ(θ), або ж незмiщеною оцiнкою з рiвномiрнонайменшою дисперсiєю, якщо вона має найменшу скiнченну дисперсiюу класi всiх незмiщених оцiнок:

IDθT∗ ≤ IDθT, ∀T ∈ Γτ , ∀θ ∈ Θ.

Теорема (про єдинiсть оптимальної оцiнки). Якщо T1, T2 – двi опти-мальнi оцiнки для значення τ = τ(θ), то T1 = T2 майже напевне.


Доведення. Позначимо σ2(θ) = IDθT1 = IDθT2. Розглянемо таку оцiнку :T = (T1 + T2)/2. Оскiльки IEθT = (IEθT1 + IEθT2)/2 = τ , то T ∈ Γτ , i

σ2(θ) = IDθT1 ≤ IDθT = IEθ(T1 − τ + T2 − τ)2 / 4 =

(IDθT1 + IDθT2 + 2 IE(T1 − τ)(T2 − τ)) / 4 ≤(2σ2(θ) + 2

√IDθT1 IDθT2) / 4 = σ2(θ),

де врахованi оптимальнiсть T1 та нерiвнiсть Кошi у останнiй нерiвностi.Отже, за означенням оптимальної оцiнки σ2(θ) = IDθT, i нерiвнiсть Кошiперетворюється на рiвнiсть. За зауваженням про рiвнiсть у нерiвностiКошi iснує невипадкова стала b така, що T2 − τ = b(T1 − τ) м.н. Тому

σ2(θ) = Cov(T1, T2) = b Cov(T1, T1) = bIDθT1 = bσ2(θ).

Звiдси b = 1 та T1 = T2 м.н ¡Приклади1. Оцiнювання ймовiрностi успiху за одним спостереженням з гео-

метричним розподiлом. Нехай вибiрка X = ξ мiстить одну випадковувеличину, що має геометричний розподiл G(θ) на N iз невiдомою ймо-вiрнiстю успiху θ ∈ (0, 1). Для довiльної статистики T = T (X) умованезмiщеностi при оцiнюваннi функцiї τ = τ(θ) має вигляд

IEθT (X) =∑

n≥1(1− θ)n−1θ T (n) = τ(θ), ∀θ ∈ (0, 1).

Нехай τ(θ) = θ. Тодi з єдиностi розкладу функцiї 1 у ряд Тейлоравиводимо, що iснує єдина незмiщена оцiнка для θ, до того ж не дужезмiстовна: T (X) = 1 при X = 1 та T (X) = 0 для X > 1.

Якщо ж τ(θ) = θ/(1−θ), то незмiщених оцiнок взагалi не iснує, оскiль-ки ця функцiя не припускає розклад у збiжний ряд Тейлора при θ ∈ (0, 1).

2. Оцiнювання дисперсiї у загальнiй нормальнiй моделi. Нехай ви-бiрка X = (ξ1, ..., ξn) складається з незалежних у сукупностi величин iзнормальним розподiлом ξk ' N(µ, σ2). Як було з’ясовано в теоремi промоменти вибiркових моментiв, нормована вибiркова дисперсiя

s2n =

1

n− 1

∑n

i=1(ξi − µn)2 =

n

n− 1σ2

n

є незмiщеною оцiнкою невiдомої дисперсiї σ2. З тiєї ж теореми виводимо,що вiдповiдна середньоквадратична похибка дорiвнює

IDθs2n = IDθ

(n

n− 1σ2

n

)2

=1

n(n− 1)((n− 1)µ0

4 − (n− 3)σ4) =

((n− 1)3σ4 − (n− 3)σ4) / n(n− 1) = 2σ4 / (n− 1),

3.7. Нерiвнiсть Крамера – Рао, ефективнiсть 361

де врахована тотожнiсть µ04 = 3σ4 для моментiв нормального розподiлу.

Вправа. Отримати останнє спiввiдношення диференцiюванням характери-стичної функцiї нормального розподiлу.

Одночасно розглянемо змiщену оцiнку для σ2 вигляду τ 2n = t s2

n, длядеякої сталої t. Обчислимо середньоквадратичну похибку

IEθ(τ2n − σ2)2 = IEθ(t(s

2n − σ2)− (1− t)σ2)2 =

t2IDθs2n + (1− t)2σ4 = (2t2/(n− 1) + (1− t)2)σ4.

Вираз у правiй частинi набуває найменшого значення при t = n−1n+1

6= 1. От-же, незмiщена оцiнка s2

n з погляду середнього квадратичного вiдхиленнявiд оцiнюваного значення σ2 гiрша за змiщену оцiнку τ 2

n. Це не дивно –адже мiнiмум у класi всiх оцiнок часто є меншим вiд мiнiмуму у пiдкласi.

Не зважаючи на негативний змiст наведених прикладiв, у багатьохсхемах незмiщенi оцiнки все-таки є досить ефективними. Зокрема, у ви-падку вiдносно невеликого об’єму вибiрки, коли на середнє квадратичневiдхилення не варто зважати з причини його надмiрних значень.

3.7. Нерiвнiсть Крамера – Рао,ефективнiсть

Розглянемо кратну вибiрку X = (ξ1, ..., ξn) з функцiєю вiрогiдностi

L(x, θ) =∏n

k=1f(xk, θ), x = (x1, ..., xn) ∈ S, θ ∈ Θ,

де f(x, θ) – щiльнiсть одного спостереження.У даному роздiлi припускатимемо, що параметричний простiр евклiдiв:

Θ ⊂ Rd , а функцiя вiрогiдностi L(x, θ) – диференцiйовна за θ.

3.7.1. Функцiя впливу

Означення. Функцiєю впливу, або функцiєю внеску, вибiрки X нази-вається частинна похiдна за параметром θ вiд логарифма вибiрковоїфункцiї вiрогiдностi :

U(X, θ) ≡ ∂

∂θln L(X, θ).

У випадку кратної вибiрки функцiєю впливу спостереження ξ назива-ється похiдна за θ вiд логарифма функцiї вiрогiдностi спостереження :

u(ξ, θ) ≡ ∂

∂θln f(ξ, θ).


Зауваження. Якщо параметр θ ∈ Θ ⊂ R скалярний, то функцiя впливує дiйсною функцiєю вiд випадкової величини, тобто випадковою величи-ною. Якщо ж Θ ⊂ Rd, то похiдну слiд розумiти як вектор, складений iзчастинних похiдних (градiєнт), а функцiя впливу є d-вимiрним випадко-вим вектором :

U(X, θ) ≡ (Uk(X, θ), k = 1, d), Uk(X, θ) ≡ ∂

∂θk

ln L(X, θ).

Важливе значення та назва ”функцiя впливу” пояснюється таким мiр-куванням. Якщо припустити, що розподiл вибiрки взагалi не залежить вiдпараметра θ (параметр не впливає на розподiл), то функцiя впливу будетотожнiм нулем. Одночасно зауважимо, що якраз у цьому випадку мар-но намагатись оцiнити параметр на основi спостережень, чий розподiл незалежить вiд значення такого параметра. Тому вiдносно ”малi” значенняфункцiї впливу вказують на брак iнформацiї щодо параметра в наявнихспостереженнях.

Теорема (про функцiю впливу кратної вибiрки). Для кратної ви-бiрки X = (ξ1, ..., ξn) вибiркова функцiя впливу дорiвнює сумi функцiйвпливу спостережень, якi її утворюють:

U(X, θ) =∑n

k=1u(ξk, θ).

Доведення випливає з теореми про функцiю вiрогiдностi кратної ви-бiрки та лiнiйностi частинної похiдної:

∂

∂θln L(X, θ) =

∂

∂θln

∏n

k=1f(ξk, θ) =

∂

∂θ

∑n

k=1ln f(ξk, θ) =

∑n

k=1

∂

∂θln f(ξk, θ) =

∑n

k=1u(ξk, θ) ¡

Приклади1. Пуассонiвська вибiрка. Для кратної вибiрки з розподiлом Пуассона

Π(λ) та невiдомим параметром θ = λ

u(y, θ) = ∂∂θ

ln(θy exp(−θ)/y!) = y/θ − 1, y ∈ Z+,

U(X, θ) =∑n

k=1(ξk/θ − 1) = n (µn/θ − 1) .

2. Вибiрка з гама-розподiлу. Для кратної вибiрки з гама-розподiломΓ(λ, α) та невiдомим параметром θ = (λ, α)

ln f(y, θ) = α ln λ + (α− 1) ln y − λy − ln Γ(α),

u1(y, θ) = α/λ− y,


u2(y, θ) = ln λ + ln y − ψ(α), ψ(α) = ∂∂α

ln Γ(α),

U1(X, θ) = n (α/λ− µn) ,

U2(X, θ) = n ln λ + ln∏n

k=1 ξk − nψ(α).

3.7.2. Умови регулярностi

У даному роздiлi будемо припускати, що виконанi певнi умови регу-лярностi на функцiю вiрогiдностi вибiрки. Цi умови ми не будемо точнодеталiзувати, однак позначимо їх.

1. Множина тих значень вибiрки X, для яких функцiя вiрогiдностiL(X, θ) додатна, не залежить вiд θ.

2. Функцiя вiрогiдностi L(X, θ) двiчi неперервно диференцiйовна за θ.3. Функцiя впливу U(X, θ) – ненульова та iнтегровна у квадратi, тоб-

то: 0 < IEθU2(X, θ) < ∞, ∀θ ∈ Θ.

4. Знак похiдної за параметром θ можна внести пiд знак iнтегралiввигляду

rS

g(x, θ)L(x, θ)λ(dx) з функцiєю вiрогiдностi L(x, θ) для певнихфункцiй g, що спричиняється умовою 1 i збiжнiстю iнтеграла вiд похiдної.

3.7.3. Властивостi функцiї впливу,iнформацiя за Фiшером

Теорема (про центрованiсть функцiї впливу). За умов регулярностiфункцiя впливу центрована:

IEθ U(X, θ) = 0, ∀θ ∈ Θ.

Доведення. За означенням функцiї вiрогiдностi

IPθ(X ∈ S) = 1 =w

SL(x, θ) λ(dx),

оскiльки вибiрка X набуває значень у вибiрковому просторi S, а L(x, θ)– її сумiсна щiльнiсть розподiлу вiдносно мiри λ.

Позначимо S0 = x ∈ S : L(x, θ) > 0 вимiрну пiдмножину вибiрковогопростору (S, Σ), яка не залежить вiд θ за умовами регулярностi. Викори-стовуючи цi умови та властивостi iнтеграла Лебега вiд нульової функцiї,з наведеної вище тотожностi дiстанемо

0 =∂

∂θ1 =

∂

∂θ

wS

L(x, θ) λ(dx) =∂

∂θ

wS0

L(x, θ) λ(dx) =

wS0

∂

∂θL(x, θ) λ(dx) =

wS0

(∂

∂θln L(x, θ)

)L(x, θ) λ(dx) =


wS

(∂

∂θln L(x, θ)

)L(x, θ) λ(dx) = IEθU(X, θ),

де остання рiвнiсть випливає з теореми про обчислення математичногосподiвання функцiї вiд неперервної величини, i враховано тотожнiсть

∂

∂θL(x, θ) =

(∂

∂θln L(x, θ)

)L(x, θ) = U(x, θ)L(x, θ)

на множинi S0, де L(x, θ) > 0 ¡Означення. Нехай параметр θ ∈ Θ ⊂ R – скалярний. Iнформацiєю за

Фiшером у вибiрцi X називається функцiя

I(θ) ≡ IDθU(X, θ) = IEθU2(X, θ).

Друга рiвнiсть в означеннi випливає з теореми про центрованiсть фун-кцiї впливу та з властивостей дисперсiї.

Теорема (про обчислення iнформацiї за Фiшером). За умов регу-лярностi справедлива тотожнiсть

I(θ) = −IEθ∂2

∂θ2 ln L(X, θ) = −IEθ∂

∂θU(X, θ), ∀θ ∈ Θ.

Доведення. Визначимо S0 = x ∈ S : L(x, θ) > 0, продиференцiюємототожнiсть iз теореми про центрованiсть функцiї впливу та використаємоумови регулярностi:

0 =∂

∂θIEθU(X, θ) =

∂

∂θ

wS

U(x, θ)L(x, θ)λ(dx) =

∂

∂θ

wS0

U(x, θ)L(x, θ)λ(dx) =w

S0

∂

∂θ(U(x, θ)L(x, θ))λ(dx) =

wS0

(∂

∂θU(x, θ)

)L(x, θ) λ(dx) +

wS0

U(x, θ)∂

∂θL(x, θ)λ(dx) =

wS

(∂

∂θU(x, θ)

)L(x, θ) λ(dx)+

wS0

U(x, θ)

(∂

∂θln L(x, θ)

)L(x, θ) λ(dx) =

IEθ∂

∂θU(X, θ) + IEθU

2(X, θ) = IEθ∂2

∂θ2 ln L(X, θ) + I(θ) ¡Теорема (про адитивнiсть iнформацiї за Фiшером). Нехай для кра-

тної вибiрки X = (ξ1, ..., ξn) функцiя i(θ) ≡ IDθu(ξ1, θ) задає iнформацiюза Фiшером в одному спостереженнi. Тодi повна iнформацiя за Фiшеромдорiвнює:

I(θ) = n i(θ).


Доведення. Оскiльки величини u(ξk, θ) незалежнi за теоремою про пе-ретворення незалежних величин, то внаслiдок теорем про функцiю впливукратної вибiрки та про дисперсiю суми незалежних величин

I(θ) = IDθU(X, θ) = IDθ

∑n

k=1u(ξk, θ) =

∑n

k=1IDθu(ξk, θ) = n i(θ),

де використана також однакова розподiленiсть цих величин ¡Приклади1. Схема Бернуллi. Нехай вибiрка X = (χ1, ..., χn) мiстить результати

випробувань Бернуллi з невiдомою ймовiрнiстю успiху θ, де χk – iндика-тор успiху в k-му випробуваннi. Функцiя вiрогiдностi одного спостереже-ння є щiльнiстю вiдносно точкової мiри i має вигляд

f(y, θ) = θ1Iy=1 + (1− θ)1Iy=0 = θy(1− θ)1−y, y ∈ 0, 1,теоретична функцiя впливу дорiвнює

u(y, θ) =∂

∂θln f(y, θ) =

y

θ− 1− y

1− θ=

y − θ

θ(1− θ),

функцiї вiрогiдностi та впливу всiєї вибiрки

L(X, θ) =∏n

k=1θχk(1− θ)1−χk = θνn(1− θ)n−νn , νn =

∑n

k=1χk,

U(X, θ) =∑n

k=1u(χk, θ) = n(θn − θ)/θ(1− θ), θn = νn/n,

функцiї iнформацiї за Фiшером мають вигляд

i(θ) = IEθ

(χ1 − θ

θ(1− θ)

)2

=IDθχ1

θ2(1− θ)2=

1

θ(1− θ), I(θ) =

n

θ(1− θ).

2. Показниковий розподiл. Нехай X = (ξ1, ..., ξn) кратна вибiрка зпоказниковим розподiлом: ξk ' Exp(θ). Функцiї впливу дорiвнюють:

u(y, θ) =∂

∂θ(ln θ − θy) = 1/θ − y, U(X, θ) =

∑n

k=1u(ξk, θ) = n/θ − nµn,

а iнформацiя за Фiшером у спостереженнi та у вибiрцi має вигляд

i(θ) = IEθ(1/θ − ξ1)2 = IDθξ1 = 1/θ2, I(θ) = n/θ2.

3.7.4. Нерiвнiсть Крамера – Рао

Розглянемо задачу оцiнювання значення дiйсної параметричної фун-кцiї τ(θ) у класi Γτ незмiщених її оцiнок.

Теорема (про нерiвнiсть та критерiй Крамера – Рао). Нехай пара-метр θ є скалярним: Θ ⊂ R.


(а) Якщо T = T (X) ∈ Γτ – довiльна незмiщена оцiнка значенняτ(θ), i виконуються умови регулярностi, то при всiх θ ∈ Θ має мiсценерiвнiсть Крамера – Рао

IEθ(T − τ)2 ≡ IDθT ≥ τ 2θ(θ)

I(θ),

де τ θ(θ) = ddθ

τ(θ), I(θ) – iнформацiя за Фiшером у вибiрцi X.(б) Рiвнiсть у нерiвностi (а) виконується тодi й тiльки тодi, коли

оцiнка T є лiнiйною функцiєю вiд функцiї впливу вибiрки:

T (X)− τ(θ) = c(θ)U(X, θ) м.н., ∀θ ∈ Θ,

для деякої дiйсної c(θ). Ця стала дорiвнює c(θ) = τ θ(θ)/ I(θ).Означення. Оцiнка T ∈ Γτ називається ефективною оцiнкою параме-

тричної функцiї τ(θ), якщо нерiвнiсть Крамера – Рао для неї є рiвнiстю,тобто у випадку, коли ця оцiнка має найменше можливе значення дис-персiї у класi Γτ всiх незмiщених оцiнок.

Твердження (б) дає критерiй ефективностi Крамера – Рао.Зауваження. З означення та єдиностi оптимальної оцiнки випливає,

що ефективна оцiнка є оптимальною оцiнкою свого математичного спо-дiвання, тобто критерiй Крамера – Рао є достатньою умовою оптимально-стi для регулярних спостережень.

Зауваження. Нерiвнiсть Крамера – Рао для дисперсiї IDθT має мiсцетакож i для змiщених оцiнок T , якщо в правiй частинi τ 2

θ замiнити на(τ θ + bθ)

2, де bθ(θ) = ddθ

b(θ), b(θ) = IEθT − τ(θ). Дiйсно, у даному випадкуоцiнка T є незмiщеною для значення τ + b.

Доведення теореми.За означенням незмiщеностi та за теоремою про обчислення матема-

тичного сподiвання функцiї вiд випадкової величини

IEθT (X) =w

ST (x)L(x, θ) λ(dx) = τ(θ), ∀θ ∈ Θ.

За умови регулярностi з урахуванням означення функцiї впливу татеореми про обчислення математичного сподiвання функцiї вiд випадковоївеличини знайдемо

τ θ(θ) =∂

∂θ

wS

T (x)L(x, θ) λ(dx) =w

ST (x)

∂

∂θL(x, θ) λ(dx) =

wS

T (x)U(x, θ)L(x, θ) λ(dx) =

IEθT (X)U(X, θ) = IEθ(T (X)− τ(θ))U(X, θ),


де використана теорема про центрованiсть функцiї впливу та тотожнiстьдля похiдної: ∂L/∂θ = UL з доведення цiєї теореми.

Згiдно з нерiвнiстю Кошi з отриманої тотожностi виводимо

τ 2θ(θ) = (IEθ(T (X)− τ(θ))U(X, θ))2 ≤

IEθ(T (X)− τ(θ))2 IEθU2(X, θ) = IDθT · I(θ),

за означенням I(θ). Це доводить твердження (а).За зауваженням про рiвнiсть у нерiвностi Кошi ця нерiвнiсть пере-

творюється на рiвнiсть тодi i тiльки тодi, коли множники пiд знакомматематичного сподiвання є лiнiйно пов’язаними майже напевне, тобтоT (X) − τ(θ) = c(θ)U(X, θ) м.н. для сталої c(θ) при кожному θ. Звiдсививодимо твердження (б) теореми. Вираз для значення вiдповiдної ста-лої знаходимо пiсля пiдстановки тотожностi критерiю рiвностi в отриманувище тотожнiсть:

τ θ(θ) = IEθ(T (X)− τ(θ))U(X, θ) = IEθc(θ)U2(X, θ) = c(θ)I(θ) ¡

Зауваження. У випадку, коли X = (ξ1, ..., ξn) – кратна вибiрка, iнфор-мацiя за Фiшером у знаменнику дорiвнює I(θ) = n i(θ), отже нерiвнiстьКрамера – Рао набуває вигляду

IDθ(√

n(T − τ)) = n IDθT ≥ τ 2θ(θ)

i(θ)≡ σ2

opt.

Означення. Якщо послiдовнiсть оцiнок Tn ∈ Γτ є асимптотично нор-мальною з асимптотичною дисперсiю σ2

a, тобто√n(Tn − τ) →W η ' N(0, σ2

a),

причому σ2a = σ2

opt збiгається з найменшим можливим значенням унерiвностi Крамера – Рао, то оцiнка (Tn) називається асимптотичноефективною.

3.7.5. Ефективна оцiнка у схемi Бернуллi

Розглянемо задачу оцiнювання, в якiй проводяться n випробувань Бер-нуллi з невiдомою ймовiрнiстю p = θ успiху в окремому випробуваннi.Припустимо, що спостерiгається вибiрка X = (χ1, ..., χn), де χk – iн-дикатор k-го успiху. Розподiл вибiрки абсолютно неперервний вiдносноточкової мiри, логарифмiчна функцiя вiрогiдностi має вигляд

ln L(X, θ) = νn(X) ln θ + (n− νn(X)) ln(1− θ),


де νn(X) =∑n

k=1 χk – загальна кiлькiсть успiхiв. Звiдси

U(X, θ) =νn(X)

θ− n− νn(X)

1− θ=

νn(X)

θ(1− θ)− n

1− θ,

функцiя iнформацiї за Фiшером дорiвнює

I(θ) = IDθνn(X)/θ2(1− θ)2 = n / θ(1− θ),

нижня границя для дисперсiї незмiщеної оцiнки параметра θ має вигляд

IDθT ≥ θ(1− θ) / n.

За критерiєм ефективностi Крамера – Рао знаходимо ефективну оцiнку

T ∗ = θ + c

(νn(X)

θ(1− θ)− n

1− θ

).

Для того, щоб права частина була статистикою (не залежала вiд θ), єєдиний спосiб обрати сталу: c = θ(1− θ)/n. При такому виборi нерiвнiстьКрамера – Рао перетворюється на рiвнiсть.

Отже, у схемi Бернуллi оптимальною незмiщеною оцiнкою ймовiрностiуспiху θ є вiдносна частота успiхiв T ∗ = νn(X)/n = 1

n

∑nk=1 χk.

Вправи(1) Довести, що при |Θ| > 1 в класi всiх оцiнок параметра θ не iснує такої,

що має рiвномiрно найменше середньоквадратичне вiдхилення.(2) У схемi випробувань Бернуллi розглянемо такi функцiї вiд частоти успi-

хiв: Tαβ = (νn(X) + α)/(n + β), α, β ∈ R. (а) Обчислити квадратичне вiдхи-лення Tαβ вiд θ. (б) Довести, що при α =

√n/2 та β =

√n це вiдхилення не

залежить вiд θ i дорiвнює (2√

n + 2)−2. (в) Порiвняти його з таким же вiдхиле-нням для T ∗.

(3) Нехай X = (ξ1, ..., ξn) – кратна вибiрка з експоненцiйного розподi-лу Exp(θ). Довести, що оптимальна незмiщена оцiнка для значення функцiїexp(−θx) дорiвнює (max(0, 1− x/Sn))n , де Sn = ξ1 + ... + ξn.

3.7.6. Нерiвнiсть Крамера – Раодля векторного параметра

Означення. Нехай параметр θ ∈ Θ ⊂ Rd – векторний, тодi функцiявпливу також є вектором-стовпчиком

U(X, θ) ≡(

Ui(X, θ) ≡ ∂

∂θi

ln L(X, θ), i = 1, d

).


Iнформацiйною матрицею за Фiшером вибiрки X називається коварiа-цiйна матриця векторної функцiї впливу:

I(θ) ≡ Covθ U(X, θ) = IEθU(X, θ)U ′(X, θ) =(Cov(Ui(X, θ), Uj(X, θ)), i, j = 1, d

).

Як i у скалярному випадку, матриця iнформацiї для кратних вибiрокмає властивiсть адитивностi та центрованостi. Доведення цих властиво-стей проводиться цiлком аналогiчно, тому не наводиться.

Приклад. Розглянемо кратну вибiрку X = (ξ1, ..., ξn) iз нормальнихспостережень ξk ' N(µ, σ2), невiдомий параметр θ = (µ, σ2), dim θ = 2.Не зважаючи на форму запису, вважатимемо σ2 незалежною змiнною.Логарифм функцiї вiрогiдностi вибiрки має такий вигляд

ln L(X, θ) = −n

2ln 2πσ2 − 1

2σ2

∑n

k=1(ξk − µn + µn − µ)2 =

−n

2ln 2π − n

2ln σ2 − n

2σ2

(σ2

n + (µn − µ)2).

Звiдси знаходимо координати функцiї впливу

U1(X, θ) =n(µn − µ)

σ2,

U2(X, θ) = − n

2σ2+

n

2σ4

(σ2

n + (µn − µ)2).

За теоремою про моменти вибiркових моментiв обчислюємо

I11(θ) =n2

σ4IDθµn =

n

σ2.

Вправа. Знайдiть iншi елементи iнформацiйної матрицi, якщо вiдомо, щостатистики µn i σ2

n незалежнi.

Теорема (нерiвнiсть Крамера – Рао для векторного параметра).Припустимо, що dim Θ = d > 1, та iнформацiйна матриця за ФiшеромI(θ) є невиродженою.

(а) Нехай T = T (X) ∈ Γτ – незмiщена оцiнка скалярної функцiї τ(θ)i виконанi умови регулярностi. Тодi має мiсце нерiвнiсть

IEθ(T − τ)2 = IDθT ≥ τ ′θI−1(θ)τ θ, ∀θ ∈ Θ,

де τ θ(θ) = ddθ

τ(θ) – вектор градiєнта, τ ′θ – спряжений вектор-рядок.(б) Рiвнiсть у нерiвностi (а) має мiсце тодi й тiльки тодi, коли

T є лiнiйною функцiєю вiд функцiї впливу вибiрки, тобто для деякоїсталої c(θ) ∈ Rd:

T (X)− τ(θ) = c′(θ)U(X, θ) м.н., ∀θ ∈ Θ.


Зауваження. Твердження (а) теореми залишається справедливим iдля виродженої матрицi I(θ), якщо замiнити квадратичну форму в правiйчастинi (а) на такий вираз:

B(I(θ), τ θ) = supb∈Rd: b′I(θ)b>0(b′τ θ)

2 / b′I(θ)b.

Доведення. Як i у скалярному випадку, з умов нормованостi фун-кцiї вiрогiдностi та незмiщеностi на пiдставi умов регулярностi доводимототожностi

IEθU(X, θ) = 0, IEθ(T (X)− τ(θ))U(X, θ) = τ θ(θ).

Оберемо довiльне b ∈ Rd. Скалярно помножимо другу тотожнiсть наb i скористаємося нерiвнiстю Кошi та теоремою про дисперсiю лiнiйноїформи вiд випадкового вектора :

(b′τ θ)2 = (b′IEθ(T − τ)U(X, θ))2 = (IEθ(T − τ)b′U(X, θ))2 ≤

IEθ(T − τ)2 IEθ(b′U(X, θ))2 = IDθT IDθ(b

′U(X, θ)) = IDθT b′I(θ)b.

Звiдси виводимо нерiвнiсть

IDθT ≥ (b′τ θ)2 / b′I(θ)b = τ ′θI

−1(θ)τ θ,

де остання рiвнiсть досягається при b = I−1(θ)τ θ. Умова рiвностi випливаєз зауваження про рiвнiсть у нерiвностi Кошi.

Твердження зауваження для виродженої iнформацiйної матрицi дiста-немо пiсля переходу до верхньої межi за b в останнiй нерiвностi ¡

3.7.7. Ефективнi оцiнки параметрiвнормальних спостережень

Оцiнювання середнього при вiдомiй дисперсiї

Нехай X = (ξ1, ..., ξn) – кратна вибiрка з нормальним розподiлом спо-стережень: ξk ' N(µ, σ2), де дисперсiя σ2 вiдома, а середнє µ = θ требаоцiнити. Логарифмiчна функцiя вiрогiдностi має вигляд

ln L(X, θ) = −n

2ln 2π − n

2ln σ2 − 1

2σ2

∑n

k=1(ξk − µ)2 =

−n

2ln 2π − n

2ln σ2 − n

2σ2(µ2n − 2µnµ + µ2).

де µn – вибiркове середнє, µ2n – другий нецентральний вибiрковий мо-мент. Звiдси знаходимо функцiю впливу

U(X, θ) =n

σ2(µn − µ).


За критерiєм ефективностi Крамера – Рао оптимальна оцiнка µ повинназадовольняти рiвняння

T ∗ − µ = cn

σ2(µn − µ) = µn − µ,

що має мiсце при виборi c = σ2/n. Отже, вибiркове середнє T ∗ = µn єоптимальною оцiнкою середнього при вiдомiй дисперсiї.

Оцiнювання дисперсiї при вiдомому середньому

Розглянемо нормальну кратну вибiрку X = (ξ1, ..., ξn), ξk ' N(µ, σ2),де вiдоме середнє µ, а дисперсiя σ2 = θ оцiнюється. У цьому випадкуфункцiя впливу має вигляд

U(X, θ) = − n

2σ2+

n

2σ4(µ2n − 2µnµ + µ2).

Вибором множника c = 2σ4/n забезпечується рiвнiсть T − σ2 = cUу критерiї ефективностi Крамера – Рао, а оптимальна оцiнка дорiвнюєвибiрковiй дисперсiї з урахуванням вiдомого середнього

T ∗ = σ2n = µ2n − 2µnµ + µ2 =

1

n

∑n

k=1(ξk − µ)2.

Оцiнювання середнього при невiдомiй дисперсiї

Розглянемо нормальну кратну вибiрку X = (ξ1, ..., ξn), ξk ' N(µ, σ2),де невiдомi як µ, так i σ2, параметр θ = (µ, σ2), а оцiнюється середнє µ= τ(θ). У цьому випадку координати функцiї впливу мають вигляд

U1(X, θ) =n

σ2(µn − µ),

U2(X, θ) = − n

2σ2+

n

2σ4(µ2,n − 2µnµ + µ2).

Оберемо векторну сталу c = (c1, c2) = (σ2/n, 0). Тодi у критерiї (б)нерiвностi Крамера – Рао для векторного параметра

T ∗ − µ = c1U1(X, θ) + c2U2(X, θ) = µn − µ

має мiсце рiвнiсть для T ∗ = µn, тобто вибiркове середнє є оптимальноюоцiнкою i при невiдомiй дисперсiї.


3.7.8. Ефективнi оцiнки для експоненцiйної моделi

Iнтегруванням рiвняння ∂∂θ

ln L(X, θ) = (T (X) − τ(θ))/c(θ) з критерiюефективностi Крамера-Рао отримуємо експоненцiйну модель розподiлiв.

Нехай Θ ⊂ Rd, X = (ξ1, ..., ξn) – кратна вибiрка, причому щiльнiстьодного спостереження має вигляд

f(y, θ) = exp(b′(θ)a(y) + c(y) + d(θ)),

де a, b – векторнi функцiї однакової розмiрностi, а функцiї b, d – диферен-цiйовнi за векторним параметром θ. За теоремою про функцiю вiрогiдностiкратної вибiрки

ln L(X, θ) = nb′(θ)A(X) + C(X) + nd(θ),

A(X) ≡ 1

n

∑n

k=1a(ξk), C(X) ≡

∑n

k=1c(ξk),

тому з урахуванням позначення β(θ) ≡ ∂b(θ)/∂θ :

U(X, θ) = nβ′(θ)A(X) + n∂d(θ)/∂θ.

Припустимо, що виконанi умови регулярностi (основна умова автома-тично випливає з додатностi експоненцiйної функцiї на всiй числовiй осi).За теоремою про центрованiсть функцiї впливу звiдси отримуємо

U(X, θ) = nβ′(θ)(A(X)− α(θ)), α(θ) ≡ IEθA(X) = IEθa(ξ1).

Оскiльки вектор A(X) є сумою незалежних у сукупностi, однаковорозподiлених векторiв, то iнформацiйна матриця за Фiшером дорiвнює

I(θ) = n2β′(θ)CovθA(X)β(θ) = nβ′(θ)V (θ)β(θ), V (θ) ≡ Covθa(ξ1).

Рiвнiсть у критерiї ефективностi Крамера – Рао для оцiнювання невi-домої функцiї τ(θ) має вигляд

T (X)− τ(θ) = nc′(θ)β′(θ)(A(X)− α(θ)),

та виконується тодi й тiльки тодi, коли nc′(θ)β′(θ) = γ′ для всiх θ та де-якого сталого вектора γ. Очевидно, що для iснування вiдповiдної функцiїc(θ) достатньо невиродженостi матрицi β(θ), ∀θ. У цьому випадку ефе-ктивна оцiнка (одночасно оптимальна ) значення τ(θ) iснує та дорiвнює

T ∗(X) = γ′A(X) =1

n

∑n

k=1γ′a(ξk),

причому τ(θ) = γ′α(θ) = IEθT∗(X) = IEθγ

′a(ξ1). Дисперсiя цiєї оцiнкидорiвнює IDθT

∗(X) = IDθγ′a(ξ1)/n = γ′V (θ)γ/n.

Вправи

3.8. Достатнi статистики та оптимальнiсть 373

(1) Розподiли: бiномiальний, Пуассона, негативний бiномiальний, експонен-цiйний, багатовимiрний нормальний пiдпорядковуються експоненцiйнiй моделi.

(2) Для векторної функцiї τ(θ) в умовах попередньої теореми та для її не-змiщеної оцiнки T = T (X) ∈ Γτ матриця Covθ(T (X) − τ(θ)) − τ ′θI

−1(θ)τ θ

невiд’ємно визначена, зокрема, має невiд’ємнi дiагональнi елементи.(3) Нехай X = (ξ1, ..., ξn) – кратна вибiрка з логiстичною щiльнiстю спо-

стережень f(y, θ) = exp(θ − y)(1 + exp(θ − y))−2, y ∈ R, θ ∈ R. Довести, що:(а) вибiркове середнє µn є незмiщеною оцiнкою для θ з дисперсiєю π2/3n, (б)функцiя iнформацiї дорiвнює In(θ) = n/3, тобто вибiркове середнє у даному разiне є ефективною оцiнкою, хоча має непогану ефективнiсть 9/π2.

3.8. Достатнi статистики та оптимальнiсть

Означення. Статистика T = T (X) називається достатньою стати-стикою для вибiрки X, якщо для деяких вимiрних невiд’ємних функцiйg, h, j вибiркова функцiя вiрогiдностi має вигляд

L(X, θ) = g(T (X), θ) h(X) j(θ) м.н. ∀θ ∈ Θ.

Зауважимо, що на розмiрнiсть достатньої статистики обмеження ненакладаються, однак при виборi цiєї статистики доцiльно мiнiмiзуватиїї розмiрнiсть. В кожному разi, достатнi статистики напевне iснують.Наприклад, статистика T (X) = X завжди є достатньою: досить обратиg = L, h ≡ 1, j ≡ 1.

Якщо достатня статистика S має вигляд S(X) = f(T (X)) для вимiрноїфункцiї f, то за означенням статистика T – також достатня.

Означення. Достатня статистика S = S(X) називається мiнi-мальною достатньою, якщо для кожної достатньої статистики Tзнайдеться невипадкова вимiрна функцiя f така, що S = f(T ) м.н.

3.8.1. Приклади достатнiх статистик

1. Пуассонiвська вибiрка. Якщо X – n-кратна вибiрка з розподiломПуассона, ξ1 ' Π(λ), то

ln L(X, θ) = ln∏n

k=1

λξk

ξk!exp(−λ) = (ln λ)

∑n

k=1ξk −

∑n

k=1ln(ξk!)− nλ,

отже, iснує скалярна достатня статистика T (X) = µn ≡ 1n

∑nk=1 ξk.


2. Рiвномiрна вибiрка. Якщо X – n-кратна вибiрка з ξ1 ' U(a, b), то

L(X, θ) = (b− a)−n 1Ia < min ξk, max ξk < b.

Отже, достатньою є двовимiрна статистика

T (X) = (min1≤k≤n ξk, max1≤k≤n ξk) =(ξ(1), ξ(n)

).

3. Нормальна вибiрка. Якщо X – n-кратна вибiрка з ξ1 ' N(µ, σ2), то

ln L(X, θ) = −n

2ln 2π − n

2ln σ2 − n

2σ2

(µ2n − 2µnµ + µ2

).

Пара (µn, µ2n) утворює достатню статистику, так само як ї (µn, σ2n) –

оскiльки мiж цими парами статистик є iзоморфiзм.

3.8.2. Умовний розподiл вибiрки

Теорема (про критерiй достатностi статистики). Статистика T (X)є достатньою статистикою тодi й тiльки тодi, коли умовний розподiл

IPθ(X = x | T (X) = t) = l(x, t)

не залежить вiд θ.Доведення проведемо в припущеннi, що вибiрка є дискретним ви-

падковим вектором. В цьому випадку функцiя вiрогiдностi є дискретнимрозподiлом вибiрки: IPθ(X = x) = L(x, θ), ∀x ∈ S, ∀θ ∈ Θ.

Достатнiсть. Для заданого x визначимо t = T (x). Тодi за означеннямl(x, t) як умовної ймовiрностi

L(x, θ) = IPθ(X = x) = IPθ(X = x, T (X) = t) =

IPθ(T (X) = t)l(x, t) = g(t, θ)l(x, t) = g(T (x), θ)l(x, T (x)),

що доводить зображення у означеннi достатньої статистики.Необхiднiсть. Зауважимо, що вказана умовна ймовiрнiсть дорiвнює

нулю та не залежить вiд θ, якщо T (x) 6= t. Отже, можна припустити, щоT (x) = t. За означенням умовної ймовiрностi

IPθ(X = x | T (X) = t) =IPθ(X = x, T (X) = t)

IPθ(T (X) = t)=

IPθ(X = x, T (x) = t)

IPθ(T (X) = t)= L(x, θ) /

∑y: T (y)=t

L(y, θ) =

g(T (x), θ) h(x) j(θ) /∑

y: T (y)=tg(T (y), θ) h(y) j(θ) =

g(t, θ)h(x) /∑

y: T (y)=tg(t, θ) h(y) = h(x) /

∑y: T (y)=t

h(y) = l(x, t),

оскiльки має мiсце зображення T (X) = t = ∪y: T (y)=tX = y ¡


3.8.3. Достатнiсть та оптимальнiсть

Теорема (про дисперсiю функцiї вiд достатньої статистики). Не-хай T = T (X) – достатня статистика, а T0 ∈ Γτ – довiльна незмiщенаоцiнка функцiї τ(θ). Тодi знайдеться функцiя T1(X) = H0(T (X)) вiддостатньої статистики T (X), яка також є незмiщеною оцiнкою дляτ(θ) та має не бiльшу дисперсiю, нiж T0, при кожному θ ∈ Θ.

Доведення. Нехай T0 ∈ Γτ – довiльна незмiщена оцiнка. Розглянемофункцiю, що задає умовне сподiвання T0:

H0(t) = IEθ(T0(X) | T (X) = t) ≡ IEθ

(T0(X) 1IT (X) = t

)

IPθ(T (X) = t)=

IEθ

∑x∈S

T0(x) 1IX=x, T (X)=t/ IPθ(T (X) = t) =∑

x∈ST0(x) IPθ(X = x | T (X) = t) =

∑x∈S

T0(x) l(x, t),

та за теоремою про критерiй достатностi статистики не залежить вiд θ.Визначимо статистику

T1(X) = H0(T (X)).

Вона є незмiщеною, оскiльки за формулою повної ймовiрностi та за озна-ченням функцiй H0(t) i l(x, t)

IEθT1(X) = IEθH0(T (X)) =∑

t H0(t) IPθ(T (X) = t) =∑

t

(∑x∈S T0(x) l(x, t)

)IPθ(T (X) = t) =

∑x∈S T0(x)

∑t IPθ(X = x | T (X) = t) IPθ(T (X) = t) =

∑x∈S T0(x)IPθ(X = x) = IEθT0(X) = τ(θ), ∀θ ∈ Θ.

Далi, обчислимо дисперсiю

IDθT0 = IEθ(T0 −H0(T ) + H0(T )− τ(θ))2 = IEθ(T0 −H0(T ))2+

2IEθ(T0 −H0(T ))(H0(T )− τ(θ)) + IDθH0(T ) ≥ IDθH0(T ) = IDθT1,

оскiльки за означенням H0(t) математичне сподiвання добутку – нульове:

IEθ(T0 −H0(T ))(H0(T )− τ(θ)) =∑

t IEθ (T0 −H0(T )) (H0(T )− τ(θ)) 1IT = t =∑

t IEθ (T0 −H0(t)) (H0(t)− τ(θ)) 1IT = t =∑

t

(IEθT0 1IT = t −H0(t)IPθ(T = t)

)(H0(t)− τ(θ)) =

∑t (IEθ(T0/T = t)−H0(t)) IPθ(T = t) (H0(t)− τ(θ)) = 0.


Отже, IDθT0 ≥ IDθT1 для довiльної незмiщеної оцiнки T0 ¡Теорема (теорема Рао – Блекуела – Колмогорова). Якщо iснує

оптимальна оцiнка T ∗ ∈ Γτ , а T = T (X) – деяка достатня статистика,то T ∗ є вимiрною функцiєю вiд цiєї статистики: T ∗ = H∗(T ) м.н.

Доведення. Оберемо в теоремi про дисперсiю функцiї вiд достатньоїстатистики незмiщену оцiнку T0 ≡ T ∗, звiдки IDθT

∗ ≥ IDθH0(T ) для вимiр-ної функцiї H0, що побудована в цiй теоремi, причому H0(T ) ∈ Γτ . Однакза означенням оптимальної оцiнки IDθH0(T ) ≥ IDθT

∗. Отже, обидвi нерiв-ностi є рiвностями для всiх θ i кожна з оцiнок T ∗, H0(T ) є оптимальною.З теореми про єдинiсть оптимальної оцiнки виводимо: T ∗ = H∗(T ) м.н.при H∗ ≡ H0 ¡

Означення. Статистика T = T (X) називається повною статисти-кою, якщо для кожної вимiрної функцiї ϕ(·) з тотожностей

IEθ ϕ(T ) = 0, ∀θ ∈ Θ,

випливає, що ϕ(T ) = 0 майже напевне .

Теорема (про оптимальнiсть повної достатньої статистики). Якщоiснує повна достатня статистика, то довiльна вимiрна функцiя вiд неї єоптимальною оцiнкою свого математичного сподiвання.

Доведення. Нехай T = T (X) – повна достатня статистика, а g – ви-мiрна функцiя. Визначимо функцiю τ(θ) = IEθg(T (X)). Якщо T0 ∈ Γτ –довiльна незмiщена оцiнка для значення τ = τ(θ), то внаслiдок теоре-ми про дисперсiю функцiї вiд достатньої статистики знайдеться вимiрнафункцiя H0 (що визначається через T0) така, що статистика T1 ≡ H0(T )знову є незмiщеною, причому IDθT1 ≤ IDθT0, ∀θ ∈ Θ. За умовою незмi-щеностi IEθT1 = IEθH0(T ) = τ(θ), де за означенням τ(θ) = IEθg(T ). ЗвiдсиIEθ(H0(T )−g(T )) = 0, ∀θ ∈ Θ. Тому з повноти T випливає H0(T )−g(T ) = 0м.н., тобто T1 ≡ H0(T ) = g(T ) м.н., причому функцiя g вже не залежитьвiд вибору T0. Отже, IDθg(T ) ≤ IDθT0, ∀θ ∈ Θ, ∀T0 ∈ Γτ , тобто g(T ) –оптимальна незмiщена оцiнка для τ(θ) ¡

Приклад. Рiвномiрна на [0, θ] вибiрка (iснування суперефективноїоптимальної оцiнки в нерегулярнiй моделi). Нехай X – кратна вибiрказ рiвномiрним розподiлом ξk ' U(0, θ), k = 1, n, θ ∈ Θ = R+. Як зробленовище в прикладi достатнiх статистик, перевiряємо, що в даному випадкустатистика T (X) = max ξk є достатньою. Її функцiя розподiлу дорiвнюєIPθ(T < x) = (x/θ)n, 0 ≤ x ≤ θ. Ця статистика є повною, оскiльки зIEθϕ(T ) = θ−n

r θ

0ϕ(x)nxn−1dx = 0, ∀θ > 0, випливає, що ϕ(x) = 0 майже

для всiх x ≥ 0 та ϕ(T ) = 0 м.н.


Отже, статистика T (X) = max ξk є оптимальною незмiщеною оцiнкоюсвого математичного сподiвання IEθ T (X) = τ(θ) = nθ

n+1. Слiд зазначити,

що дисперсiя цiєї оцiнки дорiвнює (вправа)

IDθT = θ2n/(n + 2)(n + 1)2 = O(1/n2), n →∞,

i має суттєво вищий порядок малостi, нiж гарантує нерiвнiсть Крамера –Рао. Цей факт пов’язаний з тим, що в данiй схемi не виконується умоварегулярностi, тому критерiй Крамера – Рао не може бути застосований.

Вправи(1) Статистика ϕ(T ) для достатньої статистики T та бiєкцiї ϕ є достатньою.(2) Для наведених прикладiв знайти умовний розподiл X за умови T = t.(3) Для кратної нормальної вибiрки з невiдомими середнiм та дисперсiєю

(µ, σ2) (а) довести, що вибiрковi середнє та дисперсiя утворюють повну достатнюстатистику, (б) знайти оптимальну оцiнку для Φ(−µ/σ).

(4) Для n-кратної нормальної вибiрки з невiдомими середнiм θ та одиничноюдисперсiєю довести, що оптимальна оцiнка для значення θk, k ∈ N, має вигляд(−1)kn−k/2Hk(−

√nµn), де Hk(x) ≡ (−1)k exp(x2/2) dk/dxk exp(−x2/2).

(5) Для n-кратної вибiрки з (а) геометричним розподiлом G(θ), (б) показни-

ковим розподiлом Exp(θ) вибiркова сума Sn є повною достатньою статистикою.(6) Для кратної вибiрки X = (ξ1, ..., ξn) iз гама-розподiлом ξk ' Γ(λ, α) пара

статистик (∑n

k=1 ξk,∑n

k=1 ln ξk) утворює повну достатню статистику. Знайтизвiдси оптимальнi оцiнки для (а) α/λ, (б) λ/(α− 1/n), (б) αk при заданих k таλ = 1.

(7) Для (а) бiномiальної, (б) пуассонiвської кратної вибiрки з параметромθ вибiркова сума Sn є повною достатньою статистикою. Зокрема, за умови (б)оптимальною оцiнкою для полiнома

∑mk=1 ckθ

k є статистика∑m

k=1 ckπk(Sn)n−k,де πk(s) ≡ s(s− 1)...(s− k + 1).

(8) Для кратної вибiрки X iз щiльнiстю f(y, θ) = (231Iy∈[0,θ) + 4

31Iy∈[θ,2θ))/2θ

iснує одновимiрна достатня статистика. Знайти її.(9) Для кратної вибiрки X iз неперервною функцiєю розподiлу спостережень

її варiацiйний ряд є повною достатньою статистикою.(10) Довести, що для кратної вибiрки X оптимальна оцiнка завжди є симе-

тричною функцiєю спостережень. Для цього довести, що дисперсiя симетризо-ваної оцiнки не перевищує дисперсiї вихiдної незмiщеної оцiнки.

(11) Нехай X = (ξ1, ..., ξn) – кратна вибiрка з степеневим розподiлом спо-стережень: IPθ(ξ1 = y) = a(y)θy/f(θ), y ∈ Z+, де θ ∈ Θ = (0, r) ⊂ R+,причому f(θ) =

∑y≥0 a(y)θy < ∞ для всiх θ < r. Довести, що: (а) статистика

T =∑n

k=1 ξk є достатньою, (б) розподiл T має аналогiчний степеневий вигляд,


(в) статистика T є повною. (г) Знайти оптимальну оцiнку для τ(θ) = θk.(12) Вибiрка X = (ξ1, ..., ξn) мiстить незалежнi ξj ' N(α + βcj, σ

2). Дове-

сти, що статистика(∑n

j=1 ξj,∑n

j=1 cjξj,∑n

j=1 ξ2j

)є повною достатньою.

(13) Для кратної вибiрки X iз щiльнiстю Кошi f(y) = (π(1 + (y − θ)2))−1

єдиною достатньою статистикою є X.(14) Довести, що статистика S є мiнiмальною достатньою статистикою для

вибiрки X тодi й тiльки тодi, коли σ[S] = ∩T – достатняσ[T ]. Вивести звiдсиiснування мiнiмальної достатньої статистики.

(15) Довести, що статистика S є мiнiмальною достатньою статистикою длявибiрки X, якщо для довiльної достатньої статистики T статистика S є доста-тньою для T. Знайти мiнiмальну достатню статистику: (a) у схемi Бернуллi, длящiльностей спостережень (б) 2(1− x/θ)+, (в) exp(−x + θ − exp(−x + θ)).

3.9. Оцiнки максимальної вiрогiдностi

Визначення оцiнки максимальної вiрогiдностi ґрунтується на принци-пi максимальної вiрогiдностi – ”те, що спостерiгається, є найбiльшiмовiрним серед усiх можливих альтернатив”.

Надалi будемо припускати, що вибiрка X задовольняє умову пiдпоряд-кованостi її розподiлу деякiй мiрi у вибiрковому просторi. За такої умовиповнiстю визначена вибiркова функцiя вiрогiдностi L(X, θ). Значення цiєїфункцiї i дають критерiй ”найбiльшої вiрогiдностi”.

Означення. Оцiнкою максимальної вiрогiдностi (ОМВ, EML) параме-тра θ за вибiркою X називається статистика, що максимiзує вибiрковуфункцiю вiрогiдностi L(X, θ) :

θ = θ(X) ≡ argmax θ∈Θ L(X, θ),

тобто це така статистика θ = θ(X), що задовольняє умову:

L(X, θ) ≤ L(X, θ), ∀θ ∈ Θ.

Для кратної вибiрки ОМВ позначається як θn, де n – об’єм вибiрки.Iнодi простiшим є обчислення ОМВ з еквiвалентного означення

θ = θ(X) ≡ argmax θ∈Θ ln L(X, θ),

що збiгається з основним через монотоннiсть логарифмiчної функцiї.Необхiдною умовою iснування ОМВ є припущення iснування точки

максимуму. ОМВ визначена однозначно за умови єдиностi цiєї точки.

3.9. Оцiнки максимальної вiрогiдностi 379

Теорема (про рiвняння максимальної вiрогiдностi). Якщо пара-метр є векторним: Θ ⊂ Rd, максимум в означеннi оцiнки максимальноївiрогiдностi досягається всерединi параметричної множини, а фун-кцiя вiрогiдностi диференцiйовна, то ОМВ задовольняє рiвняння ма-ксимальної вiрогiдностi:

∂

∂θln L(X, θ) |θ = θ = 0,

тобто ОМВ є коренем функцiї впливу U(X, θ) :

U(X, θ) = 0.

Якщо dim Θ = d > 1, то рiвняння максимуму вiрогiдностi є вектор-ним, i перетворюється на систему рiвнянь максимальної вiрогiдностiдля кожної координати вектора-градiєнта.

Зауваження. Для практичного обчислення ОМВ як кореня рiвнян-ня максимальної вiрогiдностi U(X, θ) = 0 часто використовують методНьютона – Рафсона, який складається з двох етапiв.

(1) Обирають довiльну конзистентну оцiнку θ(0)

= θ(0)

(X).

(2) Рекурентно при m ≥ 0 обчислюють θ(m+1)

= θ(m)−U(X, θ

(m))/I(θ

(m)).

Тут I(θ) – функцiя iнформацiї за Фiшером.

За певних умов послiдовнiсть θ(m)

м.н. збiгається до ОМВ.

3.9.1. Спiввiдношення з ефективними оцiнками.Iнварiантнiсть

Теорема (про спiввiдношення ОМВ з ефективними оцiнками).(а) Якщо параметр θ – скалярний i iснує його ефективна оцiнка θ

∗,

то iснує оцiнка максимальної вiрогiдностi θ, причому θ = θ∗.

(б) Якщо T – достатня статистика i iснує ОМВ θ, то остання євимiрною функцiєю вiд T : θ = H(T ).

Доведення(а) За теоремою про нерiвнiсть та критерiй Крамера – Рао (а саме,

за критерiєм (б) iснування θ∗) похiдна за аргументом θ вiд логарифмiчної

функцiї вiрогiдностi має вигляд

∂

∂θln L(X, θ) ≡ U(X, θ) = (θ

∗ − θ)/c(θ),


де функцiя c(θ) = τ θ/I(θ) = 1/I(θ) невiд’ємна. Тому логарифмiчна фун-кцiя вiрогiдностi зростає при θ < θ

∗i спадає при θ > θ

∗. Отже, найбiль-

шим є її значення при θ = θ∗i θ

∗є оцiнкою максимальної вiрогiдностi.

(б) Твердження випливає з факторизацiї функцiї вiрогiдностi за озна-ченням достатньої статистики :

θ = arg max θ∈Θ g(T (X), θ) h(X) j(θ) =

arg max θ∈Θ g(T (X), θ) j(θ) = H(T (X)),

оскiльки точка максимуму за θ не змiнюється при множеннi функцiї надодатну сталу h(X), а вираз для функцiї пiд другим знаком максимумузалежить лише вiд θ та T (X) ¡

Теорема (про iнварiантнiсть оцiнки максимальної вiрогiдностi).Нехай iснує оцiнка максимальної вiрогiдностi θ параметра θ, а функцiяq : Θ → Q є взаємно-однозначною. Тодi оцiнка q(θ) є оцiнкою макси-мальної вiрогiдностi для значення функцiї q(θ).

Доведення. Позначимо через θ(q) функцiю, обернену до q(θ).Функцiя вiрогiдностi через параметр q дорiвнює Lq(X, q) = L(X, θ(q))

i за умови однозначностi задовольняє тотожнiсть

Lq(X, q(θ)) = L(X, θ(q(θ))) = L(X, θ), ∀θ ∈ Θ.

Оскiльки множина q(θ), θ ∈ Θ = Q, то з означення ОМВ дiстаємо

Lq(X, q(θ)) = L(X, θ) ≤ L(X, θ) = Lq(X, q(θ)),

Lq(X, q) ≤ maxθ∈Θ Lq(X, q(θ)) ≤ Lq(X, q(θ)),

Данi нерiвностi є рiвностями при q = q(θ). Отже, q(θ) є ОМВ для q(θ) ¡

3.9.2. Приклади обчислення оцiнокмаксимальної вiрогiдностi

1. Схема Бернуллi:

argmax ln L(X, θ) = argmax ln θνn(X)(1− θ)n−νn(X) =

argmax(νn(X) ln θ + (n− νn(X)) ln(1− θ)) = νn(X)/n = θn.

2. Пуассонiвська вибiрка:


k=1

θξk

ξk!e−θ = ln θ

∑n

k=1ξk − nθ + ln h(X),

θn = argmax ln L(X, θ) =1

n

∑n

k=1ξk = µn.


3. Показникова вибiрка (змiщенiсть ОМВ ):


k=1θ exp(−θξk) = n ln θ − θ

∑n

k=1ξk,

θn = argmax ln L(X, θ) = n /∑n

k=1ξk = 1 / µn.

Оскiльки сума∑n

k=1 ξk має розподiл Ерланга з параметрами n, θ, то

IEθθn =w ∞

0

n

xθ

(θx)n−1

(n− 1)!exp(−θx)dx = θ

n

n− 16= θ ∀n ≥ 1 ∀θ > 0.

Отже, у загальному випадку не можна розраховувати на незмiщенiстьоцiнок максимальної вiрогiдностi.

4. Нормальна вибiрка. Як показано вище в роздiлi про оцiнюваннясереднього для нормальних спостережень,

ln L(X, θ) +n

2ln 2π = −n

2ln σ2 − n

2σ2(µ2n − 2µnµ + µ2) =

−n

2ln σ2 − n

2σ2

(µ2n − (µn)2 + (µn − µ)2

)=

−n

2ln σ2 − n

2σ2(σ2

n + (µn − µ)2) ≤ −n

2ln σ2 − n

2σ2σ2

n =

−n

2

(ln σ2 +

1

σ2σ2

n

)≤ −n

2

(ln σ2

n +1

σ2n

σ2n

)= −n

2(ln σ2

n + 1),

оскiльки функцiя ln s + asнабуває найменшого значення при s = a. Данi

нерiвностi є рiвностями при µ = µn, σ2 = σ2n ≡ n−1

∑nk=1(ξk − µn)2. Тому

оцiнка максимальної вiрогiдностi параметра θ = (µ, σ2) дорiвнює

θn ≡ argmax ln L(X, θ) = (µn, σ2n).

Зокрема, за теоремою про iнварiантнiсть оцiнки максимальної вiро-гiдностi ОМВ для границь надiйного iнтервалу з правила трьох сигмадорiвнюють

µ± 3σ = µn ± 3

√σ2

n.

Зауваження. Метод максимальної вiрогiдностi можна застосовуватитакож для спостережень, що не є кратними вибiрками. Наприклад, у ви-падку цензурування даних для k вимiрювань з загальної кiлькостi n мо-жуть бути вiдомi точнi значення (ξ1, ..., ξk), а решта n−k вимiрювань моглаб привести до перевищення шкали приладу – тобто вiдомою є тiльки iн-формацiя щодо ξj > x, j = k + 1, n, при заданому рiвнi цензурування x.В такому разi функцiя вiрогiдностi матиме вигляд

L(X, θ) =(∏k

j=1f(ξj, θ)

)(w ∞x

f(y, θ)dy)n−k

.


Вправи(1) Довести, що ОМВ центра симетрiї θ розподiлу, що має щiльнiсть Лапласа:

(1/2) exp(− |x− θ|), збiгається з вибiрковою медiаною.

(2) Знайти ОМВ параметрiв кратної вибiрки з логнормальним розподiлом.

(3) Кратна вибiрка X утворена спостереженнями з розподiлом N(θ, 2θ). До-

вести, що ОМВ для θ має вигляд√

1 +∑n

k=1 ξ2k /n− 1 i є конзистентною.

(4) Обчислити ОМВ значення функцiї τ(θ) = Φ(−µ/σ) ≡ IPθ(ξ1 < 0) длянормальної кратної вибiрки X = (ξ1, ..., ξn), ξk ' N(µ, σ2) iз невiдомим па-раметром θ = (µ, σ2). Знайти асимптотичний розподiл для цiєї оцiнки пiсля їїцентрування на τ(θ) та нормування на

√n.

(5) Популяцiя бегемотiв мiстить невiдому кiлькiсть N особин. Випадковообранi n з них були помiченi та вiдпущенi. З числа m наступних випадкововiдловлених особин виявилось k помiчених. Знайти ОМВ для N.

(6) Знайти ОМВ для невiдомої кiлькостi спостережень n за бiномiальноюодноелементною вибiркою X ' B(n, p).

(7) Функцiя вiрогiдностi L(X, θ) неперервна за θ, а ОМВ θn визначена одно-

значно та є достатньою статистикою. Довести, що θn – мiнiмальна достатня.

(8) Довести, що ОМВ для вибiрки з рiвномiрним розподiлом U(θ, 1 + θ)утворюють цiлий iнтервал.

(9) Спостерiгаються випадковi величини ξk ' N(θk, 1), k = 1, 2. (а) знайтиОМВ для θ = (θ1, θ2), (б) знайти вказану ОМВ у припущеннi, що θ1 ≤ θ2.

(10) Вибiрка має умовний розподiл Пуассона IP(ξ = n | ξ ≥ 1), n ∈ N, деξ ' Π(λ). Довести, що ОМВ для λ збiгається з оцiнкою методу моментiв.

(11) Незалежнi кратнi вибiрки X = (ξ1, ..., ξn), Y = (ζ1, ..., ζm) мають роз-подiли N(µ1, σ

2) та N(µ2, σ2) вiдповiдно. Знайти ОМВ для θ = (µ1, µ2, σ

2).

(12) Нехай (ξ1, ..., ξn) – кратна вибiрка розмiру n з розподiлу зi щiльнiстюf(y, θ) = αϕ((y − µ)/σ)/σ + (1 − α)ϕ(y − µ), де ϕ – стандартна нормальнащiльнiсть розподiлу. Довести, що ОМВ для параметра θ = (µ, σ2) не iснує.

3.9.3. Умови конзистентностi ОМВ

Нехай X = (ξ1, ..., ξn) – кратна вибiрка зi щiльнiстю f(y, θ) одногоспостереження, тобто IPθ(ξ1 ∈ B) =

rB

f(y, θ)ν(dy), ∀B ∈ B.

У даному роздiлi через θ0 позначимо iстинне значення параметра θ.

Розглянемо такi умови конзистентностi ОМВ:(c1) Для всiх θ 6= θ0 вiдношення f(y, θ)/f(y, θ0) не дорiвнює майже


скрiзь одиницi на просторi значень спостережень y ∈ R – тобто

ν (y : f(y, θ) 6= f(y, θ0)) > 0, ∀θ 6= θ0.

(c2) Параметрична множина Θ є компактною пiдмножиною Rd.(с3) При кожному y функцiя f(y, ·) є строго додатною та неперерв-

но диференцiйовною за θ, причому величини ln f(ξ1, θ) та ∂ ln f(ξ1, θ)/∂θмажоруються iнтегровною випадковою величиною η :

|ln f(ξ1, θ)| ≤ η, |∂ ln f(ξ1, θ)/∂θ| ≤ η, ∀θ ∈ Θ, IEθ0η < ∞.

3.9.4. Iнформацiя за Кульбаком

Означення. Функцiєю iнформацiї за Кульбаком називається функцiя

I(θ, θ0) = − IEθ0 lnf(ξ1, θ)

f(ξ1, θ0).

Теорема (про властивостi iнформацiї за Кульбаком). За умов кон-зистентностi ОМВ iнформацiя за Кульбаком має такi властивостi.

(а) I(θ, θ0) ≥ 0,(б) I(θ, θ0) = 0 тодi й тiльки тодi, коли θ = θ0,(в) I(θ, θ0) неперервна за θ.Доведення. Розглянемо випадкову величину

ζ = f(ξ1, θ) / f(ξ1, θ0).

За формулою з теореми про обчислення математичного сподiвання функцiївiд випадкової величини та з означення щiльностi f(y, θ) обчислимо

IEθ0ζ =w

R

f(y, θ)

f(y, θ0)f(y, θ0)ν(dy) =

wR

f(y, θ)ν(dy) = IPθ(ξ1 ∈ R) = 1.

З опуклостi функцiї ln x виводимо для функцiї h(x) ≡ x − 1− ln xелементарну нерiвностi h(x) ≥ 0 при x ∈ R+ та h(x) > 0 при x 6= 1. Звiдкиза невiд’ємнiстю математичного сподiвання

I(θ, θ0) = − IEθ0 ln ζ = IEθ0(ζ − 1− ln ζ) = IEθ0h(ζ) ≥ 0.

За властивiстю позитивностi математичного сподiвання вiд невiд’ємноїненульової м.н. випадкової величини h(ζ) iнформацiя за Кульбаком I(θ, θ0)дорiвнює нулю тодi й тiльки тодi, коли h(ζ) = 0 м.н. Останнє рiвнянняеквiвалентне ζ = 1 м.н., тобто умовi IPθ0(ξ1 ∈ y : f(y, θ) 6= f(y, θ0)) = 0.Тому f(y, θ) = f(y, θ0) майже для всiх y за мiрою ν на просторi зна-чень спостережень. За умовою конзистентностi (c1) остання властивiстьеквiвалентна рiвностi θ = θ0.


Неперервнiсть I(θ, θ0) випливає з неперервностi щiльностi спостере-жень та з теореми Лебега про мажоровану збiжнiсть :

limn→∞

I(θn, θ0) = − limn→∞

IEθ0 lnf(ξ1, θn)

f(ξ1, θ0)= −IEθ0 lim

n→∞ln

f(ξ1, θn)

f(ξ1, θ0)= I(θ, θ0),

при θn → θ, оскiльки величини пiд знаком математичного сподiвання заумов конзистентностi не перевищують iнтегровну величину 2η ¡

3.9.5. Конзистентнiсть ОМВ

Теорема (про строгу конзистентнiсть ОМВ). За умов конзистентно-стi ОМВ (с1-с3) оцiнка максимальної вiрогiдностi θn параметра θ закратною вибiркою X iснує i є строго конзистентною.

Доведення. Iснування ОМВ є очевидним наслiдком теореми про фун-кцiю вiрогiдностi кратної вибiрки, звiдки випливає неперервнiсть за θфункцiї вiрогiдностi, та компактностi параметричної множини Θ.

Для доведення конзистентностi позначимо

χk(θ) = lnf(ξk, θ0)

f(ξk, θ), χk(U) = infθ∈U χk(θ), k = 1, n,

де U ⊂ Θ – деяка параметрична пiдмножина.Зауважимо, що величини (χk(θ)), (χk(U)) незалежнi в сукупностi та

однаково розподiленi при рiзних k всерединi кожної послiдовностi за тео-ремами про перетворення незалежних величин та про обчислення розпо-дiлу функцiї вiд випадкової величини, i за означенням

I(θ, θ0) = IEθ0χ1(θ) ≥ 0.

Крiм того, з умов (с2)-(с3) випливає, що

χ1(U) = χ1(θ(U)) →P1 χ1(θ), U ↓ θ,оскiльки при θ ∈ U

|χ1(U)− χ1(θ)| ≤ (diamU) supθ∈U

|∂ ln f(ξ1, θ)/∂θ| ≤ η diamU.

Тому за теоремою Лебега про мажоровану збiжнiсть

IEθ0 χ1(U) → IEθ0 χ1(θ) = I(θ, θ0) > 0, U ↓ θ, ∀θ 6= θ0.

Бiльше того, з умови мажорованостi похiдної виводимо, що

0 ≤ IEθ0 χ1(θ)− IEθ0 χ1(U) ≤ IEθ0 |χ1(U)− χ1(θ)| ≤(diamU) IEθ0 supθ∈U |∂ ln f(ξ1, θ)/∂θ| ≤ K diamU,


де стала K = IEθ0η < ∞ за умовою (с3).Нехай ε > 0. Визначимо компактну внаслiдок (с2) множину

Θ(ε) ≡ Θ ∩ θ : |θ − θ0| ≥ ε.З неперервностi функцiї iнформацiї за Кульбаком та з компактностi Θ(ε)виводимо додатнiсть величини

α ≡ inf θ∈Θ(ε) I(θ, θ0) > 0.

Дiйсно, при α = 0 у множинi Θ(ε) знайдеться точка θ (часткова грани-ця для мiнiмiзуючої послiдовностi), в якiй I(θ, θ0) = 0, що суперечитьтвердженню (б) теореми про властивостi iнформацiї за Кульбаком.

Оскiльки множина Θ(ε) – компактна, то за теоремою про вiдкритепокриття компакту для довiльного δ > 0 знайдеться її скiнченне покриттяU(δ) = (Uj(δ), j = 1,m), Θ(ε) = ∪m

j=1Uj(δ), iз дiаметром diamUj(δ) ≤ δ.Оберемо δ < α/2K. Тодi за наведеною вище нерiвнiстю та за означеннямнижньої межi при виборi довiльних θj ∈ Uj

IEθ0 χ1(Uj(δ)) ≥ IEθ0 χ1(θj)− |IEθ0χ1(Uj(δ))− IEθ0χ1(θj)| ≥I(θj, θ0)−K diamUj(δ) ≥ α−Kδ ≥ α/2 > 0, ∀j = 1,m.

З виконання строгих нерiвностей L(X, θ0) > L(X, θ) для всiх θ ∈ Θ(ε)випливає, що максимум функцiї L(X, θ) за аргументом θ досягається позамножиною Θ(ε), адже θ0 /∈ Θ(ε). Тому з теореми про функцiю вiрогiдностiкратної вибiрки та з означення величин χk(θ) виводимо, що

|θn − θ0| < ε

= arg maxθ∈Θ L(X, θ) /∈ Θ(ε) ⊃

infθ∈Θ(ε)

L(X,θ0)L(X,θ)

> 1

=

infθ∈Θ(ε) ln L(X,θ0)

L(X,θ)> 0

=

infθ∈Θ(ε)

∑nk=1 ln f(ξk,θ0)

f(ξk,θ)> 0

=

infθ∈Θ(ε)

∑nk=1 χk(θ) > 0

=

min1≤j≤.m inf θ∈Uj(δ)

∑nk=1 χk(θ) > 0

.

Отже, за монотоннiстю ймовiрностi

IPθ0

(|θn − θ0| < ε

)≥ IPθ0

(min1≤j≤m infθ ∈ Uj(δ)

∑nk=1 χk(θ) > 0

) ≥

IPθ0 (min1≤j≤.m

∑nk=1 χk(Uj(δ)) > 0) =

IPθ0

(⋂mj=1

1n

∑nk=1 χk(Uj(δ)) > 0

)→ 1, n →∞,


оскiльки за критерiєм Колмогорова посиленого закону великих чисел прикожному j має мiсце збiжнiсть

1

n

∑n

k=1χk(Uj(δ)) →P1 IEθ0 χ1(Uj(δ)) ≥ α/2 > 0, n →∞,

а скiнченний перерiз подiй одиничної ймовiрностi має ймовiрнiсть 1.

Отже, IPθ0

(|θn − θ0| < ε

)→ 1, n →∞,∀ε > 0, i ОМВ – конзистентна.

Застосувавши наведенi вище мiркування до подiй

limn→∞|θn − θ0| < ε

⊃ limn→∞

⋂m

j=1

1

n

∑n

k=1χk(Uj(δ)) > 0

,

аналогiчно отримуємо нерiвнiсть

IPθ0

(limn→∞

|θn − θ0| < ε

)≥

IPθ0

(limn→∞

⋂mj=1

1n

∑nk=1 χk(Uj(δ)) > 0

),

де права частина дорiвнює 1 за критерiєм Колмогорова посиленого законувеликих чисел. Оскiльки при кожному ε > 0

limn→∞|θn − θ0| ≥ 2ε

⊂ limn→∞

|θn − θ0| ≥ ε

,

де подiя справа має нульову ймовiрнiсть, то θn →P1 θ0, що i доводитьстрогу конзистентнiсть ОМВ ¡

3.9.6. Асимптотична нормальнiстьi ефективнiсть ОМВ

У даному роздiлi припускатимемо, що параметрична множина Θ ⊂ R1.Теорема (про асимптотичну нормальнiсть ОМВ).Нехай X = (ξ1, ..., ξn) – кратна вибiрка, щiльнiсть одного спосте-

реження f(y, θ) задовольняє умови регулярностi, умови конзистентностiОМВ (с1-с3) та тричi неперервно диференцiйовна за θ, причому вiдпо-вiднi похiднi мажоруються за модулем iнтегровною величиною η :∣∣∂(i) ln f(ξ1, θ)/∂

(i)θ∣∣ ≤ η, i = 1, 3, IEθ0η < ∞.

Якщо ОМВ θn невiдомого параметра θ0 є розв’язком рiвняння ма-ксимальної вiрогiдностi, то ця оцiнка є асимптотично нормальною :

√n(θn − θ0) →W ζ ' N(0, 1/i(θ0)), n →∞,


де асимптотична дисперсiя визначається кiлькiстю iнформацiї за Фiше-ром, що мiститься в одному спостереженнi:

i(θ) ≡ IEθ

(∂

∂θln f(ξ1, θ)

)2

.

Зауваження. За теоремою про адитивнiсть.iнформацiї за Фiшеромповна iнформацiя за Фiшером у вибiрцi дорiвнює In(θ) = ni(θ), томуз даної теореми випливає асимптотична ефективнiсть ОМВ, оскiльки1/ni(θ0) = 1/In(θ0) збiгається з найменшою можливою межею для диспер-сiй незмiщених оцiнок параметра θ в теоремi про нерiвнiсть та критерiйКрамера – Рао.

Доведення. Розглянемо при i = 1, 3 такi випадковi величини:

U (i)(X, θ) = ∂(i) ln Ln(X, θ)/∂(i)θ,

ζ(i)k (θ) = u(i)(ξk, θ), де u(i)(y, θ) = ∂(i) ln f(y, θ)/∂(i)θ.

За теоремою про функцiю вiрогiдностi кратної вибiрки має мiсце ади-тивнiсть функцiї впливу та її похiдних:

U (i)(X, θ) =∑n

k=1ζ

(i)k (θ), ∀i = 1, 3,

де доданки у сумах є незалежними у сукупностi та однаково розподiле-ними випадковими величинами, як борелєвi функцiї вiд незалежних таоднаково розподiлених величин ξk. За зробленим у теоремi припущеннямпершi доданки мажоруються iнтегровною величиною η.

Зауважимо, що за теоремою про рiвняння максимальної вiрогiдностiОМВ є коренем функцiї впливу U = U (1). Тому розкладом у ряд Тейлораотримуємо

0 = U(X, θn) ≡ U (1)(X, θn) = U (1)(X, θ0)+

(θn − θ0)U(2)(X, θ0) +

1

2(θn − θ0)

2U (3)(X, θn),

де θn ∈ [θn, θ0] i θn →P1 θ0, n → ∞, внаслiдок теореми про строгу конзи-стентнiсть ОМВ. Розв’язуючи останню тотожнiсть вiдносно θn− θ0, отри-муємо таку рiвнiсть для θn :

√n(θn − θ0) = − αn

βn + (θn − θ0) γn

,

де

αn =1√n

U (1)(X, θ0) =1√n

∑n

k=1ζ

(1)k (θ0),


βn =1

n

∑n

k=1ζ

(2)k (θ0), γn = γn(θn), γn(θ) =

1

2n

∑n

k=1ζ

(3)k (θ).

За теоремою про центрованiсть функцiї впливу та про обчисленняiнформацiї за Фiшером (в умовах регулярностi)

IEθ0ζ(1)k (θ0) = IEθ0u(ξ1, θ0) = 0,

IDθ0ζ(1)k (θ0) = IDθ0u(ξ1, θ0) = i(θ0).

Оскiльки величини ζ(1)k (θ0) незалежнi у сукупностi, однаково розподi-

ленi та квадратично iнтегровнi за умовами регулярностi, то за класичноюцентральною граничною теоремою

αn →W α ' N(0, i(θ0)), n →∞.

Далi, з умов регулярностi та з теореми про обчислення iнформацiї заФiшером випливає тотожнiсть

IEθ0ζ(2)k (θ0) = IEθ0∂u(ξ1, θ0)/∂θ0 = −IEθ0(u(ξ1, θ0))

2 = −i(θ0),

до того ж абсолютна iнтегровнiсть вказаних величин є наслiдком умовимажорованостi.

Тому за критерiєм Колмогорова посиленого закону великих чисел

βn →P1 −i(θ0), n →∞.

Нарештi, з умови мажорованостi третiх похiдних логарифмiчної фун-

кцiї вiрогiдностi:∣∣∣ζ(3)

1 (θ)∣∣∣ =

∣∣u(3)(ξ1, θ)∣∣ ≤ η, IEθ0η < ∞, та з критерiю

Колмогорова посиленого закону великих чисел виводимо, що при кожно-му θ послiдовнiсть γn(θ) збiгається м.н., а тому обмежена м.н. Оскiлькифункцiя γn(θ) неперервна за θ, i θn →P1 θ0 ∈ Θ, де Θ – компакт, то послi-довнiсть γn = γn(θn) також обмежена майже напевне. Тому з теореми прострогу конзистентнiсть ОМВ випливає збiжнiсть

(θn − θ0) γn →P1 0, n →∞.

Тому знаменник у наведеному зображеннi для√

n(θn − θ0) збiгається:

βn + (θn − θ0) γn →P1 −i(θ0), n →∞.

За теоремою про добуток слабко збiжної послiдовностi зi збiжною√

n(θn − θ0) →W − α

−i(θ0)' 1

i(θ0)N(0, i(θ0)) ' N(0, i−1(θ0)), n →∞ ¡

3.10. Статистики вiд нормальних вибiрок 389

Вправи(1) Обчислити iнформацiю за Кульбаком для кратних вибiрок (а) з нормаль-

ним розподiлом N(µ, σ2), (б) гама-розподiлом Γ(λ, α), (г) бiномiальним розпо-дiлом з параметрами n, p, при невiдомих параметрах.

(2) Для кратної вибiрки з гама-розподiлом Γ(1, θ) спостережень знайти ОМВта довести її асимптотичну нормальнiсть i асимптотичну ефективнiсть. Знайтиоцiнку методу моментiв та довести, що її ефективнiсть менша за 1.

(3) Знайти оцiнку максимальної вiрогiдностi для кратної вибiрки з щiльнiстюспостережень exp(−x + θ − exp(−x + θ)), x, θ ∈ R.

(4) Довести, що середнє квадратичне вiдхилення оцiнки максимальної вi-рогiдностi σ2

n вiд параметра σ2 для кратної вибiрки з розподiлом N(µ, σ2) таневiдомими µ, σ2 строго бiльше за таке ж вiдхилення оцiнки nσ2

n/(n + 1). По-рiвняти це вiдхилення з дисперсiєю незмiщеної оцiнки s2

n.

(5) Знайти iнформацiю за Кульбаком для кратної нормальної вибiрки.

3.10. Статистики вiд нормальних вибiрок

Особливiсть нормальних спостережень полягає у тому, що вибiрковесереднє та вибiркова дисперсiя незалежнi й мають вiдомi розподiли.

Усi вектори надалi є векторами-стовпчиками, однак у друкованомувиглядi їх координати будемо виписувати в рядок. Скалярний добутоквекторiв α, β дорiвнює α′β, де α′ – спряжений (транспонований) до αвектор-рядок. Нагадаємо, шо матриця U називається ортонормованою,якщо U−1 = U ′.

3.10.1. Стандартна нормальна вибiрка

Теорема (про вибiрковi моменти стандартної нормальної вибiр-ки). Нехай вибiрка ζ = (ζ1, ..., ζn) є стандартним нормальним вектором.Тодi її першi два вибiрковi моменти

µn =1

n

∑n

k=1ζk, s2

n =1

n− 1

∑n

k=1(ζk − µn)2

є незалежними випадковими величинами, причому√

n µn ' N(0, 1), та (n− 1) s2n ' χ2

n−1,

де величина χ2n−1 має хi-квадрат розподiл з n− 1 ступенем свободи.


Доведення. Визначимо вектор q = (1/√

n, k = 1, n), що має одиничнуевклiдову норму. Нехай (q1, ..., qn−1) – доповнення вектора q до ортонор-мованого базису в Rn, що iснує за теоремою Грама – Шмiдта. ПозначимоU = (q1, ..., qn−1, q)

′ ортонормовану матрицю з рядками q′1, ..., q′n−1, q

′, щопороджена цим базисом. Зауважимо, що за ортонормованiстю значенняUq = (0, ..., 0, 1) ≡ e є одиничним вектором. Крiм того, за теоремою пролiнiйнi перетворення нормальних векторiв вектор η = Uζ знову є стан-дартним нормальним вектором.

Оскiльки µn = ζ ′q/√

n та ζ = U ′η, то виконуються рiвностi

(n− 1)s2n =

∑n

k=1(ζk − µn)2 =

∑n

k=1ζ2

k − n µ2n = ζ ′ζ − (ζ ′q)(q′ζ) =

ζ ′(I − q · q′)ζ = η′U(I − q · q′)U ′η = η′(I − e · e′)η =∑n−1

k=1η2

k ' χ2n−1

за означенням хi-квадрат розподiлу, оскiльки (ηk, k = 1, n) є незалежнимиу сукупностi величинами зi стандартним нормальним розподiлом внаслi-док означення стандартного нормального вектора η = (η1, ..., ηn).

Крiм того, за теоремою про векторнi перетворення незалежних величинстатистика χ2

n−1 не залежить вiд ηn = q′ζ =√

nµn через незалежнiсть (ηk).Нарештi, середнє µn як лiнiйне перетворення ζ за теоремою про лiнiйнi

перетворення нормальних векторiв має нормальний розподiл, iз середнiм0 i дисперсiєю IDµn = n/n2 = 1/n ¡

3.10.2. Загальна нормальна вибiрка

Теорема (про вибiрковi середнє та дисперсiю нормальної вибiр-ки). Нехай X = (ξ1, ..., ξn) – кратна вибiрка з нормальним розподiломспостережень: ξk ' N(µ, σ2). Тодi статистики µn i s2

n незалежнi та√

nµn − µ

σ' N(0, 1),

(n− 1)s2n

σ2' χ2

n−1,

nσ2

n

σ2=

1

σ2

∑n

k=1(ξk − µ)2 ' χ2

n.

Зауваження. Припущення нормальностi кратної вибiрки X необхiднеi достатнє для незалежностi вибiркових середнього та дисперсiї.

Доведення. Центруванням та нормуванням спостережень ξk визначи-мо ζk = (ξk − µ)/σ, k = 1, n. Величини ζk є незалежними стандартни-ми нормальними за означенням нормального розподiлу та за теоремоюпро перетворення незалежних величин. Тому вектор ζ = (ζk, k = 1, n)є стандартним нормальним вектором. Оскiльки першi двi статистики в

3.10. Статистики вiд нормальних вибiрок 391

твердженнi теореми збiгаються вiдповiдно з нормованими вибiрковим се-реднiм та вибiрковою дисперсiєю для вибiрки ζ, то перше твердженнятеореми є наслiдком теореми про вибiрковi моменти стандартної нормаль-ної вибiрки. Третя статистика збiгається з сумою

∑nk=1 ζ2

k i має хi-квадратрозподiл за означенням ¡

3.10.3. Статистики Стьюдента та Фiшера

Означення. Випадкова величина τn має t-розподiл, або розподiлСтьюдента, з n ступенями свободи, якщо її можна подати у виглядi

τn =ζ√

χ2n / n

,

де ζ ' N(0, 1) – стандартна нормальна величина, а χ2n – незалежна вiд

неї величина з хi-квадрат розподiлом та n ступенями свободи.Означення. Випадкова величина φn,m має розподiл Фiшера, або ж

розподiл Снедекора – Фiшера, з n,m ступенями свободи, якщо її можнаподати у виглядi

φn,m =χ2

n / n

χ2m / m

,

де χ2n, χ2

m – незалежнi величини з хi-квадрат розподiлом та n,m ступе-нями свободи вiдповiдно.

Теорема (про статистику Стьюдента вiд нормальної вибiрки). Не-хай X = (ξ1, ..., ξn) – кратна вибiрка з нормальним розподiлом N(µ, σ2) .Тодi статистика

τn−1 =√

nµn − µ

sn

має розподiл Стьюдента з n− 1 ступенем свободи.Доведення. За теоремою про вибiрковi середнє та дисперсiю нормаль-

ної вибiрки пiсля дiлення на σ чисельник√

n(µn − µ)/σ має стандартнийнормальний розподiл, i не залежить вiд знаменника

sn/σ =√

(n− 1)s2n /σ2(n− 1) ' √

χ2n−1 / (n− 1).

Тому весь дрiб τn−1 має розподiл Стьюдента ¡Вправи(1) Довести, що для кратних нормальних спостережень вибiрковi асиметрiя

та ексцес µ03n/s

3/2n , µ0

4n/s2n не залежать вiд вибiркових середнього та дисперсiї.

(2) Довести збiжнiсть: (χ2n − n)/

√2n →W ζ ' N(0, 1), n →∞.

(3) Довести, що√

2χ2n −

√2n− 1 →W ζ ' N(0, 1), n →∞.


(4) Вивести апроксимацiю ВiлсонаIP(χ2

n < x) → IP(ζ < [(x/n)1/3 − 1 + 2/9n](9n/2)1/2

), n →∞.

(5) Знайти щiльнiсть τn, виходячи з виразу для гама-щiльностi::fτn(x) = cn(1 + x2/n)−(n+1)/2, cn = (πn)−1/2Γ((n + 1)/2)/Γ(n/2),

обчислити IEτn = 0, IDτn = n/(n− 2), n > 2. Зокрема, τ 1 має розподiл Кошi.(6) Довести, що τn →W ζ ' N(0, 1), n →∞.

(7) Довести, що щiльнiсть φn,m має вигляд

fnm(x) = cnmxn/2−1(1 + n

mx)−(n+m)/2

, cnm = ( nm

)n/2B(n2, m

2).

3.11. Iнтервальнi оцiнки параметрiвнормальних спостережень

Розглянемо лише двобiчнi iнтервальнi оцiнки параметрiв кратної нор-мальної вибiрки X = (ξ1, ..., ξn), ξk ' N(µ, σ2), однобiчнi оцiнки виводя-ться аналогiчно. Побудова надiйних iнтервалiв для нормальних спостере-жень ґрунтується на властивостях вибiркових моментiв для нормальнихвиборок.

Позначимо через xα двобiчний квантиль вiрогiдного рiвня 1 − α длястандартного нормального розподiлу :

IP(|ζ| ≤ xα) = 1− α, Φ(xα) = 1− α/2.

Зокрема, при побудовi iнтервальних оцiнок можна скористатись тим,що при 1 − α = 0.95 надiйний iнтервал для середнього N(0, 1) розподiлудорiвнює:

(−1.96, 1.96) – у симетричному варiантi,(−∞, 1.645) – у правобiчному варiантi,(−1.645, ∞) – у лiвобiчному варiантi,(−1.88, 2.05) – у правозкошеному варiантi,(−2.05, 1.88) – у лiвозкошеному варiантi.Аналогiчний змiст мають квантилi ynα для розподiлу Стьюдента, та

квантилi znα для хi-квадрат розподiлу :

IP(|τn| ≤ ynα) = 1− α, IP(χ2n ≤ znα) = 1− α/2.

Доведення наведених нижче оцiнок є наслiдком теореми про вибiр-ковi середнє та дисперсiю нормальної вибiрки, та означення вiдповiднихквантилей.

3.11. Iнтервальнi оцiнки параметрiв нормальних спостережень 393

3.11.1. Оцiнка середнього при вiдомiй дисперсiї

Оскiльки при вiдомiй дисперсiї σ2 статистика ζ =√

n(µn − µ)/σ 'N(0, 1) є стандартною нормальною, то

IP

(µn −

σ√n

xα ≤ µ ≤ µn +σ√n

xα

)= IP(|ζ| ≤ xα) = 1− α.

3.11.2. Оцiнка дисперсiї при вiдомому середньому

У випадку вiдомого середнього µ для вiдповiдно модифiкованої ви-бiркової дисперсiї σ2

n = 1n

∑nk=1(ξk − µ)2 зi спiввiдношення nσ2

n/σ2 ' χ2n

виводимо, щоIP

(nσ2

n / znα ≤ σ2 ≤ nσ2n / zn,2−α

)=

IP(zn,2−α ≤ χ2

n ≤ znα

)= 1− α/2− α/2 = 1− α.

3.11.3. Оцiнка середнього при невiдомiй дисперсiї

За теоремою про статистику Стьюдента вiд нормальної вибiрки ста-тистика τn =

√n(µn − µ) / sn має розподiл Стьюдента з n − 1 ступенем

свободи. Тому

IP

(µn −

sn√n

yn−1,α ≤ µ ≤ µn +sn√n

yn−1,α

)= IP (|τn| ≤ yn−1,α) = 1− α.

3.11.4. Оцiнка дисперсiї при невiдомому середньому

Оскiльки (n− 1) s2n/σ

2 ' χ2n−1 , то

IP((n− 1)s2

n / zn−1,α ≤ σ2 ≤ (n− 1)s2n / zn−1,2−α

)=

IP(zn−1,2−α ≤ χ2

n−1 ≤ zn−1,α

)= 1− α/2− α/2 = 1− α.

3.11.5. Загальний метод опорних величин

Для довiльно розподiленої вибiрки X при побудовi надiйних iнтерва-лiв використовують метод опорних величин. Вiн полягає у знаходженнiопорної випадкової величини вигляду g(X, θ), що має такi властивостi:

(1) вона є функцiєю вибiрки X та невiдомого параметра θ,(2) має повнiстю вiдомий розподiл,(3) монотонно залежить вiд θ.Виходячи з вiдомого розподiлу, знаходять такi значення g1, g2, що

IPθ(g1 < g(X, θ) < g2) = 1− α, ∀θ ∈ Θ.


Далi, за монотоннiстю розв’язують нерiвностi так, щоб

g(X, θ) < g2 = θ < θ2(X),g(X, θ) > g1 = θ > θ1(X).

Отже, (θ1, θ2) – шуканий надiйний iнтервал для θ рiвня 1− α.У випадку, коли розподiл опорної величини лише асимптотично на-

ближається до вiдомого, то вiдповiднi асимптотичнi надiйнi iнтервали бу-дують, виходячи при великих об’ємах вибiрки n з наближених рiвностей

IPθ(g1 < gn(X, θ) < g2) ≈ 1− α.

Вправи(1) Припустимо, що для статистики T = T (X) iмовiрнiсть IPθ(T < x) мо-

нотонно залежить вiд θ при кожному x. Нехай для заданого рiвня α функцiї θi

визначено з рiвнянь IPθ1(x)(T < x) = α/2, IPθ2(x)(T ≥ x) = α/2. Довести, що:(а) (θ1(T (X)), θ2(T (X))) є надiйним iнтервалом рiвня 1− α для θ, (б) вказанеприпущення виконується для бiномiального та пуассонiвського розподiлу.

(2) Побудувати надiйний iнтервал заданого рiвня для параметра кратної ви-бiрки з (а) показниковим розподiлом Exp(θ), (б) рiвномiрним на (θ, 2θ) розподi-лом, (в) розподiлом Пуассона.

(3) Випадкова величина ξλ має розподiл Пуассона з параметром λ. Побуду-вати асимптотичний надiйний iнтервал для λ за спостереженням ξλ, виходячи засимптотичної нормальностi величини (ξλ − λ) λ−1/2 при λ →∞.

(5) Нехай (ξ1, ..., ξn) – кратна нормальна вибiрка з розподiлом ξk ' N(µ, σ2),Φµσ – нормальна функцiя розподiлу з параметрами µ, σ2. Довести, що: (а) длякожного t > 0 розподiл приросту ∆t = Φµσ(µn + tσn)−Φµσ(µn− tσn) залежитьлише вiд t, (б) якщо t = yn−1,α

√1 + 1/n, то IE∆t = α. (в) має мiсце збiжнiсть√

n(µn/sn − κ)/√

1 + κ2/2 →W N(0, 1), n →∞, де κ = µ/σ.

3.12. Перевiрка статистичних гiпотез

На вiдмiну вiд задач статистичного оцiнювання, задача перевiрки ста-тистичної гiпотези полягає у формуваннi дихотомiчного висновку щодовiдповiдностi наявних спостережень (вибiрки) певним припущенням проїх розподiл, тобто про властивостi ймовiрностi IPθ. Останнi визначаютьсяiстинним значенням параметра θ. Тут (IPθ, θ ∈ Θ) – параметрична сiм’ярозподiлiв з означення статистичного простору.

Статистичною гiпотезою називається довiльне припущення про розпо-дiл вибiрки, яка спостерiгається у стохастичному експериментi. Оскiльки

3.12. Перевiрка статистичних гiпотез 395

цей розподiл вважається повнiстю вiдомим при iстинному значеннi пара-метра θ, статистичнi гiпотези часто формулюють у виглядi

H0 : θ ∈ Θ0,

де Θ0 ⊂ Θ – певна параметрична пiдмножина. Якщо параметричний про-стiр Θ ототожнити з множиною всiх можливих розподiлiв вибiрки, тобудь-яка гiпотеза може бути зображена у наведеному виглядi.

Зокрема, розглядають гiпотези про те, що:(1) значення параметра дорiвнює заданому,(2) значення параметра перевищує задане,(3) розподiл спостережень збiгається з заданим,(4) розподiл спостережень належить заданому класу розподiлiв,(5) групи спостережень є однорiдними (мають однаковi розподiли),(6) групи спостережень є незалежними,(7) спостереження є випадковими.Як ми побачимо пiзнiше, статистичнi властивостi (зокрема, якiсть) ви-

сновкiв щодо розподiлу вибiрки суттєво залежать не тiльки вiд виглядустатистичної гiпотези, а й вiд множини значень параметра, що не задо-вольняють цю гiпотезу. Треба мати на увазi, що вказана множина значеньне завжди збiгається з доповненням параметричної множини Θ0.

Статистичною альтернативою називають таке припущення про розпо-дiл вибiрки, яке вважається виконаним у випадку, коли не справджуєтьсяосновна статистична гiпотеза. Статистичнi альтернативи мають вигляд

H1 : θ ∈ Θ1,

де Θ1 ⊂ Θ. Якщо Θ1 = Θ \ Θ0, то альтернатива може не формулюватисяявно. Якщо ж має мiсце строге включення Θ0 ∪ Θ1 ⊂ Θ, то основна гiпо-теза H0, на вiдмiну вiд альтернативної, називається нульовою гiпотезою.

Означення. Статистична гiпотеза H0 : θ ∈ Θ0 називається про-стою гiпотезою, якщо множина Θ0 = θ0 є одноелементною, причомурозподiл IPθ0(X ∈ ·) вiдомий повнiстю.

Приклади1. Нормальна вибiрка з вiдомою дисперсiєю. Невiдомим параметром

нормального розподiлу є середнє: θ = µ, дисперсiя σ2 вважається вi-домою. При фiксацiї µ щiльнiсть спостережень вiдома, тому гiпотезаH0 : θ = µ0 – проста.

2. Нормальна вибiрка з невiдомою дисперсiєю. Якщо параметр θ =(µ, σ2), то при виконаннi гiпотези H0 : µ = µ0 вибiрковi щiльностi можутьмати рiзнi дисперсiї, тому ця гiпотеза не є простою.


3.12.1. Статистика критерiю, критична область

Абстрактно критерiй для перевiрки H0 проти H1 на пiдставi вибiркиX можна визначити як функцiю δ(X) : S → H0, H1, що для кожноговектора X приймає висновок на користь однiєї з гiпотез.

Однак на практицi статистичний висновок робиться на пiдставi розгля-ду значення певної функцiї вiд вибiрки – статистики критерiю. Ця функцiяκ(X) : S → D є довiльною статистикою (вимiрною функцiєю вiд вибiрки)зi значеннями в деякому вимiрному просторi D. Вiдзначимо, що на вiдмi-ну вiд оцiнки, статистика критерiю може мiстити значення параметрiв –у випадку, коли гiпотеза висувається саме щодо цих значень.

Для визначення результату статистичного висновку щодо якiсної (ди-хотомiчної) властивостi розподiлу спостережень на основi значення ста-тистики κ досить розбити множину D на двi частини: D = D0 ∪D1, та

(0) у випадку включення κ ∈ D0 – приймати нульову гiпотезу,(1) при κ ∈ D1 – приймати альтернативу i вiдхиляти нульову гiпотезу.Множина D1, на якiй вiдхиляється нульова гiпотеза, називається кри-

тичною областю статистики критерiю. Очевидно, що довiльний алгоритмдихотомiчного вибору на пiдставi значення вибiрки X можна подати унаведеному виглядi, обираючи, наприклад, D = 0, 1, D0 = 0, D1 = 1та вiдповiдно конструюючи D-значну статистику критерiю.

На практицi частiше обирають D = R, D0 = (−∞, x0), D1 = [x0,∞). Уцьому випадку статистика критерiю є числовою величиною, а x0 визначаєкритичний рiвень статистики критерiю. Нульова гiпотеза вiдкидається заумови перевищення статистикою критерiю критичного рiвня: κ ≥ x0.

У загальному випадку з критичною областю статистики D1 можнапов’язати критичну область вибiрки

W = x ∈ S : κ(x) ∈ D1 = x ∈ S : δ(x) = H1.При потрапляннi вибiркового вектора X у критичну область нульова гi-потеза вiдкидається, у iншому випадку вiдкидається альтернатива.

Означення. Статистичним критерiєм (статистичним тестом) нази-вається пара (κ(X), D1), що утворена D-значною статистикою критерiюκ(X) та її критичною областю D1 ⊂ D.

Алгоритм перевiрки статистичної гiпотези H0 проти альтернативи H1

за допомогою критерiю (κ, D1) виконується в два етапи:(1) обчислюють значення κ = κ(X),

(2) перевiряють включення κ ∈ D1, що еквiвалентне X ∈ W ,

3.12. Перевiрка статистичних гiпотез 397

(2.1) якщо воно справджується, то нульова гiпотеза H0 на пiдставiспостережень X вiдкидається i приймається альтернатива H1,

(2.0) якщо ж це включення не справджується, то нульова гiпотезаH0 на пiдставi спостережень X не може бути вiдкинута, отже, приймає-ться, а альтернатива H1 вiдкидається.

Зауваження. У зв’язку зi статистичним характером перевiрки гiпо-тез зауважимо таке. Перевiрка гiпотези нi в якому разi не є доведеннямсправедливостi чи несправедливостi припущення гiпотези. Невдача у вiд-хиленнi H0 означає лише, ще немає досить вагомих свiдчень для вiдхиле-ння H0 – це i є змiст висновку про те, що ця гiпотеза приймається. Просправедливiсть припущення можна казати лише при наявностi багатосто-роннiх свiдчень на його користь, як статистичних, так i iнших.

3.12.2. Рiвень та потужнiсть критерiю

Наведенi вище означення критерiю перевiрки гiпотези є суто технi-чними i безпосередньо не пов’язанi з якiстю статистичного висновку. Длявизначення показникiв якостi зауважимо, що алгоритм перевiрки гiпотезиспричиняє лише одне з двох можливих рiшень: прийняття або вiдхиленнянульової гiпотези. Кожне з цих рiшень може призвести до похибки.

Означення. Похибкою першого роду статистичного критерiю нази-вається вiдхилення нульової гiпотези за умови, що вона справджує-ться.

Похибкою другого роду називається прийняття нульової гiпотезиза умови, коли справджується альтернатива.

Вказанi помилковi рiшення пов’язанi з вiдповiдними подiями. Їх iмо-вiрностi називаються ймовiрностями похибок першого та другого роду.

Означення. Нехай нульова гiпотеза має вигляд H0 : θ ∈ Θ0, а альтер-натива – H1 : θ ∈ Θ1. Вiрогiдним рiвнем (або критичним рiвнем) стати-стичного критерiя (κ, D1) називається функцiя вiд θ, що задає ймовiр-ностi похибок першого роду :

IPθ(κ(X) ∈ D1) = IPθ(X ∈ W ), θ ∈ Θ0.

Потужнiстю критерiю називається ймовiрнiсть вiдсутностi похибкидругого роду (тобто ймовiрнiсть правильного – альтернативного –висновку при альтернативi), що задається функцiєю:

1− IPθ(κ(X) ∈ D0) = IPθ(κ(X) ∈ D1) = IPθ(X ∈ W ), θ ∈ Θ1.


Зауваження. Якщо нульова гiпотеза є простою гiпотезою, то вiрогi-дний рiвень задається одним числом: IPθ0(X ∈ W ), оскiльки при θ = θ0

розподiл вибiрки вiдомий. Це число називають P-значенням критерiю.Iмовiрнiсть IPθ(X ∈ W ) попадання вибiрки у критичну область як фун-

кцiя вiд усiх значень параметра θ ∈ Θ0 ∪ Θ1 називається оперативноюхарактеристикою критерiю.

Маючи на метi одночасну мiнiмiзацiю ймовiрностей похибок першогота другого роду, для створення якiсного критерiю треба вiдшукати такустатистику κ(X), яка була б ”чутливою” до iстинного значення параметра:

– при виконаннi нульової гiпотези набувала переважно значень iз мно-жини D0 (наприклад, ”досить помiрних” значень) – що зменшує ймовiр-нiсть похибки першого роду,

– при виконаннi альтернативи набувала переважно значень у доповнен-нi D1 = D \ D0 (наприклад, ”надмiрно великих значень”) – що зменшуєймовiрнiсть похибки другого роду.

Очевидно, що задача побудови оптимального статистичного критерiюзводиться до одночасної мiнiмiзацiї ймовiрностей похибок першого та дру-гого роду, або ж до мiнiмiзацiї його вiрогiдного рiвня при максимiзацiїпотужностi. Ця задача є внутрiшньо суперечливою, оскiльки i рiвень,i потужнiсть (як значення однiєї оперативної характеристики на рiзнихмножинах) одночасно монотонно (у напрямку зростання) залежать вiдкритичної областi вибiрки W. Зокрема, при W = ∅ iмовiрнiсть похиб-ки першого роду нульова, другого роду дорiвнює одиницi, а потужнiсть– нульова. При W = S має мiсце протилежне: похибка першого роду iпотужнiсть одночасно одиничнi.

Тому задачу вiдшукання оптимального критерiю зводять до задачiумовної оптимiзацiї, тобто знаходженню найбiльшої потужностi при обме-женнi похибки першого роду.

Альтернативним до викладеного є Байесовський пiдхiд до побудовиоптимального критерiю. Вiн полягає у постулюваннi апрiорного розпо-дiлу мiж нульовою гiпотезою та альтернативою, причому оптимальнiстьзводиться до мiнiмiзацiї середньої похибки, що отримується вiдповiднимусередненням iмовiрностей похибок першого та другого роду.

Ще одну альтернативу становить мiнiмаксний пiдхiд, згiдно з якимоптимальним є критерiй, що мiнiмiзує найбiльшу з iмовiрностей похибокпершого та другого роду.

Означення. Критерiй (κ, D1) має вiрогiдний рiвень α, якщо ймовiр-

3.13. Непараметричнi критерiї для функцiї розподiлу 399

ностi похибок першого роду не перевищують α :

IPθ(κ(X) ∈ D1) = IPθ(X ∈ W ) ≤ α, ∀θ ∈ Θ0,

i хоча б одна з цих нерiвностей є рiвнiстю (хоча б для одного θ).Зауваження. Якщо нульова гiпотеза є простою гiпотезою, то в озна-

ченнi рiвня критерiю обов’язково має мiсце рiвнiсть. Дiйсно, в такомувипадку маємо єдине значення параметру i одну нерiвнiсть, яка за озна-ченням перетворюється на рiвнiсть.

Означення. Критерiй (κ, D1) є незмiщеним критерiєм, якщо йогопотужнiсть не менша за його рiвень α :

IPθ(κ(X) ∈ D1) = IPθ(X ∈ W ) ≥ α, ∀θ ∈ Θ1.

Зауваження. Як i у випадку статистичних оцiнок, послiдовнiсть кри-терiїв (κn, D1), що побудованi для кожного n за кратною вибiркою об’ємуn,за одним алгоритмом, також будемо називати критерiєм.

Означення. Критерiй (κn, D1) вiрогiдного рiвня α є конзистентнимкритерiєм, якщо його потужнiсть прямує до одиницi:

IPθ(κn ∈ D1) → 1, n →∞, ∀θ ∈ Θ1.

Очевидно, що конзистентнi критерiї є асимптотичними розв’язкамиумовної задачi оптимiзацiї критерiю за рiвнем та потужнiстю.

3.13. Непараметричнi критерiїдля функцiї розподiлу

Розглянемо кратну вибiрку X = (ξ1, ..., ξn), в якiй окремi спостереже-ння мають невiдому неперервну функцiю розподiлу F (x) = IP(ξ1 < x). Зформального погляду дана схема вiдповiдає параметричному просторовiΘ, що мiстить усi функцiї розподiлу, а нульова гiпотеза щодо значенняпараметра θ = F для заданої функцiї розподiлу F має вигляд

H0 : IP(ξ1 < x) = F (x), ∀x ∈ R, X – кратна вибiрка.

3.13.1. Критерiй узгодженостi Колмогорова

Перевiряється гiпотеза узгодженостi кратної вибiрки з заданою фун-кцiєю розподiлу F , тобто припущення H0 про те, що функцiя розподiлу


окремих спостережень збiгається з наперед заданою неперервною функцi-єю розподiлу F . Як альтернативу будемо розглядати клас усiх неперерв-них функцiй розподiлу, вiдмiнних вiд F :

H1 : IP(ξ1 < x) = G(x),∀x ∈ R, G 6= F,G ∈ C(R), X – кратна вибiрка.

Критерiй можна вважати непараметричним, адже невiдомою є вся фун-кцiя розподiлу, а не окремi параметри.

Побудова критерiю ґрунтується на статистицi Колмогорова :

κn(X) =√

n supx ∈ R∣∣∣Fn(x)− F (x)

∣∣∣ ,

де Fn(x) – емпiрична функцiя розподiлу :

Fn(x) =1

n

∑n

k=11Iξk < x.

З вигляду статистики κn виводимо, що критичними для H0 є її великiзначення, принаймнi при значних об’ємах вибiрки n.

За теоремою Колмогорова про вiдхилення емпiричної функцiї розподi-лу (що наведена вище у роздiлi про емпiричну функцiю розподiлу ) роз-подiл статистики κn(X) за нульової гiпотези не залежить вiд невiдомоїфункцiї розподiлу F та має мiсце збiжнiсть в основному

IP(κn < x) → IP(κ < x) = K(x), n →∞,

де функцiя розподiлу Колмогорова K(x) повнiстю вiдома:

K(x) ≡∑+∞

k=−∞(−1)k exp(−2k2x2).

Критерiй Колмогорова задається парою (κn, [xα,∞)), де критичнийрiвень xα знаходиться за вiрогiдним рiвнем α з умови K(xα) = 1−α. Ну-льова гiпотеза про узгодженiсть вiдхиляється, якщо κn ≥ xα. Вiрогiднийрiвень критерiю наближено (i тим точнiше, чим бiльший обсяг вибiрки)дорiвнює

IP(κn ≥ xα) ≈ IP(κ ≥ xα) = 1−K(xα) = α.

Отже, для скiнченних n критерiй Колмогорова є наближеним. Йогоможна зробити точним, якщо для побудови критичного рiвня замiсть K(x)використати точне значення функцiї розподiлу статистики κn.

Для дослiдження потужностi критерiю припустимо, що розглядає-ться нульова гiпотеза H0 : θ = F, де F – гiпотетична функцiя розпо-дiлу спостережень, а iстинна функцiя розподiлу вiдповiдає альтернативiH1 : θ = θ1 ≡ G. Тодi потужнiсть критерiю дорiвнює

3.13. Непараметричнi критерiї для функцiї розподiлу 401

IPθ1

(√n supx ∈ R

∣∣∣Fn(x)− F (x)∣∣∣ ≥ xα

)=

IPθ1

(√n supx ∈ R

∣∣∣Fn(x)−G(x) + G(x)− F (x)∣∣∣ ≥ xα

)≥

IPθ1(√

n∆− κn ≥ xα), де ∆ = supx ∈ R |F (x)−G(x)| > 0,

κn =√

n supx ∈ R∣∣∣Fn(x)−G(x)

∣∣∣ →W κ, n →∞,

за теоремою Колмогорова у припущеннi H1, та IPθ1(√

n∆− κn ≥ xα) → 1,n → ∞. Отже, потужнiсть критерiю Колмогорова прямує до одиницi прикожнiй простiй альтернативi. Критерiй є конзистентним.

Вправи(1) Довести, що IP(κn < cn) → 1, якщо κn →W κ, i cn →∞, n →∞.

(2) Довести що в умовах теореми Колмогорова про вiдхилення емпiричноїфункцiї розподiлу за нульової гiпотези розподiл статистики омега-квадрат

ω2n = n

r∞−∞(Fn(x)− F (x))2dF (x)

не залежить вiд вигляду теоретичної функцiї розподiлу та обчислюється черезварiацiйний ряд: nω2

n = (12n)−1 +∑n

k=1(F (ξ(k))− (2k − 1)/2n)2.

(3) Нехай Fn(x) – емпiрична функцiя розподiлу для вибiрки з неперервноюфункцiєю розподiлу F одного спостереження, α > 0, а функцiя w(t) невiд’ємна.Довести, що розподiл наступних статистик не залежить вiд F :

Snwα = supx∈Rw(F (x))|Fn(x)− F (x)|α,

Tnwα = supx∈Rw(Fn(x))|Fn(x)− F (x)|α,

Unwα =rRw(F (x))|Fn(x)− F (x)|αF (dx),

Vnwα =rRw(Fn(x))|Fn(x)− F (x)|αF (dx).

3.13.2. Критерiй однорiдностi Смiрнова

Одночасно з вибiркою X розглянемо кратну вибiрку Y = (η1, ..., ηm)об’ємом m, що не залежить вiд X, iз неперервною функцiєю розподiлуокремих спостережень G(y) = IP(η1 < y). Параметризуючи розподiл пов-ного вектора спостережень (X, Y ) як пару функцiй розподiлу θ = (F,G),розглянемо складну нульову гiпотезу однорiдностi

H0 : F = G, F – неперервна, X i Y – незалежнi, кратнi

проти альтернативи

H1 : F 6= G, F, G – неперервнi, X i Y – незалежнi, кратнi.


Позначимо емпiричну функцiю розподiлу другої вибiрки

Gm(y) =1

m

∑m

k=11Iηk < y.

Теорема (теорема Смiрнова про вiдхилення емпiричних функцiйрозподiлу). За гiпотези H0 розподiл статистики Смiрнова:

κnm =

√mn

m + nsup x∈R

∣∣∣Fn(x)− Gm(x)∣∣∣

не залежить вiд вигляду невiдомої функцiї розподiлу F = G, i для всiхx ∈ R має мiсце збiжнiсть

IP(κnm < x) → IP(κ < x) = K(x), n,m →∞,

де функцiя K(x) та сама, що й у теоремi Колмогорова про вiдхиленняемпiричної функцiї розподiлу.

Доведення не наводиться.Критерiй Смiрнова задається парою (κnm, [xα,∞)), де критичний рi-

вень xα визначається за вiрогiдним рiвнем α умовою K(xα) = 1− α. Тутвигляд критичної областi обумовлений характером статистики κnm. Рiвенькритерiю наближено дорiвнює

IP(κnm ≥ xα) ≈ IP(κ ≥ xα) = 1−K(xα) = α.

Для оцiнки потужностi припустимо, що виконується альтернатива H1

та позначимо bnm =√

nm/(n + m). Потужнiсть критерiю дорiвнює

IPθ

(bnm supx∈R |Fn(x)− Gm(x)| ≥ xα

)=

IPθ

(bnm supx∈R |Fn(x)− F (x) + G(x)− Gm(x) + F (x)−G(x)| ≥ xα

)≥

IPθ (bnm∆− κn − κm ≥ xα) , де ∆ = supx∈R |F (x)−G(x)| > 0,

κn =√

n supx∈R |Fn(x)− F (x)| →W κ′,κm =

√m supx∈R |Gm(x)−G(x)| →W κ′′

за теоремою Колмогорова про вiдхилення емпiричної функцiї розподiлу.Тому bnm∆− κn− κm →P ∞, отже, потужнiсть критерiю Смiрнова прямуєдо одиницi при кожнiй простiй альтернативi. Критерiй є конзистентним.

3.14. Деякi ранговi критерiї

Значна кiлькiсть критерiїв, що стiйкi до випадкових збурень, будує-ться з використанням рангових статистик.

3.14. Деякi ранговi критерiї 403

Означення. Ранговими статистиками вибiрки X = (ξ1, ..., ξn) назива-ються координати вектора рангiв ν = (ν1, ..., νn), де значення νk задаєномер k-го спостереження ξk у варiацiйному рядi (ξ(k), k = 1, n) :

ξk = ξ(νk), (ξ1, ..., ξn) = (ξ(ν1), ..., ξ(νn)).

Приклад. Нехай спостерiгається вибiрка X = (2, 7, 4, 9, 3, 5). Її варi-ацiйний ряд має вигляд (2, 3, 4, 5, 7, 9), вектор рангiв збiгається з пере-становкою (1, 5, 3, 6, 2, 4), а вибiркове середнє дорiвнює 5. Якщо вибiркавипадково збурена (наприклад, через неякiсну передачу iнформацiї) довигляду X = (2, 7, 4, 9, 3, 5000), то вектор рангiв зазнає не дуже iстотнихзмiн лише до (1, 4, 3, 5, 2, 6) – на вiдмiну вiд середнього 837.5 замiсть 5.

Як показано вище у теоремi про розподiл вектора рангiв, для кратноївибiрки з неперервною функцiєю розподiлу вектор рангiв ν рiвномiрнорозподiлений на множинi всiх перестановок Πn порядку n.

Зауваження. У випадку, коли функцiя розподiлу спостережень (ξk)не є неперервною (наприклад, коли цi спостереження є цiлозначними), неможна виключити, що серед них знайдуться однаковi. У цьому разi рангивизначають так, щоб вони були однаковими для однакових спостережень,однак щоб сума таких рангiв не змiнилася. Тому при виконаннi подiйξn1

= ... = ξnk= x, та ξ(r−1) < ξ(r) = ... = ξ(r+k−1) = x < ξ(r+k) обирають

νn1 = νn2 = ... = νnk= (r + (r + 1) + .. + (r + k − 1))/k = r + (k − 1)/2.

Наприклад, для вибiрки X = (2, 7, 2, 5) з повтореннями вектор рангiвдорiвнює ν = (3/2, 4, 3/2, 3).

3.14.1. Критерiй однорiдностi Вiлкоксона

Розглянемо кратну вибiрку X = (ξ1, ..., ξn), в якiй окремi спостере-ження мають невiдому неперервну функцiю розподiлу F (x) = IP(ξ1 < x)i одночасно незалежну кратну вибiрку Y = (η1, ..., ηm) зi спiльною непе-рервною функцiєю розподiлу G(y) = IP(η1 < y). Для перевiрки нульовоїгiпотези однорiдностi

H0 : G = F, X та Y незалежнi, кратнi вибiрки,

використаємо об’єднану вибiрку

Z = (ξ1, ..., ξn, η1, ..., ηm),

та позначимо через νj ранг j-го спостереження у вибiрцi Z. За нульовоїгiпотези вибiрка Z є кратною вибiркою об’єма N = n + m, тому вектор νрiвномiрно розподiлений на множинi перестановок ΠN порядку N.


Визначимо статистику Вiлкоксона

Snm =∑n

j=1νj,

яка задає сумарний ранг вибiрки X в об’єднанiй вибiрцi Z.За нульової гiпотези H0 розподiл статистики Snm однозначно визнача-

ється лише значеннями n,m. Це дає можливiсть знайти критичний рiвеньстатистики для забезпечення заданого вiрогiдного рiвня α. Вигляд крити-чної областi визначається альтернативою.

Нехай альтернативою є вiд’ємний зсув вибiрки Y вiдносно X на ∆ > 0:

H1 : G(y) = F (y + ∆), ∀y ∈ R, X та Y незалежнi, кратнi.

У цьому разi η1 ' ξ1 −∆, отже, значення статистики Snm будуть перева-жно бiльшими при виконаннi альтернативи порiвняно з нульовою гiпоте-зою, оскiльки елементи вибiрки X отримуватимуть переважно бiльшi ран-ги. Тому критичними для нульової гiпотези слiд вважати великi значеннястатистики. Отже, критична область повинна мати вигляд [xnm(α),∞),де критичний рiвень xnm(α) визначається умовою IP(Smn ≥ xnm(α)) ≈ α.Знаходження рiвня можливе з використанням таблиць або спецiальнихкомп’ютерних програм.

3.14.2. Зауваження щодо рандомiзованих критерiїв

Оскiльки статистика Smn має дискретний розподiл, то її функцiя роз-подiлу набуває злiченну множину значень, i для довiльного α ∈ (0, 1)неможливо пiдiбрати критичне значення xnm(α) так, щоб за нульової гi-потези критерiй мав точний вiрогiдний рiвень α.

Для забезпечення точного рiвня застосовують процедуру рандомiзацiї.Нехай α1 ≤ α ≤ α2 – найближчi до α iмовiрностi, для яких рiвняння

IP(Smn ≥ xi) = αi, i = 1, 2,

мають точнi розв’язки xi. Згенеруємо незалежну вiд Smn випадкову вели-чину υ ∈ 1, 2 таку, що IP(υ = 1) = ε, IP(υ = 2) = 1− ε. Визначимо випад-ковий (рандомiзований) критичний рiвень x(α) = xυ ≡ x11Iυ=1+x21Iυ=2.Тодi за формулою повної ймовiрностi

IP(Smn ≥ x(α)) = εIP(Smn ≥ x1) + (1− ε)IP(Smn ≥ x2) =

εα1 + (1− ε)α2 = α,

якщо обрати ε = (α2−α)/(α2−α1) ∈ [0, 1]. Отже, рандомiзована критичнаобласть [xυ,∞) має точний вiрогiдний рiвень α.


3.14.3. Асимптотична нормальнiстьстатистики Вiлкоксона

При великих значеннях об’єму вибiрки можна скористатись асимпто-тичною нормальнiстю статистики Вiлкоксона. Для її обґрунтування об-числимо моменти вектора рангiв з урахуванням теореми про розподiлвектора рангiв та нульової гiпотези :

IEνk =∑

π∈ΠN

πk/N ! =∑N

r=1

∑π:πk=r

r/N ! = N(N + 1)/2N = (N + 1)/2.

Аналогiчно,

IEν2k =

∑N

r=1

∑π:πk=r

r2/N ! = (N + 1)(2N + 1)/6, IDνk = (N2 − 1)/12.

Нарештi, при k 6= j

IEνkνj =∑N

r 6=s

∑π:πk=r,πj=s

rs/N ! = (N + 1)(3N + 2)/12,

Cov(νk, νj) = IEνkνj − IEνkIEνj = −(N + 1)/12.

Зауважимо, що коефiцiєнт кореляцiї рангiв дорiвнює

ρ(νk, νj) = Cov(νk, νj)/√

IDνkIDνj = −1/(N − 1) → 0, N →∞,

тому ранги рiзних спостережень асимптотично некорельованi. До того жвони однаково рiвномiрно розподiленi на 1..N. Отже, є пiдстави очiкувати,що за нульової гiпотези для сум рангiв виконується класична центральнагранична теорема, тобто (Snm−IESnm)/

√IDSnm →W ζ ' N(0, 1), n,m →∞.

Обчислимо

IESnm =∑n

j=1IEνj = n(N + 1)/2 = n(n + m + 1)/2,

IDSnm = IES2nm − (IESnm)2 =∑n

j=1IEν2

j +∑n

i6=j=1IEνjνi − (IESnm)2 =

n (N + 1)(2N + 1)/6 + n(n− 1)(N + 1)(3N + 2)/12− (IESnm)2 =

n(N + 1)(N − n)/12 = nm(n + m + 1)/12.

Отже, за нульової гiпотези має мiсце слабка збiжнiсть при n,m →∞центрованої та нормованої статистики Вiлкоксона:

κnm =Snm − n(n + m + 1)/2√

nm(n + m + 1)/12→W ζ ' N(0, 1).


Звiдси за припущення критичностi великих значень статистики Snm

знаходимо критичну область для статистики Snm так, щоб вiрогiднийрiвень критерiю наближено збiгався з заданим:

xnm(α) = n(n + m + 1)/2 + xα

√nm(n + m + 1)/12,

де xα – квантиль рiвня 1− α стандартного нормального розподiлу.Якщо виконується альтернатива H1 : F 6= G, то можна пiдрахувати

IESnm =∑n

j=1IE

(1 +

∑n

1≤k 6=j1Iξj ≥ ξk +

∑m

k=11Iξj ≥ ηk

)=

n (1 + (n− 1)/2 + m IP(ξ1 ≥ η1)) =

n(n + m + 1)/2− nm δ, де δ = IP(ξ1 < η1)− 1/2.

За умови, що альтернативою є припущення δ ≡ r F (x)dG(x)− 1/2 < 0,звiдси виводимо, що

κnm =Snm − n(n + m + 1)/2√

nm(n + m + 1)/12=

Snm − IESnm − nm δ√nm(n + m + 1)/12

→P ∞, n, m →∞,

тобто критерiй є конзистентним проти альтернативи з δ < 0.Вправи(1) Довести, що Smn = n(n + 1)/2 +

∑ni=1

∑mj=1 1Iξi<ηj.

(2) Обчислити з означення κnm, що за нульової гiпотезиIE(κnm)2r−1 = 0, IE(κnm)2r → (2r − 1)!!, n →∞,

при всiх r ≥ 1, та довести асимптотичну нормальнiсть κnm.(3) Розподiл статистики ω2

nm =rR(Fn(x) − Gm(x))2dHn+m(x) за нульової

гiпотези про однорiднiсть не залежить вiд функцiї розподiлу F, де F , G, H –емпiричнi функцiї розподiлу вибiрок та об’єднаної вибiрки. Довести, що

ω2nm = (mn)−1

[1/6 + m−1

∑ni=1(νi − i)2 + n−1

∑mj=1(τ j − j)2

]− 2/3,

де νi, τ j – ранги виборок X, Y у об’єднанiй вибiрцi.

3.14.4. Критерiй незалежностi Спiрмена

Розглянемо двi кратнi вибiрки X = (ξ1, ..., ξn) та Y = (η1, ..., ηn) одна-кового об’єму n. Позначимо через ν = (ν1, ..., νn) та τ = (τ 1, ..., τn) – ве-ктори рангiв цих вибiрок. При виконаннi гiпотези H0 про незалежнiстьX i Y та неперервнiсть спiльної функцiї розподiлу вектори ν i τ незале-жнi в сукупностi та рiвномiрно розподiленi на множинi Πn перестановокпорядку n. Зокрема, для математичних сподiвань, дисперсiй та коварiацiйрангiв справедливi наведенi у попередньому роздiлi формули з замiною


об’єму вибiрки N на n :

IEνk = IEτ k = (n + 1)/2, IDνk = (n2 − 1)/12,

Cov(νk, νj) = −(n + 1)/12, j 6= k.

Використаємо для перевiрки H0 статистику, що визначає вибiрковийкоефiцiєнт кореляцiї мiж векторами рангiв :

ρn =∑n

k=1(νk − IEνk)(τ k − IEτ k) / σν στ ,

σ2ν =

∑n

k=1(νk − IEνk)

2, σ2τ =

∑n

k=1(τ k − IEτ k)

2.

За нерiвнiстю Кошi статистика ρn набуває значень iз вiдрiзку [−1, 1].При повнiй тотожностi векторiв рангiв ν = τ , що свiдчить про повну по-зитивну залежнiсть мiж X i Y , маємо ρn = 1, а при повнiй протилежностiρn = −1. Отже, великi за абсолютною величиною значення статистики ρn

вказують на залежнiсть векторiв рангiв та вiдповiдних вибiрок.З використанням теореми про розподiл вектора рангiв можна пiдраху-

вати (Вправа), щоσ2

ν = σ2τ = n(n2 − 1)/12.

Звiдси знаходимо еквiвалентне зображення для статистики Спiрмена

ρn = 12 cn

∑n

k=1(νk − (n + 1)/2)(τ k − (n + 1)/2) =

1− 6 cn

∑n

k=1(νk − τ k)

2.

де cn = 1/n(n2 − 1). За нульової гiпотези

IEρn = 12 cn

∑n

k=1IE(νk − (n + 1)/2)(τ k − (n + 1)/2) = 0,

IDρn = IEρ2n = 144 c2

n

∑n

i,j=1Cov(νi, νj) Cov(τ i, τ j) =

1

n− 1.

Як вiдзначено вище, критичними для гiпотези незалежностi є великi замодулем значення ρn. Тому критична область критерiю про незалежнiстьмає вигляд D1 = ρ : |ρ| ≥ rα. Для забезпечення рiвня α за нульової гi-потези при малих об’ємах n використовують табульованi значення кван-тилей розподiлу статистики Спiрмена, а при великих n – асимптотичнунормальнiсть √

n− 1 ρn →W ζ ' N(0, 1),

звiдки наближено rα = xα/2/√

n− 1, де xα/2 – квантиль рiвня 1 − α/2стандартного нормального розподiлу.

Вправи


(1) Перевiрити рiвнiсть IDρn = 1/(n− 1) на пiдставi наведених вище виразiвдля коварiацiй рангових статистик.

(2) Довести асимптотичну нормальнiсть ρn обчисленням моментiв IEρ2rn при

r ≥ 1 та їх границь при n →∞.

3.15. Критерiй хi-квадрат Пiрсонау полiномiальнiй схемi Бернуллi

Критерiй хi-квадрат – найбiльш унiверсальний з вiдомих критерiїв iможе бути застосований для великої кiлькостi статистичних моделей.

Користуючись групуванням спостережень, або ж пiдрахунком емпiри-чних частот для певної групи подiй, часто вибiрковий вектор можна звестидо вигляду X = (ζ1, ..., ζn), де окремi спостереження незалежнi у сукупно-стi, однаково розподiленi та набувають k рiзних значень x1, ..., xk:

IPθ(ζ1 = xi) = pi > 0, i = 1, k,∑k

i=1pi = 1.

Така схема випробувань є узагальненням бiномiальної схеми випробуваньБернуллi, де k = 2, i називається полiномiальною схемою випробувань.Параметром у данiй схемi виступає невiдомий дискретний розподiл θ =(pi, i = 1, k).

Аналогом вiдносної частоти успiхiв для полiномiальної схеми є векторемпiричних частот: νn = (νn1, ..., νnk), де величина

νni =∑n

j=11Iζj = xi =

∣∣j : ζj = xi∣∣ , i = 1, k,

є кiлькiстю тих випробувань iз числа n, що привели до значення xi.Оскiльки вектор параметрiв θ = (pi, i = 1, k) кратної вибiрки X мiстить

розподiл спостережень, то її функцiя вiрогiдностi має вигляд

L(X, θ) =∏n

j=1

(∑k

i=1pi1Iζj=xi

)=

∏n

j=1

(∏k

i=1p

1Iζj=xii

)=

∏k

i=1pνni

i ,

а вектор вiдносних емпiричних частот νn/n збiгається з оцiнкою макси-мальної вiрогiдностi параметра θ :

argmaxθ∈Θ L(X, θ) = argmaxθ∈Θ

∑k

i=1νni ln pi = (νni/n, i = 1, k) = νn/n.

Для обчислення умовного максимуму на множинi можливих розподiлiвθ = (pi) : pi > 0,

∑pi = 1 тут застосовано метод множникiв Лагранжа.

3.15. Критерiй хi-квадрат Пiрсона у полiномiальнiй схемi Бернуллi 409

Якщо iнтерпретувати при кожному фiксованому i подiю ζj = xi як j-й успiх у послiдовностi з n випробувань Бернуллi, а решту значень ζj – якнеуспiх, прийдемо до висновку, що величина νni є вiдповiдною кiлькiстюуспiхiв у n випробуваннях Бернуллi. Тому вона має бiномiальний розподiлiз параметрами n i pi, зокрема,

IEθνni = npi, IDθνni = npi(1− pi),

а вiдносна частота успiхiв νni/n є строго конзистентною асимптотичнонормальною оцiнкою ймовiрностi pi за теоремою про властивостi вiдно-сної частоти. Оскiльки перерiз подiй одиничної ймовiрностi має ймовiр-нiсть 1, то вектор νn/n є строго конзистентною оцiнкою для дискретногорозподiлу θ :

IPθ (limn→∞ νn/n = θ) = IPθ

(⋂k

i=1limn→∞ νni/n = pi

)= 1.

Емпiричнi частоти залежнi, причому випадковий вектор νn ∈ Rk ле-жить у (k − 1)-вимiрному пiдпросторi:

∑ki=1 νni = n.

3.15.1. Статистика хi-квадрат

Теорема (теорема Пiрсона про асимптотику статистики хi – ква-драт). Нехай νn = (νn1, ..., νnk) – вектор емпiричних частот у схемi зn полiномiальними випробуваннями X = (ζ1, ..., ζn) та розподiлом iмо-вiрностей θ = (p1, ..., pk) > 0 окремих спостережень. Тодi статистикахi-квадрат

χ2k−1(n) ≡

∑k

i=1

(νni − npi)2

npi

має граничний хi-квадрат розподiл iз k − 1 ступенями свободи, що незалежить вiд параметра θ :

χ2k−1(n) →W χ2

k−1, n →∞.

Зауваження. В означення статистики хi-квадрат входять емпiричнiчастоти νni, якi спостерiгаються статистиком, та їх очiкуванi (середнi)значення npi = IEνni. Тому корисна мнемонiчна форма для обчисленнястатистики:

χ2 =∑ (O − E)2

E,

де O означає Observed (частота, що спостерiгається), а E – Expected(частота, що очiкується).


Доведення. Розглянемо k-вимiрний випадковий вектор

η(n) =((νni − npi) /

√npi, i = 1, k

)

та для кожного j = 1, n незалежнi однаково розподiленi вектори

γj =((1Iξj = xi − pi) /

√pi, i = 1, k

).

За означенням емпiричних частот νni та вектора η(n)

η(n) =(∑n

j=1(1Iξj = xi − pi) /

√npi, i = 1, k

)=

∑n

j=1γj /

√n,

χ2k−1(n) = η2(n) = η′(n)η(n).

Обчислимо середнє та коварiацiю одного доданку в сумi для η(n) :

IEθγ1 = ((IPθ(ξ1 = xi)− pi) /√

pi, i = 1, k) = 0,

Cov(γ1) =(IEθ(1Iξ1 = xi − pi)(1Iξ1 = xl − pl) /

√pipl, i, l = 1, k

)=(

(piδil − pipl)/√

pipl, i, l = 1, k)

=((δil −√pipl), i, l = 1, k

)= I − q · q′,

де I – одинична матриця, а матриця q ·q′ = (√

pipl, i, l = 1, k) розмiру k×k

утворена декартовим добутком вектора-стовпчика q ≡ (√

pi, i = 1, k)′ насвiй транспонований вектор-рядок.

Оскiльки вектори γj незалежнi i однаково розподiленi, то за класи-чною центральною граничною теоремою для випадкових векторiв має мi-сце слабка збiжнiсть при n →∞ :

η(n) =∑n

j=1γj /

√n →W ξ ' Nk(0, I − q · q′).

З неперервностi квадратичної функцiї та з означення слабкої збiжностiвекторiв звiдси випливає слабка збiжнiсть випадкових величин

χ2k−1(n) = η2(n) →W ξ2, n →∞.

За означенням вектор q = (√

pi, i = 1, k)′ має одиничну норму. Нехай(q1, ..., qk−1) – доповнення q до ортонормованого базису в Rk, а ортонормо-вана матриця U ≡ (q1, ..., qk−1, q)

′. Тодi Uq = e = (0, ..., 0, 1)′.Розглянемо випадковий вектор β = Uξ. За теоремою про лiнiйнi пе-

ретворення нормальних векторiв вектор β = (β1, ..., βk)′ є нормальним.

Оскiльки за теоремою про коварiацiйну матрицю лiнiйного перетворення

IEθβ = 0, Cov(β) = UCov(ξ)U ′ = U(I − q · q′)U ′ =

UU ′ − Uq · (Uq)′ = I − e · e′ = (δij1Ii<k, i, j = 1, k),


то випадковi величини (β1, ..., βk−1) є незалежними у сукупностi стандар-тними нормальними величинами, а βk = 0, оскiльки IDβk = Cov(β)kk = 0.Тодi за означенням хi-квадрат розподiлу ξ2 ' χ2

k−1, оскiльки:

ξ2 = ξ′ξ = (U ′β)′U ′β = β′UU ′β = β2 =∑k−1

i=1β2

i ' χ2k−1.

Отже, χ2k−1(n) →W ξ2 ' χ2

k−1 ¡

3.15.2. Критерiй хi-квадрат для простих гiпотез

Припустимо, що статистичний простiр вiдповiдає наведенiй вище по-лiномiальнiй схемi випробувань, причому невiдомим параметром є розпо-дiл результату одного випробування: θ = (p1, ..., pk). Розглянемо задачуперевiрки простої гiпотези H0, яка полягає в тому, що цей розподiл збi-гається з наперед заданим розподiлом: H0 : θ = (p1, ..., pk).

Як статистику критерiю оберемо статистику хi-квадрат

χ2k−1(n) =

∑k

i=1

(νni − npi)2

npi

= n∑k

i=1

(νni/n− pi)2

pi

,

що визначена в теоремi Пiрсона про асимптотику статистики хi-квадрат.Зауважимо, що за теоремою Бореля про асимптотику частоти успiху маємiсце збiжнiсть νni/n →P1 IP(ζ1 = xi), n →∞. Якщо гiпотеза H0 не вико-нується, тобто остання гранична ймовiрнiсть не дорiвнює pi при певномуi, то має мiсце збiжнiсть χ2

k−1(n) →P1 ∞, n → ∞. Отже, критичними длягiпотези H0 є великi значення статистики χ2

k−1(n).Тому критерiй узгодженостi хi-квадрат для перевiрки гiпотези H0 має

вигляд (χ2k−1(n), [xα,∞)), де критичний рiвень xα знаходиться з умови

IP(χ2k−1 < xα) = 1 − α. З теореми Пiрсона випливає, що рiвень критерiю

при великих об’ємах вибiрки наближено дорiвнює α.Вiдоме емпiричне (позаматематичне) правило: при обмеженiй кiлько-

стi спостережень критерiю хi-квадрат можна довiряти, коли на ко-жний рiвень припадає не менше 5 (6, 12, 20, ...) спостережень (тобтоνni ≥ 5, 6, 12, 20, ..).

Бiльш помiрний варiант необхiдних застережень полягає у тому, щовсi очiкуванi частоти не меншi за 2, i не менше 80% з них не меншi 5.

Критерiй хi-квадрат є конзистентним для кожної простої альтерна-тиви. Дiйсно, якщо гiпотетичне значення θ = (pi, i = 1, k) не дорiвнюєiстинному (pi, i = 1, k), то

χ2k−1(n) =

∑k

i=1(νni − npi)

2/npi =∑k

i=1(npi − npi + νni − npi)

2/npi ≥


∑k

i=1((npi − npi)

2/2− (νni − npi)2)/npi ≥ n∆− cχ2

k−1(n),

де ∆ =∑k

i=1(pi − pi)2/2 pi > 0, c = max i(pi/pi), а статистика хi-квадрат

χ2k−1(n) =

∑k

i=1(νni − npi)

2/npi

слабко збiгається за припущенням. Тому χ2k−1(n) →P ∞, n → ∞, i для

кожного критичного рiвня xα потужнiсть IPθ(χ2k−1(n) ≥ xα) → 1, n → ∞.

Отже, критерiй є конзистентним ¡Приклад. Для перевiрки гiпотези про симетрiю гральної костi її пiд-

кидають 600 разiв. Побудуємо таблицю зi стовпчиками, якi вiдповiдаютьномерам результатiв випробувань, та з рядками, що мiстять такi данi:

O – емпiричнi частоти, що спостерiгаються (Observed values),E – вiдповiднi очiкуванi частоти (Expected values),O − E – рiзницi емпiричних та очiкуваних частот,(O − E)2 / E – вiдповiдний доданок у сумi хi-квадрат:

Грань 1 2 3 4 5 6 ΣO 104 108 97 103 94 94 600E 100 100 100 100 100 100 600

O − E 4 8 −3 3 −6 −6 0(O − E)2/E .16 .64 .09 .09 .36 .36 1.70

За таблицями знаходимо, що IP(χ25 ≥ 15.09) ≈ 0.01. Значення статистики

менше за критичне: 1.70 < 15.09, тому альтернатива про асиметрiю по-винна бути вiдкинута на рiвнi 0.01, i приймається нульова гiпотеза просиметрiю.

Вправи(1) Нижче наведенi частоти цифр 0, 9 у 10002 десяткових знаках числа π− 3

0 1 2 3 4 5 6 7 8 9968 1026 1021 974 1014 1046 1021 970 948 1014

За допомогою критерiю хi-квадрат на рiвнi 0.01 перевiрити гiпотезу про рiвно-мiрну розподiленiсть десяткових цифр числа π.

(2) Знайти сумiсний розподiл та його генератрису для вектора емпiричнихчастот νn = (νn1, ..., νnk) у полiномiальнiй схемi Бернуллi.

(3) Довести, що статистика хi-квадрат у полiномiальнiй схемi Бернуллi до-рiвнює χ2

k−1(n) =∑k

i=1 ν2ni/npi − n.

(4) Нехай νnij – кiлькiсть спостережень j-го результату до першої появи i-горезультату у полiномiальнiй схемi Бернуллi. (а) Знайти генератрису, математичнiсподiвання та дисперсiї νnij. (б) Знайти сумiсну генератрису (νnij, j = 1, i− 1).


3.15.3. Групування, гiстограма

Значна кiлькiсть статистичних випробувань зводиться до полiномi-альної схеми випробувань. Для цього застосовують групування спосте-режень.

Для прикладу розглянемо кратну вибiрку X = (ξ1, ..., ξn).Нехай H = (Hi, i = 1, k) – довiльне вимiрне розбиття простору зна-

чень окремих спостережень ξj. Визначимо на цьому просторi вимiрнуфункцiю g(y) =

∑ki=1 i 1Iy∈Hi

, що набуває k рiзних значень. Групованоювибiркою за розбиттям H називається вектор

ζ = g(X) = (ζj = g(ξj), j = 1, n).

Випадковi величини (ζj, j = 1, n) незалежнi у сукупностi, однаково роз-подiленi i набувають k рiзних значень, тобто ζ = (ζ1, ..., ζn) є вибiркоюспостережень iз полiномiальної схеми випробувань.

Теоретичнi частоти обчислюється через розподiл спостережень:

pi = IPθ(ξ1 ∈ Hi), i = 1, k.

Вiдповiдний вектор емпiричних частот νn = (νn1, ..., νnk) для групова-ної вибiрки (ζj) має вигляд

νni =∑n

j=11Iζj=i =

∑n

j=11Iξj ∈ Hi =

∣∣j : ξj ∈ Hi∣∣ , i = 1, k,

i називається гiстограмою вибiрки X = (ξj, j = 1, n) при розбиттi H.Гiстограми часто зображують у виглядi ряду вертикальних стовпчикiв,висоти яких пропорцiйнi вiдповiдним емпiричним частотам

5 ¥¥4 ¥¥ ¥¥3 ¥¥ ¥¥ ¥¥ ¥¥2 ¥¥ ¥¥ ¥¥ ¥¥ ¥¥1 ¥¥ ¥¥ ¥¥ ¥¥ ¥¥ ¥¥0 H1 H2 H3 H4 H5 H6

Iснує бiльш адекватний вiзуальний спосiб групування даних, що нази-вається графiком стебла та листя (stem and leaf plot). Для його побудовиданi масштабують так, щоб вони належали вiдрiзку [0.0, ..., 9.9], а потiму стовпчик з номером, що дорiвнює цiлiй частинi числа, записують йогопершу пiсля коми цифру. Кiлькiсть цифр у стовпчику вiдображає частотупотрапляння даних у вiдповiдний iнтервал, а склад цифр свiдчить про


розподiл даних всерединi iнтервалiв групування. Наприклад, вибiрка 21,27, 172, 233, 251, 259, 414, 542, 584, 590, 633, 691 зображується у виглядi:

5 92 5 8 92 7 3 1 4 3— — — — — — — — — —0 1 2 3 4 5 6 7 8 9

3.15.4. Критерiй хi-квадрат узгодженостiз функцiєю розподiлу

Для перевiрки узгодженостi кратної вибiрки X = (ξ1, ..., ξn) iз заданоюфункцiєю розподiлу F одного спостереження числову вiсь розбивають наk несумiсних iнтервалiв: R = ∪k

i=1∆i, та обчислюють гiстограму

νni =∑n

j=1 1Iξj ∈ ∆i =∣∣j : ξj ∈ ∆i

∣∣ , i = 1, k.

Статистика критерiю дорiвнює

χ2k−1(n) =

∑k

i=1

(νni − nF (∆i))2

nF (∆i)

i асимптотично має хi-квадрат розподiл χ2k−1. Теоретичнi ймовiрностi до-

рiвнюють приростам функцiї F на iнтервалах: F (∆i) = IP(ξj ∈ ∆i).Критерiй узгодженостi хi-квадрат iз функцiєю розподiлу має вигляд

(χ2k−1(n), [zα,∞)), де значення критичного рiвня zα визначається з умови

IP(χ2k−1 < zα) = 1 − α. З теореми Пiрсона про асимптотику статистики

хi-квадрат випливає, що вiрогiдний рiвень критерiю IP(χ2k−1(n) ≥ zα) на-

ближено (при великих об’ємах вибiрки) дорiвнює α.

Зауваження. Слiд мати на увазi, що при застосуваннi групуваннявiдбувається пiдмiна формулювання нульової гiпотези. Так, у задачi проузгодженiсть вибiрки з заданою функцiєю розподiлу нульова гiпотеза пi-сля групування зводиться до твердження, що ймовiрностi потраплянняодного спостереження в iнтервали розбиття збiгаються з наперед зада-ними. Останню умову задовольняють багато рiзних теоретичних функцiйрозподiлу. Для подолання даної обставини слiд збiльшувати кiлькiсть kiнтервалiв групування. З iншого боку, при завеликих k кiлькiсть спо-стережень в деяких iнтервалах може бути неприйнятно малою. Тому напрактицi рекомендують обирати k ≈ c ln n.


3.15.5. Критерiй хi-квадрат для складних гiпотез

Розглянемо полiномiальну схему випробувань, в якiй розподiл спосте-реження залежить вiд значення векторного параметра θ ∈ Θ ⊂ Rd :

IPθ(ζ1 = xi) = pi(θ), i = 1, k.

Функцiї pi(θ) вважаються повнiстю вiдомими i утворюють при кожно-му θ дискретний розподiл : pi(θ) > 0,

∑ki=1 pi(θ) = 1. Як i вище, результати

спостережень представленi вектором емпiричних частот νn = (νn1, ..., νnk).Розглянемо випадок, коли параметр θ не тiльки невiдомий, але й вiд-

сутнi будь-якi припущення про його значення. Тодi спочатку доведетьсявисунути якесь припущення щодо значення θ на пiдставi спостережень(тобто фактично оцiнити це значення), а потiм перевiрити статистичнугiпотезу про вiдповiднiсть iстинного параметра його оцiнцi. Очевидно,що використання наведеного вище критерiю хi-квадрат стає некоректним,оскiльки пiдстановка замiсть значення θ його оцiнки змiнює розподiл ста-тистики хi-квадрат χ2

k−1(n) i, зокрема, деформує рiвень критерiю. Як ви-являється, для розв’язання проблеми iснує необхiдна модифiкацiя крите-рiю Пiрсона.

Теорема (про асимптотику модифiкованої статистики хi- квадрат).Припустимо, що у полiномiальнiй схемi випробувань з k значеннями уодному випробуваннi виконуються умови:

(а) inf θ, i pi(θ) > 0,(б) pi(θ) ∈ C2(Θ), ∀i = 1, k,(в) rang

(∂pi(θ)/∂θ, i = 1, k

)= d ≡ dim Θ < k.

Якщо оцiнка θn є оцiнкою максимальної вiрогiдностi за емпiричнимичастотами νn = (νn1, ..., νnk), тобто

θn = argmaxθ∈Θ L(νn, θ) = argmaxθ∈Θ

∏k

i=1pνni

i (θ),

то модифiкована статистика хi-квадрат

χ2(θn

)≡

∑k

i=1

(νni − npi(θn))2

npi(θn)

слабко збiгається до величини з хi-квадрат розподiлом i кiлькiстю сту-пенiв свободи, що скоригована на число оцiнених параметрiв:

χ2(θn

)→W χ2

k−1−d, n →∞.

Доведення теореми не наводиться.


Як i вище, критичними для гiпотези H0 є великi значення статистики.Модифiкований критерiй узгодженостi хi-квадрат задається парою

(χ2k−d−1(n), [zα,∞)), де критичний рiвень zα обчислюється з рiвняння

IP(χ2k−d−1 < zα) = 1 − α. З теореми про асимптотику модифiкованої ста-

тистики хi-квадрат випливає, що вiрогiдний рiвень критерiю наближено(при великих об’ємах вибiрки) дорiвнює α.

3.15.6. Критерiй хi-квадрат однорiдностi

Розглянемо статистичнi випробування, що складаються iз m серiй по-лiномiальних випробувань Xl = (ζ lj, j = 1, nl) по nl спостережень у l-йсерiї, l = 1,m. Окреме випробування в кожнiй серiї може закiнчитисяодним iз k результатiв x1, ..., xk. Спостереження зображенi подвiйнимвектором емпiричних частот

νn = (ν l(nl), l = 1,m) = ((ν li, i = 1, k), l = 1, m),

νli =∑ns

j=11Iζlj = xi =

∣∣j : ζ lj = xi∣∣ , n =

∑m

l=1nl.

Усi випробування незалежнi у сукупностi. Нульова гiпотеза полягає втому, що розподiли всiх спостережень однаковi, однак припущення щодоспiльного розподiлу не формулюються. Якби був вiдомий спiльний роз-подiл спостережень: θ = (pi, i = 1, k), то для перевiрки нульової простоїгiпотези

H0 : IPθ(ζ l1 = xi) = pi, ∀i = 1, k, ∀l = 1,m,

можна було б використати при nl →∞, l = 1,m, статистику хi-квадрат

χ2 (θ) =∑m

l=1

∑k

i=1

(νli − nlpi)2

nlpi

→W∑m

l=1χ2

k−1, l ' χ2mk−m.

Остання рiвнiсть тут випливає з адитивностi хi-квадрат розподiлiв вiд-носно додавання незалежних величин, що є наслiдком теореми про iнва-рiантнiсть гама-розподiлiв вiдносно згортки. Якщо розглянути об’єднанувибiрку (ζ lj, j = 1, nl, l = 1, m) без припущення однорiдностi, тобто призалежностi розподiлу (pi) також вiд номера серiї l, то число ступенiвсвободи mk −m можна iнтерпретувати як справжню розмiрнiсть векторарозподiлiв (IPθ(ζ l1 = xi), i = 1, k, l = 1,m), оскiльки суми ймовiрностей длякожної з m серiй дорiвнюють 1.

При невiдомому розподiлi вибiрки, тобто за нульової гiпотези

H ′0 : IPθ(ζ lj = xi) = IPθ(ζ11 = xi), ∀i = 1, k, ∀l = 1,m, ∀θ,


для цього розподiлу θ = (pi, i = 1, k) необхiдно спочатку побудувати оцiн-ку максимальної вiрогiдностi

θn = argmaxθ∈Θ

∏m

l=1

∏k

i=1pνli

i = argmaxθ∈Θ

∏k

i=1pν·i

i =

argmaxθ∈Θ

∑k

i=1ν ·i ln pi = (ν•i / n, i = 1, k),

де ν•i =∑m

l=1ν li, n =

∑m

l=1nl.

Зауважимо, що фактична розмiрнiсть параметричного простору має ви-гляд d ≡ dim Θ = k − 1, оскiльки сума координат k-вимiрного вектора θзавжди дорiвнює одиницi.

Отже, модифiкована статистика хi-квадрат для перевiрки однорiдностiмає вигляд

χ2(θn

)=

∑m

l=1

∑k

i=1

(νli − nlν•i/n)2

nlν•i/ni за теоремою про асимптотику модифiкованої статистики хi-квадрат асим-птотична кiлькiсть ступенiв свободи дорiвнює зменшенiй на k − 1 факти-чної кiлькостi параметрiв mk −m :

χ2(θn

)→W χ2

mk−m−(k−1) = χ2(m−1)(k−1), n →∞.

Критерiй хi-квадрат однорiдностi має вигляд(χ2(θn), [zα,∞)

), де кри-

тичний рiвень zα визначається умовою IP(χ2(m−1)(k−1) < zα) = 1 − α. З

теореми про асимптотику модифiкованої статистики хi-квадрат випливає,що вiрогiдний рiвень критерiю наближено (при великих n) дорiвнює α.

3.15.7. Критерiй хi-квадрат незалежностi

Розглянемо кратну вибiрку, що мiстить двовимiрнi спостереження (па-ри спостережень):

X = ((ξj, ηj), j = 1, n).

Сумiсний розподiл окремих пар спостережень є невiдомим, а нульовагiпотеза полягає в тому, що спостереження в парi є незалежними. Задопомогою групування можна звести задачу до випадку, коли множинавибiркових значень є скiнченною: ξ1 ∈ x1, ..., xk, η1 ∈ y1, ..., ym. Уцьому випадку нульова проста гiпотеза формулюється у виглядi

H0 : IPθ(ξ1 = xi, η1 = yl) = piql, ∀i = 1, k, ∀l = 1, m,

де вектор розподiлу координат θ = (pi, i = 1, k, ql, l = 1,m), є невiдо-мим параметром i пiдлягає оцiнцi. Якби цi розподiли були вiдомими, то


критерiй хi-квадрат мiстив би сумiснi емпiричнi частоти

νil =∑n

j=11Iξj = xi, ηj = yl =

∣∣j : ξj = xi, ηj = yl∣∣

i мав використовувати статистику хi-квадрат

χ2km−1(θ) =

∑k

i=1

∑m

l=1

(νil − npiql)2

npiql

.

Таблиця з частотами (νil, i = 1, k, l = 1,m) називається таблицеюспряженостi факторiв, що впливають на значення спостережень у рядкахта стовпчиках.

При розподiлi θ = (pi, i = 1, k, ql, l = 1,m) нульова гiпотеза має вигляд

H ′0 : IPθ(ξ1 = xi, η1 = yl) =

IPθ(ξ1 = xi)IPθ(η1 = yl), ∀i = 1, k, ∀l = 1,m,

а оцiнка максимальної вiрогiдностi для цього розподiлу дорiвнює

θn = argmaxθ∈Θ

∏k

i=1

∏m

l=1(piql)

νil = argmaxθ∈Θ

(∏k

i=1pi

νi•)(∏m

l=1ql

ν•l

)

= argmaxθ∈Θ

(∑k

i=1νi• ln pi +

∑m

l=1ν•l ln ql

)=

(νi•/n, i = 1, k, ν•l/n, l = 1,m), де νi• =∑m

l=1νil, ν•l =

∑k

i=1νil.

Отже, модифiкована статистика хi-квадрат для перевiрки незалежностiпарних спостережень має вигляд

χ2(θn) ≡∑k

i=1

∑m

l=1

(νil − νi•ν•l/n)2

νi•ν•l/n.

Кiлькiсть параметрiв, що були оцiненi, дорiвнює dim Θ = k−1+m−1.Тому з теореми про асимптотику модифiкованої статистики хi-квадратробимо висновок, що за нульової гiпотези

χ2(θn) →W χ2mk−1−(m−1+k−1) = χ2

(m−1)(k−1), n →∞.

Критерiй хi-квадрат незалежностi парних спостережень має вигляд(χ2(θn), [z(m−1)(k−1),α,∞)), де критичний рiвень z(m−1)(k−1),α визначаєтьсяза рiвнем α умовою IP(χ2

(m−1)(k−1) < z(m−1)(k−1),α) = 1 − α. З теореми проасимптотику модифiкованої статистики хi-квадрат робимо висновок, щовiрогiдний рiвень даного критерiю наближено (при великих об’ємах ви-бiрки) дорiвнює α.

Зауваження. У випадку, коли m = k = 2, тобто статистика хi-квадратмає 1 ступiнь свободи, всi доданки у сумi є пропорцiйними. У цьому разi

3.16. Перевiрка гiпотез про параметри нормальних спостережень 419

рекомендується використання поправки Йетса на неперервнiсть, що поля-гає у замiнi статистики на χ2(θn) ≡ (ν11−ν1•ν•1/n−1/2)2 / (ν1•ν•1ν2•ν•2/n3).

Приклад. Соцiологи провели опитування трьох груп населення: з се-редньою, професiйною та вищою освiтою щодо необхiдностi проведенняекономiчних реформ. Результати зображено у таблицi спряженостi

Середня Професiйна Вища ΣТак 40 75 35 150Нi 160 225 65 450Σ 200 300 100 600

Результат обробки таблицi за критерiєм хi-квадрат має вигляд:Висновок Освiта O E O − E (O − E)2/E

Так С 40 50 = 200 · 150/600 −10 2Так П 75 75 = 300 · 150/600 0 0Так В 35 25 = 100 · 150/600 10 4Нi С 160 150 = 200 · 450/600 10 0.67Нi П 225 225 = 300 · 450/600 0 0Нi В 65 75 = 100 · 450/600 −10 1.33Σ 600 600 0 8.00

Оскiльки значення статистики 8.00 > 5.99 = z2, 0.05, то нульова гiпотезапро незалежнiсть фактора освiти вiд думки щодо необхiдностi реформ вiд-кидається на рiвнi 0.05 – тобто приймається альтернатива про залежнiсть(у даному випадку – позитивну залежнiсть вiд рiвня освiти).

Вправа. Довести, що у 2×2 таблицi спряженостi умовний розподiл частотиν11 за умови, що фiксованi ν•j та νi•, є гiпергеометричним. Знайти його. Побу-дувати точний критерiй Фiшера перевiрки незалежностi, якщо критичними євеликi вiдхиленнi у обидва боки величини ν11 вiд ν•1ν1• /n.

3.16. Перевiрка гiпотез про параметринормальних спостережень

Критерiї узгодженостi для нормальних виборок ґрунтуються на спе-цiальних властивостях вибiркових моментiв, якi використовувались вищепри побудовi надiйних iнтервалiв для нормальних спостережень.

Вiдзначимо, що iснує прямий зв’язок мiж перевiркою гiпотез про пара-метри та побудовою надiйних iнтервалiв для них. А саме, надiйний iнтер-вал для невiдомого параметра можна розглядати для множину прийня-тних значень для його гiпотетичного значення, а доповнення цього iнтер-


валу – як вiдповiдну критичну область для нульової гiпотези. Наприклад,бiльшiсть наведених вище надiйних iнтервалiв для нормальних спостере-жень вигляду [θ1, θ1] побудованi так, що θ1 < θ < θ2 = |κ(X, θ)| < xaдля деякої опорної величини κ(X, θ). Тут критичне значення xa обране зумови IP(θ1 < θ < θ2) = 1 − α. Тодi (|κ(X, θ0)| , [xa,∞)) є критерiєм рiвняα для перевiрки гiпотези H0 : θ = θ0.

Нехай X = (ξ1, ..., ξn) – кратна вибiрка з нормальним розподiлом спо-стережень N(µ, σ2). Наведенi критерiї мiстять статистики: µn – вибiрковесереднє, σ2

n – вибiркова дисперсiя, та s2n – нормована вибiркова дисперсiя.

Нижче xα означає двобiчний квантиль вiрогiдного рiвня 1 − α длястандартного нормального розподiлу : IP(|ζ| < xα) = 1 − α. Аналогiчнийзмiст мають ynα для розподiлу Стьюдента з n ступенями свободи, та znα

– для хi-квадрат розподiлу з n ступенями свободи.

3.16.1. Перевiрка гiпотез про параметриоднiєї вибiрки

Гiпотеза про середнє при вiдомiй дисперсiї. Нехай дисперсiя σ2

вiдома. Випадкова величина

κn(µ, σ) =√

n (µn − µ)/σ

має стандартний нормальний розподiл за теоремою про вибiрковi сере-днє та дисперсiю нормальної вибiрки. Тому двобiчний критерiй вигляду(|κn(µ0, σ)| , [xα,∞)) для перевiрки гiпотези H0 : µ = µ0 має вiрогiднийрiвень α. Критерiй є конзистентним, оскiльки при µ0 6= µ статистика

κn(µ0, σ) =√

n(µn − µ + µ− µ0)/σ →P ±∞, n →∞.

Гiпотеза про дисперсiю при вiдомому середньому. При вiдомомусередньому µ вибiркова дисперсiя σ2

n є статистикою, а величина

χ2n(σ) = nσ2

n / σ2 =∑n

k=1(ξk − µ)2 / σ2

має хi-квадрат розподiл iз n ступенями свободи за теоремою про вибiрковiсереднє та дисперсiю нормальної вибiрки. Тому критерiй (χ2

n(σ0), [znα,∞))для перевiрки гiпотези H0 : σ = σ0 має вiрогiдний рiвень α.

Гiпотеза про середнє при невiдомiй дисперсiї. За теоремою про ста-тистику Стьюдента вiд нормальної вибiрки величина

τn−1(µ) =√

nµn − µ

sn


має розподiл Стьюдента з n− 1 ступенем свободи. Тому критерiй вигляду(|τn−1(µ0)| , [yn−1,α,∞)) для перевiрки гiпотези H0 : µ = µ0 має вiрогiднийрiвень α. Критерiй є конзистентним.

Приклад. 10 випадково обраних студентiв третього курсу показалитакi результати тестування на 100-бальних випробуваннях на початку i вкiнцi навчального року:

N 1 2 3 4 5 6 7 8 9 10Вересень 80 72 61 74 85 72 93 87 98 65Липень 85 73 60 75 96 80 87 82 98 70Рiзниця 5 1 −1 1 11 8 6 −5 0 5

Для перевiрки гiпотези про наявне полiпшення рiвня знань обчислимодля рiзниць µ10 = 3.1, s10 = 4.75, та значення τ 9(0) =

√10(3.1 − 0)/4.75

= 2.1. Оскiльки 2.1 > y 10−1, 0.01 = 1.83, то на рiвнi 0.01 гiпотеза прополiпшення не може бути вiдхилена – приймається.

Гiпотеза про дисперсiю при невiдомому середньому. За теоремоюпро вибiрковi середнє та дисперсiю нормальної вибiрки величина

χ2n−1(σ) = (n− 1)s2

n / σ2

має хi-квадрат розподiл iз n − 1 ступенем свободи. Вiдповiдно критерiйвигляду

(χ2

n−1(σ0), [zn−1,α,∞))має вiрогiдний рiвень α.

3.16.2. Перевiрка гiпотез про параметридвох вибiрок

Гiпотеза про рiзницю середнiх при вiдомих дисперсiях. Нехай спо-стерiгаються двi незалежнi кратнi нормальнi вибiрки X = (ξ1, ..., ξn) таY = (η1, ..., ηm), що мають розподiли

ξ1 ' N(µ1, σ21), η1 ' N(µ2, σ

22)

з невiдомими середнiми µk та вiдомими дисперсiями σ2k.

Нульова гiпотеза формулюється як

H0 : µ2 − µ1 = ∆,

де величина ∆ вiдома. Часто розглядають випадок, коли ∆ = 0.Нехай µn, µm – вiдповiднi вибiрковi середнi для X i Y . Величини

µn, µm незалежнi за теоремою про векторнi перетворення незалежнихвеличин, причому µn−µ1 ' N(0, σ2

1/n), µm−µ2 ' N(0, σ22/m) за теоремою


про вибiрковi середнє та дисперсiю нормальної вибiрки. Тому за нульовоїгiпотези

µm − µn −∆ ' N(0, σ21/n + σ2

2/m),

за теоремою про нормальнiсть суми незалежних нормальних векторiв.Отже, статистика критерiю

ζnm = (µm − µn −∆) /√

σ21/n + σ2

2/m

має за нульової гiпотези стандартний нормальний розподiл, а його крити-чна область вiдповiдає великим її значенням.

Критерiй (∣∣∣ζnm

∣∣∣ , [xα,∞)) для перевiрки гiпотези про рiзницю середнiхмає вiрогiдний рiвень α та є конзистентним.

Гiпотеза про рiзницю середнiх при невiдомiй дисперсiї. Нехай, як iвище, спостерiгаються незалежнi кратнi нормальнi вибiрки X = (ξ1, ..., ξn)та Y = (η1, ..., ηm) з розподiлами

ξ1 ' N(µ1, σ2), η1 ' N(µ2, σ

2)

з невiдомими середнiми µk та однаковими невiдомими дисперсiями σ2.Нульова гiпотеза має вигляд

H0 : µ2 − µ1 = ∆,

де величина ∆ вiдома, зокрема, можливо, ∆ = 0.Нехай µn, µm – вiдповiднi вибiрковi середнi для X та Y , а s2

n, s2m –

нормованi вибiрковi дисперсiї. Тодi з незалежностi вибiрок X та Y i зтеорем про векторнi перетворення незалежних величин та про вибiрковiсереднє та дисперсiю нормальної вибiрки випливає, що величини µn, µm,s2

n, s2m незалежнi у сукупностi. Тому випадкова величина√

nm

n + m(µm − µn −∆) /σ,

що має нульове середнє та одиничну дисперсiю, є нормально розподiле-ною i до того ж не залежить вiд суми

((n− 1)s2n + (m− 1)s2

m) / σ2,

яка має хi-квадрат розподiл iз n+m−2 ступенями свободи за означенням.Отже, за нульової гiпотези H0 внаслiдок означення розподiлу Стью-

дента статистика, що утворена вiдношенням:

τn+m−2 =

√nm

n + m

µm − µn −∆√((n− 1)s2

n + (m− 1)s2m) /(n + m− 2)


має розподiл Стьюдента з n + m− 2 ступенями свободи.Критерiй Стьюдента (|τn+m−2| , [yn+m−2,α,∞)) для перевiрки гiпотези

про рiзницю середнiх має вiрогiдний рiвень α. Критерiй є конзистентним.

Гiпотеза про вiдношення дисперсiй при вiдомих середнiх. Одноча-сно спостерiгаються незалежнi кратнi нормальнi вибiрки X = (ξ1, ..., ξn)та Y = (η1, ..., ηm) з розподiлами ξ1 ' N(µ1, σ

21) i η1 ' N(µ2, σ

22) з вiдомими

середнiми µk та невiдомими дисперсiями σ2k.

Нульова гiпотеза формулюється як

H0 : σ22 = ρσ2

1,

де вiдношення ρ вiдоме (зокрема ρ = 1). Тодi за гiпотези H0 статистика

φn,m =σ2

n / σ21

σ2m / σ2

2

= ρσ2

n

σ2m

має розподiл Фiшера з n, m ступенями свободи.Вiдповiдно критерiй (φn,m, [0, wα/2/ρ] ∪ [w1−α/2/ρ,∞)) має рiвень α, де

границi wα критичної областi обранi з умови IP(φn,m < wα) = α.

Гiпотеза про вiдношення дисперсiй при невiдомих середнiх. Приневiдомих середнiх слiд обрати нормованi вибiрковi дисперсiї. У цьомувипадку статистика

φn−1,m−1 =s2

n / σ21

s2m / σ2

2

= ρs2

n

s2m

має розподiл Фiшера з n − 1,m − 1 ступенями свободи. Тому критерiйвигляду (φn−1,m−1, [0, wα/2] ∪ [w1−α/2,∞)) має рiвень α.

Iнодi на практицi для перевiрки гiпотези про рiвнiсть середнiх одно-часно використовують критерiй про вiдношення дисперсiй (для обґрун-тування припущення про рiвнiсть дисперсiй), а потiм вже критерiй прорiзницю середнiх, що оснований на такому припущеннi. Зауважимо, що втакому випадку статистики критерiїв є залежними, тому вiрогiдний рiвенькомбiнованого критерiю не є передбачуваним.

3.16.3. Кореляцiйний аналiз

Розглянемо кратну вибiрку X = (ξ1, ..., ξn) з двомiрним нормальнимрозподiлом спостережень: ξj = (ξ1j, ξ2j) ' N2(µ1, µ2, σ

21, σ

22, ρ) з невiдо-

мими середнiми µk, дисперсiями σ2k та коефiцiєнтом кореляцiї ρ. Цi па-

раметри однозначно визначають розподiл спостережень за теоремою прощiльнiсть нормального розподiлу на площинi.


Нехай µkn, s2kn вибiрковi середнє та дисперсiя для вектора (ξk1, ..., ξkn),

k = 1, 2. Визначимо вибiрковий коефiцiєнт кореляцiї

ρn =1

(n− 1)s1ns2n

∑n

j=1(ξ1j − µ1n)(ξ2j − µ2n)

З критерiю Колмогорова посиленого закону великих чисел випливає,що ρn →P1 ρ, n →∞ (Вправа).

За нульової гiпотези H9 : ρ = 0 координати вектора ξ1 незалежнi згiдноз теоремою про незалежнiсть координат нормального вектора.

Тому для перевiрки незалежностi критичною областю слiд обрати мно-жину вiдносно великих значень статистики ρn.

Можна довести, що статистика

τn−2 =√

n− 2 ρn(1− ρ2n)−1/2

має розподiл Стьюдента з n − 2 ступенями свободи за гiпотези H0. Томукритерiй (ρ2

n, y2n−2,α/(n−2+y2

n−2,α)) для перевiрки незалежностi має рiвеньα. Критерiй є конзистентним.

Для перевiрки гiпотези про рiзницю середнiх H0 : µ1 − µ2 = ∆ можнаскористатись статистикою

τn−2 =√

n− 1µ1n − µ2n −∆√

s21n + s2

2n − 2ρns1ns2n

,

що має при виконаннi гiпотези H0 розподiл Стьюдента з n − 1 ступенемсвободи (Вправа). Критичними є великi значення статистики.

Для розв’язання задачi iнтервального оцiнювання коефiцiєнта ρ вико-ристовується асимптотична нормальнiсть

√n(ρn − ρ) →W ζ ' N(0, (1− ρ2)2), n →∞.

У випадку сильної залежностi, коли |ρ| близький до 1, використовує-ться перетворення Фiшера

zn =1

2ln

1 + ρn

1− ρn

' N

(1

2ln

1 + ρ

1− ρ+ 2

ρ

n− 1,

1

n− 3

), n →∞.

3.16.4. Асимптотичнi критерiї

На практицi всi наведенi критерiї використовуються також для вибi-рок, якi не мають нормального розподiлу (наприклад, для цiлозначних


спостережень). Правомiрнiсть такого використання може бути обґрунто-вана виходячи з того, що вибiрковi середнi та дисперсiї все ж таки на-ближено мають вiдповiднi нормальнi та пов’язанi з нормальним розподiли,оскiльки вони є сумами незалежних (чи умовно незалежних) випадковихвеличин. Останнi внаслiдок центральної граничної теореми є асимптоти-чно нормальними. Для iлюстрацiї цього положення зазначимо, що деякiдатчики випадкових чисел для моделювання стандартної нормальної ви-падкової величини використовують алгоритм: ζ ' α1 + ... + α12 − 6, де αi

– незалежнi величини з рiвномiрним розподiлом на [0, 1].Приклади(а) Якщо вибiрка утворена результатами n випробувань Бернуллi з

невiдомою ймовiрнiстю успiху θ, то для перевiрки гiпотези θ = p можнаскористатись асимптотичною нормальнiстю вiдносної частоти успiху θn :

√n(θn − θ) →W ζ ' N(0, θ(1− θ)) при n →∞,

як це зроблено у роздiлi про оцiнку ймовiрностi успiху для побудовивiдповiдних надiйних iнтервалiв.

(б) Нехай спостерiгається кратна вибiрка X = (ξ1, ..., ξn) з розподiломПуассона Π(λ). Тодi для вибiркового середнього за класичною централь-ною граничною теоремою

(µn − λ)(λ/n)−1/2 →W ζ ' N(0, 1) при n →∞.

Дану збiжнiсть можна використати як для перевiрки гiпотез щодо значе-ння λ, так i для побудови вiдповiдних надiйних iнтервалiв.

(в) Одночасно спостерiгаються незалежнi кратнi вибiрки X = (ξ1, ..., ξn)та Y = (η1, ..., ηm), з розподiлами Пуассона Π(λ) та Π(µ) вiдповiдно. Тодiз аналогiчних пiдстав

(µn − µm − λ + µ)(λ/n + µ/m)−1/2 →W ζ ' N(0, 1), n, m →∞,

що дозволяє як перевiрити гiпотезу щодо рiзницi λ− µ, так i побудуватинадiйнi iнтервали для неї.

Вправа. Спостерiгаються двi незалежнi схеми випробувань Бернуллi з ni

спостереженнями, ймовiрностями успiху θi,та частотами успiхiв θi i = 1, 2. Тодi:(θ1 − θ2 − θ1 + θ2

)/√

θ1(1− θ1)/n1 + θ2(1− θ2)/n2 →W ζ ' N(0, 1), при

ni →∞, а за умови H0 : θ1 = θ2 при θ = (n1θ1 + n2θ2)/(n1 + n2) також(θ1 − θ2

)/

√θ(1− θ)(1/n1 + 1/n2)/n1n2 →W ζ ' N(0, 1). Довести та вико-

ристати цi твердження для перевiрки H0.


3.17. Найбiльш потужнi критерiї,лема Неймана – Пiрсона

Розглянемо задачу перевiрки статистичної гiпотези H0 : θ ∈ Θ0 протиальтернативи H1 : θ ∈ Θ1 на пiдставi вибiрки X зi значеннями у вибiрко-вому просторi (S, Σ, λ). Як вже вiдомо, кожен критерiй перевiрки гiпоте-зи однозначно задається вибiрковою критичною областю W ∈ Σ : гiпотезаH0 вiдкидається, якщо X ∈ W, i не вiдкидається (приймається), якщоX /∈ W. Вибiркова критична область визначається через статистичнийкритерiй як така пiдмножина вибiркового простору:

W = x ∈ S : κ(x) ∈ D1,де κ(X) = κ – статистика критерiю, а D1 – її критична область. Нагада-ємо, що вiрогiдний рiвень критерiю визначається найбiльшою з iмовiрно-стей похибок першого роду IPθ(X ∈ W ), θ ∈ Θ0.

Означення. Критерiй iз критичною областю W ∗ є найбiльш поту-жним рiвня α, якщо його вiрогiдний рiвень дорiвнює α, причому до-вiльний критерiй iз критичною областю W рiвня α має не бiльшупотужнiсть, нiж W ∗:

IPθ(X ∈ W ∗) ≥ IPθ(X ∈ W ), ∀θ ∈ Θ1.

3.17.1. Критерiй вiдношення вiрогiдностей

Задача вiдшукання найбiльш потужного критерiю не завжди має розв’я-зок, оскiльки часто неможливо максимiзувати значення потужностi одно-часно при декiлькох значеннях параметра. Однак у випадку простих гiпо-тез та альтернатив найбiльш потужний критерiй iснує. Припустимо, щонульова гiпотеза та iї альтернатива є простими гiпотезами :

Hi : θ = θi, i = 0, 1.

Позначимо через Fi(B) = IPθi(X ∈ B), B ∈ Σ, вiдповiднi розподiли вибi-

рок. Цi розподiли вiдомi повнiстю за означенням простої гiпотези.За умови абсолютної неперервностi F1 ¿ F0 iснує вимiрна щiльнiсть

мiри l01(x) така, що

F1(B) =w

Bl01(x)dF0(x)

для всiх вимiрних множин B ∈ Σ вибiркового простору S. За означе-нням функцiї вiрогiдностi мiри Fi(B) мають щiльностi L(x, θi) вiдносно

3.17. Найбiльш потужнi критерiї, лема Неймана – Пiрсона 427

фiксованої мiри λ на Σ :

Fi(B) =w

BL(x, θi)λ(dx), ∀B ∈ Σ, i = 0, 1.

Тому за теоремою про замiну змiнної статистика l01(X) збiгається земпiричним вiдношенням вiрогiдностей

l01(X) =L(X, θ1)

L(X, θ0).

Теорема (лема Неймана – Пiрсона). Нехай нульова гiпотеза та аль-тернатива є простими гiпотезами i F1 ¿ F0. Якщо для даного вiрогiдногорiвня α ∈ (0, 1) iснує стала lα > 0, така, що

IPθ0(l01(X) ≥ lα) = α,

то критерiй вiдношення вiрогiдностей (l01(X), [lα,∞)), що має критичнуобласть вибiрки

W ∗ = x ∈ S : l01(x) ≥ lα,є найбiльш потужним рiвня α, та незмiщеним критерiєм.

Зауваження. Функцiя

IPθ0(l01(X) ≥ l) = F0(x ∈ S : l01(x) ≥ l)не зростає за l i набуває значень iз вiдрiзка [0, 1]. Тому умова теоремищодо iснування lα виконується, якщо випадкова величина l01(X) є абсо-лютно неперервною. Якщо ж для даного рiвня α умова iснування точногокритичного рiвня не виконана, то можна провести процедуру рандомiзацiї,як це описано вище в роздiлi про ранговi критерiї.

Доведення. Розглянемо критерiй iз критичною областю W рiвня α :

IPθ0(X ∈ W ) = F0(W ) ≤ α.

Обчислимо його потужнiсть з урахуванням означення щiльностi l01:

IPθ1(X ∈ W ) = F1(W ) = F1(W \ W ∗) + F1(W ∩W ∗) =

F1(W∗) + F1(W \ W ∗)− F1(W

∗ \ W ) =

F1(W∗) +

rW \ W ∗ l01(x)F0(dx)− r

W ∗ \ Wl01(x)F0(dx) ≤

F1(W∗) + lαF0(W \ W ∗)− lαF0(W

∗ \ W ) =

F1(W∗) + lαF0(W )− lαF0(W

∗) ≤ F1(W∗) + lαα− lαα = F1(W

∗),

де справедливiсть передостанньої нерiвностi є наслiдком означення обла-стi W ∗, згiдно з яким l01(x) < lα при x /∈ W ∗, та l01(x) ≥ lα при x ∈ W ∗,


а остання нерiвнiсть випливає з вибору lα, оскiльки вiрогiдний рiвень W ∗

дорiвнює F0(W∗) = α.

Для доведення незмiщеностi критерiю припустимо, що lα ≥ 1 у озна-ченнi W ∗. Тодi F1(W

∗) =rW ∗ l01(x)F0(dx) ≥ lαF0(W

∗) ≥ F0(W∗) = α.

Нехай тепер lα < 1. Тодi F1(W ∗) =rW ∗ l01(x)F0(dx) ≤ lαF0(W ∗) ≤

F0(W ∗). Оскiльки Fi(W ∗) = 1− Fi(W∗), звiдси отримуємо F1(W

∗) ≥ α ¡

3.17.2. Приклад критерiю вiдношення вiрогiдностей

Нехай X = (ξ1, ..., ξn) – кратна вибiрка з нормальним розподiлом спо-стережень: ξk ' N(µ, σ2). Припустимо, що дисперсiя σ2 вiдома, а нульовата альтернативна гiпотези щодо середнього мають вигляд

Hi : µ = µi, i = 0, 1.

Для визначеностi будемо вважати, що µ1 > µ0.Вiдповiднi функцiї вiрогiдностей є строго додатними, а емпiричне вiд-

ношення вiрогiдностей дорiвнює

l01(X) =Ln(X, θ1)

Ln(X, θ0)=

(2πσ2)−n/2 exp(−∑nk=1(ξk − µ1)

2/2σ2)

(2πσ2)−n/2 exp(−∑nk=1(ξk − µ0)

2/2σ2)=

exp( n

σ2(µ1 − µ0) µn −

n

2σ2(µ2

1 − µ20)

),

де µn – вибiркове середнє. Нерiвнiсть l01(X) ≥ lα еквiвалентна нерiвностi√

n

σ(µn − µ0) ≥

σ√n(µ1 − µ0)

ln lα +

√n

2σ(µ1 − µ0).

За H0 унаслiдок теореми про вибiрковi середнє та дисперсiю нормаль-ної вибiрки лiва частина має стандартний нормальний розподiл. Тому,позначивши через xα праву частину останньої нерiвностi, для довiльно-го рiвня α з рiвняння Φ(xα) = 1 − α знаходимо критичний рiвень xα таобчислюємо

lα = exp

(√n(µ1 − µ0)

σ(xα −

√n

2σ(µ1 − µ0))

).

Отже, найбiльш потужний критерiй має критичну область√n

σ(µn − µ0) ≥ xα

.

Зауважимо, що в умовах альтернативи H1 вибiркове середнє має роз-подiл µn ' N(µ1, σ

2/n). Тому потужнiсть критерiю дорiвнює


IPθ1

(√n

σ(µn − µ0) ≥ xα

)= IPθ1

(√n

σ(µn − µ1)−

√n(µ0 − µ1)/σ ≥ xα

)=

1− Φ(xα +√

n(µ0 − µ1)/σ) = Φ(−xα +√

n(µ1 − µ0)/σ) → 1,

при n →∞, отже, критерiй є конзистентнимНехай α, β ∈ (0, 1) наперед заданi сталi. Знайдемо такий мiнiмальний

об’єм вибiрки n, щоб критерiй рiвня α мав потужнiсть не меншу за 1− β.Для цього необхiдно i достатньо, щоб права частина останнього спiввiд-ношення була не меншою за 1 − β, тобто −xα +

√n(µ1 − µ0)/σ ≥ xβ, де

Φ(xβ) = 1− β. Звiдси знаходимо

n ≥ n(α, β) ≡ σ2(xα + xβ)2 / (µ1 − µ0)2.

Отже, кiлькiсть спостережень зростає зi зменшенням iмовiрностей похи-бок першого та другого роду α, β, пропорцiйна дисперсiї спостережень таобернено пропорцiйна квадрату рiзницi мiж гiпотетичними середнiми.

Вправи(1) Знайти критерiй вiдношення вiрогiдностей у нормальної схеми для пере-

вiрки гiпотез Hi : µ = µi, σ = σi, i = 0, 1, з вiдомими дисперсiями σ2i .

(2) Розглядаються двi незалежнi кратнi вибiрки об’єму n з нормальнимирозподiлами спостережень, що мають невiдомi середнi µk та вiдомi дисперсiї σ2

k,k = 1, 2. Довести, що мiнiмальне число спостережень для перевiрки гiпотезиH0 : µ1 − µ2 = 0 проти альтернативи H0 : µ1 − µ2 = δ при похибках α, βпершого та другого роду, дорiвнює nαβ = (σ2

1 + σ22)(xα + xβ)2 / δ2, де xα, xβ –

квантилi рiвнiв α, β для стандартного нормального розподiлу.(3) Нехай (ξ1,. . . ,ξn) – кратна вибiрка з функцiєю розподiлу спостережень F .

Побудувати критерiй вiдношення вiрогiдностей для перевiрки нульової гiпотезиF (x) = 1− exp(−x) проти альтернативи F (x) = 1− exp(−xθ), x ≥ 0, θ > 1.

(4) Нехай X = (ξ1, ..., ξn) – кратна вибiрка, а f(y, θ) – функцiя вiрогiдностiодного спостереження. (а) Довести зображення ln l01(X) =

∑nk=1 ηk, де випад-

ковi величини ηk = ln(f(ξk, θ1)/f(ξk, θ0)) незалежнi та однаково розподiленi.(б) IEθ0η1 = −I(θ1, θ0), де I(θ1, θ0) – iнформацiя за Кульбаком. (в) Довести, щопри n → ∞ для критичного рiвня у лемi Неймана-Пiрсона виконується зобра-ження ln lα + nI(θ1, θ0) ∼ xασ0

√n, де σ2

0 = IDθ0η1, Φ(xα) = 1−α. (г) Вивестиасимптотичне зображення для ймовiрностi похибки другого роду.

(5) Нормальнi випадковi величини ξk обчислюються з рекурентної системирiвнянь ξk = θξk−1 + εk, k = 1, n, де похибки незалежнi та εk ' N(0, σ2),i ξ0 = 0. Довести, що сумiсна щiльнiсть вектора X = (ξ1, ..., ξn) при x =(xk) дорiвнює L(x, θ) = (2πσ2)−n/2 exp(−∑n

k=1(xk − θxk−1)2/2σ2). де x0 = 0.


Довести, що критерiй вiдношення вiрогiдностей для перевiрки H0 : θ = 0 проти

H1 : θ 6= 0 оснований на статистицi(∑n−1

k=1 ξkξk+1

)2/(∑n−1

k=1 ξ2k

).

(6) Спостерiгається кратна вибiрка X = ((ξ1k, ξ2k), k = 1, n) з двовимiрногонормального розподiлу N2(0, 0, σ

21, σ

22, ρ). Довести, що статистика критерiю вiд-

ношення вiрогiдностей для перевiрки гiпотези H0 : ρ = 0 проти альтернативи

H1 : ρ 6= 0 є функцiєю вiд |τ | , де τ = (∑n

k=1 ξ1kξ2k) /√(∑n

k=1 ξ21k

) (∑nk=1 ξ2

2k

).

(7) Обчислити критерiй вiдношення вiрогiдностей для перевiрки простих гi-потез про значення параметра для кратної вибiрки з (а) пуассоновим, (б) геоме-тричним, (в) показниковим розподiлом. Знайти потужнiсть критерiю, перевiритийого незмiщенiсть та конзистентнiсть.

(8) Довести, що оптимальнi (а) Байесовський, та (б) мiнiмаксний критерiїперевiрки простих гiпотез основанi на статистицi вiдношення вiрогiдностей.

3.17.3. Рiвномiрно найбiльш потужнi критерiїз монотонним вiдношенням вiрогiдностей

Найбiльш потужнi критерiї iснують також i для складних гiпотез. Дляїх побудови розглянемо таке узагальнення поняття критерiю.

Означення. Рандомiзованим критерiєм перевiрки статистичної гiпо-тези називається пара (κ(X), π(t)), де κ(X) – статистика критерiю, афункцiя π(t) ∈ [0, 1] задає ймовiрнiсть вiдхилити нульову гiпотезу призначеннi статистики κ(X) = t.

При реалiзацiї такого критерiю у випадку, коли π(t) = 0, прийма-ється нульова гiпотеза, при π(t) = 1 приймається альтернатива, а приπ(t) ∈ (0, 1) для прийняття рiшення додатково проводиться незалежне ви-пробування Бернуллi, щоб iз ймовiрнiстю π(t) вiдхилити нульову гiпотезу,та з iмовiрнiстю 1− π(t) її прийняти.

Означення. Критерiй (κ(X), π(t), t0) є простим рандомiзованим кри-терiєм iз критичним рiвнем t0, якщо статистика κ(X) = t скалярна,функцiя π(t) = 0 при t < t0, π(t) = 1 при t > t0, а значення π(t0) ∈ [0, 1].

Даний критерiй приймає нульову гiпотезу при t < t0, приймає альтер-нативу при t > t0, та при t = t0, висновок розiгрується з iмовiрнiстю π(t0)на користь альтернативи.

Вiрогiдний рiвень рандомiзованого критерiю задається значеннями фун-кцiї IEθπ(κ) при θ ∈ Θ0, а потужнiсть – значеннями IEθπ(κ) при θ ∈ Θ1.Цi значення обчислюються за теоремою про обчислення математичного


сподiвання функцiї вiд випадкової величини

IEθπ(κ) =w

π(t)IPθ(κ ∈ dt) =w

Sπ(κ(x))IPθ(X ∈ dx).

Очевидно, що звичайний статистичний критерiй (κ(X), [t0,∞)) є час-тковим випадком простого рандомiзованого критерiю (κ(X), π(t), t0):для нього π(t0) = 1. Звiдси, зокрема, випливає, що найбiльш потужнийкритерiй у класi всiх рандомiзованих критерiїв рiвня α має не меншупотужнiсть, нiж будь-який звичайний критерiй того ж рiвня.

Наступне твердження вiдрiзняє рандомiзованi критерiї вiд звичайних.Лема (про побудову рандомiзованого критерiю). Для довiльних

скалярної статистики κ та рiвня α ∈ (0, 1) iснує та однозначно визна-чений простий рандомiзований критерiй (κ, π(t), tα) з деяким tα такий,що його вiрогiдний рiвень при заданому θ збiгається з α.

Доведення. За наведеною вище формулою рiвняння для вказаного вi-рогiдного рiвня має такий вигляд:

IEθπ(κ) ≡ 0 · IPθ(κ < tα) + π(tα) · IPθ(κ = tα) + 1 · IPθ(κ > tα) = α.

Звiдси, зокрема, виводимо IPθ(κ > tα) ≤ α. Визначимо

tα = sup(t : IPθ(κ > t) ≤ α).

Якщо tα є точкою неперервностi функцiї розподiлу випадкової величи-ни κ, то IPθ(κ = tα) = 0 i IPθ(κ > tα) = α, iнакше значення tα можна булоб збiльшити. Тому при π(tα) = 1 маємо IEθπ(κ) = α.

У випадку iнтервалу сталостi функцiї розподiлу κ будь-який належнийвибiр tα призводить до еквiвалентного критерiю, тому можна зупинитисьна єдиному найменшому значеннi tα.

Якщо ж IPθ(κ = tα) > 0, то досить обрати

π(tα) = (α− IPθ(κ > tα)) / IPθ(κ = tα).

Зауважимо, що у першому випадку простий рандомiзований критерiйiз критичним рiвнем α збiгається зi звичайним (κ(X), [tα,∞)). Отже, увипадку неперервностi розподiлу статистики κ простi рандомiзованi кри-терiї збiгаються зi звичайними ¡

Нагадаємо, що розподiл вибiрки X за виконання гiпотез Hi : θ = θi,i = 0, 1, позначається через Fi(B) = IPθi

(X ∈ B), B ∈ Σ, а статистикаl01(X) збiгається з емпiричним вiдношенням вiрогiдностей

l01(X) =L(X, θ1)

L(X, θ0).


Теорема (теорема Неймана – Пiрсона для рандомiзованих крите-рiїв). Нехай нульова гiпотеза H0 та альтернатива H1 є простими гiпо-тезами i F1 ¿ F0, тобто коректно визначено вiдношення вiрогiдностейl01(X). Тодi для кожного рiвня α ∈ (0, 1) iснує простий рандомiзованийкритерiй вiдношення вiрогiдностей (l01(X), π∗(t), t∗α), що є найбiльш по-тужним рiвня α. Його критичний рiвень t∗α згiдно з лемою про побудовурандомiзованого критерiю однозначно знаходиться з умови

IEθ0π∗(l01(X)) = α.

Крiм того, потужнiсть цього критерiю не менша за рiвень α :

IEθ1π∗(l01(X)) ≥ α.

Доведення теореми практично не вiдрiзняється вiд доведення лемиНеймана – Пiрсона. Нехай (T (X), π(t)) – довiльний рандомiзований кри-терiй рiвня α. Позначимо

S± = x ∈ S : π∗(l01(x)) ≷ π(T (x)).Тодi рiзниця потужностей дорiвнює

IEθ1π∗(l01(X))− IEθ1π(T (X)) =

rS+ ∪ S−(π∗(l01(x))− π(T (x)))F1(dx) =

rS+ ∪ S−(π∗(l01(x))− π(T (x))) l01(x)F0(dx) ≥rS+ ∪ S−(π∗(l01(x))− π(T (x))) t∗αF0(dx) =

t∗α (IEθ0π∗(l01(X))− IEθ0π(T (X))) = t∗α(α− IEθ0π(T (X)) ≥ 0,

оскiльки вiрогiдний рiвень критерiю (T (X), π(t)) не бiльший за α. Пе-редостання нерiвнiсть є наслiдком означення простого рандомiзованогокритерiю вiдношення вiрогiдностей : з кожного включення x ∈ S± випли-ває вiдповiдно π∗(l01(x)) = 1 або π∗(l01(x)) = 0 для всiх l01(x) = t 6= t∗α,оскiльки π∗(t) ∈ 0, 1 за означенням для таких t. За цим же означен-ням з останнiх спiввiдношень виводимо, що l01(x)) ≥ t∗α та l01(x)) ≤ t∗αвiдповiдно. Тому для всiх x ∈ S± нерiвностi π∗(l01(x)) − π(T (x)) ≷ 0 таl01(x)) ≷ t∗α, виконуються одночасно, що забезпечує вказану нерiвнiсть.

Твердження щодо потужностi випливає зi вже доведеної властивостiнайбiльшої потужностi. Дiйсно, завжди визначений тривiальний рандомi-зований критерiй рiвня α, для якого π(t) ≡ α. Оскiльки його потужнiстьтеж дорiвнює α, то потужнiсть критерiю вiдношення вiрогiдностей неменша за α ¡


Розглянемо тепер задачу перевiрки складних гiпотез. Для складнихгiпотез найбiльш потужнi критерiї називають рiвномiрно найбiльш поту-жними критерiями, оскiльки нерiвнiсть для потужностi має виконуватисьрiвномiрно за θ ∈ Θ1.

Припустимо, що Θ ⊂ R. Нехай для всiх пар θ0, θ1 ∈ Θ коректно визна-ченi вiдношення вiрогiдностей l01(X) = L(X, θ1)/L(X, θ0).

Означення. Вибiрка X має монотонне вiдношення вiрогiдностей, якщоiснує така скалярна статистика T (X), що для кожної пари параме-трiв θ0 < θ1 ∈ Θ знайдеться строго монотонно зростаюча за t ∈ Rфункцiя g01(t), для якої має мiсце тотожнiсть

l01(X) ≡ L(X, θ1)

L(X, θ0)= g01(T (X)).

Теорема (про рiвномiрно найбiльш потужний критерiй). Нехай ви-бiрка має монотонне вiдношення вiрогiдностей зi статистикою T (X).Тодi для кожного вiрогiдного рiвня α ∈ (0, 1) простий рандомiзованийкритерiй (T (X), π∗(t), t∗α), що однозначно визначається з рiвнянняIEθ0π

∗(T (X)) = α, є рiвномiрно найбiльш потужним критерiєм рiвняα для перевiрки гiпотези H0 : θ = θ0 проти складної альтернативиH1 : θ > θ0.

Доведення. Нехай θ1 > θ0. Розглянемо задачу перевiрки простої гi-потези H0 : θ = θ0 проти простої альтернативи H ′

1 : θ = θ1. Нехай(l01(X), π1(l), l

∗1α)) – простий рандомiзований критерiй вiдношення вiрогi-

дностей, що за теоремою Неймана – Пiрсона для рандомiзованих крите-рiїв є найбiльш потужним рiвня α для перевiрки H0 проти H ′

1.Визначимо t∗α = inf(t : g01(t) ≥ l∗1α). За означенням монотонного вiд-

ношення вiрогiдностей внаслiдок строгої монотонностi g01 для кожного здвох випадкiв = виконуються рiвностi

l01(X) = l∗1α = g01(T (X)) = l∗1α = T (X) = t∗α.Звiдси та з леми про побудову рандомiзованого критерiю виводимо рiв-ностi α = IEθ0π1(l01(X)) = IEθ0π

∗(T (X)), якщо обрати π∗(t∗α) = π1(l∗1α).

Отже, простий рандомiзований критерiй (T (X), π∗(t), t∗α) має рiвень αта еквiвалентний найбiльш потужному критерiю для перевiрки H0 протиH ′

1. Оскiльки за згаданою лемою критичний рiвень t∗α та ймовiрнiсть π∗(t)однозначно визначаються за рiвнем α та статистикою T (X), то побудова-ний критерiй не залежить вiд вибору θ1 > θ0.

Нехай (κ(X), π(t)) рандомiзований критерiй рiвня α для перевiркиH0, а θ1 > θ0.Тодi, зокрема, IEθ0π(κ(X)) ≤ α i внаслiдок доведеної вище


властивостi найбiльшої потужностi критерiю (T (X), π∗(t), t∗α) отримуємо

IEθ1π(κ(X)) ≤ IEθ1π∗(T (X)),

тому при кожному альтернативному значеннi параметра θ = θ1 > θ0 поту-жнiсть критерiю (κ(X), π(t)) не перевищує потужнiсть простого критерiювигляду (T (X), π∗(t), t∗α) ¡

Приклад. Нехай X = (ξ1, ..., ξn) – кратна вибiрка з нормальним розпо-дiлом спостережень: ξk ' N(µ, σ2) при вiдомiй дисперсiї σ2 та невiдомомусередньому θ = µ. Як показано у прикладi критерiю вiдношення вiрогi-дностей, це вiдношення дорiвнює

l01(X) = exp( n

σ2(µ1 − µ0)µn −

n

2σ2(µ2

1 − µ20)

),

i є зростаючою функцiєю вiдносно статистики µn для всiх µ0 < µ1. Крiмтого, розподiл статистики µn неперервний, тому простий рандомiзованийкритерiй збiгається зi звичайним.

Отже, рiвномiрно найбiльш потужним критерiєм для перевiрки гiпоте-зи H0 : µ = µ0 проти H1 : µ > µ0 є звичайний критерiй (µn, [tα,∞)).

Вправи(1) Сформулювати умови застосування теореми про рiвномiрно найбiльш по-

тужний критерiй для кратної вибiрки з експоненцiйної моделi розподiлiв.(2) Нехай X = (ξik, i = 1, nk, k = 1, 2) – двi незалежнi кратнi нормальнi

вибiрки, ξik ' N(µk, σ2k), з невiдомими σ2

k. Побудувати рiвномiрно найбiльшпотужний критерiй вiдношення вiрогiдностей для перевiрки (а) гiпотези про се-реднi H0 : µ1 ≤ µ2 проти альтернативи H1 : µ1 > µ2, у припущеннi σ2

1 = σ22,

(б) гiпотези H0 : σ21 ≤ σ2

2 проти H1 : σ21 > σ2

2 при вiдомих середнiх.(3) Знайти рiвномiрно найбiльш потужний критерiй вiдношення вiрогiдно-

стей для перевiрки гiпотези про ймовiрнiсть успiху для вибiрки з бiномiальногорозподiлу.

(4) Знайти рiвномiрно найбiльш потужний критерiй для перевiрки гiпотезиH0 : θ = θ0 проти H1 : θ > θ0 для вибiрки з рiвномiрного розподiлу U(0, θ).

(5) Нехай ξ1, . . . , ξn – кратна вибiрка зi щiльнiстю оберненого нормальногорозподiлу f(y, θ) = (θ/2πy3)1/2 exp(−θy/2 + θ − θ/y), y > 0. Знайти критерiйНеймана – Пiрсона для перевiрки гiпотези H0 : θ = θ0 проти альтернативиH1 : θ < θ0, з використанням нормальної апроксимацiї.

(6) Кратна вибiрка має монотонне вiдношення вiрогiдностей тодi й тiлькитодi, коли щiльнiсть спостереження f(y, θ) є строго одновершинною.

(7) Спостерiгається вибiрка ξ1, . . . , ξn з незалежних спостережень, що ма-ють розподiли Пуассона: ξj ' Π(λj), де λj = a + btj з невiдомими (a, b) та


додатними рiзними tj. Перевiрити гiпотезу H0 : b = 0 за критерiєм вiдношеннявiрогiдностей.

(8) Нехай X – кратна вибiрка з нормальним розподiлом N(µ, σ2) спостере-жень та невiдомим параметром θ = (µ, σ2). Побудувати найбiльш потужний кри-терiй для перевiрки нульової гiпотези H0 : µ = 0, що спирається на статистикуT = (supθ∈Θ0

L(X, θ))/(supθ∈Θ L(X, θ)).

3.17.4. Поняття про послiдовний аналiз

У наведеному вище прикладi критерiю вiдношення вiрогiдностей ста-тистичний висновок щодо справедливостi гiпотез формулюється одномо-ментно вiдразу пiсля отримання вектора спостережень X = (ξ1, ..., ξn).Однак проведення спостережень часто є процесом, що вiдбувається в ча-сi, до того ж небезкоштовним. Наприклад, такими є геологорозвiдувальнiроботи, де кожне спостереження пов’язане з бурiнням нової свердлови-ни. З цiєї точки зору доцiльним було б розширення правил формуваннястатистичних висновкiв, що дозволило б приймати певнi рiшення пiсляотримання кожного чергового спостереження. Дану iдею запропонував тарозвинув А.Вальд у своїх працях, що створили основу теорiї послiдовногостатистичного аналiзу.

Для iлюстрацiї цiєї теорiї розглянемо задачу перевiрки простих гiпотезHi : θ = θi, i = 0, 1 для кратної вибiрки X = (ξ1, ..., ξn). Позначимо черезf(y, θ) щiльнiсть спостереження. За теоремою про функцiю вiрогiдностiкратної вибiрки логарифм вiдношення вiрогiдностей дорiвнює

ln l01(X) = lnLn(X, θ1)

Ln(X, θ0)=

∑n

j=1h(ξj) ≡ Sn, h(y) ≡ ln

f(y, θ1)

f(y, θ0),

де доданки h(ξj) незалежнi в сукупностi та однаково розподiленi.У теоремi про властивостi iнформацiї за Кульбаком доведено, що за

умов конзистентностi ОМВ IEθ0h(ξ1) < 0. Аналогiчно доводиться, щоIEθ1h(ξ1) > 0.

Найбiльш потужний критерiй вiдношення вiрогiдностей має таку кри-тичну область: l01(X) ≥ lα = Sn ≥ ln lα.

Нехай для кожного k = 1, n задано сталi c0k < 0 < c1k. Позначимо че-рез Sk =

∑kj=1 h(ξj). Розглянемо такий узагальнений послiдовний критерiй

вiдношення вiрогiдностей:(0) якщо S1 ∈ (c01, c11), ..., Sk−1 ∈ (c0,k−1, c1,k−1), Sk ≤ c0k для деякого

k ≤ n, то спостереження припиняються в такий момент k, i приймаєтьсянульова гiпотеза H0,


(1) якщо S1 ∈ (c01, c11), ..., Sk−1 ∈ (c0,k−1, c1,k−1), Sk ≥ c1k для деякогоk ≤ n, то спостереження припиняються в такий момент k, i приймаєтьсяальтернативна гiпотеза H1,

(n) iнакше приймається рiшення на користь H0.Вибiр знакiв сталих обґрунтовується критерiєм Колмогорова посиле-

ного закону великих чисел, внаслiдок якого Sk →P1 −∞, k →∞ за нульо-вої гiпотези та Sk →P1 ∞, k → ∞ за альтернативи, вiдповiдно до знакуматематичного сподiвання одного доданку. Звiдси випливає також, щоймовiрнiсть подiї в (n) прямує до нуля при n →∞.

Якщо формально обрати c0k = −∞, k ≤ n, c1k = ∞, k < n, i c1n = ln lα,то отримаємо критерiй вiдношення вiрогiдностей як частковий випадоксформульованого послiдовного критерiю вiдношення вiрогiдностей.

На вiдмiну вiд критерiю вiдношення вiрогiдностей, послiдовний кри-терiй спирається на випадкову кiлькiсть спостережень

τ = min(k ≤ n : Sk /∈ (c0k, c1k)).

Унаслiдок доведеного вище включення мiнiмальна середня кiлькiстьвипробувань у всьому класi послiдовних критерiїв iз заданими ймовiр-ностями похибок α, β першого та другого роду не бiльша за вiдповiднукiлькiсть для простого критерiю вiдношення вiрогiдностей : inf IEτ ≤ n.Отже, використання послiдовного критерiю може призвести до зменшен-ня кiлькостi спостережень при збереженнi якостi критерiю.

Для уточнення властивостей послiдовного критерiю припустимо, щосталi c0k = c0, c1k = c1 не залежать вiд k. Позначимо через A0k подiю вумовi (0) критерiю, через A1k – в умовi (1) та через An – у (n). За озна-ченням всi цi подiї попарно несумiснi та утворюють повну групу подiй.Нехай випадковий вектор Xk = (ξ1, ..., ξk) мiстить першi k спостережень.Його функцiя вiрогiдностi дорiвнює Lk(Xk, θ) =

∏kj=1 f(ξj, θ), а вiдноше-

ння вiрогiдностей має вигляд

Lk(Xk, θ1) / Lk(Xk, θ0) = exp(∑k

j=1h(ξj)

)= exp(Sk).

Остання величина не перевищує C0 ≡ exp(c0) < 1 на подiї A0k, i не меншаза C1 ≡ exp(c1) > 1 на подiї A1k. Позначимо через Bik борелєвi пiдмно-жини Rk, що отримуються з Aik замiною величин ξj на j-тi координати yj

вектора xk = (y1, ..., yk) ∈ Rk. Тодi Aik = Xk ∈ Bik. За означенням

Lk(xk, θ1) / Lk(xk, θ0) = exp(∑k

j=1h(yj)

)≥ exp(c1) = C1, ∀xk ∈ B1k,

Lk(xk, θ1) / Lk(xk, θ0) ≤ exp(c0) = C0, ∀xk ∈ B0k.


Звiдси

IP(A1k | H0) =rB1k

L(xk, θ0)µk(dxk) ≤rB1k

L(xk,θ1)C1

µk(dxk) = IP(A1k|H1)C1

,

IP(A0k | H1) =rB1k

L(xk, θ1)µk(dxk) ≤rB1k

C0L(xk, θ0)µk(dxk) =

C0IP(A1k | H0).

Нехай α, β – iмовiрностi похибок першого та другого роду для побу-дованого вище послiдовного критерiю. Тодi

α = IP(∪nk=1A1k | H0) =

∑nk=1 IP(A1k | H0) ≤

∑nk=1 IP(A1k | H1)/C1 =

(1−∑nk=1 IP(A0k | H1)− IP(An | H1))/C1 = (1− β)/C1,

β =∑n

k=1 IP(A0k | H1) + IP(An | H1) ≤∑nk=1 C0IP(A1k | H0) + C0IP(An | H0) = (1− α)C0.

Отже, критичнi значення ci = ln Ci та похибки в послiдовному критерiївiдношення вiрогiдностей пов’язанi системою нерiвностей

α ≤ (1− β)/C1, β ≤ (1− α)C0.

Розглянемо послiдовний критерiй з граничними значеннями

C ′1 = (1− β)/α, C ′

0 = β/(1− α),

для яких попереднi нерiвностi перетворюються на рiвностi. Нехай a, b –iмовiрностi похибок для цього критерiю. Тодi з наведених нерiвностей дляα, β отримуємо a/(1 − b) ≤ 1/C ′

1 = α/(1 − β), b/(1 − a) ≤ C ′0 = β/(1 − α),

звiдки множенням на знаменники та додаванням виводимо нерiвнiсть

a + b ≤ α + β.

Отже, для будь-яких заданих α, β ∈ (0, 1) iснує послiдовний критерiй(з граничними значеннями ci = ln C ′

i), що має не бiльшу за α + β сумуймовiрностей похибок першого та другого роду.

Для наближеного обчислення середньої кiлькостi необхiдних спосте-режень у послiдовному критерiї використовується тотожнiсть Вальда:

IEθ Sτ = m(θ)IEθτ , m(θ) ≡ IEθS1 = IEθh(ξ1).

На вiдмiну вiд подiбної схеми з роздiлу гiллястих процесiв, де випадковакiлькiсть доданкiв τ не залежала вiд самих доданкiв, у данiй ситуацiївеличина τ явно залежить вiд сум Sk, адже вона будується за цими су-мами. Тим не менше випадкова подiя τ ≥ k, так само як i її доповненняτ < k = τ ≤ k − 1, визначається виключно вектором (S1, ..., Sk−1) iза теоремою про векторнi перетворення незалежних величин не залежитьвiд величини ξk. Тому


IEθ Sτ =∑

k≥1 IEθ

(h(ξk) 1I k≤τ

)=

∑k≥1 IEθh(ξk) IPθ(k ≤ τ) =

m(θ)∑

k≥1

∑j≥k IPθ(τ = j) = m(θ)

∑j≥1 j IPθ(τ = j) = m(θ)IEθτ .

За означенням моменту τ сума Sτ або (1) вперше перевищила рiвеньc1, або (0) вперше стала меншою за c0, або ж (n) цього не сталося наiнтервалi [1, n] i просто настав фiнальний момент n. Як вказано вище, зазаконом великих чисел iмовiрнiсть останньої подiї прямує до нуля приn →∞. Iмовiрнiсть IPθ0 (за нульової гiпотези) першої подiї дорiвнює ймо-вiрностi похибки першого роду α, а ймовiрнiсть другої подiї збiгається здоповненням до одиницi 1−α. Крiм того, при виконаннi умови (1) справе-длива нерiвнiсть Sτ ≥ c1, а за умови (0) маємо Sτ ≤ c0. Припустимо, щоостаннi нерiвностi є наближеними рiвностями, тобто суми Sn не занадтоперестрибують вiдповiднi рiвнi. Тодi IEθ0Sτ ≈ αc1 +(1−α)c0. Отже, внаслi-док тотожностi Вальда середня кiлькiсть спостережень для послiдовногокритерiю наближено дорiвнює

IEθ0τ ≈ (αc1 + (1− α)c0)/m(θ0).

Приклад. Нехай кратна вибiрка X = (ξ1, ..., ξn) утворена нормальнимиспостереженнями: ξ1 ' N(µ, σ2) з невiдомим середнiм θ = µ та вiдомоюдисперсiєю σ2. У наведеному вище прикладi застосування звичайного кри-терiю вiдношення вiрогiдностей для перевiрки гiпотези H0 : θ = θ0 = µ0

проти альтернативи H1 : θ = θ1 = µ1 встановлено, що за даних похибокα, β першого та другого роду найбiльш потужний критерiй потребує неменше нiж n(α, β) ≡ σ2(xα + xβ)2 / (µ1 − µ0)

2 спостережень, де xα, xβ –вiдповiднi квантилi стандартного нормального розподiлу.

Для порiвняння обчислимо величини з виразу для IEθ0τ :

c1 = ln C ′1 = ln((1− β)/α), c0 = ln C ′

0 = ln(β/(1− α)),

m(θ0) = IEθ0h(ξ1) = IEθ0 lnf(ξ1, θ1)

f(ξ1, θ0)=

IEθ0

(−(ξ1 − µ1)2/2σ2 + (ξ1 − µ0)

2/2σ2)

= −(µ1 − µ0)2/2σ2.

Вiдношення об’ємiв для послiдовного та простого критерiю дорiвнює

IEθ0τ

n(α, β)≈ 2

α ln(α/(1− β)) + (1− α) ln((1− α)/β)

(xα + xβ)2.

Якщо обрати α = β = 0.05, то xα = xβ ≈ 1.64 i останнє вiдношеннянаближено дорiвнює 0.49. Отже, для даних похибок має мiсце подвiй-на економiя числа спостережень у порiвняннi з критерiєм вiдношеннявiрогiдностей.

3.18.Метод найменших квадратiв 439

Вправи(1) Кратна вибiрка X = (ξ1, ..., ξn) утворена спостереженнями з показникови-

ми розподiлами Exp(θ). Знайти розподiл випадкової величини τ для однобiчногокритерiю з c0 = 0.

(2) Випадковi величини (ξk, k = 1, n) незалежнi i мають рiвномiрнi розподiлиU(0, θ). Довести, що кiлькiсть спостережень послiдовного критерiю перевiркигiпотези H0 : θ = 1 проти альтернативи H1 : θ = 2 дорiвнює τ = inf(k ≤ n :ξk > 1) при inf ∅ = n. Довести, що ймовiрностi похибок першого та другогороду дорiвнюють вiдповiдно 0 i 2−n, та IE(τ | H0) = n, IE(τ | H1) = 2− 21−n.

(3) N осiб проходять аналiз кровi, з iмовiрнiстю p фiксується захворюваннякожної незалежно вiд iнших..Процедура перевiрки зводиться до аналiзу сумарноїпроби кожної пiдгрупи з k осiб. Якщо результат негативний, то вiн поширюєтьсяна всiх у пiдгрупi, iнакше повторно аналiзується кожна особа пiдгрупи. Довести,що при малих p те значення k, що мiнiмiзує середню кiлькiсть тестiв, наближенодорiвнює 2N

√p.

3.18. Метод найменших квадратiв

У регресiйному аналiзi вивчається проблема кiлькiсного впливу однихзмiнних (наприклад, вiдсоткового складу рiзних домiшок у сплавi) на чи-словi значення iнших змiнних (наприклад, мiцностi сплаву). Одночасновраховується стохастичний характер величин, що спостерiгаються.

3.18.1. Модель лiнiйної регресiї

В теорiї лiнiйної регресiї розглядається модель лiнiйної залежностiспостережень вiд параметрiв:

ξj =∑k

i=1θi tij + εj, j = 1, n,

де X = (ξj, j = 1, n) – вектор спостережень (вибiрка ),θ = (θi, i = 1, k) ∈ Rk – невiдомий вектор параметрiв, що пiдлягає

оцiнцi, його розмiрнiсть k < n,матриця T = (tij, i = 1, k, j = 1, n) вважається вiдомою,вектор ε = (εj, j = 1, n) мiстить випадковi похибки вимiрювань.Природне припущення полягає в тому, що випадковi похибки εi є неза-

лежними у сукупностi, однаково розподiленими, мають нульове середнє:IEεi = 0 (вiдсутня систематична похибка) та дисперсiю σ2.


Усi вектори будемо розглядати як вектори-стовпчики.У векторнiй формi модель лiнiйної регресiї має вигляд

X = T ′θ + ε,

де символ ′ визначає транспонування. Вектор похибок задовольняє умови

IEθε = 0, Covθ ε = σ2I

з одиничною матрицею I.Для оцiнки невiдомого параметра θ К.Гаусс запропонував i використав

метод найменших квадратiв (МНК).Означення. Оцiнкою методу найменших квадратiв векторного пара-

метра θ називається статистика

θ = argmin θ∈Rk (X − T ′θ)2.

Ясно, що θ обчислюється за X i T, тобто є оцiнкою. Iснування θвипливає з неперервностi та обмеженостi знизу квадратичної функцiї.

Теорема (про спiввiдношення мiж оцiнкою МНК та ОМВ). Нехайпохибки εj незалежнi у сукупностi i однаково нормально розподiленi :

ε ' Nn(0, σ2I).

Тодi оцiнка МНК збiгається з оцiнкою максимальної вiрогiдностi.Доведення. За умовою вибiрка

X ' T ′θ + Nn(0, σ2I) = Nn(T ′θ, σ2I)

є нормальним вектором, а логарифмiчна функцiя вiрогiдностi дорiвнює

ln L(X, θ) = −n

2ln 2π − n ln σ − 1

2σ2(X − T ′θ)2.

Отже, точка максимуму L(X, θ) за θ збiгається з оцiнкою МНК ¡Теорема (про рiвняння методу найменших квадратiв).(a) Вектор θ = θ(X) ∈ Rk збiгається з оцiнкою методу найменших

квадратiв тодi й тiльки тодi, коли вiн є розв’язком рiвняння МНК

V θ = TX,

де V – симетрична матриця розмiру k × k, що має вигляд:

V ≡ TT ′.

(б) Якщо rang T = k, то det V 6= 0 i єдина оцiнка МНК дорiвнює

θ = V −1TX.


Доведення. Необхiднiсть.(а) Обчислимо головну частину приросту квадратичної функцiї в околi

точки θ (диференцiал Гато):

(X − T ′(θ + h))2 − (X − T ′θ)2 = 2h′T (X − T ′θ) + o(h), h → 0.

Якщо θ є точкою екстремуму, то лiва частина не змiнює знак при змiнiзнака h, тому диференцiал Гато є нульовим

d[(X − T ′θ)2, h] = 2h′T (X − T ′θ) = 2h′(TX − V θ) = 0, ∀h ∈ Rn,

що i доводить (а).(б) З неперервностi та невiд’ємностi квадратичної функцiї випливає

iснування хоча б однiєї точки локального мiнiмуму. Тому рiвняння МНКзавжди має принаймнi один розв’язок. З (а) робимо висновок, що єдинаоцiнка МНК дорiвнює V −1TX.

Достатнiсть є очевидним наслiдком наступної теореми.Теорема (про розклад суми квадратiв вiдхилень). Нехай θ – iстин-

не значення параметра, а θ – довiльний розв’язок рiвняння МНК. Тодiповна сума квадратiв вiдхилень дорiвнює сумi двох сум квадратiв:

SS ≡ (X − T ′θ)2 = (X − T ′θ)2 + (T ′(θ − θ))2,

i набуває найменшого значення в точцi θ = θ.Означення. Суми в зображеннi повної суми квадратiв вiдхилень

SSv = (X − T ′θ)2, SSr = (T ′(θ − θ))2

називаються вiдповiдно сумою квадратiв вiдхилень вiд регресiї та зали-шковою сумою квадратiв.


(X − T ′θ)2 = (X − T ′θ + T ′(θ − θ))2 =

(X − T ′θ)2 + (T ′(θ − θ))2 + 2(T ′(θ − θ))′(X − T ′θ) =

(X − T ′θ)2 + (T ′(θ − θ))2 + 2(θ − θ)′(TX − V θ) =

(X − T ′θ)2 + (T ′(θ − θ))2,

оскiльки θ є розв’язком рiвняння МНК ¡Теорема (про незмiщенiсть i розподiл оцiнки МНК). Нехай

rang T = k i має мiсце нормальна модель: ε ' Nn(0, σ2I). Тодi:(а) оцiнка МНК θ є незмiщеною для θ, причому θ ' Nk(θ, σ2V −1),(б) статистика σ2

n−k = SSv /(n− k) є незмiщеною оцiнкою для σ2,


(в) статистики SSv / σ2 та SSr / σ2 незалежнi й мають хi-квадратрозподiли з n− k i k ступенями свободи вiдповiдно,

(г) випадковi вектори θ та X − T ′θ незалежнi.Зауваження. Властивостi незмiщеностi виконуються i без припущен-

ня нормальностi моделi.Доведення. За теоремою про лiнiйнi перетворення нормальних векто-

рiв статистика θ = V −1TX має нормальний розподiл, тому твердження(а) випливає з рiвнянь

IEθθ = IEV −1T (T ′θ + ε) = θ + V −1T IEε = θ,

Covθ(θ) = V −1TCov(X)(V −1T )′ = σ2V −1TT ′V −1 = σ2V −1,

де використано теорему про коварiацiйну матрицю лiнiйного перетворен-ня. Останнi тотожностi доведено без припущення нормальностi похибок.

Твердження (б) також виконується без такого припущення. Дiйсно, зурахуванням теореми про розклад суми квадратiв вiдхилень, попереднiхтотожностей та симетричностi матрицi V отримуємо

(n− k)IEθσ2n−k = IEθ(X − T ′θ)2 = IEθ(X − T ′θ)2 − IEθ(T

′(θ − θ))2 =

IEθ

∑nj=1 ε2

j − IEθ(θ − θ)′V (θ − θ) =

nσ2 − IEθ

∑ki,j=1(θi − θ)Vij(θj − θ) = nσ2 −∑k

i,j=1 Vij Cov(θi, θj) =

nσ2 −∑ki.j=1 Vijσ

2(V −1)ij = nσ2 − σ2Tr(V V −1) = (n− k)σ2.

Для доведення (в) зауважимо, що за теоремою про рiвняння методунайменших квадратiв

θ = V −1TX = V −1T (T ′θ + ε) = θ + V −1Tε.

Звiдси отримуємо

SSr = (T ′(θ − θ))2 = (T ′(θ + V −1Tε)− T ′θ)2 = (T ′V −1Tε)2 ≡ (Πε)2.

Тут n × n-матриця Π ≡ T ′V −1T має ранг k, симетрична та iдемпо-тентна: Π2 = T ′V −1TT ′V −1T = T ′V −1V V −1T = T ′V −1T = Π. Тому iснуєортонормована матриця U, що приводить її до дiагональної матрицi:

UΠU ′ = In(k) = (δij1Ii≤k, i, j = 1, n).

Аналогiчно обчислюємо

SSv = (X − T ′θ)2 = (T ′θ + ε− T ′(θ + V −1Tε))2 =

((I − T ′V −1T )ε)2 = ((I − Π)ε)2.


Позначимо ζ = Uε/σ. Тодi ζ ' Nn(0, I) – стандартний нормальний ве-ктор за теоремою про лiнiйнi перетворення нормальних векторiв, оскiлькиε/σ ' Nn(0, I) – стандартний нормальний вектор за умовою.

Тому внаслiдок теореми про розклад суми квадратiв вiдхилень

SS = SSv + SSr = ((I − Π)ε)2 + (Πε)2 =

ε′(I − Π)′(I − Π)ε + ε′Π′Πε = ε′(I − Π)ε + ε′Πε,

де мають мiсце рiвностi вiдповiдно перших та других доданкiв. Отже,

SSv/σ2 + SSr/σ

2 = ε′(I − Π)ε/σ2 + ε′Πε/σ2 =

ζ ′U(I − Π)U ′ζ + ζ ′UΠU ′ζ =

ζ ′(I − In(k))ζ + ζ ′In(k)ζ =∑n

i=k+1 ζ2i +

∑ki=1 ζ2

i = χ2n−k + χ2

k,

де величини в правiй частинi незалежнi за теоремою про векторнi пере-творення незалежних величин i мають потрiбнi хi-квадрат розподiли

Для доведення (г) розглянемо випадковi вектори T ′(θ − θ) = Πε таX−T ′θ = (I−Π)ε. Вони є лiнiйними функциями вiд нормального вектораε, тому вони є за теоремою про незалежнiсть лiнiйних форм нормальноговектора незалежними за умови некорельованостi. Остання випливає зрiвностей

IEθ(X − T ′θ)(T ′(θ − θ))′ = IEθ(I − Π)εε′Π = σ2(I − Π)Π = 0

¡Зауваження. Вiдношення статистик iз пункту (в) теореми про незмi-

щенiсть i розподiл оцiнки МНК має розподiл Фiшера пiсля нормуванняна кiлькостi ступенiв свободи i використовується для перевiрки гiпоте-зи про суттєвiсть залежностi теоретичного середнього спостережень вiдпараметра, що оцiнюється. У дисперсiйному аналiзi (ANOVA) вказанi ста-тистики зображують у виглядi таблицi

ДжерелоСумаквадратiв

Ступенiсвободи

Середня сумаквадратiв

Залишокмоделi

SSr = (T ′(θ − θ))2 k SSr/k

Вiдхиленнявiд регресiї

SSv = (X − T ′θ)2 n− k SSv/(n− k)

Загалом сумата вiдношення

SS = (X − T ′θ)2 n φk,n−k = SSr

k/ SSv

n−k


Тут θ – гiпотетичне значення параметра. Зокрема, нульове значення θвiдображає вiдсутнiсть залежностi спостережень вiд точок вимiрювання.Великi значення статистики φk,n−k з розподiлом Фiшера та k, n − k сту-пенями свободи вказують на порушення гiпотези щодо θ = 0, оскiлькисвiдчать, що похибка SSr у оцiнюваннi θ суттєво перевищує похибку SSv

у поясненнi регресiї. Одночасно використовується коефiцiєнт детермiнацiїR2 = SSv/SS, який вiдображає частку суми квадратiв, що пояснена ре-гресiйною моделлю, у повнiй сумi квадратiв вiдхилень. Можна довести(вправа), що статистика R2 має бета-розподiл.

Теорема (теорема Гаусса – Маркова). Нехай rang T = k, θ – оцiнкаметоду найменших квадратiв параметра θ, а вектор

z = Zθ ∈ Rm, m ≤ k,

породжений лiнiйним перетворенням Z : Rk → Rm.

Тодi оцiнка z = Zθ = ZV −1TX є лiнiйною незмiщеною оцiнкою дляz, i має найменше середнє квадратичне вiдхилення вiд z (тобто най-меншi дiагональнi елементи коварiацiйної матрицi ) у класi лiнiйних заX незмiщених оцiнок вектора z.

У припущеннi нормальностi моделi z ' N(z, σ2ZV −1Z ′).Доведення. Нехай z = CX є довiльною лiнiйною незмiщеною оцiнкою

для z. ТодiIEθz = C IEθX = CT ′θ = z = Zθ, ∀θ ∈ Rk,

звiдки виводимо тотожнiсть

Z = CT ′.

Звiдси випливає ортогональнiсть матриць ZV −1T i C − ZV −1T :

ZV −1T (C − ZV −1T )′ = ZV −1(TC ′ − TT ′V −1Z ′) =

ZV −1(TC ′ − Z ′) = ZV −1(TC ′ − (CT ′)′) = 0.

Тому за теоремою про коварiацiйну матрицю лiнiйного перетворення

Covθ(z) = CCovθ(X)C ′ = CCovθ(ε)C′ = σ2CC ′ =

σ2(ZV −1T + C − ZV −1T )(ZV −1T + C − ZV −1T )′ =

σ2ZV −1T (ZV −1T )′ + ZV −1T (C − ZV −1T )′+

(C − ZV −1T )(ZV −1T )′ + σ2(C − ZV −1T )(C − ZV −1T )′ =

σ2ZV −1Z ′ + σ2(C − ZV −1T )(C − ZV −1T )′ =

σ2ZV −1Z ′ = Covθ(Zθ) = Covθ(z),


де нерiвнiсть матриць означає одночасну нерiвнiсть всiх вiдповiдних дiа-гональних елементiв i випливає з невiд’ємної визначеностi другого додан-ку в лiвiй частинi нерiвностi, що має вигляд σ2DD′. Останнє твердженнятеореми випливає з теореми про лiнiйнi перетворення нормальних векто-рiв та наведеного виразу для Covθ(z) ¡

Вправи(1) Довести, що без припущення нормальностi моделi оцiнка МНК θ та оцiн-

ка σ2n−k є незмiщеними для θ та σ2, i Covθ(θ) = σ2V −1.

(2) Довести, що випадковi вектори X −T ′θ i T ′(θ− θ) (а) ортогональнi м.н.,(б) некорельованi, (в) у випадку нормальної моделi незалежнi.

(3) Нехай X = (ξj, j = 1, n) – довiльна вибiрка така, що IEξj = µ, IDξj =σ2, Cov(ξj, ξk) = ρσ2, j 6= k. Довести, що в класi лiнiйних за спостереженнямиξj оцiнок найменшу дисперсiю має вибiркове середнє µn.

(4) Нехай ξk = θl(k) + εk, k = 1, n , де l(k) = 1 при k ≤ m та l(k) = 2при k > m, а випадковi похибки εk – незалежнi з розподiлом N(0, σ2). Знайтиоцiнку МНК для (θ1, θ2).

(5) Нехай у моделi лiнiйної регресiї X = T ′θ + ε координати вектора по-хибок ε незалежнi, а θ – ОМВ вектора θ. (а) Якщо εj рiвномiрно розподiленi

на iнтервалi [−σ, σ], то θ мiнiмiзує функцiю контрасту max1≤j≤n

∣∣ξj − (T ′θ)j

∣∣ .

(б) Якщо εj мають щiльностi Лапласа (2σ)−1 exp(− |y| /σ), то θ мiнiмiзує сумуабсолютних вiдхилень

∑nj=1

∣∣ξj − (T ′θ)j

∣∣ . Знайти ОМВ для σ.(6) Випадковий вектор (ξ, η) має сумiсну щiльнiсть f(x, y), а вагова функцiя

w(x, y) > 0 така, що величина (ξ2 + η2)w(ξ, η) iнтегровна. Визначимо зваженуоцiнку МНК (a∗, b∗) = arg min(a,b)∈R2 IEw(ξ, η)(η − a − bξ)2. Нехай сумiснащiльнiсть вектора (ξ∗, η∗) пропорцiйна функцiї f(x, y)w(x, y). Довести рiвностib∗ = Cov(ξ∗, η∗)/IDξ∗, a∗ = IEη∗ − b∗IEξ∗.

(7) Припустимо, що похибки εj незалежнi однаково розподiленi центрованi таσ2 = IEε2

1 < ∞, причому n−1Vn ≡ n−1TT ′ → Λ, n →∞. Вивести з центральноїграничної теореми для випадкових векторiв асимптотичну нормальнiсть оцiнки

МНК:√

n(θn − θ

)→W Nk(0, σ

2Λ−1), n →∞.

3.18.2. Проста лiнiйна регресiя

Розглянемо для прикладу випадок k = 2. Нехай

θ = (a, b), t1j = 1, t2j = xj, j = 1, n.

Модель простої лiнiйної регресiї має вигляд

ξj = a + bxj + εj, j = 1, n,


де b – нахил регресiї, a – її змiщення.Матрицi T, V, V −1 задаються рiвностями

T =

(1 1 1 1x1 x2 ... xn

),

V = TT ′ = n

(1 x

x x2

), x ≡ 1

n

∑nj=1 xj, x2 = 1

n

∑nj=1 x2

j ,

V −1 = 1nσ2

x

(x2 −x−x 1

), σ2

x ≡ x2 − (x)2 = 1n

∑nj=1(xj − x)2.

Звiдси обчислюємо оцiнки МНК

V −1T = 1nσ2

x

(x2 − x1x x2 − x2x ... x2 − xnxx1 − x x2 − x ... xn − x

),

b =1

n

∑n

j=1ξj(xj − x)/σ2

x,

a =∑n

j=1ξj(x

2 − xjx)/nσ2x =

∑n

j=1ξj(x

2 − (x)2 − (xj − x)x)/nσ2x =

∑n

j=1ξj(x

2 − (x)2)/nσ2x − xb =

1

n

∑n

j=1ξj − xb = µn − xb,

Оцiнка b називається вибiрковим коефiцiєнтом кореляцiї векторiв (ξj),(xj). За теоремою про незмiщенiсть i розподiл оцiнки МНК у припущеннiнормальностi моделi вектор (a, b) є нормальним вектором на площин i:

(a, b) ' N2(a, b, σ2x2/nσ2x, σ2/nσ2

x, −σ2x(x2)−1/2),

(вправа) i не залежить вiд незмiщеної оцiнки дисперсiї похибок:

σ2n−2 ≡

1

n− 2SSv =

1

n− 2

∑n

j=1(ξj − a− bxj)

2.

Остання пiсля дiлення на σ2/(n − 2) має хi-квадрат розподiл з n − 2ступенями свободи. Тому, зокрема, статистика

τn−2 =√

n(b− b)σx/σn−2

вже не мiстить σ та має розподiл Стьюдента з n − 2 ступенями свободи(вправа). Це твердження застосовується для побудови надiйних iнтерва-лiв та перевiрки гiпотез щодо нахилу b.

Далi, за теоремою Гаусса - Маркова для даного x ∈ R статистика

y = a + bx = µn + b(x− x) ' N(y, σ2(1 + (x− x)2/σ2x)/n),


є незмiщеною лiнiйною оцiнкою мiнiмальної дисперсiї для прогнозованогозначення y = a + bx (вправа). Нарештi, статистика

τn−2 =√

n(y − y)/(σn−2

√1 + (x− x)2/σ2

x

)

має розподiл Стьюдента з n − 2 ступенями свободи, що дає можливiстьiнтервального оцiнювання та перевiрки гiпотез для y.

Приклад. Розглянемо вибiрку з 10 страхових вимог X та вiдповiднихстрахових виплат Y :

x 2.10 2.40 2.50 3.20 3.60 3.80 4.10 4.20 4.50 5.00y 2.18 2.06 2.54 2.61 3.67 3.25 4.02 3.71 4.38 4.45

Графiчне зображення цих даних пiдтверджує, що тут може бути наяв-ною лiнiйна залежнiсть.

Обчислення дають такi результати:

x = 3.54, x2 = 13.376, y = 3.287, y2 = 11.520, xy = 12.381,

σ2x = 0.844, σ2

y = 0.716,∑10

j=1 yj(xj − x) = 7.45,

b = 0.88, a = 0.16.

Вправи

(1) Знайти оцiнку (a, b) методу найменших квадратiв перпендикулярних вiд-станей вiд регресiї, що мiнiмiзує суму

∑nj=1(ξj − a− bxj)

2/(1 + b2).

(2) Визначимо для вектора ξ = (η, ζ) змiшанi моменти µij = IEηiζj, i, j ≥ 0,та для кратної векторної вибiрки X = (ξ1, ..., ξn) вибiрковi змiшанi моментиµij = n−1

∑nk=1 ηi

kζjk. (а) Узагальнити метод моментiв на клас змiшаних момен-

тiв. (б) Нехай має мiсце модель лiнiйної регресiї ηk = a + bζk + εk, k = 1, n, знекорельованими однаково розподiленими центрованими похибками εk. Довести,що оцiнка методу моментiв параметра θ = (a, b) має вигляд

b =(∑n

k=1(ηk − ηn)(ξk − ξn))

/∑n

k=1(ξk − ξn)2, a = ηn − bξn.

(3) Нехай (ξ1, ..., ξn) – кратна вибiрка з нормального розподiлу на площинi,тобто ξj = (ζ1j, ζ2j) ' N2(µ1, µ2, σ

21, σ

22, ρ). (а) Довести, що ОМВ для вектора

(σ21, σ

22, ρ) при вiдомих середнiх µ1, µ2 має вигляд: σ2

i = n−1∑n

j=1(ζ ij − µi)2,

i = 1, 2, ρ =(∑n

j=1(ζ1j − µ1)(ζ2j − µ2))

/nσ1σ2. (б) При невiдомих µ1, µ2 та

n > 5 цi оцiнки визначаються як у попереднiй задачi.


3.18.3. Полiномiальна регресiя

Попередню задачу лiнiйної апроксимацiї спостережень можна узагаль-нити, якщо розглянути схему полiномiальної регресiї:

ξj =∑k

i=0θi xi

j + εj, j = 1, n,

де (xj) – заданi точки спостережень. Незважаючи на нелiнiйний характерзалежностi вiд x, дана модель залишається лiнiйною за невiдомим пара-метром θ = (θ0, ..., θk). Тому для аналiзу полiномiальної регресiї можназастосувати всi результати роздiлу про лiнiйну регресiю, якщо визначитиматрицю перетворень T = (xi

j, i = 0, k, j = 1, n).Припустимо, що точки спостережень (xj) ”рiвномiрно розподiленi” на

вiдрiзку (0, 1), тобто∑n

j=1 g(xj) ≈r 1

0g(x)dx для g ∈ C(0, 1). Тодi матриця

V = TT ′ дорiвнює

V =(∑

jxi

jxlj, 0 ≤ i, l ≤ k

)≈ (1/(i + l + 1), 0 ≤ i, l ≤ k).

Можна довести, що визначник цiєї матрицi дуже близький до нуля навiтьпри великих k. Отже, обчислення оцiнки МНК, що пов’язане з обертан-ням матрицi V, стикатиметься з великими труднощами.

Для полiпшення якостi оцiнювання в полiномiальнiй схемi доцiльнорозглянути її в еквiвалентному (внаслiдок перепараметризацiї) виглядi

ξj =∑k

i=0θi ϕi(xj) + εj, j = 1, n,

де ϕi(x) – деякi полiноми ступеня i вiд x. Матриця V тут має вигляд

V =(∑n

j=1ϕi(xj) ϕl(xj), 0 ≤ i, l ≤ k

).

Для полiпшення якостей оцiнки МНК полiноми ϕi обирають так, щобматриця V була дiагональною. З огляду на її визначення розглянемо такубiлiнiйну форму (псевдо-скалярний добуток) вiд функцiй f, g:

(f, g) ≡∑n

j=1f(xj) g(xj).

Визначимо рекурентно послiдовнiсть полiномiв Чебишева

ϕ0(x) ≡ 1, ϕk(x) ≡ xk −∑k−1

i=0

(xk, ϕi)

(ϕi, ϕi)ϕi(x), k ≥ 1.

За iндукцiєю з цього означення виводимо, що для всiх i < k

(ϕk, ϕi) = (xk, ϕi)− (ϕi, ϕi)(xk, ϕi)/(ϕi, ϕi) = 0.


Отже, полiноми Чебишева попарно ортогональнi, тому коварiацiйна ма-триця V = ((ϕi, ϕi)δik) є дiагональною i оцiнка МНК дорiвнює

θ = V −1TX =(∑n

j=1ξj ϕi(xj) / (ϕi, ϕi), i = 0, k

).

Оскiльки коварiацiйна матриця оцiнки θ за теоремою про незмiщенiсть iрозподiл оцiнки МНК дорiвнює дiагональнiй матрицi σ2V −1, то коорди-нати θi некорельованi, а за нормальної моделi – незалежнi.

3.18.4. Дисперсiйний аналiз

На вiдмiну вiд регресiйного аналiзу, де залежнiсть спостережень вiднезалежної змiнної (кiлькiсного фактора) конкретизується як лiнiйна че-рез матрицю плану спостережень T, у дисперсiйному аналiзi можливийбудь-який вид залежностi спостережень (вимiрювань) вiд значення якi-сного фактора (номера дiлянки, назви фiрми-поставника товару, статi об-слiдуваних i т.п.).

Модель однофакторного дисперсiйного аналiзу (ANOVA), що вiдобра-жає наявнiсть одного визначального фактора, має вигляд

ξij = µ + αi + εij, j = 1, ni, i = 1, k.

Спостереження ξij iнтерпретується як результат j-го вимiрювання приi-му значеннi фактора. Всього маємо k значень (рiвнiв) фактора, та ni

спостережень на i-му рiвнi.Сума µ + αi є середнiм значенням спостережень (вiдгуком) при i-му

рiвнi фактора, а параметр µ – спiльним середнiм усiх спостережень. Рi-зниця αi мiж вказаними середнiми називається ефектом i-го рiвня. За-дача полягає у оцiнюваннi параметрiв µ + αi за спостереженнями ξij.Оскiльки кiлькiсть параметрiв k + 1 перевищує кiлькiсть досяжних зна-чень µ + αi, i = 1, k, то для однозначностi оцiнювання на доданки αi

необхiдно накласти одну додаткову умову. Тому вважають, що ефекти αi

задовольняють умову ∑ki=1 niαi = 0.

Доданок εij є похибкою вимiрювань. Постулюється, що випадковi ве-личини (εij, j = 1, ni, i = 1, k) незалежнi у сукупностi центрованi: IEεij = 0,i мають нормальний розподiл εij ' N(0, σ2) з невiдомою дисперсiєю σ2.

Якщо розглянути вектор параметрiв θ = (µ, α1, ..., αk), перенумеруватиспостереження та вiдповiдно визначити матрицю T з нулiв та одиниць,модель дисперсiйного аналiзу можна звести до моделi лiнiйної регресiї.


Однак i прямим обчисленням можна отримати оцiнки методу наймен-ших квадратiв

(µ, α1, ...αk) ≡ argmin(µ,αi)

∑i,j(ξij − µ− αi)

2.

що мають вигляд

µ = ξ••, αi = ξi• − ξ••, i = 1, k.

Тут використано позначення для усереднених значень

ξ•• = n−1∑

i,j ξij, ξi• = n−1i

∑ni

j=1 ξij.

Доведення спирається на той факт, що вектори з координатами

(ξ•• − µ), (ξi• − ξ•• − αi), (ξij − ξi•) при j = 1, ni, i = 1, k

є попарно ортогональними для довiльних µ, αi (Вправа).З цiєї ортогональностi виводимо розклад суми квадратiв вiдхилень:

SS = SSv + SSr, деSS ≡ ∑

i,j(ξij − µ)2 – повна сума квадратiв,SSv ≡

∑i niα

2i – мiжгрупова сума квадратiв,

SSr ≡∑

i,j

(ξij − µ− αi

)2– залишкова сума квадратiв.

Можна довести, що координати випадкового вектора

ζ ≡ (ξ••, (ξi• − ξ••, i = 1, k), (ξij − ξi•, i = 1, k, j = 1, ni))

попарно некорельованi (вправа), тому за теоремою про лiнiйнi перетво-рення нормальних векторiв та наслiдком про незалежнiсть лiнiйних формнормального вектора вказанi координати незалежнi у сукупностi. Звiдсививодимо, що випадковi величини µ, SSv та SSr незалежнi.

Перше питання, що виникає у дисперсiйному аналiзi, полягає у тому,чи iснує взагалi залежнiсть вiдгукiв вiд рiвня фактору. Тому формулює-ться така нульова гiпотеза щодо ефектiв

H0 : αi = 0, ∀i = 1, k.

З нормальностi вектора ζ та незалежностi його координат виводимо,що за умови H0 випадковi величини SS/σ, SSv/σ та SSr/σ мають хi-квадрат розподiли з n − 1, k − 1 та n − k ступенями свободи вiдповiдно(вправа). Даний факт вiдображається у такiй таблицi ANOVA


ДжерелоСумаквадратiв

Ступенiсвободи

Середня сумаквадратiв

Залишковасума квадратiв

SSr n− k SSr/(n− k)

Мiжгруповасума квадратiв

SSv k − 1 SSv/(k − 1)

Повнасума квадратiв

SS n− 1

Тому для перевiрки гiпотези H0 використовується статистика

φk−1,n−k = (SSv/(k − 1)) / (SSr/(n− k)),

що має розподiл Фiшера з k−1, n−k ступенями свободи. Великi значенняцiєї статистики вказують на порушення гiпотези H0, тому статистичнийкритерiй (φk−1,n−k, [wnkα,∞)) з належним критичним значенням wnkα маєрiвень α та є конзистентним для перевiрки гiпотези H0.

Оцiнювання дисперсiї σ2 похибок εij можливе через незмiщенi оцiнки

σ2i ≡ (ni − 1)−1

∑ni

j=1(ξij − µ− αi)2,

σ2 ≡ (n− k)−1∑k

i=1(ni − 1)σ2i = (n− k)−1

∑i,j(ξij − µ− αi)

2.

Випадковi величини σ2i , σ

2 не залежать вiд µ та SSv i мають пiслядiлення на σ2 хi-квадрат розподiли з ni − 1 та n− k ступенями свободи.

Наступне питання полягає у тому, чи суттєво вiдрiзняються вiдгукивiд рiзних рiвнiв фактора. Можна розглянути гiпотезу αi − αj = 0 длядеяких i 6= j. Бiльш загальною є гiпотеза H0 :

∑ki=1 ciαi = 0, де вектор

c = (ci) є контрастом, тобто∑k

i=1 ci = 0. Позначимо σ2c ≡

∑ki=1 c2

i /ni.З наведених вище тверджень про нормальнiсть та незалежнiсть робимо

висновок (вправа), що статистика

tn−k =(∑k

i=1 ci(αi − αi))

/σcσ

має розподiл Стьюдента з n− k ступенями свободи. Великi значення ста-тистики свiдчать про порушення гiпотези H0 :

∑ki=1 ciαi = 0. Це твердже-

ння можна використати як для побудови iнтервальних оцiнок контрасту∑ki=1 ciαi так i для перевiрки гiпотези про його нульове значення.Зауважимо, що одночасне використання критерiю Стьюдента для рi-

зних контрастiв c за однiєю вибiркою призводить до похибки у вiрогi-дному рiвнi критерiю, оскiльки статистики критерiїв є залежними. Дляподолання цiєї обставини застосовують S-метод Шеффера. Вiн випливаєз нерiвностi Кошi


(∑ki=1 ci(αi − αi)

)2

σ−2c =

(∑ki=1 ci(εi• − ε••)

)2

σ−2c ≤ ∑k

i=1 ni(εi• − ε••)2,

де права частина не залежить вiд c та пiсля дiлення на σ2 має хi-квадратрозподiл з k − 1 ступенем свободи. Звiдси виводимо, що для всiх ε > 0

IP

(sup(ci)

(∑ki=1 ci(αi − αi)

)2

/(k − 1)σ2c σ

2 ≥ ε

)≤ IP(φk−1,n−k ≥ ε),

де величина φk−1,n−k має розподiл Фiшера з k−1, n−k ступенями свободи.Цим визначається множина нульових контрастiв за заданим рiвнем.

Вправа. Розглянемо лiнiйну двохфакторну модель, у якiй двовимiрна вибiркаX = (ξij, i = 1, n.j = 1,m) задовольняє рiвняння

ξij = µ + αi + βj + εij, i = 1, n, j = 1,m,

де похибки εij ' N(0, σ2) незалежнi у сукупностi, а вектор невiдомих параме-трiв θ = (µ, (αi, i = 1, n), (βj, j = 1,m), σ2) такий, що виконуються умовицентрованостi:

∑ni=1 αi = 0,

∑mj=1 βj = 0. Довести, що вектор

θ = (ξ••, (ξi• − ξ••, i = 1, n), (ξ•j − ξ••, j = 1,m), σ2)

є оптимальною оцiнкою для θ, що складається з чотирьох незалежних груп. Тутгруповi середнi статистики мають вигляд

ξ•• =∑n

i=1

∑m

j=1ξij/nm, ξi• =

∑m

j=1ξij/m, ξ•j =

∑n

i=1ξij/n,

σ2 =∑n

i=1

∑m

j=1(ξij − ξi• − ξ•j + ξ••)

2/(n− 1)(m− 1).

3.19. Квадратично iнтегровнiстацiонарнi випадковi процеси

Розглянемо задачi статистичного прогнозу для стацiонарних випадко-вих процесiв другого порядку. Такi процеси ефективно використовуютьсяв теорiї передачi iнформацiї, фiнансовiй математицi тощо.


L2(IP) = ξ : Ω → C, IE |ξ|2 < ∞гiльбертiв простiр квадратично iнтегровних комплекснозначних випадко-вих величин зi скалярним добутком (ξ, η) = IEξη, де x комплексно спря-жене до x, iз нормою ‖ξ‖2 = (ξ, ξ) = IE |ξ|2 та вiдповiдною середньоквадра-тичною (с.к.) границею

ξ = l.i.m ξn ⇐⇒ IE |ξn − ξ|2 → 0, n →∞.

3.19. Квадратично iнтегровнi стацiонарнi випадковi процеси 453

Елементи L2(IP) розрiзняються з точнiстю до рiвностi м.н.Нехай G ⊂ L2(IP) – довiльна пiдмножина. Позначимо породжений G

лiнiйний пiдпростiр

£(G) =

η =∑n

k=1ckξk, ξk ∈ G, ck ∈ C

та його с.к. замикання

ℵ(G) = ξ ∈ L2(IP), ξ = l.i.m ηn, ηn ∈ £(G) .

Назвемо iзометрiєю пiдпросторiв гiльбертових просторiв таку їх лiнiй-ну бiєкцiю, що зберiгає норму (отже, i скалярний добуток).

Теорема (про продовження iзометрiї). Нехай Hk, k = 1, 2, – парагiльбертових просторiв з нормами ‖·‖k, кожен з яких мiстить щiль-ний лiнiйний пiдпростiр H0k ⊂ Hk, Hk = ℵ(H0k). Тодi довiльна iзоме-трiя пiдпросторiв =0 : H01 → H02 має єдине продовження до iзометрiї= : H1 → H2, = |H01= =0.

Доведення. Нехай h1 ∈ H1, h1 = l.i.m h1n, h1n ∈ H01.

Покладемо h2n = =0h1n. Зi збiжностi, а отже i фундаментальностi h1n

виводимо фундаментальнiсть h2n :

‖h2n − h2m‖2 = ‖=0(h1n − h1m)‖2 = ‖h1n − h1m‖1 → 0, n, m →∞,

а тому i збiжнiсть цiєї послiдовностi внаслiдок повноти H2. Позначимо

=h1 = l.i.m h2n.

Ця границя визначена коректно i є шуканою iзометрiєю, оскiльки знеперервностi норми випливає тотожнiсть

‖=h1‖2 = lim ‖h2n‖2 = lim ‖=0h1n‖2 = lim ‖h1n‖1 = ‖h1‖1 ,

а також i взаємна однозначнiсть ¡

3.19.1. Стацiонарнi випадковi процеси

Означення. Нехай параметрична множина T = Z або T = R. Ква-дратично iнтегровний комплекснозначний випадковий процес

(ξt, t ∈ T ) ⊂ L2(IP)

називається стацiонарним (стацiонарним процесом другого порядку, абож стацiонарним у широкому розумiннi), якщо

IEξt = m, Cov(ξt, ξs) ≡ IE(ξt −m)(ξs −m) = r(t− s), ∀t, s ∈ T,


для деяких комплексних m, r(t), t ∈ T. Функцiя r(t) називається кова-рiацiйною функцiєю процесу.

Приклади(а) Стохастична гармонiка. Нехай ζ0 квадратично iнтегровна центро-

вана випадкова величина: IEζ0 = 0, IE |ζ0|2 < ∞, а λ, θ – дiйснi сталi. Тодiпроцес ξt = ζ0 exp(iλt + iθ) є стацiонарним iз нульовим середнiм та кова-рiацiйною функцiєю r(t) = IE |ζ0|2 exp(iλt).

(б) Процес зi скiнченним спектром. Нехай (ζk, k = 1, n) набiр iз цен-трованих некорельованих випадкових величин: IEζk = 0, IEζkζ l = 0, k 6= l,а λk, θk – дiйснi сталi. Тодi процес

ξt =∑n

k=1ζk exp(iλkt + iθk)

є стацiонарним iз нульовим середнiм та коварiацiйною функцiєю

Cov(ξt, ξs) = IE∑n

k=1ζk exp(iλkt + iθk)

∑n

j=1ζj exp(−iλjs− iθj) =

∑n

k=1IE |ζk|2 exp(iλk(t− s)) = r(t− s).

Означення. Процес (ξt, t ∈ T ) є с.к. неперервним, якщо

IE |ξt − ξs|2 ≡ ‖ξt − ξs‖2 → 0, t → s, ∀s.Зауваження (про критерiй с.к. неперервностi). С.к. неперервнiсть

стацiонарного процесу еквiвалентна неперервностi його коварiацiйноїфункцiї в нулi.

Дiйсно, пiсля центрування процесу маємо

‖ξt − ξs‖2 = IE(ξt − ξs)(ξt − ξs) = IE(|ξt|2 − ξtξs − ξsξt + |ξs|2) =

2 Re (r(0)− r(t− s)),

|r(t)− r(0)|2 =∣∣IE(ξt − ξ0)ξ0

∣∣2 ≤ ‖ξt − ξ0‖2 r(0) ¡

Теорема (про властивостi коварiацiйної функцiї). Функцiя r(t) єковарiацiйною функцiєю стацiонарного процесу тодi й тiльки тодi, ко-ли вона є додатно визначеною, тобто для всiх n ≥ 1, tk ∈ T, ck ∈ C∑n

j,k=1ckcj r(tk − tj) ≥ 0.

Доведення. Необхiднiсть отримуємо обчисленням форм через ξt:∑n

j,k=1 ckcj r(tk − tj) =∑n

j,k=1 ckcj IEξtkξtj

=

IE∑n

j,k=1 ckcj ξtkξtj

= IE∣∣∑n

k=1 ck ξtk

∣∣2 ≥ 0.


Достатнiсть випливає з iснування вiдповiдних нормальних випадко-вих послiдовностей, доведення не наводиться ¡

Теорема (теорема Бохнера про додатно визначенi функцiї).Функцiя r(t) є неперервною додатно визначеною тодi й тiльки тодi,

коли знайдеться скiнченна мiра Лебега – Стiлтьєса F на B(R) така,що має мiсце спектральне зображення

r(t) =wR

exp(iλt) dF (λ), ∀t ∈ T.

Означення. Мiра F називається спектральною мiрою коварiацiйноїфункцiї r, а вiдповiдна невласна функцiя розподiлу F (x) ≡ F ((−∞, x)) –її спектральною функцiєю.

Доведення. Достатнiсть перевiряється безпосередньо:∑n

j,k=1ckcj r(tk − tj) =

wR

∑n

j,k=1ckcj exp(iλ(tk − tj))dF (λ) =

wR

∣∣∣∑n

k=1ck exp(iλtk)

∣∣∣2

dF (λ) ≥ 0.

Необхiднiсть доведемо для випадку послiдовностей: при T = Z. Вiд-повiдне твердження називається теоремою Герглотца.

Для довiльної неперервної додатно визначеної функцiї r(n), n ∈ Z, роз-глянемо таку послiдовнiсть функцiй аргумента λ ∈ [−π, π] :

fN(λ) = 12πN

∑Nk,l=1 r(k − l) exp(−ikλ + ilλ) =

12π

∑|n|≤N (1− |n| /N) r(n) exp(−inλ),

де зроблено замiну змiнної n = k − l.Цi функцiї дiйснi та невiд’ємнi за умовою додатної визначеностi пiсля

вибору tk = k, ck = exp(−ikλ), та обмеженi. Тому iнтеграли Лебега

FN(B) =w

B ∩ [−π,π]fN(λ) dλ,

задають невiд’ємнi скiнченнi мiри. За ортогональнiстю гармонiкw π

−πexp(iλk) exp(−iλj)dλ = 2π δkj,

з означення fN та функцiї x+ = max(x, 0) обчислюємоw π

−πexp(iλn)dFN(λ) = (1− |n| /N)+ r(n).

Мiри FN зосередженi на компактному iнтервалi [−π, π] i рiвномiрнообмеженi: FN(R) =

r π

−πexp(iλ0)dFN(λ) = r(0) < ∞. За теоремою Прохо-

рова про критерiй слабкої компактностi нормована послiдовнiсть функцiй


розподiлу FN(−∞, x)/r(0), N ≥ 1 слабко компактна, оскiльки верхнямежа в критерiї нульова вже при c > π. Тому за означенням слабкої ком-пактностi для деякої скiнченної мiри F та для деякої пiдпослiдовностiFNk

→W F, Nk →∞. Використовуючи цю збiжнiсть у попереднiй рiвностiпри N = Nk, дiстанемо сформульоване зображення:

r π

−πexp(iλn)dF (λ) = limk→∞

r π

−πexp(iλn)dFNk

(λ) =

limk→∞ (1− |n| /N)+ r(n) = r(n), ∀n ∈ Z ¡

Теорема (теорема Хiнчина про спектральне зображення коварiа-цiйної функцiї).

(а) Функцiя r(t), t ∈ T, є коварiацiйною функцiєю с.к. неперервногостацiонарного процесу другого порядку тодi й тiльки тодi, коли викону-ється спектральне зображення з теореми Бохнера про додатно визначенiфункцiї. Мiра F (невласна функцiя розподiлу F ) у цьому зображеннiназивається спектральною мiрою (спектральною функцiєю) процесу.

(б) У випадку T = Z мiра F зосереджена на вiдрiзку [−π, π].

Зауваження. За теоремою про формулу обертання для характеристи-чної функцiї справедлива тотожнiсть

F (t)− F (s) = (2π)−1 lim ε↓0w t

sdxw ∞−∞

exp(−iux− ε2u2) r(u)du.

Доведення (а) є очевидним наслiдком теореми про властивостi ко-варiацiйної функцiї, теореми Бохнера про додатно визначенi функцiї тазауваження про критерiй с.к. неперервностi.

Твердження (б) випливає з теореми Герглотца ¡Вправи(1) Випадковi величини (εn, n ∈ Z) такi, що IEεn = 0, IEεnεk = δnk. Тодi для

довiльних сталих (ck, k = 0,m) послiдовнiсть ξn =∑m

k=0 ckεn−k є стацiонарноюдругого порядку. Знайти її коварiацiйну функцiю.

(2) Для квадратично сумованої коварiацiйної функцiї:∑

t∈Z |r(t)|2 < ∞ спе-ктральна функцiя F має щiльнiсть f(λ) = (2π)−1

∑t∈Z exp(−itλ)r(t).

(3) Величини (ηn, n ≥ 0) – незалежнi однаково розподiленi, а (ν(t), t ≥ 0)– незалежний вiд них процес Пуассона. Довести, що випадковий процес ξt =exp(iην(t)) є стацiонарним другого порядку, i знайти його коварiацiйну функцiю.

(4) Довести, що при α > 0 процес ξt = exp(−αt)W (exp(2αt)), t ∈ R+, єстацiонарним другого порядку (процесом Орнштейна-Уленбека), та знайти йогоковарiацiйну функцiю. Тут W (s) – вiнерiв процес.


3.19.2. Мiри з ортогональними значеннями,стохастичнi iнтеграли

Означення. Сiм’я випадкових величин (µ(B), B ∈ B(R)) ⊂ L2(IP)називається випадковою мiрою з ортогональними значеннями, якщо длядеякої скiнченної мiри m на B(R) (структурної мiри) виконуються умови

(а) IEµ(A) µ(B) = m(A ∩B), ∀A,B ∈ B(R),

(б) µ(A ∪B) = µ(A) + µ(B) м.н. для всiх несумiсних A,B ∈ B(R),

(в) IEµ(A) = 0.

Приклад. Нехай (ζk, k ∈ Z) – попарно некорельованi випадковi вели-чини з нульовим середнiм. Тодi µ(A) =

∑k∈A ζk є мiрою з ортогональними

значеннями та зi структурною мiрою m(A) =∑

k∈A IE |ζk|2 :

IEµ(A) µ(B) =∑

k∈A

∑j∈B

IEζkζj =∑

k=j∈A∩BIE |ζk|2 = m(A ∩B),

адитивнiсть та центрованiсть µ очевиднi. Зауважимо, що наведений вищестацiонарний процес зi скiнченим спектром ξt =

∑nk=1 ζk exp(ikt) можна

зобразити у виглядi ζt =r

exp(iλt)µ(dλ), де iнтеграл слiд розумiти якiнтеграл за точковою мiрою.

Означення. Нехай (µ(B), B ∈ B(R)) – випадкова мiра з ортогональ-ними значеннями та зi структурною мiрою m. Позначимо через:

H2(µ) = ℵ(µ(B), B ∈ B(R)) – замкнений лiнiйний пiдпростiр L2(IP),що породжений її значеннями, та через

L2(m) – гiльбертiв простiр комплекснозначних борелєвих функцiй,що iнтегровнi з квадратом за мiрою m : ‖f‖2

m ≡ r |f |2 dm < ∞, зiскалярним добутком (f, g)m =

rfgdm.

Теорема (про iзометрiю просторiв H2 i L2). Нехай випадкова мiраз ортогональними значеннями (µ(B), B ∈ B(R)) має структурну мiруm. Iснує єдина лiнiйна iзометрiя = : L2(m) → H2(µ) така, що

=(1IB) = µ(B), ∀B ∈ B(R).

Доведення. Розглянемо лiнiйнi пiдпростори

H01 = £(1IB, B ∈ B(R)) ⊂ L2(m), H02 = £(µ(B), B ∈ B(R)) ⊂ H2(µ).

Вказане в теоремi вiдображення породжує iзометрiю H01 на H02, оскiлькиза умовою

‖1IB‖2m = m(B) = IEµ(B)µ(B) = ‖µ(B)‖2 = ‖=(1IB)‖2 ,


i внаслiдок ортогональностi значень для попарно несумiсних Bk∥∥∥∑

ck1IBk

∥∥∥2

m=w ∣∣∣

∑ck1IBk

(x)∣∣∣2

m(dx) =

w ∑kck1IBk

(x)∑

jcj1IBj

(x) m(dx) =w ∑

k,jckcj1IBk∩Bj

(x)m(dx) =∑

|ck|2 m(Bk) =

∑k,j

ckcj IEµ(Bk)µ(Bj) = IE∣∣∣∑

ckµ(Bk)∣∣∣2

=∥∥∥∑

ckµ(Bk)∥∥∥

2

.

За означенням iнтегралу Лебега – Стiлтьєса за мiрою m вкладен-ня пiдпростору H01 ⊂ L2(m) є щiльним, оскiльки цей iнтеграл збiгає-ться з границею iнтегралiв вiд вiдповiдних простих функцiй. За означе-нням простору H2(µ) вiн є замиканням у L2(IP) лiнiйної оболонки H02 =£(µ(B), B ∈ B(R)), а остання внаслiдок адитивностi (б) має вигляд

H02 = ∑ ckµ(Bk), ck ∈ C, Bk ∈ B(R), Bk ∩Bj = ∅, k 6= j .

Отже, включення H02 ⊂ H2(µ) також щiльне. Тому твердження теоре-ми випливає з теореми про продовження iзометрiї ¡

Означення. Нехай f ∈ L2(m). Стохастичним iнтегралом Вiнера – Дубавiд функцiї f за випадковою мiрою µ з ортогональними значенняминазивається iзометрiя =(f) ∈ H2(µ), що iснує та єдина за теоремоюпро iзометрiю просторiв H2 i L2 i позначається якw

f dµ ≡ =(f).

Функцiя f називається спектральною характеристикою випадковоївеличини

rf dµ.

За цим означенням iснує аналогiя з визначенням iнтегралу Лебега:wf dµ = l.i.mn→∞

∑kcnkµ(Bnk),

де сталi cnk та множини Bnk входять до визначення простих функцiйfn(x) =

∑k cnk1IBnk

(x), що апроксимують у нормi L2(m) функцiю f.Наслiдок. Стохастичний iнтеграл є лiнiйним, неперервним за f у ме-

трицi простору L2(m) та задовольняє умову

IE(r

f dµ) (r

g dµ)

=r

fg dm.

Доведення. Лiнiйнiсть та неперервнiсть є властивостями лiнiйної iзо-метрiї. Остання рiвнiсть полягає у збiжностi скалярних добуткiв iзометри-чних елементiв, яка випливає з iзометричної збiжностi норм вiдповiдних


елементiв та з тотожностi

4(f, g) = ‖f + g‖2 − ‖f − g‖2 + i ‖f + ig‖2 − i ‖f − ig‖2 ¡Теорема (про продовження мiри з ортогональними значеннями).

Нехай алгебра множин A(R) породжує сигма-алгебру B(R). Якщо iснуєсистема випадкових величин (µ(B), B ∈ A(R)), яка задовольняє приB ∈ A(R) умови (а),(б),(в) в означеннi випадкової мiри з ортогональ-ними значеннями, то iснує така мiра з ортогональними значеннями(µ∗(B), B ∈ B(R)), що має ту ж структурну мiру m та µ∗(B) = µ(B)м.н., для всiх B ∈ A(R).


B0 = B ∈ B(R) : inf(m(A∆B), A ∈ A(R)) = 0.Клас B0 мiстить алгебру A(R). Клас B0 є замкненим вiдносно допов-

нень, скiнченних об’єднань та злiченних об’єднань множин, що попар-но не перетинаються. Отже, B0 є сигма-алгеброю i мiстить A(R), томуB0 = B(R).

Якщо B ∈ B(R), а An ∈ A(R) такi, що m(An∆B) → 0, то

‖µ(An)− µ(Am)‖2 = IE(µ(An)− µ(Am))(µ(An)− µ(Am)) =

m(An) + m(Am)− 2m(An ∩ Am) = m(An∆Am) → 0, n.m →∞.

Отже, послiдовнiсть µ(An) фундаментальна в L2(IP), тому iснує гра-ниця µ∗(B) = l.i.m µ(An). Вона визначена коректно i задовольняє умови(а),(б),(в), оскiльки цi умови зберiгаються при переходi до с.к. границi ¡

3.19.3. Процеси з ортогональними приростами

Означення. Квадратично iнтегровний процес (ζ(t), t ∈ T ) ⊂ L2(IP)називається процесом з ортогональними приростами, якщо:

(а) IEζ[s, t)ζ[u, v) = 0 при всiх s < t ≤ u < v,де прирiст процесу ζ[a, b) ≡ ζ(b)− ζ(a),

(б) sups < t IE |ζ[s, t)|2 < ∞,

(в) IEζ[s, t) = 0.

Теорема (про спектральну функцiю процесу з ортогональнимиприростами). Нехай (ζ(t), t ∈ T ) процес iз ортогональними прироста-ми. Iснує неспадна обмежена функцiя F така, що

IE |ζ[s, t)|2 = F (t)− F (s), IEζ(I)ζ(J) = F (I ∩ J),


для всiх iнтервалiв I, J , де значення функцiї вiд iнтервалу слiд розу-мiти як вiдповiдний прирiст.

Означення. Функцiя F називається спектральною функцiєю процесу(ζ(t), t ∈ T ).

Доведення. Функцiя IE |ζ(I)|2 є адитивною на алгебрi об’єднань iнтер-валiв, що не перетинаються: I ∩ J = ∅, оскiльки

IE |ζ(I ∪ J)|2 = IE(ζ(I) + ζ(J))(ζ(I) + ζ(J)) =

IE |ζ(I)|2 + IE |ζ(J)|2 + 2 Re IEζ(I)ζ(J) = IE |ζ(I)|2 + IE |ζ(J)|2 ,

отже, є монотонно неспадною функцiєю iнтервалу I = [s, t). Тому з (б)випливає iснування монотонної обмеженої функцiї

lims→−∞ IE |ζ[s, t)|2 = F (t),

звiдки виводиться перше твердження теореми:

F (t) + IE |ζ[t, u)|2 =

lims→−∞ IE |ζ[s, t)|2 + IE |ζ[t, u)|2 = lims→−∞ IE |ζ[s, u)|2 = F (u), t < u.

Друге твердження пiсля пiдстановки I = (I ∩ J) ∪ (I\J) випливає iзбiлiнiйностi коварiацiї та з ортогональностi приростiв :

IEζ(I)ζ(J) = IEζ(I ∩ J)ζ(J) + IEζ(I\J)ζ(J) = IEζ(I ∩ J)ζ(J) =

IEζ(I ∩ J)ζ(J ∩ I) + IEζ(I ∩ J)ζ(J\I) = IEζ(I ∩ J)ζ(J ∩ I) = F (I ∩ J) ¡Приклад. Якщо (ηk, k ∈ Z) – послiдовнiсть попарно некорельованих

випадкових величин iз нульовим середнiм, то процес ζ(t) =∑

k < t ηk єпроцесом iз ортогональними приростами, причому F (t) =

∑k < t IE |ηk|2.

Теорема (про випадкову мiру, породжену випадковим процесомiз ортогональними приростами). Для процесу з ортогональними при-ростами (ζ(t), t ∈ T ) iснує єдина випадкова мiра з ортогональнимизначеннями µ на B(R) така, що

µ([s, t)) = ζ[s, t), ∀s < t.

Вiдповiдна структурна мiра m є мiрою Лебега – Стiлтьєса, що породжу-ється спектральною мiрою процесу:

m([s, t)) = IE |µ([s, t))|2 = IE |ζ(t)− ζ(s)|2 = F (t)− F (s).

Доведення випливає з теореми про продовження мiри з ортогональни-ми значеннями. Мiра µ для A = ∪n

k=1[ak, bk) ∈ A(R) визначається як

µ(A) =∑n

k=1ζ[ak, bk).


Лiнiйнiсть та центрованiсть µ очевиднi. Структурна мiра на алгебрi A(R)обчислюється внаслiдок теореми про спектральну функцiю процесу з ор-тогональними приростами :

IEµ(A) µ(B) = IE∑

I⊂A

∑J⊂B

ζ(I)ζ(J) =

∑I⊂A

∑J⊂B

F (I ∩ J) =∑

I=J⊂A∩BF (I) = F (A ∩B) ¡

Означення. Нехай f ∈ L2(F ). Стохастичним iнтегралом вiд функцiї fза процесом ζ iз ортогональними приростами називається iнтеграл завiдповiдною випадковою мiрою з ортогональними значеннями µ :w

f dζ ≡w

f dµ.

Зауваження. За властивостями iнтегралу за випадковою мiрою iнте-грал за процесом є лiнiйним та неперервним за f i задовольняє умову

IE(w

f dζ) (w

g dζ

)=w

f g dF.

3.19.4. Спектральне зображеннястацiонарного процесу

Теорема (теорема Карунена про зображення стацiонарного про-цесу). Нехай (ξt, t ∈ T ) – стацiонарний процес iз нульовим середнiм:IEξt = 0, i коварiацiйною функцiєю r(t), що має спектральну мiру F :

r(t) =wR

exp(iλt) dF (λ).

Розглянемо гiльбертiв пiдпростiр, що породжений процесом ξ :

H2(ξ) = ℵ(ξt, t ∈ T ) ⊂ L2(IP).

Iснує процес iз ортогональними приростами (ζ(λ), λ ∈ R) зi значен-нями в H2(ξ), iз тiєю ж спектральною мiрою F :

IE |ζ[s, t)|2 = F (t)− F (s),

та такий, що має мiсце спектральне зображення

ξt =wR

exp(iλt) dζ(λ), ∀t ∈ T.

Означення. Мiра F називається спектральною мiрою процесу (ξt).Якщо ця мiра абсолютно неперервна вiдносно мiри Лебега, то її щiль-нiсть f називається спектральною щiльнiстю процесу (ξt). Випадковий


процес (ζ(λ), λ ∈ R) називається стохастичним спектральним процесомдля стацiонарного процесу (ξt).

Зауваження. У випадку T = Z спектральна мiра F та процес ζ(λ)зосередженi на вiдрiзку [−π, π].

Доведення. Позначимо через L2(F ) гiльбертiв простiр комплекснозна-чних борелєвих функцiй, що iнтегровнi з квадратом за мiрою F :

L2(F ) = f : ‖f‖2F ≡

w|f |2 dF < ∞.

Розглянемо його лiнiйний пiдпростiр

H01 = £(exp(itλ), t ∈ T ) ⊂ L2(F ).

За теоремою Вейєрштраса пiдпростiр H01 щiльний у L2(F ).За означенням H2(ξ) також щiльно вкладеним є пiдпростiр

H02 = £(ξt, t ∈ T ) ⊂ H2(ξ).

Розглянемо вiдображення H01 на H02, що задається формулою

=(exp(it·)) = ξt, t ∈ T,

для твiрних елементiв exp(itλ) та продовжується за лiнiйнiстю до iзомор-фiзму на iншi елементи H01.

Оскiльки за означенням коварiацiйної функцiї та спектральної мiри

‖∑ ck exp(iλtk)‖2F =

r |∑k ck exp(iλtk)|2 dF (λ) =r ∑k ck exp(iλtk)

∑j cj exp(−iλtj) dF (λ) =

r ∑k,j ckcj exp(iλ(tk − tj)) dF (λ) =

∑k,j ckcj r(tk − tj) =

∑k,j ckcj IEξ(tk)ξ(tj) = IE

∑k ckξ(tk)

∑j cjξ(tj) =

IE |∑ ckξ(tk)|2 = ‖∑ ckξ(tk)‖2 = ‖= (∑

ck exp(iλtk))‖2 ,

то вiдображення = є iзометрiєю H01 на H02.За теоремою про продовження iзометрiї iснує єдине продовження до

iзометрiї = з H1 = L2(F ) на H2 = H2(ξ).З обмеженостi F виводимо, що 1I(−∞, t) ∈ L2(F ). Позначимо

ζ(t) ≡ =(1I(−∞, t)) ∈ H2(ξ).

Тодi за лiнiйнiстю =(1I[s,t)) = =(1I[−∞,t) − 1I(−∞,s)) = ζ(t)− ζ(s) = ζ[s, t)i внаслiдок iзометрiї отримуємо

IEζ[s, t)ζ[u, v) = (1I[s,t), 1I[u,v))F = 0, ∀s < t ≤ u < v,

IE |ζ[s, t)|2 =∥∥1I[s,t)

∥∥2

F= F (t)− F (s).


Оскiльки IEξ(t) = 0 i за нерiвнiстю Кошi математичне сподiвання єнеперервною функцiєю на L2(IP), то IEη = 0 для всiх η ∈ H2(ξ). Зокрема,IEζ(t) = 0.

Отже, ζ(t) – випадковий процес iз ортогональними приростами та зiспектральною мiрою F.

Розглянемо лiнiйний пiдпростiр

L02(F ) ≡

g ∈ L2(F ) : =(g) =

wg(λ)dζ(λ)

.

Цей простiр замкнений в нормi L2(F ) через неперервнiсть iзометрiї = танеперервнiсть стохастичного iнтегралу.

Для iндикаторної функцiї iнтервалу g(λ) = 1I[s,t)(λ) з лiнiйностi iзоме-трiї = отримуємо тотожнiсть

=(g) = ζ[s, t) =w

1I[s,t)(λ)dζ(λ) =w

g(λ)dζ(λ).

тобто g ∈ L02(F ). Тому за лiнiйнiстю простору L0

2(F ) для кожної множиниA ∈ A[R] має мiсце включення 1IA ∈ L0

2(F ). Далi, для довiльної множиниB ∈ B[R] знайдеться послiдовнiсть An ∈ A[R] така, що F (An∆B) →0, звiдки 1IAn → 1IB, n → ∞. Отже, функцiя 1IB та всi простi функцiїналежать простору L0

2(F ).

Оскiльки за означенням iнтеграла Лебега клас простих функцiй щiль-ний у L2(F ), а простiр L0

2(F ) замкнений, то L02(F ) = L2(F ).

Пiдстановкою у отриману тотожнiсть =(g) =r

g(λ)dζ(λ) гармонiкиg(λ) = exp(iλt) дiстанемо спектральне зображення для процесу ξt :

ξt = =(exp(itλ)) =wR

exp(iλt) dζ(λ), ∀t ∈ T.

Справедливiсть зауваження випливає з теореми Хiнчина про спектраль-не зображення коварiацiйної функцiї, (б) ¡

Вправи(1) Довести, що вiнерiв процес (w(t), t ∈ [0, a]) є процесом з ортогональними

приростами. Знайти його спектральну функцiю.(2) Строго стацiонарна послiдовнiсть (ξn, n ∈ Z) центрована: IEξn = 0.та має

стохастичну спектральну мiру (ζ(dλ)). Довести середньоквадратичну збiжнiстьn−1

∑n−1k=0 ξn →L2 ζ(0), n →∞.

(3) Строго стацiонарна послiдовнiсть (ξn, n ∈ Z) така, що виконуються умови

IEξn = 0, та IE∣∣∑n−1

k=0 ξk

∣∣2 = O(n2−δ), n →∞, при деякому δ > 0. Довести, що

n−1∑n−1

k=0 ξk →P1 0, n →∞.


(4) Нехай (ζn, n ≥ 1) – незалежнi у сукупностi стандартнi нормальнi величи-ни. (а) Якщо (ϕn(t), n ≥ 1) – ортонормований базис у L2([0, 1]), то випадковийпроцес w(t) =

∑n≥1 ζn

r t

0ϕn(s)ds є вiнерiвським процесом. (б) Сума збiжного

у середньоквадратичному на [0, 2π) ряду w(t) =∑

n∈Z ζn(1 − exp(int))/in євiнерiвським процесом на [0, 2π) (при n = 0 коефiцiєнт дорiвнює t).

(5) Розклад Карунена – Лоева – Пугачова. Нехай ξ(t), t ∈ [0, 1] с.к. неперерв-ний дiйсний випадковий процес з нульовим середнiм та коварiацiйною функцiєюr(t, s) = IEξ(t)ξ(s). Ця функцiя неперервна та iнтегровна з квадратом на [0, 1]2.Тому iнтегральне рiвняння Фредгольма у просторi L2[0, 1]:

ϕ(t) = λw 1

0r(t, s)ϕ(s)ds

має для деяких λ = λn > 0 розв’язки ϕn ∈ L2[0, 1], n ≥ 1, що утворюютьортонормований базис. Зокрема, справедливе зображення

r(t, s) =∑

n≥1λ−1

n ϕn(t)ϕn(s).

Суму справа можна розглядати як спектральний розклад за лiчильною мiрою m,що має одиничнi стрибки на N. Застосувавши до цього розкладу теорему Кару-нена, побудуйте випадковий процес ζ(t) на [0, 1] з ортогональними приростамита зi спектральною функцiєю m. Позначимо ζn = ζ(n + 0) − ζ(n − 0) вели-чини ненульових стрибкiв цього процесу. Тодi з теореми Карунена отримуємозображення з попарно ортогональними та нормованими ζn ∈ L2(IP) :

ξ(t) =∑

n≥1λ−1/2

n ϕn(t) ζn

Зокрема, для вiнерiвського процесу w(t) маємо

r(t, s) = min(t, s), λn = π2(n− 1/2)2, ϕn(t) =√

2 sin(n− 1/2)πt,

w(t) =√

2∑

n≥1ζn π−1(n− 1/2)−1 sin(n− 1/2)πt.

3.20. Оптимальний лiнiйний прогнозстацiонарних послiдовностей

За допомогою спектрального зображення можна розв’язати задачу зна-ходження лiнiйного прогнозу з найменшою дисперсiєю.

3.20. Оптимальний лiнiйний прогноз стацiонарних послiдовностей 465

3.20.1. Лiнiйний прогноз у гiльбертовому просторi

Теорема (про лiнiйний прогноз у гiльбертовому просторi). НехайH – деякий гiльбертiв простiр, послiдовнiсть (ξk, k ∈ Z) ⊂ H породжуєзамкнений лiнiйний пiдпростiр

H0 = ℵ(ξk, k ∈ Z),

а вектор ξ ∈ H. Тодi(а) iснує єдина проекцiя ξ на H0 :

Π0ξ ≡ argmin η ∈ H0 ‖ξ − η‖2 ,

(б) проекцiя є ортогональною: (ξ − Π0ξ, η) = 0, ∀η ∈ H0,(в) елемент ζ ∈ H0 дорiвнює Π0ξ тодi й тiльки тодi, коли

(ξ − ζ, ξk) = 0, ∀k ∈ Z,

(г) оператор Π0 є лiнiйним i ортогональним: Π20 = Π0.

Доведення(а) Позначимо лiнiйнi пiдпростори

Ln = £(ξk, |k| ≤ n), n ≥ 1. L∞ = ∪Ln.

За означенням H0 = ℵ(L∞), тому елемент ζ ∈ H0 дорiвнює Π0ξ тодi йтiльки тодi, коли

‖ξ − ζ‖2 ≤ ‖ξ − η‖2 , ∀η ∈ L∞,

оскiльки за неперервнiстю норми дана нерiвнiсть подовжується з L∞ навесь пiдпростiр H0.

Оскiльки простiр Ln скiнченновимiрний, то iснує єдиний вектор

ηn = argmin η ∈ Ln ‖ξ − η‖2 .

Дiйсно, за процедурою Грама – Шмiдта у просторi Ln iснує ортонормова-ний базис e1, ..., ed. Тому вектор

ηn =∑d

k=1(ξ, ek)ek

є шуканим, причому ξ − ηn ⊥ Ln

Розглянемо такi сталi

a = ‖ξ‖2 , εn = ‖ξ − ηn‖2 .

Оскiльки Ln ⊂ Lm при m > n, то

εn ↓ ε ≡ lim εn, ξ − ηm ⊥ ηn.


З ξ = ξ − ηn + ηn отримуємо також рiвностi

(ξ, ηn) = ‖ηn‖2 = ‖ξ‖2 − ‖ξ − ηn‖2 = a− εn.

Тому

‖ηn − ηm‖2 = ‖(ηn − ξ)− (ηm − ξ)‖2 = ‖ηn − ξ‖2 +

‖ηm − ξ‖2 − 2(ηn − ξ, ηm − ξ) = εn + εm + 2(ξ, ηm − ξ) =

εn + εm + 2(a− εm)− 2a = εn − εm → 0.

Отже, послiдовнiсть ηn фундаментальна й має границю ζ ≡ lim ηn,причому ‖ξ − ζ‖2 = lim ‖ξ − ηn‖2 = ε.

Для довiльного η ∈ L∞ iснує n таке, що η ∈ Ln. Тому

‖ξ − η‖2 ≥ εn ≥ ε = ‖ξ − ζ‖2 , ∀η ∈ L∞.

Звiдси внаслiдок твердження, що наведене на початку доведення, випли-ває iснування проекцiї Π0ξ = ζ.

Для доведення єдиностi зауважимо, що при наявностi двох точокмiнiмуму ζ i, i = 1, 2, квадратична форма

‖ξ − tζ1 − (1− t)ζ2‖2 = ‖ξ − ζ2‖2 − 2t (ξ − ζ2, ζ1 − ζ2) + t2 ‖ζ1 − ζ2‖2

набувала б одного й того ж самого найменшого значення для рiзних зна-чень аргументу t = 0, 1, звiдки t2 ‖ζ1 − ζ2‖2 = 0.

Твердження (б) випливає з ортогональностi ξ−ηn ⊥ Lk ∀n ≥ k. Оскiль-ки для довiльного η ∈ L∞ знайдеться k таке, що η ∈ Lk, то (ξ − ηn, η) = 0починаючи з деякого n, звiдки дiстанемо (ξ − Π0ξ, η) = 0 при n → ∞.Нарештi, за неперервнiстю скалярного добутку цю рiвнiсть подовжуємона H0 = ℵ(L∞).

Необхiднiсть (в) є очевидним наслiдком (б).Для доведення достатностi у (в) припустимо, що (ξ− ζ, ξk) = 0, для

всiх k ∈ Z. Тодi за лiнiйнiстю та неперервнiстю (ξ − ζ, η) = 0, ∀η ∈ H0.Отже, для довiльного η ∈ H0

‖ξ − η‖2 = ‖ξ − ζ‖2 + ‖ζ − η‖2 + 2(ξ − ζ, ζ − η) ≥ ‖ξ − ζ‖2 ,

де рiвнiсть (ξ − ζ, ζ − η) = 0 випливає з включення ζ − η ∈ H0.Лiнiйнiсть (г) є наслiдком (в): якщо ζ = Π0ξ, η = Π0κ, то

(ξ + κ − ζ − η, ξk) = (ξ − ζ, ξk) + (κ − η, ξk) = 0, ∀k ∈ Z,

звiдки Π0ξ + Π0κ = ζ + η = Π0(ξ + κ).Ортогональнiсть (д) виводиться з тотожностi Π0η = η, η ∈ H0, за якою

Π20η = Π0(Π0η) = Π0η = η ¡


3.20.2. Спектральний розв’язок задачiлiнiйного прогнозу

Нехай (ξn, n ∈ Z) – стацiонарна послiдовнiсть iз нульовим середнiм,F – її спектральна мiра на [−π, π]. Розглянемо гiльбертовi пiдпростори

H−2 (ξ) ≡ ℵ(ξn, n ≤ 0) ⊂ H2(ξ) ≡ ℵ(ξn, n ∈ Z) ⊂ L2(IP).


ξ1 = Π0ξ1 ≡ argmin η∈H−2 (ξ) ‖ξ1 − η‖2 ∈ H−

2 (ξ)

оптимальний лiнiйний прогноз значення ξ1 за спостереженнями з H−2 (ξ).

Вiн iснує та коректно визначений за теоремою про лiнiйний прогноз угiльбертовому просторi.

Визначимо Z± = n ∈ Z : n T 0 та уведемо пiдпростори

L±2 (F ) = ℵF (exp(inλ), n ∈ Z±),

де ℵF – оператор замикання лiнiйної оболонки у просторi L2(F ).Як i вище, символом = позначатимемо iзометрiю = : L2(F ) → H2(ξ),

що визначена в теоремi Карунена про зображення стацiонарного процесуяк =(exp(it·)) = ξt та породжена стохастичним iнтегралом за вiдповiднимпроцесом iз ортогональними приростами ζ :

=(g) =w π

−πg(λ)dζ(λ).

Нагадаємо, що функцiя g називається спектральною характеристикою ви-падкової величини =(g).

Визначимо також пiдпростiри

H±2 (ξ) ≡ ℵ(ξn, n ∈ Z±) ⊂ H2(ξ) ⊂ L2(IP).

Лема (про звуження iзометрiї). Кожне зi звужень iзометрiї= : L±2 (F ) → H±

2 (ξ) є iзометрiєю.Доведення очевидне, оскiльки за означенням =(exp(in·)) = ξn, а по-

слiдовностi (exp(inλ), n ∈ Z±) є базисами в L±2 (F ) ¡Теорема (про критерiй оптимальностi спектрального зображен-

ня). Функцiя g ∈ L2(F ) є спектральною характеристикою оптимальномупрогнозу: =(g) = ξ1, тодi й тiльки тодi, коли g ∈ L−2 (F ) iw π

−π(exp(iλ)− g(λ)) exp(inλ) dF (λ) = 0, ∀n ≤ 0.

Доведення. З леми про звуження iзометрiї виводимо, що включенняg ∈ L−2 (F ) еквiвалентне включенню ξ1 ∈ H−

2 (ξ).


З теореми про лiнiйний прогноз у гiльбертовому просторi випливає,що величина ζ ∈ H−

2 (ξ) є оптимальним лiнiйним прогнозом: ζ = ξ1, тодiй тiльки тодi, коли

IE(ξ1 − ζ)ξn ≡ (ξ1 − ζ, ξn) = 0, ∀n ≤ 0.

Оскiльки має мiсце iзометрiя =(exp(iλn)) = ξn, i =(g) = ξ1, то вiдпо-вiднi скалярнi добутки у H2(ξ) та L2(F ) збiгаються:

(ξ1 − ζ, ξn) =w π

−π(exp(iλ)− g(λ)) exp(inλ) dF (λ).

Тому наведений критерiй еквiвалентний тотожностi теореми ¡Позначимо через L2, L±2 аналогiчнi до L2(F ), L±2 (F ) простори функцiй

для випадку, коли F – мiра Лебега на [−π, π]. Як вiдомо,

L2 =

g(λ) =∑

n∈Zcn exp(inλ) :

∑|cn|2 < ∞

,

L±2 =

g(λ) =

∑n∈Z±

cn exp(inλ) :∑

n∈Z±|cn|2 < ∞

.

Теорема (про iзоморфiзм спектральних просторiв). Нехай викону-ється умова:

(L) спектральна мiра F має щiльнiсть f таку, що

0 < inf f, sup f < ∞.

Тодi L2(F ) = L2, L±2 (F ) = L±2 .

Доведення. Базиснi елементи у всiх трьох пар просторiв однаковi: цепослiдовностi функцiй exp(inλ), де n ∈ Z або Z±. Тому тотожнiсть просто-рiв випливає з еквiвалентностi норм, за якими обчислюється замикання:

‖g‖2F =

r |g|2 f(λ)dλ ≤ sup fr |g|2 dλ = sup f ‖g‖2 ,

‖g‖2F =

r |g|2 f(λ)dλ ≥ inf fr |g|2 dλ = inf f ‖g‖2 ¡

Теорема (про побудову оптимального прогнозу). Нехай виконує-ться умова (L). Функцiя g ∈ L−2 є спектральною характеристикою опти-мального прогнозу: =(g) = ξ1 тодi й тiльки тодi, коли знайдутьсяфункцiї f± ∈ L±2 такi, що для спектральної щiльностi f має мiсце фа-кторизацiя

f(λ) =f+(λ)

f−(λ), λ ∈ [−π, π],

причому знаменник має вигляд f−(λ) = 1− exp(−iλ)g(λ).


Зауваження. З включення g ∈ L−2 випливає, що функцiя exp(−iλ)g(λ)має ряд Фур’є зi строго вiд’ємними номерами гармонiк, тому останнєзображення для функцiї f− означає, що її нульовий коефiцiєнт Фур’є маєдорiвнювати 1. Ця умова еквiвалентна включенню exp(iλ)(1 − f−(λ)) ≡g(λ) ∈ L−2 .

Доведення. Необхiднiсть. Нехай ξ1 – оптимальний прогноз iз вiдпо-вiдною спектральною характеристикою g. З теореми про критерiй опти-мальностi спектрального зображення виводимо, що g ∈ L−2 (F ) = L−2 i

r π

−π(exp(iλ)− g(λ)) exp(−inλ) f(λ)dλ =

r π

−πexp(−i(n− 1)λ) f−(λ)f(λ)dλ = 0, ∀n ≤ 0.

Очевидно, що f−(λ) ≡ 1 − exp(−iλ)g(λ) ∈ L−2 . Визначимо функцiюf+(λ) ≡ f−(λ) f(λ). Тодi f+ ∈ L2, тому що f− ∈ L2, а f обмежена заумовою (L). Отже, f+(λ) =

∑n∈Z fn exp(inλ) з

∑n∈Z |fn|2 < ∞. Оскiльки

послiдовнiсть функцiй exp(inλ) утворює базис у L2, то з отриманої вищетотожностi для добутку f−(λ)f(λ) випливає, що

f+(λ) =∑

n≥0fn exp(inλ) ∈ L+

2 .

Достатнiсть. Якщо для спектральної характеристики g ∈ L−2 (F ) тафункцiї f± ∈ L±2 справджуються умови теореми, то за теоремою Каруненапро зображення стацiонарного процесу величина ξ1 ≡ =(g) задовольняєумову (б) теореми про лiнiйний прогноз у гiльбертовому просторi ¡

Теорема (про обчислення оптимального прогнозу). Нехай викону-ється умова (L), а f± – чисельник i знаменник у факторизацiї спе-ктральної щiльностi f з теореми про побудову оптимального прогнозу.

Оптимальний прогноз для ξ1 має вигляд

ξ1 =∑

n<0bnξn+1,

де коефiцiєнти bn визначаються з розкладу

f−(λ) = 1− exp(−iλ)g(λ) = 1−∑

n<0bn exp(inλ).

Похибка прогнозу дорiвнює

IE∣∣∣ξ1 − ξ1

∣∣∣2

=w π

−πf+(λ)dλ.

Доведення. За теоремою про побудову оптимального прогнозу

g(λ) = exp(iλ)(1− f−(λ)) =∑

n<0bn exp(iλ + inλ).


За визначенням iзометрiї з теореми Карунена про зображення стацiо-нарного процесу

ξ1 =r π

−πg(λ) dζ(λ) =

r π

−π

∑n<0 bn exp(i(n + 1)λ) dζ(λ) =

∑n<0 bnξn+1.

Для обчислення похибки скористаємося означенням iзометрiї та тео-ремою про побудову оптимального прогнозу:

IE∣∣∣ξ1 − ξ1

∣∣∣2

= IE(ξ1 − ξ1

)(ξ1 − ξ1

)= IE

(ξ1 − ξ1

)ξ1 =

r π

−π(exp(iλ)− g(λ))exp(iλ)f(λ)dλ =

r π

−πf−(λ)f(λ)dλ =

r π

−πf+(λ)dλ ¡

Теорема (про натуральну факторизацiю спектральної щiльностi).Нехай виконується умова:

(R) логарифм спектральної щiльностi f(λ) розкладається в абсолю-тно збiжний ряд Фур’є:

ln f(λ) =∑

k∈Zak exp(ikλ), A ≡

∑k∈Z

|ak| < ∞.

Тодi функцiї

f+(λ) ≡ exp(∑

k≥0ak exp(ikλ)

),

f−(λ) ≡ exp(−

∑k< 0

ak exp(ikλ))

задовольняють умови теореми про побудову оптимального прогнозу, авказанi у нiй елементи факторизацiї f±(λ) визначенi однозначно.

Зокрема, спектральна характеристика оптимального прогнозу ξ1 до-рiвнює g(λ) = exp(iλ)(1 − f−(λ)), та обчислюється з використаннямформул обертання ak = (2π)−1

r[−π,π]

exp(−ikλ) ln f(λ)dλ. Похибка цьогопрогнозу має вигляд (теорема Сеге – Колмогорова):

IE∣∣∣ξ1 − ξ1

∣∣∣2

= 2π exp

(1

2π

w π

−πln f(λ)dλ

).

Доведення. Зауважимо, що з (R) випливає умова (L):

exp(−A) = exp(−

∑|ak|

)≤ f(λ) ≤ exp

(∑|ak|

)= exp(A),

а також обмеженiсть сум


f±(λ) =∑

m≥0

(±∑

k (≥)(<) 0 ak exp(ikλ))m

/m! ≤∑

m≥0 Am/m! = exp(A) < ∞,

звiдки f± ∈ L±2 , причому f−(λ) має вигляд 1−∑n<0 bn exp(inλ).

Єдинiсть визначення компонент факторизацiї випливає з обмеженостiзнизу елементiв канонiчної факторизацiї. Дiйсно, якщо функцiї h± такожзадовольняють вказане означення, то h+(λ)/f+(λ) = h−(λ)/f−(λ) для всiхλ ∈ R. З обмеженостi: inf f± > 0 випливає включення h±/f± ∈ L2, а зозначення функцiй f±, h± виводимо, що h±/f± ∈ L±2 . Оскiльки L+

2 ∩L−2 =c, c ∈ R, то з наведеної тотожностi випливає пропорцiйнiсть h± = cf±для деякої сталої c. З умови на коефiцiєнт при нульовiй гармонiцi дляh−, f− обчислюємо c = 1.

Формула для обчислення коефiцiєнтiв ak є наслiдком попарної орто-гональностi гармонiчних функцiй на L2[−π, π], вираз для g наведений утеоремi про обчислення оптимального прогнозу. З тiєї ж теореми:

IE∣∣∣ξ1 − ξ1

∣∣∣2

=r π

−πf+(λ)dλ =

r π

−πexp

(∑k≥0 ak exp(ikλ)

)dλ =

r π

−πexp(a0)

(1 +

∑m≥1

(∑k>0 ak exp(ikλ)

)m/ m!

)dλ = 2π exp(a0) ¡

3.20.3. Приклади обчисленняоптимального прогнозу

1. Процес рухомого середнього (MA: Moving Average). Нехай спе-ктральна щiльнiсть стацiонарної послiдовностi (ξn, n ∈ Z) має вигляд

f(λ) = (2π)−1 |P (exp(−iλ))|2 , P (z) =∑m

k=0pkz

k,

де дiйсний полiном P не має коренiв на одиничному колi i p0 = 1.Позначимо через ζ – стохастичний спектральний процес для (ξn), що

має ортогональнi прирости. Тодi випадковi величини

εn =w π

−π

exp(inλ)

P (exp(−iλ))dζ(λ), n ∈ Z,

ортонормованi:

IEεnεk =w π

−π

exp(i(n− k)λ)

|P (exp(−iλ))|2 f(λ)dλ = δnk.

Обчислимо∑m

k=0pkεn−k =

w π

−π

∑m

k=0pk

exp(i(n− k)λ)

P (exp(−iλ))dζ(λ) =


w π

−πexp(inλ)dζ(λ) = ξn.

Отже, вiдповiдна стацiонарна послiдовнiсть (ξn, n ∈ Z) є послiдовнiстюрухомого середнього:

ξn =∑0

k=−mp−kεn+k.

Вправа. Нехай величини з послiдовностi (εn, n ∈ Z) незалежнi однаковорозподiленi. Довести, що для (ξn, n ≥ 1) виконується закон великих чисел.

Розглянемо приклад, у якому P (z) = 1 − pz, |p| < 1. Вiдповiдна кова-рiацiйна функцiя обчислюється зi свого спектрального зображення

r(0) = 1 + p2, r(±1) = −p.

Послiдовнiсть ξn має зображення

ξn = εn − p εn−1.

Елементи факторизацiї спектральної щiльностi дорiвнюють

f+(λ) = P (exp(iλ))/2π,

f−(λ) = 1/P (exp(−iλ)) = 1 +∑

n>0 pn exp(−inλ),

g(λ) = −∑n>0 pn exp(iλ(−n + 1)).

Отже, оптимальний прогноз має вигляд

ξ1 = −∑

n>0pnξ−n+1 ¡

2. Процес авторегресiї (AR:AutoRegression). Нехай спектральна щiль-нiсть стацiонарної послiдовностi (ξn, n ∈ Z) дорiвнює

f(λ) =1

2π |Q(exp(−iλ))|2 , Q(z) =∑m

k=0qkz

k,

де дiйсний полiном Q не має коренiв на одиничному колi.Тодi випадковi величини

εn =w π

−πexp(inλ)Q(exp(−iλ)) dζ(λ), n ∈ Z,

ортонормованi, де ζ – вiдповiдний стохастичний спектральний процес зiспектральною щiльнiстю f. Обчислимо∑m

k=0qkξn−k =

w π

−π

∑m

k=0qk exp(i(n− k)λ)dζ(λ) = εn.

Отже, послiдовнiсть (ξn, n ∈ Z) є розв’язком рiвняння авторегресiї:∑0

k=−mq−kξn+k = εn.


Елементи факторизацiї спектральної щiльностi дорiвнюють

f+(λ) = 1/2πQ(exp(iλ)),

f−(λ) = Q(exp(−iλ)) =∑0

k=−m q−k exp(ikλ),

g(λ) = −∑−1k=−m q−k exp(iλ(k + 1)).

Отже, оптимальний прогноз має вигляд

ξ1 = −∑−1

k=−mq−kξk+1 ¡

3. Процес iз дробово-рацiональною спектральною щiльнiстю(ARMA: AutoRegression and Moving Average). Нехай спектральна щiль-нiсть стацiонарного процесу (ξn, n ∈ Z) є дробово-рацiональною:

f(λ) =P (exp(iλ))

Q(exp(iλ)),

де P, Q – комплекснi полiноми, що не мають коренiв на одиничному колi.Якщо полiном P або Q має корiнь α, |α| < 1, то в розкладi f є множник1 − α exp(−iλ). Оскiльки функцiя f – дiйсна, то f(λ) = f(λ). З цьогорiвняння робимо висновок, що у розкладi f знайдеться також i множник1−α exp(iλ). За наявностi кореня з |β| > 1 вiдповiднi нормованi множникитакож утворюють для α = 1/β внесок вигляду

(β − exp(iλ))(β − exp(−iλ)) = |β|2 (1− α exp(−iλ)− α)(1− α exp(iλ)).

Групуючи такi множники попарно, приведемо щiльнiсть до вигляду

f(λ) = c

∏lk=1(1− αk exp(−iλ))(1− αk exp(iλ))∏mj=1(1− βj exp(−iλ))(1− βj exp(iλ))

=

c

∏lk=1 |1− αk exp(−iλ)|2∏mj=1

∣∣1− βj exp(−iλ))∣∣2 ,

де |αk| < 1,∣∣βj

∣∣ < 1, а стала c повинна бути дiйсною. Звiдси виводимо,що процес ARMA є розв’язком рiзницевого рiвняння

∏m

j=1(1− βj∆)ξn =

∏l

k=1(1− αk∆)εn

з оператором ∆ зворотного часового зсуву (тобто ∆ξn = ξn−1, ∆εn = εn−1)та з ортонормованими εn, що визначаються як

εn =w π

−πexp(inλ)f−(λ)dζ(λ).


Тут f−(λ) – вiдповiдний знаменник факторизацiї:

f−(λ) =

∏mj=1(1− βj exp(−iλ))

∏lk=1(1− αk exp(−iλ))

=

∏m

j=1(1− βj exp(−iλ))

∏l

k=1

∑n≥0

αnk exp(−inλ) ∈ L−2 .

Оптимальний лiнiйний прогноз задається спектральною функцiєюg(λ) = (1− f−(λ)) exp(iλ) ¡

Вправи(1) Нехай (ξn) – стацiонарна послiдовнiсть, випадкова величина η ∈ H2(ξ)

має спектральну характеристику g(λ), а θ – оператор зсуву. Довести, що спе-ктральна характеристика θη дорiвнює exp(iλ)g(λ).

(2) Знайти оптимальний прогноз для ξ1, якщо коварiацiйна функцiя має ви-гляд r(t) = (1 + |t|) exp(− |t|).

(3) Знайти оптимальний прогноз для ξ1, якщо спектральна щiльнiсть дорiв-нює (а) f(λ) = (25 + 24λ)−1, (б) f(λ) = 2 + 2 cos λ.

3.20.4. Регулярнi стацiонарнi послiдовностi

Розглянемо певне узагальнення послiдовностей рухомого середнього.Нехай (ξn, n ∈ Z) – стацiонарна послiдовнiсть, що є квадратично iнте-гровною з нульовим середнiм i коварiацiйною функцiєю r(n).

Позначимо лiнiйнi пiдпростори

Ln = £(ξk, k ≤ n), Hn = ℵ(Ln) ⊂ Hn+1,

L∞ = ∪Ln, H∞ = ∪Hn, H−∞ = ∩Hn.

Нехай лiнiйне вiдображення θ : L∞ → L∞ визначається рiвнiстю

θξn ≡ ξn+1, ∀n ∈ Z,

на твiрних елементах L∞ та продовжується за лiнiйнiстю на всi скiнченнiлiнiйнi форми з L∞ :

θ∑

k≤nckξk ≡

∑k≤n

ckξk+1.

Оскiльки послiдовнiсть (ξn, n ∈ Z) – стацiонарна, то вiдображення θє iзометрiєю простору Ln на Ln+1 :∥∥θ

∑k≤n ckξk

∥∥2=

∥∥∑k≤n ckξk+1

∥∥2= IE

∣∣∑k≤n ckξk+1

∣∣2 =∑

k≤n,j≤n ckcjIEξk+1ξj+1 =∑

k≤n,j≤n ckcj r(k − j) =∑

k≤n,j≤n ckcjIEξkξj =

IE∣∣∑

k≤n ckξk

∣∣2 =∥∥∑

k≤n ckξk

∥∥2=

∥∥∑k≤n ckξk

∥∥2.


За неперервнiстю внаслiдок теореми про продовження iзометрiї вiд-ображення θ продовжується до iзометрiї Hn на Hn+1.

Означення. Ортогональним проектором H∞ на Hn називається лi-нiйний оператор, що дiє на елементи ξ ∈ H∞ за формулою

Πnξ ≡ argmin η∈Hn ‖ξ − η‖2 .

Цей оператор iснує та коректно визначений за теоремою про лiнiйнийпрогноз у гiльбертовому просторi.

Означення. Стацiонарна послiдовнiсть (ξn, n ∈ Z) з нульовим сере-днiм IEξn = 0 називається регулярною, якщо ∩ n∈ZHn = 0.

Теорема (теорема Вольда про структуру регулярної стацiонарноїпослiдовностi). Нехай стацiонарна послiдовнiсть (ξn, n ∈ Z) є регуляр-ною. Тодi для всiх n ∈ Z:

(а) Включення Hn ⊂ Hn+1 є строгим (не щiльним).(б) Величини εn+1 ≡ ξn+1 − Πnξn+1 ∈ Hn+1 невиродженi, попарно

ортогональнi, εn+1 ⊥ Hn.(в) Має мiсце рiвнiсть εn+1 = θεn.(г) Послiдовнiсть (εk, k ≤ n) є ортогональним базисом у Hn.(д) Iснують комплекснi (ck, k ≤ 0), з c0 = 1, такi, що справедливе

зображення рухомого середнього

ξn =∑

k≤0ck εk+n =

∑k≤n

ck−n εk,

де ряд збiгається у нормi L2(IP) – у середньо-квадратичному.(е) Спектральна мiра стацiонарної послiдовностi (ξn, n ∈ Z) має

таку спектральну щiльнiсть на [−π, π] :

f(λ) = (2π)−1IE |ε0|2∣∣∣∑

k≤0ck exp(ikλ)

∣∣∣2

.

Доведення(а) Припустимо, що Hn = Hn+1 для деякого n.Тодi iснують лiнiйнi форми ηm

n =∑

k≤n cmk ξk ∈ Ln такi, що

∥∥ξn+1 − ηmn

∥∥ → 0, m →∞.

Оскiльки θ – iзометрiя, то для величин ηmn−1 ≡ θ−1ηm

n ∈ Ln−1 справедливiспiввiдношення∥∥ξn − ηm

n−1

∥∥ =∥∥θ(ξn − ηm

n−1)∥∥ =

∥∥ξn+1 − ηmn

∥∥ → 0, m → 0.

Отже, ξn ∈ Hn−1 та Hn−1 = Hn, звiдки за iндукцiєю. H−∞ = Hn, щосуперечить умовi регулярностi.


(б) Невиродженiсть є наслiдком (а), оскiльки з εn+1 = 0 випливалоб, що ξn+1 = Πnξn+1 ∈ Hn, що суперечить регулярностi. Ортогональнiстьεn+1 ⊥ Hn є наслiдком властивостi (б) ортогонального проектора з теоре-ми про лiнiйний прогноз у гiльбертовому просторi. Нарештi, зi включенняεn ∈ Hn виводимо попарну ортогональнiсть εk ⊥ εn, k < n.

(в) Оскiльки θ – iзометрiя Ln−1 на Ln, то для довiльного ηn−1 ∈ Ln−1∥∥ξn − ηn−1

∥∥ =∥∥θ(ξn − ηn−1)

∥∥ =∥∥ξn+1 − θηn−1

∥∥ .

Отже, нижнi границi за ηn−1 в обох частинах цiєї рiвностi є однаковими,а вiдповiднi аргументи збiгаються до векторiв, пов’язаних вiдображеннямθ. Тому за означенням ортогонального проектора Πnξn+1 = θΠn−1ξn i

εn+1 = ξn+1 − Πnξn+1 = θ(ξn − Πn−1ξn) = θεn.

(г) Нехай для фiксованого n величина ζ ∈ Hn така, що ζ⊥ εk, ∀k ≤ n.За означенням Hn для деякої послiдовностi скiнченних лiнiйних форм

ηmn =

∑k≤n

cmk ξk ∈ Ln

має мiсце збiжнiсть ηmn → ζ, m → ∞. Оскiльки εn ⊥ ξk ∈ Hk при k < n

за властивiстю (б), то

(ξn, εn) = (ξn − Πn−1ξn, εn) = (εn, εn) = ‖εn‖2 ,

cmn ‖εn‖2 = cm

n (ξn, εn) = (ηmn , εn) → (ζ, εn) = 0, m →∞.

Звiдси отримуємо: ηmn − Πn−1η

mn = cm

n εn → 0, m →∞. Отже,

ζ = limm→∞ ηmn = limm→∞ Πn−1η

mn ∈ Hn−1.

За iндукцiєю ζ ∈ H−∞ = 0, тобто ζ = 0. Отже, послiдовнiсть (εk, k ≤ n)є базисом у Hn. Ортогональнiсть цього базису доведено у твердженнi (б).

(д) З попереднього пункту та означення базису випливає iснуваннясталих ck ∈ C таких, що

ξ0 =∑

k≤0ck εk,

де c0 = 1, оскiльки за означенням (б) та за ортогональнiстю базису εn

ξ0 − ε0 = Π−1ξ0 =∑

k≤−1ck εk = ξ0 − c0ε0.

Звiдси внаслiдок (в) та за означенням неперервної iзометрiї θ дiстане-мо зображення (д) для довiльного n.


(е) Вираз для спектральної щiльностi виводиться з (д) та з означенняспектральної мiри, оскiльки при n ≥ 0

w π

−πexp(inλ)f(λ)dλ = r(n) = IEξnξ0 = IE

∑k≤0

ckεk+n

∑j≤0

cjεj =

∑k≤0

∑j≤0

ckcj IEεk+nεj = IE |ε0|2∑

k≤0ck ck+n 1Ik≤−n =

IE |ε0|2 (2π)−1w π

−πexp(inλ)

∣∣∣∑

k≤0ck exp(ikλ)

∣∣∣2

dλ, ∀n ∈ Z ¡Теорема (про оптимальний прогноз для регулярної послiдовно-

стi). Позначимо через ξ1 = Π0ξ1 найкращий у середньоквадратичномулiнiйний прогноз значення ξ1 за спостереженнями (ξk, k ≤ 0). Длярегулярної послiдовностi мають мiсце тотожностi

ξ1 =∑

k<0ck εk+1 = ξ1 − ε1, IE

∣∣∣ξ1 − ξ1

∣∣∣2

= IE |ε1|2 .

Доведення очевидне. Зауважимо, що побудова прогнозу складаєтьсяз 2-х етапiв: обчислення коефiцiєнтiв ck, якi визначаються коварiацiйноюфункцiєю, або ж її спектральною щiльнiстю, та вiдшукання базису (εk) зрiвнянь зображення рухомого середнього ¡

Приклад. Нехай послiдовнiсть (ξn, n ∈ Z) задовольняє зображеннярухомого середнього з коефiцiєнтами cn = ρ−n, n ≤ 0 з ρ ∈ (−1, 1), та зортонормованими похибками (εn), тобто має спектральну щiльнiсть

f(λ) = (2π)−1∣∣∣∑

k≤0ρ−k exp(ikλ)

∣∣∣2

= (2π)−1 |1− ρ exp(−iλ)|−2 .

Тодi зi вказаного зображення внаслiдок мультиплiкативностi функцiїρn виводимо, що дана послiдовнiсть є розв’язком системи рiвнянь

ξn = εn +∑

k≤n−1ρn−kεk = εn + ρξn−1, n ∈ Z.

Отже, оптимальна оцiнка ξ1 за спостереженнями ξk, k ≤ 0, має виглядξ1 = ξ1 − ε1 = ρξ0.

Додаток

Список рекомендованої лiтератури

Основна лiтература

1. Дороговцев А.Я. Элементы общей теории меры и интеграла – Киев,Вища школа, 1989.

2. Дороговцев А.Я. Математичний аналiз, у двох частинах – Киiв,Вища школа, 1993.

3. Ядренко М.Й. Дискретна математика – Київ, Експрес, 2003.4. Ширяев А. Н. Вероятность, в 2-х кн. – Москва, МЦНМО, 2004.5. Гихман И.И., Скороход А.В., Ядренко М.Й. Теория вероятностей и

математическая статистика – Киев, Вища школа, 1988.6. Скороход А.В. Елементи теорiї ймовiрностей та випадковi процеси

– Київ, Вища школа, 1975.7. Скороход А.В. Лекцiї з теорiї випадкових процесiв – Київ, Либiдь,

1990.8. Ивченко Г.И., Медведев Ю.И. Математическая статистика – Мо-

сква, Высшая школа, 1984.9. Березанский Ю.М., Ус Г.Ф., Шефтель З.Г. Функциональный анализ

– Киев, Вища школа, 1990.10. Карташов М.В. Теорiя ймовiрностей та математична статистика –

Київ, ТВiМС, 2004.11. Дороговцев А.Я.,Сiльвестров Д.С.,Скороход А.В.,Ядренко М.Й.

Теория вероятностей. Сборник задач – Киев, Вища школа, 1976.12. Теория вероятностей. Методические указания к ведению практиче-

ских занятий, Киев, КГУ, 1983.13. Завдання до лабораторних занять з курсу ”Математична статисти-

ка”, Київ, механiко-математичний факультет КНУ, 2003.

479

Додаткова лiтература

1. Гнеденко Б.В. Курс теории вероятностей – Москва, Наука, 1987.2. Скороход А.В. Вероятность – Москва, ВИНИТИ, 1989.3. Боровков А.А. Теория вероятностей – Москва, Наука, 1987.4. Севастьянов Б.А. Курс теории вероятностей и математической ста-

тистики – Москва, Наука, 1982.5. Коваленко И.Н., Гнеденко Б.В. Теория вероятностей – Киев, Вища

школа, 1990.6. Розанов А.А. Теория вероятностей, случайные процессы и матема-

тическая статистика. – Москва, Наука, 1985.7. Лоев М. Теория вероятностей – Москва, ИЛ, 1962.8. Неве Ж. Математические основы теории вероятностей – Москва,

ИЛ, 1969.9. Ламперти Дж. Вероятность – Москва, Наука, 1973.10. Феллер В. Введение в теорию вероятностей и ее приложения – В

двух томах, Москва, Мир, 1984.11. Уиттл П. Вероятность. – М.: Наука, 1982.12. Секей Г. Парадоксы в теории вероятностей и математической ста-

тистике. – Москва, Мир, 1990.13. Крамер Г. Математические методы статистики – Москва, Мир,

1975.14. Закс Ш. Теория статистических выводов – Москва, Мир, 1975.15. Уилкс С. Математическая статистика – Москва, Наука, 1967.16. Леман Э. Проверка статистических гипотез – Москва, Наука, 1979.17. Леман Э. Теория точечного оценивания – Москва, Наука, 1991.18. Питмен Э. Основы теории статистических выводов – Москва, Мир,

1986.19. Гихман И.И., Скороход А.В. Введение в теорию случайных про-

цессов, Москва, Наука, 1977.20. Карлин С. Основы теории случайных процессов, Москва, Мир,

1971.21. Мешалкин Л.Д. Сборник задач по теории вероятностей. – Москва,

МГУ, 1963.22. Зубков А.М.,Севастьянов Б.А.,Чистяков В.П. Сборник задач по

теории вероятностей – Москва, Наука, 1989.23. Климов Г.П., Кузьмин А.Д. Вероятность, процессы, статистика.

Задачи с решениями – Москва, МГУ, 1986.

480

24. Чибисов Д.М., Пагурова В.И. Задачи по математической статисти-ке – Москва, МГУ, 1990.

25. Ивченко Г.И., Медведев Ю.И., Чистяков А.В. Сборник задач поматематической статистике – Москва, Высшая школа, 1989.

26. Справочник по прикладной статистике, под ред. Э.Ллойд, У.Ледерман,т.1,2 – Москва, Финансы и статистика, 1989.

27. Айвазян С.А.,Енюков И.С.,Мешалкин Л.Д. Прикладная статисти-ка, Исследование зависимостей – Москва, Финансы и статистика, 1985.

28. Турчин В.М. Теорiя ймовiрностей, Основнi поняття, приклади,задачi – Київ, А.С.К., 2004.

29. Gray R.M. Probability, Random Processes and Ergodic Properties –Springer-Verlag, 1987.

30. Durrett R. Probability, Theory and Examples – Wadsworth Publishi-ng, 1996.

31. Kallenberg O. Foundation of Modern Probability – Springer-Verlag,1997.

481

Грецький алфавiт

A,α альфа I, ι йота P, ρ роB, β бета K,κ каппа Σ, σ сигмаΓ, γ гама Λ, λ ламбда T, τ тау∆, δ дельта M, µ мю Υ, υ iпсилонE, ε епсилон N, ν ню Φ, ϕ фiZ, ζ дзета Ξ, ξ ксi X, χ хiH, η ета O, o омiкрон Ψ, ψ псiΘ, θ тета Π, π пi Ω, ω омега

Список позначень

≡ – рiвнiсть за означенням.an ∼ bn – асимптотична еквiвалентнiсть послiдовностей: an/bn → 1

при n →∞.n! = n(n− 1)..2 · 1 – факторiал числа n.N,Z,Z+,R,R+,C – множини натуральних, цiлих, дiйсних, невiд’ємних

цiлих, невiд’ємних дiйсних та комплексних чисел.C(I), Cb(I) – простори неперервних та обмежених неперервних фун-

кцiй на множинi I.Re z, Im z – дiйсна та уявна частини числа z.rang A – ранг матрицi A.diam U = supx,y∈U |x− y| – дiаметр множини U ⊂ Rn.Ω – простiр елементарних подiй, унiверсальна множина.∅ – неможлива подiя, порожня множина.2Ω – клас всiх пiдмножин множини Ω.IP(A | B) – умовна ймовiрнiсть подiї A за умови B.ϕ(x), Φ(x) – щiльнiсть, функцiя стандартного нормального розподiлу.A(R), A(Rn) – алгебри множин в R та Rn, що породжуються напiвiн-

тервалами та паралелепiпедами.B(R), B(Rn) – борелєвi сигма-алгебри в R та Rn.σ[A] – сигма-алгебра, що породжена класом множин A.1IB – iндикаторна функцiя висловлювання B.1IA(ω) – iндикаторна величина випадкової подiї A.δkj = 1Ik=j – символ Кронекера.I = (δkj) – одинична матриця.ξ ' η – збiжнiсть функцiй розподiлу випадкових величин ξ, η.

482

B(n, p) – випадкова величина, що має бiномiальний розподiл iз числомвипробувань n та ймовiрнiстю успiху p.

G(p) – випадкова величина, що має геометричний розподiл з iмовiрнi-стю успiху p.

Π(λ) – випадкова величина з розподiлом Пуассона i параметром λ.B1 ×B2 = (b1, b2), bi ∈ Bi – декартiв добуток множин.x+ = max(0, x) – додатна частина числа x.x− = max(0,−x) – вiд’ємна частина числа x.ξ+, ξ− – додатна та вiд’ємна частини випадкової величини ξ.м.н. – майже напевне.IEξ, IMξ – математичне сподiвання випадкової величини ξ.IDξ – дисперсiя випадкової величини ξ.argmin F, argmax F – значення аргументу, для якого досягається най-

менше чи найбiльше значення функцiї F (у припущеннi його iснування).f (−1)(B) = x : f(x) ∈ B – прообраз множини B при вiдображеннi f.L2(IP) – простiр квадратично iнтегровних випадкових величин.N(µ, σ2) – випадкова величина з нормальним розподiлом, середнiм µ

та дисперсiєю σ2.Nn(m,V ) – нормальний вектор у Rn iз середнiм m та коварiацiйною

матрицею V.L(Rn,Rm) – клас лiнiйних перетворень iз Rn в Rm.Ln(Rn) – клас невироджених лiнiйних перетворень простору Rn.U(a, b) – випадкова величина, рiвномiрно розподiлена на (a, b).Exp(λ) – випадкова величина, що має показниковий розподiл iз пара-

метром λ.Γ(α) – повна гама-функцiя в точцi α.Γ(λ, α) – випадкова величина з гама-розподiлом i параметрами λ, α.χ2

n – величина з хi-квадрат розподiлом i n ступенями свободи.τn – величина з розподiлом Стьюдента i n ступенями свободи.fn,m – величина, що має розподiл Фiшера з n,m ступенями свободи.Cov(ξ, η) – коварiацiя випадкових величин ξ, η.Cov(ξ) – коварiацiйна матриця випадкового вектора ξ.Πa – кут iз правою верхньою вершиною a.ξn →P ξ – збiжнiсть випадкових величин за ймовiрнiстю.ξn →P1 ξ – збiжнiсть випадкових величин з iмовiрнiстю 1.ξn →L ξ – збiжнiсть випадкових величин у середньому.Fn →O F – збiжнiсть функцiй розподiлу в основному.ξn →W ξ – слабка збiжнiсть випадкових величин.

483

Int(B), Cl(B) – внутрiшнiсть та замикання множини B.limn→∞Fn – залишкова сигма-алгебра, що породжена послiдовнiстю

сигма-алгебр Fn.Θ – параметрична множина довiльної природи.IPθ(·) – iмовiрнiсть на класi подiй при значеннi параметра θ.IEθξ – математичне сподiвання величини ξ при значеннi параметра θ

(iнтеграл за мiрою IPθ).IDθξ – дисперсiя величини ξ при значеннi параметра θ.X – статистична вибiрка зi значеннями у просторi S.(S, Σ, λ) – вибiрковий простiр iз сигма-алгеброю Σ та мiрою λ.F1 ¿ F0 – мiра F1 абсолютно неперервна вiдносно мiри F0.X = (ξ1, ..., ξn) – кратна вибiрка об’єму n.

θ – оцiнка параметра θ.L(X, θ) – вибiркова функцiя вiрогiдностi.f(ξ, θ) – функцiя вiрогiдностi спостереження.Fn(x) – емпiрична функцiя розподiлу.ξ(k) – k-та порядкова статистика.µn, σ2

n – вибiркове середнє та вибiркова дисперсiя.s2

n – нормована вибiркова дисперсiя.µk, µ0

k – нецентральний теоретичний момент та центральний теорети-чний момент k-го порядку.

µkn, µ0kn – нецентральний вибiрковий момент та центральний вибiрко-

вий момент k-го порядку.U(X, θ) – вибiркова функцiя впливу.u(ξ, θ) – функцiя впливу спостереження.ОМВ – оцiнка максимальної вiрогiдностi.H0 : θ ∈ Θ0 – нульова гiпотеза щодо значення параметра θ.H1 : θ ∈ Θ1 – альтернативна гiпотеза щодо значення θ.(κ(X), D1) – статистичний критерiй з критичною областю D1.(κ(X), π(t)) – рандомiзований критерiй перевiрки гiпотези.(κ(X), π(t), t0) – простий рандомiзований критерiй.МНК – метод найменших квадратiв.£(G) – лiнiйна оболонка множини G.ℵ(G) – замикання лiнiйної оболонки множини G.н.с.д. D – найбiльший спiльний дiльник множини D.

484

Предметний покажчик- Драфтσ-алгебра, 11ANOVA, 441AR: AutoRegression, 464ARMA: AutoRegression and Moving Average,

465MA: Moving Average, 463n-кратний прямий добуток, 327p-значення критерiю, 392t-розподiл, 385

абсолютна неперервнiсть, 51,83– – вiдносно мiри, 71,326адитивна мiра, 13адитивнiсть, 13адитивна мiра Лебега – Стiлтьєса, 48аксiоматика теорiї ймовiрностей, 13аксiоматичний пiдхiд, 5алгебра, 11алгоритм перевiрки, 391альтернативна гiпотеза, 389аперiодичне блукання, 280асимптотична дисперсiя, 330асимптотично ефективна оцiнка, 362– незмiщена оцiнка, 329– нормальна оцiнка, 330

байесовський пiдхiд, 393бета-розподiл, 58бiномiальний розподiл, 34блукання Бернуллi, 236борелєва множина, 41– сигма-алгебра, 41– функцiя, 42борелiвська множина, 41броунiвський рух, 315

в основному збiжнiсть, 124варiацiйний ряд, 338вектор рангiв, 340вектор вибiркових моментiв, 349верхня границя, 9вiдгук, 441вiдноснi емпiричниi частоти, 402

вiдносна частота успiхiв, 331вiдношення вiрогiдностей, 420вiнерiв процес, 315вiнерiвський процес, 315вiрогiдний рiвень, 392, 393вибiрка, 325вибiркова дисперсiя, 347– критична область, 419– медiана, 343– функцiя вiрогiдностi, 327вибiркове середнє, 347вибiрковий квантиль, 343– квартиль, 343– коефiцiєнт кореляцiї, 417– момент, 347– простiр, 325вимiрнiсть, 31– вiдносно сигма-алгебри, 43вимiрний простiр, 68випадкова величина, 42– мiра з ортогональними значеннями, 449– подiя, 7– послiдовнiсть, 167випадкове блукання, 233випадковий вектор, 44– елемент, 167– процес, 301випадково, 18, 22випробування Бернуллi, 33виродження процесу, 254

гама-розподiл, 97гауссовий розподiл, 54генеральна сукупнiсть, 327генератриса, 62– випадкової величини, 139– послiдовностi, 235геометричне означення ймовiрностей, 22геометричний розподiл, 36гiллястий процес, 253гiпергеометричний розподiл, 37гiпотеза, 389– однорiдностi, 396

Предметний покажчик 485

– узгодженостi, 394гiстограма, 407гранична теорема Пуассона, 38– – – для стандартних серiй, 158графiк стебла та листя, 407групована вибiрка, 406групування спостережень, 406

дискретна випадкова величина, 31– функцiя розподiлу, 51дискретний розподiл, 20– ймовiрнiсний простiр, 20дисперсiя, 74дисперсiйний аналiз, 441додатна та вiд’ємна частини, 46доповнення, 8достатня статистика, 367досяжний стан, 278

експоненцiйна модель розподiлiв, 366експоненцiйний розподiл, 56екстремальнi статистики, 343елементарна подiя, 6емпiричня функцiя вiрогiдностi, 327– – розподiлу, 334емпiричнi частоти, 402емпiричний квантиль, 343ергодична теорема Деблiна для аперiоди-

чних ланцюгiв, 296– – для ланцюга Маркова, 289– – для перiодичних ланцюгiв, 297– – для строго стацiонарної послiдовно-

стi, 215– – Колмогорова для ланцюгiв Маркова,

299ергодична послiдовнiсть, 215ергодичнi ймовiрностi, 291ефект рiвня фактора, 442ефективна оцiнка, 361

з iмовiрнiстю 1, 109за ймовiрнiстю, 106загальна гранична теорема для стандар-

тних серiй, 153загальна нерiвнiсть Чебишева, 76загальна послiдовнiсть серiй, 155

закон великих чисел, 113залишкова сигма-алгебра, 173залишкова сума квадратiв, 434замкнений клас, 282заперечення подiї, 8збiжнiсть майже напевне, 109згортка послiдовностей, 234– функцiй розподiлу, 94– щiльностей розподiлу, 95злiченна напiвадитивнiсть, 15

iзометрiя, 445iмовiрнiсть, 12– вкладеної рiзницi, 14– доповнення, 14– неможливої подiї, 14– об’єднання, 14iмовiрностi переходу за t крокiв, 275– першого повернення, 282iнварiантнiсть вiдносно зсувiв, 347iнварiантна величина, 211– множина, 211– подiя, 211iндикаторна величина, 32iнтеграл за мiрою Лебега, 70– Лебега, 68– Лебега – Стiлтьєса, 69– Рiмана – Стiлтьєса, 69iнтегральна гранична теорема

Муавра – Лапласа, 39iнтегровна величина, 63,64iнтегровнiсть за мiрою, 68iнтенсивностi загибелi, 308– народжень, 308iнтенсивнiсть процесу Пуассога, 302iнтервальна оцiнка, 328iнформацiя за Кульбаком, 377– за Фiшером, 358iнформацiйна матриця за Фiшером, 363iстотний стан, 279

ймовiрнiсний простiр, 13ймовiрнiсть виродження, 255ймовiрностi досягнення, 282– нескiнченної кiлькостi вiдвiдувань, 284– переходу, 308

486

– першого досягнення, 282– повернення, 282– похибок першого та другого роду, 391

канонiчна мiра, 226квадратичне вiдхилення, 74квадратично iнтегровнiсть, 74,445квантиль, 342квартиль, 343кiлькiсть успiхiв, 34клас цилiндричних множин, 163класична центральна гранична теорема,

149– – – – для випадкових векторiв, 161класичне означення ймовiрностей, 17класичний пiдхiд, 5– процес ризику, 313коварiацiя, 86коварiацiйна матриця, 87– функцiя, 446коефiцiєнт асиметрiї, 347– варiацiї, 347– детермiнацiї, 436– ексцесу, 347– кореляцiї, 86– скошеностi, 347компактнiсть в основному, 130компенсатор, 261конзистентна оцiнка, 329конзистентний критерiй, 393контраст, 444кратна вибiрка, 327критерiй, 391– рекурентностi та позитивностi ланцюга

народження та загибелi, 294– Колмогорова, 394– Колмогорова посиленого закону

великих чисел, 122– Смiрнова, 396– Стьюдента, 416– Фiшера перевiрки незалежностi, 413– ефективностi Крамера – Рао, 361– узгодженостi хi-квадрат, 405– – – з функцiя розподiлу, 408– хi-квадрат незалежностi парних

спостережень, 412

– хi-квадрат однорiдностi, 411критичний показник, 254– процес, 254– рiвень, 390,392критична область, 390– – вибiрки, 391кут у просторi, 42

лiнiйна двохфакторна модель, 444– регресiя, 432лiнiйнiсть, 65лiнiйний пiдпростiр, 445лiчильний процес, 301ланцюг Маркова, 274лема Бореля – Кантеллi, 117– Неймана – Пiрсона, 420логнормальний розподiл, 54локальна гранична теорема

Муавра – Лапласа, 38локально конзистентна оцiнка, 331– незмiщена оцiнка, 331

м.н., 64МНК, 432майже напевне, 64максимальна ергодична теорема Гарсiа, 212маргiнальна функцiя розподiлу, 83– щiльнiсть, 85марковська властивiсть, 274марковський момент, 262мартингал, 257математичне сподiвання, 62,64– – випадкового вектора, 85– – дискретної величини, 59математична статистика, 322матриця перехiдних iмовiрностей, 275медiана, 343метод генератрис, 139– зклеювання, 296– моментiв, 351– найменших квадратiв, 432– Ньютона – Рафсона, 373мiжквартильний розмах, 344мiнiмаксний пiдхiд, 393мiра Лебега, 70– Лебега – Стiлтьєса, 49


– – –, що породжена сумiсною функцiiєюрозподiлу, 83

множина значень iмовiрностi, 14модифiкована статистика хi-квадрат для

перевiрки незалежностi, 412– – – для перевiрки однорiдностi, 410модифiкований критерiй узгодженостi

хi-квадрат, 409момент зупинки, 262момент першого досягнення, 282монотонна границя подiй, 9– збiжнiсть, 9монотонно неспадна збiжнiсть, 45монотонне вiдношення вiрогiдностей, 426монотоннiсть, 46– iмовiрностi, 14

н.с.д., 279навмання, 18,22надiйний iнтервал, 328– – для нормальних спостережень, 386найбiльш потужний критерiй, 419напiвiнтервал, 41напiвадитивнiсть, 15натуральний потiк, 258не перетинаються, 8невiд’ємнiсть, 12невласна величина, 43– функцiя розподiлу, 69негативний бiномiальнй розподiл, 36негратчате блукання, 237незалежнi подiї, 29– класи подiй, 170незалежнi в сукупностi величини, 88– – подiї, 30незалежнiсть приростiв, 302незвiдний лвнцюг, 279незмiщена оцiнка, 329,354– – з рiвномiрно найменшою дисперсiєю,

354– – надiйностi p, 330незмiщений критерiй, 393некорельованi величини, 86неможлива подiя, 8непараметрична статистика, 324неперервнiсть iмовiрностi, 15

– в нулi, 13– – та сигма-адитивнiсть, 15нерiвнiсть Гельдера, 78– Йенсена, 77– Колмогорова, 119,198– – для мартингалу, 266– – для субмартингалу, 265– Кошi, 78– Крамера – Рао для векторного параме-

тра, 364– Ляпунова, 77– Мiнковського, 78– Чебишева для дисперсiй, 77– Фату, 112нескiнченно подiльний розподiл, 226нескiнченно часто, 9несумiснi подiї, 8нижня границя, 9нормальна щiльнiсть розподiлу, 54нормальний вектор, 99– розподiл, 54нормована вибiркова дисперсiя, 348нормованiсть iмовiрностi, 12нульова гiпотеза, 389нульовий стан, 291

ОМВ, 373об’єднання подiй, 8об’єм вибiрки, 327обмеженiсть за ймовiрнiстю, 107однобiчнi оцiнки, 329однорiднiсть за часом, 274однорiднiсть приростiв, 302однорiдний марковський процес, 307оперативна характеристика, 392оператор зсуву, 211опорна величина, 388оптимальна оцiнка, 354ординарнiсть потоку, 302ортогональнi приростами, 452ортогональний проектор, 467ортонормована матриця, 103оцiнка, 328– максимальної вiрогiдностi, 373– методу моментiв, 351– методу найменших квадратiв, 433

488

параметрична статистика, 324параметричний простiр, 324перiод блукання, 237перiод стану, 279перевiрка статистичних гiпотез, 322передбачувана послiдовнiсть, 259перерiз множини, 94перерiз подiй, 8,9переставна множина, 175переставна подiя, 175перетворення Лапласа, 139перетин подiй, 8перше повернення, 234повернення, 234повна група подiй, 26– статистика, 370позитивний ланцю, 291позитивний стан, 291показниковий розподiл, 56полiном Бернштейна, 114полiномiальна регресiя, 440полiномiальна схема випробувань, 35полiномiальний розподiл, 35полiноми Чебишева, 441попарно незалежнi величини, 88– – подiї, 30попарно несумiснi подiї, 8поправка Йетса на неперервнiсть, 412– на неперервнiсть, 40– Шеппарда, 40породжена сигма-алгебра (класом), 11породжена сигма-алгебра (величиною), 167порядкова статистика, 338посилений закон великих чисел, 120послiдовний критерiй вiдношення

вiрогiдностей, 428– статистичний аналiз, 428потiк, 257поточкова збiжнiсть, 66потужнiсть критерiя, 392похибка другого роду, 391– першого роду, 391похибки вимiрювань, 432початковий розподiл, 275починаючи з деякого номера, 9правило трьох сигма, 77

прирiст на паралелепiпедi, 81– процесу, 302,452

про єдинiсть оптимальної оцiнки, 354– – сумiсної щiльностi, 84про адитивну мiру Лебега – Стiлтьєса, 48– – – в евклiдовому просторi, 82про адитивнiсть iнформацiї за Фiшером,

359про алгебраїчний критерiй позитивностi,

294– – – рекурентностi, 286про аналiтичне продовження перетворень

вiд граничних функцiоналiв, 244про апроксимацiю випадкових величин про-

стими, 45про асимптотику вектора вибiркових мо-

ментiв, 349– – модифiкованої статистики хi- квадрат,

409про асимптотичнi властивостi вибiркових

моментiв, 348про асимптотичну нормальнiсть вибiрко-

вихквантилей, 345

– – – ОМВ, 381про векторнi перетворення незалежних ве-

личин, 90про верхнi межу та границю монотонної

послiдовностi, 132про верхню границю величин та подiй, 117про вiдповiднiсть мiж потоком та лiчиль-

ним процесом, 301про вiдсутнiсть пiслядiї для показниково-

горозподiлу, 56

про вибiрковi моменти стандартної нор-мальної вибiрки, 384

– – середнє та дисперсiю нормальної ви-бiрки, 384

про вимiрнiсть вiдносно сигма-алгебри, щопороджена величина, 168

– – границi випадкових величин, 44– – суперпозицiї, 43– – функцiї вiд випадкового вектора, 44


про випадкову мiру, породжену випадко-виим процесом з ортогональними при-ростами 453

про властивостi бiномiальних iмовiрностей,34

– – вiдносної частоти, 332– – генератрис, 140– – дисперсiї, 74– – емпiричної функцiї розподiлу, 334– – ергодичних iмовiрностей, 292– – збiжностi за ймовiрнiстю, 107– – згортки, 95– – iнформацiї за Кульбаком, 377– – iнтегровних невiд’ємних величин, 63– – коварiацiйної матрицi, 87– – – функцiї, 447– – математичного сподiвання, 64– – – – дискретної величини, 60– – рекордних висот та моментiв, 243– – складного пуассонiвського процесу,

313– – слабкої збiжностi, 127– – сумiсної функцiї розподiлу, 80– – траєкторiй вiнерiвського процесу, 319– – – процесу Пуассона, 305– – умовного сподiвання, 185– – умовного сподiвання вiдносно вели-

чин, 190– – умовної ймовiрностi, 25– – функцiї розподiлу, 47– – характеристичної функцiї, 136про генератриси гiллястого процесу, 254– – ймовiрностей повернення, 235– – часу до першого досягнення, 238про граничний перехiд для рiвномiрно iн-

тегрованої послiдовностi, 177про граничний перехiд пiд знаком умов-

ного сподiвання, 187про два ряди, 201про дисперсiю лiнiйної форми вiд випад-

кового вектора, 87– – суми незалежних величин, 92– – функцiї вiд достатньої статистики,

369про добуток слабко збiжної послiдовностi

зi збiжна, 147

про додатнiсть iмовiрностей повернення,280

про досяжнiсть рекурентних станiв, 284про еквiвалентне означення умовного спо-

дiвання, 183про еквiвалентнiсть збiжностi та фунда-

ментальностi, 111– – слабкої збiжностi та в основному, 128про екстремальну властивiсть умовного спо-

дiвання, 187про емпiричний розподiл порядкових ста-

тистик, 339про емпiричну функцiю розподiлу та по-

рядковi статистики, 338про ергодичнiсть процесу народження та

загибелi, 312про загальнi властивостi умовного сподi-

вання, 184про закон нуля та одиницi Колмогорова,

173– – – – – Хьюiтта – Севiджа, 175– – повторного логарифму, 206про збiжнiсть в основному та на щiльнiй

множинi, 124– – iнтегралiв Рiмана – Стiлтьєса та Ле-

бега – Стiлтьєса, 70– – мартингалу, 270– – субмартингалу, 269про збереження однакової розподiленостi,

50про звуження iзометрiї, 460про знаковизначенiсть випадкової величи-

ни, 181про зображення Левi – Хiнчина для не-

скiнченно подiльної характеристичноїфункцiї, 229

про iдеал у множинi натуральних чисел,279

про iзометрiю просторiв H2 i L2, 450про iзоморфiзм спектральних просторiв,

460про iнварiантне зображення математично-

го сподiвання, 63про iнварiантнiсть гама-розподiлiв вiдно-

снозгортки, 97

490

– – оцiнки максимальної вiрогiдностi, 374про iнтенсивностi переходу процесу Пуас-

сона, 304про iнтерпретацiю параметрiв нормально-

горозподiлу, 101

про iснування мiри Лебега – Стiлтьєса,49

– регулярної умовної ймовiрностi, 195– – стацiонарних iмовiрностей, 312– – та єдинiсть умовного математичного

сподiвання, 182про iстотнiсть класу станiв, 279про ймовiрнiсть виродження гiллястого про-

цесу, 255– – значення всерединi паралелепiпеда, 81– – невиходу процесу народження та за-

гибелi, 308– – перерiзу n подiй, 26– – перерiзу незалежних подiй, 29– – перерiзу подiй, 25про ймовiрностi нескiнченного числа вiд-

вiдувань, 284– – переходу за t крокiв, 275– – повернення, 236про канонiчну побудову випадкового еле-

мента, 168про класи еквiвалентностi, 278про коварiацiйну матрицю лiнiйного пере-

творення, 87про коректнiсть визначення математично-

господiвання, 63

про критерiй вимiрностi вiдносно розбит-тя, 169

– – вимiрностi скалярної функцiї, 43– – – функцiї, 167– – для верхньої та нижньої послiдовно-

стi, 206– – для умовного сподiвання вiдносно ве-

личини, 189– – достатностi статистики, 368– – збiжностi майже напевне, 110– – – числової послiдовностi, 269– – мартингальної властивостi, 258

– – незалежностi абсолютно неперервнихвеличин, 89

– – – випадкових величин, 88– – – класiв векторiв, 173– – – класiв подiй, 170– – оптимальностi спектрального зобра-

ження, 460– – рекурентностi блукання через хара-

ктеристичну функцiю, 239– – – випадкового блукання, 235– – рекурентностi стану, 283– – – через iмовiрностi досягнення, 285– – с.к. неперервностi, 446– – слабкої компактностi послiдовностi,

132– – строгої стацiонарностi, 211– – фундаментальностi майже напевне,

200про лiвостороннiй посилений закон вели-

ких чисел, 252про лiнiйнi перетворення нормальних ве-

кторiв, 103про лiнiйний прогноз у гiльбертовому про-

сторi, 457про мiру Лебега – Стiлтьєса в евклiдово-

му просторi, 82про максимум блукання з iнтегровними

стрибками, 248про математичне сподiвання добутку не-

залежних величин, 91– – – функцiї вiд незалежних величин,

93про моменти вибiркових моментiв, 347про монотонний клас, 11про наближення iнтегралу методом

Монте-Карло, 115про натуральну факторизацiю, 249– – – спектральної щiльностi, 462про натуральнi зображення для перетво-

рень вiд граничних функцiоналiв, 250про незалежнi -класи подiй, 171про незалежнiсть згрупованих класiв ве-

кторiв, 174– – координат нормального вектора, 102– – лiнiйних форм нормального вектора,

105


про незмiщенiсть i розподiл оцiнки МНК,434

про некорельованiсть незалежних вели-чин, 92

про необхiднiсть рiвномiрної iнтегровно-стi, 178

про неперервнiсть у нулi мiри в евклiдо-вому просторi, 82

– – – – Лебега – Стiлтьєса, 48про нерiвнiсть Беррi – Ессеєна, 224– – Дуба для числа перетинiв, 268– – згладжування, 222– – мiноризацiї, 276– – та критерiй Крамера – Рао, 360про нерiвностi Колмогорова, 198про нормальнiсть суми незалежних нор-

мальних векторiв, 105про нормальну регресiю на площинi, 192про об’єднання незалежних -класiв, 172про обчислення дисперсiї, 75– – iнформацiї за Фiшером, 359– – ймовiрностей i математичного сподi-

вання функцiї вiд випадкового векто-ра, 85

– – ймовiрностей, пов’язаних iз випадко-вим вектором, 83

– – – – iз випадковою величиною, 50– – – – iз неперервним вектором, 84– – – – iз неперервною величиною, 52– – математичного сподiвання функцiї вiд

випадкової величини, 71– – – – – вiд дискретної величини, 60– – – – – вiд неперервної величини, 72– – оптимального прогнозу, 461– – розподiлу функцiї вiд випадкової ве-

личини, 50– – – через функцiю iнтенсивностi, 56– – умовного сподiвання через регулярну

ймовiрнiсть, 195– – – – через сумiсну щiльнiсть, 191про один ряд, 200про однозначнiсть визначення порядкових

статистик, 338– – слабкої границi, 126

про однозначну вiдповiднiсть мiж функцi-ями розподiлу та характеристичнимифункцiями, 133

про оптимальнiсть повної достатньоїстатистики, 370

про оптимальний прогноз для регулярноїпослiдовностi, 469

про основнi властивостi ймовiрностей, 13– – – умовних iмовiрностей вiдносно сигма-

алгебри, 194– – – функцiї розподiлу, 46– – – характеристичної функцiї, 134про -клас та d-клас, 170про перiод випадкового блукання, 237– – класу станiв, 280про перiодичнi пiдкласи, 280про перетворення випадкових величин, 44– – мартингальних послiдовностей, 259– – моментiв зупинки, 263– – незалежних величин, 90– – незалежних подiй, 29– – строго стацiонарної послiдовностi, 211про побудову оптимального прогнозу, 461– – рандомiзованого критерiю, 424про подiї, що передують моментам

зупинки, 263про позитивнiсть класу станiв, 291про прирости сумiсної функцiї розподiлу,

81про продовження iзометрiї, 445– – мiри з ортогональними значеннями,

451про рекурентнi класи станiв, 283про рекурентнiсть блукання Бернуллi, 236– – – з iнтегровними стрибками, 241про рiвномiрно найбiльш потужний кри-

терiй, 426про рiвномiрну збiжнiсть характеристи-

чнихфункцiй, 146

про рiвняння вiдновлення, 234– – для ергодичних iмовiрностей, 292– – для стацiонарних iмовiрностей, 311– – максимальної вiрогiдностi, 373– – методу найменших квадратiв, 433– – першого досягнення, 282

492

– – – стрибка, 285про розклад Еджуорта, 218– – логарифму характеристичної функцiї

217– – суми квадратiв вiдхилень, 434про розподiл вектора рангiв, 340– – вiнерiвського процесу, 315– – Ерланга, 97– – лiнiйного перетворення випадкової

величини, 50– – процесу Пуассона, 302– – траєкторiй марковського ланцюга, 275– – функцiї вiд дискретної величини, 32про розширену марковську властивiсть,

277про середнi кiлькостi вiдвiдувань, 288– – моментiв досягнення, 287про середню чисельнiсть поколiнь, 256про сигма-адитивнiсть дискретної ймовiр-

нiсної мiри, 20про систему диференцiальних рiвнянь

Колмогорова, 310про скiнченнiсть граничних

функцiоналiв, 251про спiввiдношення для перетворень вiд

граничних функцiоналiв, 245– – мiж оцiнкою МНК та ОМВ, 433– – мiж рiзними видами збiжностi, 109– – метрик у просторах функцiй розподi-

лу та характеристичних функцiй, 221– – ОМВ з ефективними оцiнками, 374– – слабкої збiжностi та збiжностi за

ймовiрнiстю, 127про спектральну функцiю процесу з орто-

гональними приростами, 452про статистику Стьюдента вiд нормальної

вибiрки, 385про строго марковську властивiсть, 278про строгу конзистентнiсть ОМВ, 378– – конзистентнiсть вибiркових кванти-

лей, 344– – – оцiнок методу моментiв, 351про сумiсний розподiл порядкових стати-

стик, 341про сумiсну щiльнiсть нормального векто-

ра, 100

про траєкторiї процесу народження та за-гибелi, 308

про транзитивнiсть досяжностi, 278про умови рiвномiрної iнтегровностi, 176– – слабкої компактностi класу обмеже-

них мiр, 227– – узагальненої слабкої компактностi кла-

су канонiчних мiр, 227про факторизацiйнi тотожностi для гра-

ничних функцiоналiв, 247– – – через перетворення рекордних фун-

кцiоналiв, 245про формулу обертання для характеристи-

чної функцiї, 141– – – характеристичної функцiї цiлочи-

сельної величини, 237про функцiю вiрогiдностi кратної вибiрки,

328– – впливу кратної вибiрки, 357– – розподiлу порядкових статистик, 338– – розподiлу суми незалежних величин,

94про хi-квадрат розподiл, 98про характеризацiю умовного сподiвання

вiдносно розбиття, 180– – функцiй розподiлу в класi узагальне-

них, 124про характеристичну функцiю абсолютно

неперервного розподiлу, 217– – – стрибка негратчатого блукання, 237про центрованiсть функцiї впливу, 358про щiльнiсть лiнiйного перетворення ви-

падкової величини, 52– – нормального розподiлу на площинi,

101– – розподiлу суми незалежних величин,

95

продовження неперервної ймовiрностi, 16проста величина, 33– гiпотеза, 390– лiнiйна регресiя, 438простiр елементарних подiй, 6простий рандомiзований критерiй, 423процедура рандомiзацiї, 398процес зi скiнченний спектром, 446


– народження та загибелi, 308– Пуассона, 302прямий добуток, 70

ранг спостереження, 340ранговi статистики, 397рандомiзована критична область, 399рандомiзований критерiй, 423регулярна послiдовнiсть, 467регулярна умовна ймовiрнiсть, 195рекорднi висоти, 243– моменти, 243рекурентне блукання, 234рекурентний стан, 282рiвнiсть у нерiвностi Кошi, 78рiвноймовiрнi, 17рiвномiрна iнтегровнiсть, 176рiвномiрний розподiл, 53рiвномiрно найбiльш потужний критерiй,

425рiвноможливi, 17рiвняння авторегресiї, 465– методу моментiв, 351рiзниця подiй, 8розбиття множини, 26розмах вибiрки, 343розподiл Бернуллi, 33– Вейбула, 57– величини, 32,50,83– випадкового елемента, 168– Гомпертца, 57– Кошi, 58– Парето, 58– Паскаля, 36– Пуассона, 37– Снедекора – Фiшера, 385– Стьюдента, 385– Фiшера, 385рухомого середнього (посiдовнiсть), 464

с.к., 445с.к. замикання, 445с.к. неперервнiсть, 446середнє, 59сигма-адитивнiсть, 13сигма-алгебра, 11

сигма-скiнченна мiра, 71симетрична рiзниця подiй, 8сингулярна функцiя розподiлу, 53скiнченно адитивна мiра, 13скiнченновимiрний розподiл, 164скiнчена перестановка, 175складний процес Пуассона, 313слабка збiжнiсть, 126слабко компактний клас, 131слушна оцiнка, 329спектральна мiра, 454– – коварiацiйної функцiї, 447спектральна функцiя, 447,452– характеристика, 451– щiльнiсть, 454спостереження, 325спричиняти подiю, 8сприяти подiї, 8стiйкiсть частот, 5стандартна нормальна величина, 54– послiдовнiсть серiй, 151стандартне вiдхилення, 74стандартний нормальний вектор, 99– – розподiл, 54статистика, 328– критерiю, 390– Вiлкоксона, 398– Спiрмена, 401статистичне оцiнювання, 322статистичний висновок, 322– простiр, 324стацiонарний процес другого порядку, 446– розподiл, 311– у широкому розумiннi, 446стохастична матриця, 275– гармонiка, 446стохастичний експеримент, 6– iнтеграл, 450,453– потiк, 301– спектральний процес, 454страховi виплати, 313– премiї, 313строгi рекорднi висоти, 243– – моменти, 243строго конзистентна оцiнка, 329– стацiонарна послiдовнiсть, 210

494

структурна мiра, 449суб’єктивний пiдхiд, 5субкритичний процес, 254субмартингал, 257сукупна функцiя розподiлу, 79сума квадратiв вiдхилень вiд регресiї, 434сумiсна функцiя розподiлу, 79,81– характеристична функцiя, 147– щiльнiсть, 83супергармонiчна функцiя, 286суперкритичний процес, 254супермартингал, 257схема серiй випробувань Бернуллi, 38

таблиця спряженостi, 411твiрна функцiя кумулянт, 139– – моментiв, 139теорема Бернуллi про асимптотику вiдно-

сної частоти, 114– Бернштейна про рiвномiрне наближення

неперервної функцiї, 114– Бiркгофа – Хiнчина, 212– Бореля про асимптотику частоти успiху,

121– Бохнера про додатно визначенi функцiї,

447– Вольда про структуру регулярної ста-

цiонарної послiдовностi, 467– Гаусса – Маркова, 436– Герглотца, 447– Глiвенка – Кантеллi, 335– Дуба про вiльний вибiр, 264– – – зображення узгодженої

послiдовностi, 260– Каратеодорi про продовження мiри, 16– Карунена про зображення стацiонарно-

гопроцесу, 453

– Колмогорова про вiдхилення емпiричноїфункцiїрозподiлу, 336

– – – побудову ймовiрностi на множинахпослiдовностей, 164

– – – – – – – – через сумiснi функцiїрозподiлу, 165

– – – посилений закон великих чисел, 120

– – – три ряди, 203– Крамера – Волда про критерiй слабкої

збiжностi випадкових векторiв, 148– Лебега про зображення функцiї розпо-

дiлу, 53– – – мажоровану збiжнiсть, 67– – – монотонну збiжнiсть, 66– Левi про критерiй слабкої збiжностi,

144– – – – – випадкових векторiв, 147– Неймана – Пiрсона для рандомiзованих

критерiїв, 425– Пiрсона про асимптотику статистики

хi-квадрат, 403– Прохорова про критерiй слабкої

компактностi, 131– Радона – Нiкодима, 71– Рао – Блекуела – Колмогорова, 370– Реньї, 159– Смiрнова про вiдхилення емпiричних

функцiй розподiлу, 396– Фубiнi про кратний та повторнi iнтегра-

ли, 70– Хiнчина про спектральне зображення

коварiацiйної функцiї, 448– Хеллi про компактнiсть в основному,

130– Чебишева про закон великих чисел, 113теоретичний момент, 346тест, 391тотожнiсть Вальда, 430– узгодженостi, 163тотожностi Парсеваля, 142точкова мiра, 325точковий процес, 301траєкторiя, 301– частинки, 233транзiєнтне блукання, 234транзiєнтний стан, 282

у середньому, 109– – квадратичному, 109узагальнена випадкова величина, 43– теорема Колмогорова про

посилений закон великих чисел, 204– функцiя розподiлу, 124


узагальнене умовне сподiвання, 182узагальнений нормальний вектор, 99,106узгоджена послiдовеiсть, 257умова пiдпорядкованостi, 326умова узгодженостi розподiлiв, 164умови конзистентностi ОМВ, 377– регулярностi, 357умовна дисперсiя, 189– ймовiрнiсть, 24– щiльнiсть, 191умовне математичне сподiвання, 181унiверсальна подiй, 8

фiльтрацiя, 257формула Байєса, 28– включення–виключення, 14– повної ймовiрностi, 26– Стiрлiнга, 39фундаментальнiсть за ймовiрнiстю, 111– майже напевне, 111– у середньому, 111функцiя вiрогiдностi, 326– – спостереження, 328функцiя внеску, 356– впливу, 356– – спостереження, 356функцiя iнтенсивностi, 55– правдоподiбностi, 326– регресiї, 190– розподiлу, 46

хi-квадрат розподiл, 98характеристична функцiя, 133

цензурування даних, 376центральна гранична теорема для

випадкових векторiв, 160– – – Лiндеберга для загальних серiй, 155– – – – – однорiдних серiй, 156– – – – – стандартних серiй, 154– – – Ляпунова для загальних серiй, 156– – – – – стандартних серiй, 155центральний вибiрковий момент, 347– теоретичний момент, 346цилiндрична множина, 163

час до першого повернення, 234

– перебування, 308частковий прирiст, 81частота успiхiв, 34частотне визначення, 5число перетинiв, 268

щiльнiсть мiри, 326– розподiлу, 52ящик iз вусами, 344

Змiст

Передмова . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1 Теорiя ймовiрностей 4Вступ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41.1. Стохастичний експеримент, подiї та операцiї над ними . . . . . . . . 6

1.1.1. Приклади стохастичних експериментiв та просторiв елемен-тарних подiй . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

1.1.2. Випадковi подiї . . . . . . . . . . . . . . . . . . . . . . . . . . 71.1.3. Властивостi класу випадкових подiй . . . . . . . . . . . . . . . 8

1.2. Аксiоми теорiї ймовiрностей та властивостi ймовiрностi . . . . . . . 111.2.1. Аксiоми класу випадкових подiй . . . . . . . . . . . . . . . . . 111.2.2. Аксiоми ймовiрностi . . . . . . . . . . . . . . . . . . . . . . . . 121.2.3. Властивостi ймовiрностi . . . . . . . . . . . . . . . . . . . . . . 14

1.3. Приклади ймовiрнiсних просторiв . . . . . . . . . . . . . . . . . . . . 171.3.1. Класичне означення ймовiрностей . . . . . . . . . . . . . . . . 171.3.2. Дискретний iмовiрнiсний простiр . . . . . . . . . . . . . . . . . 201.3.3. Геометричне означення ймовiрностей . . . . . . . . . . . . . . 22

1.4. Умовнi ймовiрностi . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241.4.1. Означення та властивостi . . . . . . . . . . . . . . . . . . . . . 251.4.2. Iмовiрнiсть перерiзу випадкових подiй . . . . . . . . . . . . . . 261.4.3. Формула повної ймовiрностi . . . . . . . . . . . . . . . . . . . . 261.4.4. Формула Байєса . . . . . . . . . . . . . . . . . . . . . . . . . . 28

1.5. Незалежнi випадковi подiї . . . . . . . . . . . . . . . . . . . . . . . . 291.5.1. Незалежнi подiї та їх перетворення . . . . . . . . . . . . . . . 291.5.2. Незалежнiсть подiй з послiдовностi, приклад Бернштейна . . 30

1.6. Дискретнi випадковi величини . . . . . . . . . . . . . . . . . . . . . 321.6.1. Розподiл дискретної величини . . . . . . . . . . . . . . . . . . 321.6.2. Iндикаторна та проста випадковi величини . . . . . . . . . . . 331.6.3. Схема стохастичних випробувань Бернуллi . . . . . . . . . . . 341.6.4. Бiномiальний розподiл . . . . . . . . . . . . . . . . . . . . . . . 351.6.5. Полiномiальний розподiл . . . . . . . . . . . . . . . . . . . . . 36

497

1.6.6. Геометричний розподiл . . . . . . . . . . . . . . . . . . . . . . 361.6.7. Негативний бiномiальний розподiл . . . . . . . . . . . . . . . . 361.6.8. Гiпергеометричний розподiл . . . . . . . . . . . . . . . . . . . . 371.6.9. Розподiл Пуассона . . . . . . . . . . . . . . . . . . . . . . . . . 371.6.10. Граничнi теореми Пуассона i Муавра – Лапласа . . . . . . . . 38

1.7. Загальне означення випадкової величини та вектора . . . . . . . . . 411.7.1. Борелєва сигма-алгебра, борелєвi множини . . . . . . . . . . . 411.7.2. Загальне означення випадкової величини . . . . . . . . . . . . 431.7.3. Критерiй вимiрностi, вимiрнiсть суперпозицiї . . . . . . . . . . 441.7.4. Випадковий вектор . . . . . . . . . . . . . . . . . . . . . . . . . 441.7.5. Вимiрнiсть границi випадкових величин . . . . . . . . . . . . . 451.7.6. Апроксимацiя простими величинами . . . . . . . . . . . . . . . 46

1.8. Функцiя розподiлу випадкової величини та її властивостi . . . . . . 471.8.1. Властивостi функцiї розподiлу . . . . . . . . . . . . . . . . . . 471.8.2. Неперервнiсть у нулi мiри Лебега – Стiлтьєса . . . . . . . . . 491.8.3. Обчислення ймовiрностей через функцiю розподiлу . . . . . . 501.8.4. Функцiї вiд випадкової величини . . . . . . . . . . . . . . . . 51

1.9. Абсолютно неперервнi величини . . . . . . . . . . . . . . . . . . . . 511.9.1. Абсолютно неперервнi функцiї розподiлу . . . . . . . . . . . . 521.9.2. Обчислення ймовiрностей через щiльнiсть розподiлу . . . . . 531.9.3. Класифiкацiя функцiй розподiлу . . . . . . . . . . . . . . . . . 531.9.4. Рiвномiрний розподiл . . . . . . . . . . . . . . . . . . . . . . . 541.9.5. Нормальний (Гауссiв) розподiл . . . . . . . . . . . . . . . . . . 551.9.6. Логнормальний розподiл . . . . . . . . . . . . . . . . . . . . . . 551.9.7. Функцiя iнтенсивностi розподiлу . . . . . . . . . . . . . . . . . 561.9.8. Показниковий (експоненцiйний) розподiл . . . . . . . . . . . . 571.9.9. Розподiл Вейбула . . . . . . . . . . . . . . . . . . . . . . . . . . 581.9.10. Розподiл Гомпертца . . . . . . . . . . . . . . . . . . . . . . . . 581.9.11. Бета-розподiл . . . . . . . . . . . . . . . . . . . . . . . . . . . . 581.9.12. Розподiл Парето . . . . . . . . . . . . . . . . . . . . . . . . . . 591.9.13. Розподiл Кошi . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

1.10. Математичне сподiвання дискретної випадкової величини . . . . . . 601.10.1. Математичне сподiвання функцiї вiд дискретної величини . . 611.10.2. Властивостi математичного сподiвання дискретної величини . 611.10.3. Приклади обчислення математичного сподiвання дискретних

величин . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 621.11. Загальне означення математичного сподiвання . . . . . . . . . . . . 63

1.11.1. Невiд’ємнi випадковi величини . . . . . . . . . . . . . . . . . . 631.11.2. Коректнiсть визначення математичного сподiвання . . . . . . . 641.11.3. Iнтегровнi невiд’ємнi випадковi величини . . . . . . . . . . . . 64

498 Змiст

1.11.4. Математичне сподiвання знакозмiнних випадкових величин . 651.11.5. Властивостi математичного сподiвання . . . . . . . . . . . . . 661.11.6. Перехiд до границi пiд знаком математичного сподiвання . . . 671.11.7. Абстрактний iнтеграл Лебега . . . . . . . . . . . . . . . . . . . 691.11.8. Iнтеграли Лебега – Стiлтьєса та за мiрою Лебега . . . . . . . 701.11.9. Теореми Фубiнi та Радона – Нiкодима. . . . . . . . . . . . . . 721.11.10.Обчислення математичного сподiвання . . . . . . . . . . . . . 73

1.12. Дисперсiя та її властивостi . . . . . . . . . . . . . . . . . . . . . . . 751.12.1. Властивостi дисперсiї . . . . . . . . . . . . . . . . . . . . . . . 751.12.2. Приклади обчислення дисперсiї . . . . . . . . . . . . . . . . . 76

1.13. Iмовiрнiснi нерiвностi . . . . . . . . . . . . . . . . . . . . . . . . . . . 771.13.1. Нерiвностi Чебишева . . . . . . . . . . . . . . . . . . . . . . . . 771.13.2. Нерiвностi Йенсена та Ляпунова . . . . . . . . . . . . . . . . . 781.13.3. Нерiвностi Гельдера та Кошi . . . . . . . . . . . . . . . . . . . 791.13.4. Нерiвнiсть Мiнковського . . . . . . . . . . . . . . . . . . . . . 79

1.14. Сумiсна функцiя розподiлу випадкового вектора та її властивостi . 801.14.1. Загальнi властивостi сумiсної функцiї розподiлу . . . . . . . . 811.14.2. Невiд’ємнiсть приростiв . . . . . . . . . . . . . . . . . . . . . . 811.14.3. Мiра Лебега – Стiлтьєса в евклiдовому просторi . . . . . . . . 831.14.4. Сумiсна щiльнiсть . . . . . . . . . . . . . . . . . . . . . . . . . 841.14.5. Функцiї вiд випадкового вектора . . . . . . . . . . . . . . . . . 86

1.15. Числовi характеристики випадкових векторiв . . . . . . . . . . . . . 871.15.1. Коварiацiя та кореляцiя випадкових величин . . . . . . . . . . 871.15.2. Коварiацiйна матриця випадкового вектора . . . . . . . . . . . 88

1.16. Незалежнi випадковi величини . . . . . . . . . . . . . . . . . . . . . 891.16.1. Критерiй незалежностi випадкових величин . . . . . . . . . . 901.16.2. Перетворення незалежних величин . . . . . . . . . . . . . . . 91

1.17. Математичне сподiвання добутку незалежних величин . . . . . . . 921.17.1. Математичне сподiвання добутку . . . . . . . . . . . . . . . . 921.17.2. Дисперсiя суми незалежних величин . . . . . . . . . . . . . . 931.17.3. Математичне сподiвання функцiї вiд незалежних величин . . 94

1.18. Розподiл суми незалежних величин. Гама-розподiл . . . . . . . . . . 961.18.1. Розподiл суми незалежних величин . . . . . . . . . . . . . . . 961.18.2. Розподiл Ерланга . . . . . . . . . . . . . . . . . . . . . . . . . . 981.18.3. Розподiли гама та хi-квадрат . . . . . . . . . . . . . . . . . . . 99

1.19. Нормальнi випадковi вектори . . . . . . . . . . . . . . . . . . . . . . 1001.19.1. Сумiсна щiльнiсть нормального вектора . . . . . . . . . . . . . 1011.19.2. Параметри розподiлу нормального вектора . . . . . . . . . . . 1021.19.3. Нормальний вектор на площинi . . . . . . . . . . . . . . . . . . 1021.19.4. Лiнiйнi перетворення нормальних векторiв . . . . . . . . . . . 104

499

1.19.5. Незалежнiсть i некорельованiсть нормальних величин . . . . 1061.20. Збiжнiсть за ймовiрнiстю та її властивостi . . . . . . . . . . . . . . . 108

1.20.1. Властивостi збiжностi за ймовiрнiстю . . . . . . . . . . . . . . 1081.20.2. Iншi види збiжностi випадкових величин . . . . . . . . . . . . 1101.20.3.Критерiй збiжностi майже напевне . . . . . . . . . . . . . . . . 1111.20.4.Збiжнiсть та фундаментальнiсть . . . . . . . . . . . . . . . . . 112

1.21. Закон великих чисел . . . . . . . . . . . . . . . . . . . . . . . . . . . 1141.21.1. Теорема Чебишева про закон великих чисел . . . . . . . . . . 1141.21.2. Теорема Бернуллi . . . . . . . . . . . . . . . . . . . . . . . . . . 1151.21.3. Полiноми Бернштейна . . . . . . . . . . . . . . . . . . . . . . . 1161.21.4. Метод Монте-Карло . . . . . . . . . . . . . . . . . . . . . . . . 117

1.22. Збiжнiсть з iмовiрнiстю 1 та її властивостi . . . . . . . . . . . . . . . 1181.22.1. Лема Бореля – Кантеллi . . . . . . . . . . . . . . . . . . . . . . 1191.22.2. Нерiвнiсть Колмогорова . . . . . . . . . . . . . . . . . . . . . . 120

1.23. Посилений закон великих чисел . . . . . . . . . . . . . . . . . . . . 1211.23.1. Теорема Колмогорова про посилений закон великих чисел . . 1221.23.2. Теорема Бореля . . . . . . . . . . . . . . . . . . . . . . . . . . . 1221.23.3. Критерiй Колмогорова для однаково розподiлених величин . . 123

1.24. Збiжнiсть функцiй в основному . . . . . . . . . . . . . . . . . . . . . 1251.25. Слабка збiжнiсть функцiй розподiлу i випадкових величин . . . . . 127

1.25.1. Однозначнiсть слабкої границi . . . . . . . . . . . . . . . . . . 1281.25.2. Властивостi слабкої збiжностi . . . . . . . . . . . . . . . . . . 129

1.26. Слабка компактнiсть . . . . . . . . . . . . . . . . . . . . . . . . . . . 1311.26.1. Теорема Хеллi про компактнiсть в основному . . . . . . . . . . 1321.26.2. Теорема Прохорова про слабку компактнiсть . . . . . . . . . . 132

1.27. Характеристичнi функцiї . . . . . . . . . . . . . . . . . . . . . . . . . 1351.27.1. Однозначнiсть вiдповiдностi . . . . . . . . . . . . . . . . . . . . 1351.27.2. Властивостi характеристичної функцiї . . . . . . . . . . . . . . 1361.27.3. Iншi iнтегральнi перетворення . . . . . . . . . . . . . . . . . . 1401.27.4. Генератриси випадкових величин . . . . . . . . . . . . . . . . . 1411.27.5. Формула обертання для характеристичної функцiї . . . . . . . 1431.27.6. Теорема Левi . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1451.27.7. Сумiсна характеристична функцiя та слабка збiжнiсть випад-

кових векторiв . . . . . . . . . . . . . . . . . . . . . . . . . . . 1491.28. Класична центральна гранична теорема . . . . . . . . . . . . . . . . 1501.29. Загальна гранична теорема для стандартних серiй . . . . . . . . . . 153

1.29.1. Стандартнi послiдовностi серiй . . . . . . . . . . . . . . . . . . 1531.29.2. Допомiжнi леми . . . . . . . . . . . . . . . . . . . . . . . . . . 1531.29.3. Гранична теорема для стандартних серiй . . . . . . . . . . . . 155

1.30. Центральнi граничнi теореми для послiдовностей серiй . . . . . . . 156

500 Змiст

1.30.1. Теорема Лiндеберга для стандартних серiй . . . . . . . . . . . 1561.30.2.Теорема Ляпунова для стандартних серiй . . . . . . . . . . . . 1571.30.3.Теорема Лiндеберга для загальних серiй . . . . . . . . . . . . 1581.30.4.Теорема Ляпунова для загальних серiй . . . . . . . . . . . . . 1591.30.5.Теорема Пуассона для стандартних серiй . . . . . . . . . . . . 1601.30.6.Теорема Реньї з теорiї надiйностi . . . . . . . . . . . . . . . . . 1611.30.7. Центральна гранична теорема для випадкових векторiв . . . . 162

2 Iмовiрнiсть 2 165Вступ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1652.1. Iмовiрнiснi простори випадкових послiдовностей i функцiй . . . . . 165

2.1.1. Борелєва сигма-алгебра множин послiдовностей . . . . . . . . 1662.1.2. Побудова ймовiрностi на множинах послiдовностей . . . . . . 167

2.2. Випадковi елементи . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1702.2.1. Означення, породженi сигма-алгебра та розподiл . . . . . . . . 1702.2.2. Вимiрнiсть вiдносно породженої сигма-алгебри . . . . . . . . . 171

2.3. Незалежнi класи подiй та випадкових величин . . . . . . . . . . . . 1732.3.1. Незалежнi класи подiй . . . . . . . . . . . . . . . . . . . . . . . 1732.3.2. Перетворення незалежних класiв подiй . . . . . . . . . . . . . 1742.3.3. Закон 0 та 1 Колмогорова . . . . . . . . . . . . . . . . . . . . . 1762.3.4. Незалежнi класи випадкових векторiв . . . . . . . . . . . . . . 1772.3.5. Закон 0 та 1 Хьюiтта-Севiджа . . . . . . . . . . . . . . . . . . 178

2.4. Рiвномiрна iнтегровнiсть . . . . . . . . . . . . . . . . . . . . . . . . . 1792.5. Умовне математичне сподiвання . . . . . . . . . . . . . . . . . . . . . 183

2.5.1. Умовне сподiвання вiдносно розбиття . . . . . . . . . . . . . . 1832.5.2. Умовне математичне сподiвання вiдносно сигма-алгебри . . . 1852.5.3. Властивостi умовного математичного сподiвання . . . . . . . . 1872.5.4. Умовне математичне сподiвання вiдносно випадкових величин 1922.5.5. Обчислення умовного сподiвання через сумiсну щiльнiсть . . 1942.5.6. Умовнi ймовiрностi вiдносно сигма-алгебри . . . . . . . . . . . 1972.5.7. Регулярнi умовнi ймовiрностi . . . . . . . . . . . . . . . . . . . 198

2.6. Ряди з незалежних величин . . . . . . . . . . . . . . . . . . . . . . . 2022.6.1. Нерiвностi Колмогорова . . . . . . . . . . . . . . . . . . . . . . 2022.6.2. Теореми про один та два ряди . . . . . . . . . . . . . . . . . . 2042.6.3. Теорема про три ряди . . . . . . . . . . . . . . . . . . . . . . . 207

2.7. Узагальнення посиленого закону великих чисел . . . . . . . . . . . 2092.7.1. Закон повторного логарифму . . . . . . . . . . . . . . . . . . . 2092.7.2. Строго стацiонарнi послiдовностi . . . . . . . . . . . . . . . . . 214

2.8. Уточнення центральної граничної теореми . . . . . . . . . . . . . . . 2212.8.1. Розклад Еджуорта в центральнiй граничнiй теоремi . . . . . . 221

501

2.8.2. Нерiвнiсть Беррi-Ессеєна . . . . . . . . . . . . . . . . . . . . . 2252.9. Нескiнченно подiльнi розподiли . . . . . . . . . . . . . . . . . . . . . 230

2.9.1. Означення нескiнченної подiльностi . . . . . . . . . . . . . . . 2302.9.2. Канонiчнi мiри . . . . . . . . . . . . . . . . . . . . . . . . . . . 2302.9.3. Зображення Левi-Хiнчина . . . . . . . . . . . . . . . . . . . . . 233

2.10. Випадковi блукання . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2382.10.1. Рекурентнiсть блукання та її критерiй . . . . . . . . . . . . . . 2382.10.2.Блукання Бернуллi . . . . . . . . . . . . . . . . . . . . . . . . . 2402.10.3.Критерiй рекурентностi через характеристичнi функцiї. . . . . 241

2.11. Граничнi задачi для випадкових блукань . . . . . . . . . . . . . . . . 2472.11.1. Граничнi функцiонали та факторизацiйнi тотожностi . . . . . 2482.11.2. Натуральна факторизацiя . . . . . . . . . . . . . . . . . . . . . 2542.11.3. Одностороннiй закон великих чисел . . . . . . . . . . . . . . . 257

2.12. Гiллястi процеси . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2582.12.1. Генератриса гiллястого процесу . . . . . . . . . . . . . . . . . . 2582.12.2. Властивостi гiллястих процесiв . . . . . . . . . . . . . . . . . . 259

2.13. Мартингальнi послiдовностi . . . . . . . . . . . . . . . . . . . . . . . 2612.13.1. Означення та приклади мартингалiв . . . . . . . . . . . . . . . 2622.13.2. Перетворення мартингалiв . . . . . . . . . . . . . . . . . . . . 2632.13.3.Моменти зупинки . . . . . . . . . . . . . . . . . . . . . . . . . 2672.13.4. Випадкова зупинка субмартингалу . . . . . . . . . . . . . . . . 2692.13.5. Число перетинiв субмартингалом смуги . . . . . . . . . . . . . 2722.13.6. Збiжнiсть мартингальних послiдовностей . . . . . . . . . . . . 274

2.14. Ланцюги Маркова . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2772.14.1. Перехiдна матриця за один крок . . . . . . . . . . . . . . . . . 2792.14.2. Iмовiрностi переходу за t крокiв . . . . . . . . . . . . . . . . . 2802.14.3. Розширена та строга марковська властивiсть . . . . . . . . . . 2812.14.4. Класифiкацiя станiв ланцюга Маркова . . . . . . . . . . . . . 2832.14.5. Рекурентнiсть . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2872.14.6. Iмовiрностi досягнення та вiдвiдувань . . . . . . . . . . . . . . 2882.14.7. Ергодичнiсть у середньому . . . . . . . . . . . . . . . . . . . . 2922.14.8. Ланцюг народження та загибелi . . . . . . . . . . . . . . . . . 2992.14.9. Ергодична теорема Деблiна . . . . . . . . . . . . . . . . . . . . 3012.14.10.Ергодична теорема Колмогорова . . . . . . . . . . . . . . . . . 304

2.15. Процес Пуассона . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3062.15.1. Процес Пуассона та його розподiл . . . . . . . . . . . . . . . . 3072.15.2. Траєкторiї процесу Пуассона . . . . . . . . . . . . . . . . . . . 310

2.16. Процес народження та загибелi . . . . . . . . . . . . . . . . . . . . . 3122.17. Складний процес Пуассона . . . . . . . . . . . . . . . . . . . . . . . 3182.18. Вiнерiвський процес . . . . . . . . . . . . . . . . . . . . . . . . . . . 320

502 Змiст

2.18.1. Розподiл вiнерiвського процесу . . . . . . . . . . . . . . . . . . 3212.18.2. Властивостi траєкторiй вiнерiвського процесу . . . . . . . . . 324

3 Математична статистика 327Вступ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3273.1. Статистичний простiр, вибiрка. Статистики та оцiнки . . . . . . . . 329

3.1.1. Статистична вибiрка . . . . . . . . . . . . . . . . . . . . . . . . 3303.1.2. Функцiя вiрогiдностi . . . . . . . . . . . . . . . . . . . . . . . . 3313.1.3. Кратнi вибiрки . . . . . . . . . . . . . . . . . . . . . . . . . . . 3323.1.4. Статистики та оцiнки . . . . . . . . . . . . . . . . . . . . . . . 3333.1.5. Властивостi оцiнок . . . . . . . . . . . . . . . . . . . . . . . . . 334

3.2. Оцiнювання ймовiрностi успiху у схемi Бернуллi . . . . . . . . . . . 3363.2.1. Частота успiхiв та її властивостi . . . . . . . . . . . . . . . . . 3363.2.2. Iнтервальнi оцiнки ймовiрностi успiху . . . . . . . . . . . . . . 338

3.3. Емпiрична функцiя розподiлу . . . . . . . . . . . . . . . . . . . . . . 3393.3.1. Загальнi властивостi . . . . . . . . . . . . . . . . . . . . . . . . 3403.3.2. Рiвномiрнi за x властивостi . . . . . . . . . . . . . . . . . . . . 340

3.4. Варiацiйний ряд. Квантилi . . . . . . . . . . . . . . . . . . . . . . . . 3433.4.1. Розподiл порядкових статистик . . . . . . . . . . . . . . . . . . 3443.4.2. Вектор рангiв, сумiсний розподiл порядкових статистик . . . 3453.4.3. Теоретичнi квантилi . . . . . . . . . . . . . . . . . . . . . . . . 3483.4.4. Емпiричнi квантилi . . . . . . . . . . . . . . . . . . . . . . . . . 3493.4.5. Конзистентнiсть вибiркових квантилей . . . . . . . . . . . . . 3493.4.6. Асимптотична нормальнiсть вибiркових квантилей . . . . . . . 350

3.5. Вибiрковi моменти. Метод моментiв . . . . . . . . . . . . . . . . . . 3523.5.1. Теоретичнi та вибiрковi моменти . . . . . . . . . . . . . . . . . 3523.5.2. Метод моментiв . . . . . . . . . . . . . . . . . . . . . . . . . . . 356

3.6. Незмiщенi оптимальнi оцiнки . . . . . . . . . . . . . . . . . . . . . . 3593.6.1. Оптимальнi оцiнки . . . . . . . . . . . . . . . . . . . . . . . . . 359

3.7. Нерiвнiсть Крамера – Рао, ефективнiсть . . . . . . . . . . . . . . . . 3613.7.1. Функцiя впливу . . . . . . . . . . . . . . . . . . . . . . . . . . 3613.7.2. Умови регулярностi . . . . . . . . . . . . . . . . . . . . . . . . . 3633.7.3. Властивостi функцiї впливу, iнформацiя за Фiшером . . . . . 3633.7.4. Нерiвнiсть Крамера – Рао . . . . . . . . . . . . . . . . . . . . . 3653.7.5. Ефективна оцiнка у схемi Бернуллi . . . . . . . . . . . . . . . 3673.7.6. Нерiвнiсть Крамера – Рао для векторного параметра . . . . . 3683.7.7. Ефективнi оцiнки параметрiв нормальних спостережень . . . 3703.7.8. Ефективнi оцiнки для експоненцiйної моделi . . . . . . . . . . 372

3.8. Достатнi статистики та оптимальнiсть . . . . . . . . . . . . . . . . . 3733.8.1. Приклади достатнiх статистик . . . . . . . . . . . . . . . . . . 373

503

3.8.2. Умовний розподiл вибiрки . . . . . . . . . . . . . . . . . . . . . 3743.8.3. Достатнiсть та оптимальнiсть . . . . . . . . . . . . . . . . . . . 375

3.9. Оцiнки максимальної вiрогiдностi . . . . . . . . . . . . . . . . . . . . 3783.9.1. Спiввiдношення з ефективними оцiнками. Iнварiантнiсть . . . 3793.9.2. Приклади обчислення оцiнок максимальної вiрогiдностi . . . . 3803.9.3. Умови конзистентностi ОМВ . . . . . . . . . . . . . . . . . . . 3823.9.4. Iнформацiя за Кульбаком . . . . . . . . . . . . . . . . . . . . . 3833.9.5. Конзистентнiсть ОМВ . . . . . . . . . . . . . . . . . . . . . . . 3843.9.6. Асимптотична нормальнiсть i ефективнiсть ОМВ . . . . . . . 386

3.10. Статистики вiд нормальних вибiрок . . . . . . . . . . . . . . . . . . 3893.10.1. Стандартна нормальна вибiрка . . . . . . . . . . . . . . . . . . 3893.10.2. Загальна нормальна вибiрка . . . . . . . . . . . . . . . . . . . . 3903.10.3.Статистики Стьюдента та Фiшера . . . . . . . . . . . . . . . . 391

3.11. Iнтервальнi оцiнки параметрiв нормальних спостережень . . . . . . 3923.11.1. Оцiнка середнього при вiдомiй дисперсiї . . . . . . . . . . . . 3933.11.2. Оцiнка дисперсiї при вiдомому середньому . . . . . . . . . . . 3933.11.3. Оцiнка середнього при невiдомiй дисперсiї . . . . . . . . . . . 3933.11.4. Оцiнка дисперсiї при невiдомому середньому . . . . . . . . . . 3933.11.5. Загальний метод опорних величин . . . . . . . . . . . . . . . . 393

3.12. Перевiрка статистичних гiпотез . . . . . . . . . . . . . . . . . . . . . 3943.12.1. Статистика критерiю, критична область . . . . . . . . . . . . . 3963.12.2. Рiвень та потужнiсть критерiю . . . . . . . . . . . . . . . . . . 397

3.13. Непараметричнi критерiї для функцiї розподiлу . . . . . . . . . . . . 3993.13.1. Критерiй узгодженостi Колмогорова . . . . . . . . . . . . . . . 3993.13.2. Критерiй однорiдностi Смiрнова . . . . . . . . . . . . . . . . . 401

3.14. Деякi ранговi критерiї . . . . . . . . . . . . . . . . . . . . . . . . . . 4023.14.1. Критерiй однорiдностi Вiлкоксона . . . . . . . . . . . . . . . . 4033.14.2. Зауваження щодо рандомiзованих критерiїв . . . . . . . . . . 4043.14.3. Асимптотична нормальнiсть статистики Вiлкоксона . . . . . . 4043.14.4. Критерiй незалежностi Спiрмена . . . . . . . . . . . . . . . . . 406

3.15. Критерiй хi-квадрат Пiрсона у полiномiальнiй схемi Бернуллi . . . . 4083.15.1. Статистика хi-квадрат . . . . . . . . . . . . . . . . . . . . . . . 4093.15.2. Критерiй хi-квадрат для простих гiпотез . . . . . . . . . . . . 4103.15.3. Групування, гiстограма . . . . . . . . . . . . . . . . . . . . . . 4123.15.4. Критерiй хi-квадрат узгодженостi з функцiєю розподiлу . . . 4143.15.5. Критерiй хi-квадрат для складних гiпотез . . . . . . . . . . . . 4143.15.6. Критерiй хi-квадрат однорiдностi . . . . . . . . . . . . . . . . . 4163.15.7. Критерiй хi-квадрат незалежностi . . . . . . . . . . . . . . . . 417

3.16. Перевiрка гiпотез про параметри нормальних спостережень . . . . . 4193.16.1. Перевiрка гiпотез про параметри однiєї вибiрки . . . . . . . . 420

504 Змiст

3.16.2. Перевiрка гiпотез про параметри двох вибiрок . . . . . . . . . 4213.16.3. Кореляцiйний аналiз . . . . . . . . . . . . . . . . . . . . . . . . 4233.16.4. Асимптотичнi критерiї . . . . . . . . . . . . . . . . . . . . . . . 424

3.17. Найбiльш потужнi критерiї, лема Неймана – Пiрсона . . . . . . . . 4253.17.1. Критерiй вiдношення вiрогiдностей . . . . . . . . . . . . . . . 4263.17.2. Приклад критерiю вiдношення вiрогiдностей . . . . . . . . . . 4283.17.3. Рiвномiрно найбiльш потужнi критерiї з монотонним вiдноше-

нням вiрогiдностей . . . . . . . . . . . . . . . . . . . . . . . . . 4303.17.4. Поняття про послiдовний аналiз . . . . . . . . . . . . . . . . . 434

3.18. Метод найменших квадратiв . . . . . . . . . . . . . . . . . . . . . . . 4393.18.1. Модель лiнiйної регресiї . . . . . . . . . . . . . . . . . . . . . . 4393.18.2. Проста лiнiйна регресiя . . . . . . . . . . . . . . . . . . . . . . 4453.18.3. Полiномiальна регресiя . . . . . . . . . . . . . . . . . . . . . . 4473.18.4. Дисперсiйний аналiз . . . . . . . . . . . . . . . . . . . . . . . . 448

3.19. Квадратично iнтегровнi стацiонарнi випадковi процеси . . . . . . . . 4523.19.1. Стацiонарнi випадковi процеси . . . . . . . . . . . . . . . . . . 4533.19.2.Мiри з ортогональними значеннями, стохастичнi iнтеграли . . 4563.19.3. Процеси з ортогональними приростами . . . . . . . . . . . . . 4593.19.4. Спектральне зображення стацiонарного процесу . . . . . . . . 461

3.20. Оптимальний лiнiйний прогноз стацiонарних послiдовностей . . . . 4643.20.1.Лiнiйний прогноз у гiльбертовому просторi . . . . . . . . . . . 4643.20.2.Спектральний розв’язок задачi лiнiйного прогнозу . . . . . . . 4663.20.3.Приклади обчислення оптимального прогнозу . . . . . . . . . 4713.20.4.Регулярнi стацiонарнi послiдовностi . . . . . . . . . . . . . . . 474

Список рекомендованої лiтератури . . . . . . . . . . . . . . . . . . . . . . 478Грецький алфавiт . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481Список позначень . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481Предметний покажчик . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 484Змiст . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 496

М.В. КАРТАШОВ iМОВiРНiСТЬ, ПРОЦЕСИ,...

Documents