Hanoi Center for Financial and Industrial Mathematics Trung Tâm Toán Tài Chính Cơng Nghiệp Hà Nội NHẬP MƠN HIỆN ĐẠI XÁC SUẤT & THỐNG KÊ Đỗ Đức Thái Nguyễn Tiến Dũng Hà Nội – Toulouse, 2009 ii Bản thảo này: Ngày 10 tháng 11 năm 2009 c Prof Dr Do Duc Thai & Prof Dr Nguyen Tien Zung Hanoi Center for Financial and Industrial Mathematics Hanoi National University of Education & University of Toulouse iii Lời giới thiệu Xác suất thống kê đóng vai trị quan trọng hầu hết lĩnh vực giới đại, từ khoa học, công nghệ, đến kinh tế, trị, đến sức khỏe, mơi trường, v.v Ngày nay, máy tính giúp cho việc tính tốn vấn đề xác suất thống kê ngày trở nên dễ dàng, có số liệu đắn mơ hình hợp lý Thế nhưng, thân máy tính khơng biết mơ hình hợp lý Đấy vấn đề người sử dụng: cần phải hiểu chất khái niệm mơ hình xác suất thống kê, dùng chúng Mục đích sách nhằm giúp bạn đọc hiểu chất khái niệm phương pháp xác suất thống kê, qua áp dụng chúng, tìm phương pháp thích hợp cho tình cụ thể Một số điểm mà tác giả cố gắng đưa vào sách là: - Giải thích chất khái niệm cách trực giác, dễ hiểu chừng mực có thể, đồng thời đảm bảo độ chặt chẽ định mặt toán học - Cho nhiều ví dụ tập tình có thật, với số liệu có thật, nhằm giúp bạn đọc cảm nhận ứng dụng thực tế xác suất thống kê Quyển sách có chương Chương gồm số khái niệm sở lý thuyết xác suất Chương khơng địi hỏi kiến thức đặc biệt tốn, học sinh phổ thơng đọc hiểu phần lớn Tuy nhiên, kiến thức Chương khơng hồn tồn hiển nhiên, kể người học đại học Trong trình soạn thảo, tác giả có đem số tập khó Chương đố học sinh đại học cao học ngành toán, phần lớn họ làm sai! Các tập khơng phải khó mặt toán học (để giải chúng cần làm vài phép tính số học đơn giản), mà khó chúng chứa đựng tế nhị chất xác suất Hy vọng rằng, bạn đọc thấy tế nhị đó, tránh sai lầm mà nhiều người khác hay mắc phải Từ Chương đến Chương sách lý thuyết xác suất biến ngẫu nhiên Chương biến ngẫu nhiên nhận giá trị thực Chương nhiều biến ngẫu nhiên, hay gọi vector ngẫu nhiên Chương định lý giới hạn, có định lý giới hạn trung tâm, coi định lý quan trọng lý thuyết xác suất hịn đá tảng thống kê tốn học Chương sách giới thiệu thống kê Bạn đọc tìm thấy chương vấn đề giải thống kê ước lượng, kiểm định, dự báo, nguyên tắc iv thống kê, số phương pháp thông kê trở thành kinh điển Để hiểu tốt vấn đề bàn tới Chương chương tiếp theo, bạn đọc cần có số kiến thức chuẩn bị giải tích tốn học, phép tính vi tích phân khai triển Taylor-Lagrange, cộng với kiến thức đại số tuyến tính Nếu có thêm kiến thức tơpơ giải tích hàm tốt Trong sách có đưa định nghĩa tính chất số khái niệm tốn học cần dùng, ví dụ tích phân Lebesgue khơng gian xác suất, biến đổi Fourier, hội tụ yếu, v.v Quyển sách dùng làm sách giáo khoa hay sách tham khảo cho môn xác suất thống kê bậc đại học cao học nhiều ngành khác Sinh viên ngành khơng phải tốn bỏ qua phần chứng minh định lý tương đối phức tạp sách, mà cần hiểu phát biểu định lý quan trọng cách áp dụng chúng Các sinh viên ngành tốn nên tìm hiểu cách chứng minh định lý Do khuôn khổ sách có hạn, nên cịn nhiều khái niệm quan trọng xác suất thống kê không xuất sách, ví dụ q trình ngẫu nhiên Hy vọng sách cung cấp tương đối đầy đủ kiến thức sở, để bạn đọc hiểu tài liệu chuyên sâu xác suất thống kê cần thiết Để biên soạn sách này, tác giả có tham khảo nhiều sách báo liên quan đến xác suất thống kê, có trích lại nhiều tập ví dụ từ tài liệu Những sách mà các tác giả tham khảo nhiều liệt kê phần “Tài liệu tham khảo” Trong có sách “nặng”, có nhiều chứng minh chặt chẽ nặng tốn, ví dụ “Theory of probability and random processes” Koralev Sinai [5], có sách “nhẹ”, dễ đọc để nắm ý tưởng chính, khơng có chứng minh, tiêu biểu “The cartoon guide to statistics” Gonick Smith [2] Những thảo sách có số đồng nghiệp, bạn bè sinh viên đọc góp ý sửa lỗi trình bầy lại cho tốt lên Các tác giả xin chân thành cảm ơn quan tâm giúp đỡ họ Tất nhiên, lỗi lại sách thuộc trách nhiệm tác giả Quyển sách sản phẩm Trung Tâm Toán Tài Chính Cơng Nghiệp Hà Nội (do tác giả thành lập vào đầu năm 2009), viết với mục đích trước hết để phục vụ cho nhu cầu thân Trung Tâm Các tác giả hy vọng rằng, sách có ích, khơng cho Trung Tâm, mà cho lượng lớn độc giả khác quan tâm xác suất thống kê Hà Nội – Toulouse, 2009 Mục lục Xác suất Xác suất ? 1.1.1 Xác suất kiện 1.1.2 Ba tiên đề quán xác suất 1.1.3 Xác suất phụ thuộc vào ? 1.1.4 Tính xác suất thống kê Mơ hình toán học xác suất 1.2.1 Không gian xác suất 1.2.2 Phân bố xác suất Bernoulli 1.2.3 Phân bố xác suất 11 1.2.4 Mơ hình xác suất với vơ hạn kiện 12 1.2.5 Ánh xạ không gian xác suất 13 1.2.6 Tích khơng gian xác suất 14 1.2.7 Phân bố nhị thức 16 Xác suất có điều kiện 18 1.3.1 Định nghĩa xác suất có điều kiện 18 1.3.2 Sự độc lập phụ thuộc kiện 20 1.3.3 Cơng thức xác suất tồn phần 22 1.3.4 Công thức Bayes 22 Một số nghịch lý xác suất 24 1.4.1 Nghịch lý (Nghịch lý Simpson) Thuốc tốt ? 24 1.4.2 Nghịch lý Hồng tử có chị em gái không ? 25 1.4.3 Nghịch lý Văn Phạm có phải thủ phạm ? 25 1.4.4 Lời giải cho nghịch lý 26 1.1 1.2 1.3 1.4 v vi MỤC LỤC 1.5 Luật số lớn 27 1.6 Bài tập bổ sung cho Chương 30 Biến Ngẫu Nhiên 33 Biến ngẫu nhiên phân bố xác suất 33 2.1.1 Biến ngẫu nhiên ? 33 2.1.2 Mô hình tốn học biến ngẫu nhiên 34 2.1.3 Phân bố xác suất biến ngẫu nhiên 35 2.1.4 Các loại phân bố xác suất R 38 Một số phân bố xác suất thường gặp 40 2.2.1 Phân bố hình học phân bố nhị thức âm 41 2.2.2 Phân bố Poisson 42 2.2.3 Phân bố (trường hợp liên tục) 44 2.2.4 Phân bố normal 45 2.2.5 Phân bố lũy thừa 47 2.2.6 Phân bố Pareto 48 Kỳ vọng biến ngẫu nhiên 49 2.3.1 Trường hợp rời rạc 49 2.3.2 Trường hợp tổng qt: tích phân khơng gian xác suất 52 2.3.3 Kỳ vọng phân bố xác suất R 55 2.3.4 Giá trị kỳ vọng hình học 56 Phương sai, độ lệch chuẩn, moment 59 2.1 2.2 2.3 2.4 2.4.1 Phương sai độ lệch chuẩn 59 2.4.2 Các moment biến ngẫu nhiên 61 2.4.3 Bất đẳng thức Chebyschev bất đẳng thức Markov 64 Hàm đặc trưng, hàm sinh, biến đổi Laplace 66 2.5.1 Hàm đặc trưng 66 2.5.2 Tìm lại phân bố xác suất từ hàm đặc trưng 67 2.5.3 Hàm sinh xác suất biến đổi Laplace 70 Vector ngẫu nhiên 73 Vector ngẫu nhiên 73 3.1.1 Phân bố xác suất đồng thời 73 3.1.2 Các phân bố xác suất biên 74 2.5 3.1 MỤC LỤC vii 3.1.3 Hàm mật độ đồng thời 75 3.1.4 Hàm đặc trưng vector ngẫu nhiên 77 Các biến ngẫu nhiên độc lập 78 3.2.1 Sự độc lập biến ngẫu nhiên 78 3.2.2 Một ví dụ không hiển nhiên độc lập 80 3.2.3 Một số hệ độc lập 80 Luật số lớn 82 3.3.1 Dạng yếu luật số lớn cho phân bố 82 3.3.2 Dạng mạnh luật số lớn 83 3.3.3 Tích dãy vơ hạn không gian xác suất 84 3.3.4 Chứng minh định lý 3.8 86 Sự tương quan biến ngẫu nhiên 87 3.4.1 Hiệp phương sai 87 3.4.2 Hệ số tương quan 88 3.4.3 Quan hệ tuyến tính với sai số bình phương nhỏ 92 3.4.4 Hệ số tương quan quan hệ nhân 94 Phân bố kỳ vọng có điều kiện 95 3.5.1 Trường hợp rời rạc 96 3.5.2 Trường hợp liên tục 97 Phân bố normal nhiều chiều 99 3.6.1 Định nghĩa phân bố normal nhiều chiều 99 3.6.2 Trường hợp hai chiều 3.6.3 Một số tính chất phân bố normal nhiều chiều 3.2 3.3 3.4 3.5 3.6 100 102 Các định lý giới hạn 105 4.1 Định lý giới hạn trung tâm 105 4.1.1 Định lý de Moivre – Laplace 105 4.1.2 Định lý giới hạn trung tâm 108 4.1.3 Giới hạn dãy hàm đặc trưng 110 4.2 Hội tụ yếu kiểu hội tụ khác 112 4.2.1 Hội tụ yếu hội tụ theo phân phối 112 4.2.2 Các metric không gian phân bố xác suất 114 4.2.3 Định lý tiền compact Prokhorov 117 viii MỤC LỤC 4.2.4 Định lý liên tục 118 4.2.5 Các kiểu hội tụ khác dãy biến ngẫu nhiên 120 4.3 Phân bố χ2 định lý Pearson 121 Thống kê toán học 127 5.1 Các vấn đề thống kê 127 5.2 Ước lượng thống kê 133 5.2.1 Mẫu thực nghiệm phân bố thực nghiệm 133 5.2.2 Hàm ước lượng 135 5.2.3 Ước lượng không chệch phương sai 138 5.2.4 Phương pháp hợp lý cực đại 138 5.2.5 Phương pháp moment 141 5.3 Sai số độ tin cậy ước lượng 142 5.3.1 Sai số ước lượng 142 5.3.2 Khoảng tin cậy độ tin cậy 144 5.3.3 Khoảng tin cậy cho độ lệch chuẩn 146 5.3.4 Phân bố Student 147 5.4 Kiểm định giả thuyết 149 5.4.1 Một số nguyên tắc chung kiểm định thống kê 5.4.2 Kiểm định Z kiểm định T cho kỳ vọng 153 5.4.3 Kiểm định so sánh hai kỳ vọng 155 5.4.4 Kiểm định F so sánh hai độ lệch chuẩn 5.5 150 158 Kiểm định χ2 159 5.5.1 Trường hợp mơ hình xác suất cố định 159 5.5.2 Trường hợp mơ hình xác suất ước lượng theo tham số 161 5.5.3 Kiểm định χ2 cho độc lập 163 5.6 Phân tích hồi qui 164 5.6.1 Hồi qui tuyến tính đơn 166 5.6.2 Hồi qui tuyến tính bội 167 5.6.3 Hồi qui phi tyến 168 Chương Xác suất 1.1 Xác suất ? Hầu người biết đến khái niệm xác suất Tuy nhiên hiểu rõ tính chất Ví dụ phụ thuộc vào thơng tin xác suất (mỗi có thêm thơng tin xác suất thay đổi) hay bị bỏ qua Và có tốn tính tốn xác suất tưởng chừng đơn giản, có nửa số người học xác suất làm sai hỏi, kể thạc sĩ ngành toán Bởi vậy, chương này, nhấn mạnh tế nhị xác suất, đặc biệt với xác suất có điều kiện, mà bạn đọc cần biết đến, để tránh lỗi hay gặp Trước vào lý thuyết, có câu đố liên quan đến xác suất sau dành cho bạn đọc Giả sử có trị chơi TV sau: có cánh cửa, đằng sau cánh cửa q lớn, cịn sau cửa cịn lại khơng có Người chơi chọn cánh cửa, chọn cửa có q nhận q Sau người chơi chọn cửa, người hướng dẫn chương trình mở hai cửa lại ra, mở cửa khơng có q Sau người chơi quyền chọn, giữ cửa chọn ban đầu, đổi lấy cửa chưa mở cịn lại Theo bạn người chơi nên chọn phương án nào? Vì ? Hãy thử nghĩ chút trước tiếp tục đọc 1.1.1 Xác suất kiện Xác suất kiện (hay tình giả định) khả xảy kiện (hay tình giả định) đó, đánh giá dạng số thực nằm 1 CHƯƠNG XÁC SUẤT LÀ GÌ Khi kiện khơng thể xảy xác suất Ví dụ xác suất kiện “có người sống Thổ” Khi kiện chắn xảy xác suất (hay cịn viết 100%) Ví dụ kiện “tơi sinh từ bụng mẹ” có xác suất Khi kiện xảy khơng xảy ra, khơng biết có chắn chắn xảy hay khơng, coi xác suất lớn nhỏ Sự kiện coi dễ xảy có xác suất lớn (càng gần 1), ngược lại khó xảy xác suất nhỏ (càng gần 0) Ví dụ tơi mua vé xổ số Tơi khơng biết trúng giải hay khơng, có mà khơng Nếu 100 vé xổ số có vé trúng giải, tơi coi xác suất trúng giải vé tơi 1% Con số 1% tần suất, hay tỷ lệ trúng giải vé xổ số: số vé trúng giải chia cho tổng số vé Không kiện tương lai, mà kiện khứ, mà thiếu thông tin để biết chúng thực xảy hay khơng, gán cho kiện xác suất đó, ứng với độ tin tưởng việc kiện thực xảy hay khơng Ví dụ như, nữ hồng Cleopatra Ai Cập có tự tử cách rắn độc cắn không ? Đấy giả thuyết, mà theo nhà sử học có nhiều khả xảy ra, không chắn 1.1.2 Ba tiên đề quán xác suất Tiên đề Như viết phía trên, A kiện (giả định) ký hiệu P (A) xác suất A ≤ P (A) ≤ (1.1) Tiên đề Nếu A kiện, ký hiệu A kiện phủ định A P (A) + P (A) = (1.2) Ý nghĩa triết học tiên đề tương đối hiển nhiên: Trong hai kiện “A” “phủ định A” có kiện xảy Nếu “A” có nhiều khả xả “phủ định A” có khả xảy ra, ngược lại Ví dụ 1.1 Một học sinh thi vào trường đại học Nếu xác suất thi đỗ 80% xác suất thi trượt 20% (= 100% - 80%), khơng thể 30%, xác suất thi đỗ 80% xác suất thi trượt 30% khơng qn 58 CHƯƠNG BIẾN NGẪU NHIÊN Định lý 2.11 Giá trị kỳ vọng hình học ln nhỏ giá trị kỳ vọng: G(X) ≤ E(X) (2.41) Dấu xảy F số hầu khắp nơi không gian xác suất, tức tồn số thực dương c cho P (X = c) = Định lý trường hợp riêng bất đẳng thức Jensen phát biểu sau: Định lý 2.12 (Bất đẳng thức Jensen) Nếu f hàm lồi, X biến ngẫu nhiên bất kỳ, E(f (X)) ≥ f (E(X)) (2.42) Ví dụ 2.18 Giả sử có hội đầu tư sau Khả thắng/thua 50%/50%, sau tháng biết kết Nếu thắng lãi 100%, thua lỗ 50% tiền bỏ (Trên thị trường chứng khốn có trường hợp tương tự vậy, ví dụ hãng công nghệ sinh học đợi kết thí nghiệm lâm sàng loại thuốc chữa ung thư, thành cơng giá trị cổ phiếu hãng tăng gấp đơi, thất bại giá trị 50%) Hỏi người đầu tư có nên đầu tư vào hội không, nên nên đầu tư với nhiều nhiêu % vốn đầu tư (để đạt kỳ vọng lợi nhuận cao nhất, giả sử khơng có hội đầu tư khác)? Trước hết, ta tính giá trị kỳ vọng lợi nhuận đầu tư theo hội trên, với đơn vị vốn bỏ Gọi L biến “lợi nhuận”, ta có khả năng: L = L = −1/2, khả có xác suất 50% Như kỳ vọng lợi nhuận đơn vị vốn bỏ là: E(L) = 50%.1 + 50%.(−1/2) = 0, 25 Kỳ vọng lợi nhận dương lớn (bằng 25% vốn bỏ ra), nên hội nên đầu tư, trừ có hội khác tốt (Lãi 25% tháng gọi siêu lợi nhuận) Câu hỏi thứ hai nhà đầu tư nên đầu tư vào nhiều phần trăm vốn đầu tư ? Nếu giả sử đầu tư tồn 100% vốn Khi có khả năng, tổng số vốn tăng lên gấp đơi, giảm cịn nửa, với xác suất khả 50% Nhưng nhà đầu tư mà làm lần liên tiếp, lần thắng lần thua, sau hai lần số vốn lại cũ không tăng trưởng Muốn đảm bảo cho vốn tăng trưởng “về lâu dài”, cần tính đến khơng phải giá trị kỳ vọng vốn sau lần đầu tư, mà giá trị kỳ vọng hình học Nếu giả sử có hội đầu tư trên, giá trị kỳ vọng hình học vốn có sau đầu tư Y tiền vào tổng số X tiền là: cho (X − Y /2)(X + Y ) Để tối ưu hóa giá trị kỳ vọng hình học tức tìm Y (X − Y /2)(X + Y ) đặt cực đại, với X cho trước Kết Y = X/2, 2.4 PHƯƠNG SAI, ĐỘ LỆCH CHUẨN, VÀ CÁC MOMENT giá trị kỳ vọng hình học vốn sau đầu tư 59 (X − X/4)(X + X/2) = 1, 061.X Như vậy, kỳ vọng lợi nhuận hội đầu tư trên, tính tồn vốn nhà đầu tư, có khơng q 6,1% khơng phải 25% Định lý 2.13 Giá trị kỳ vọng hình học có tính chất sau: Tính đơn điệu: F ≥ G G(F ) ≥ G(G) Tính nhất: Nếu c số G(cF ) = cG(F ) Tính lõm: (G(F ) + G(G))/2 ≤ G((F + G)/2) Dấu xảy F G tỷ lệ thuận với nhau, tức tồn số dương c cho G = cF hầu khắp nơi Ghi 2.6 Tính lõm giá trị kỳ vọng hình học sở nguyên tắc đa dạng hóa tài sản (diversification) đầu tư: Bằng cách đa dạng hóa tài sản (đầu tư phần vào F phần vào G , thay đầu tư vào F hay đầu tư vào G) làm tăng giá trị kỳ vọng hình học danh mục đầu tư (ít trường hợp F G có kỳ vọng hình học tăng trưởng) Bài tập 2.19 Chứng minh bất đẳng thức (G(F ) + G(G))/2 ≤ G((F + G)/2), cho trường hợp không gian xác suất khơng gian hữu hạn phần tử có phân bố xác suất 2.4 2.4.1 Phương sai, độ lệch chuẩn, moment Phương sai độ lệch chuẩn Định nghĩa 2.16 Độ lệch chuẩn (standard deviation) biến ngẫu nhiên X σ(X) = E((X − E(X))2 ) (2.43) Phương sai (variance) X, ký hiệu var(X), bình phương độ lệch chuẩn X, tức E((X − E(X))2 ) Sử dụng tính tuyến tính giá trị kỳ vọng, ta biến đổi công thức phương sai sau: E((X −E(X))2 ) = E(X −2E(X).X +E(X)2 ) = E(X )−2E(X).E(X)+E(X)2 = E(X ) − E(X)2 Như vậy, ta có cơng thức sau: var(X) = σ(X)2 = E(X ) − E(X)2 (2.44) Độ lệch chuẩn có tính bậc một: σ(cX) = cσ(X), cịn phương sai bậc hai: var(cX) = σ(cX)2 = c2 var(X) Ý nghĩa độ lệch chuẩn là: thước 60 CHƯƠNG BIẾN NGẪU NHIÊN đo độ lệch giá trị X so với giá trị trung bình Định nghĩa phương sai cho thấy ln ln lớn 0, và X số hầu khắp nơi, tức không bị lệch đâu so với giá trị trung bình Câu hỏi cho người tị mò: Tại người ta lại hay dùng phương sai độ lệch chuẩn làm thước đo cho độ lệch giá trị biến ngẫu nhiên X với giá trị kỳ vọng nó, khơng dùng đại lượng kiểu E(|X − E(X)|) ? Ví dụ 2.19 Nếu F nhận hai giá trị a −a (a > 0), giá trị với xác suất 50%, giá trị kỳ vọng F 0, phương sai F a2 50% + (−a)2 50% = a2 , độ lệch chuẩn a Ví dụ 2.20 Nếu F có phân bố normal N (µ, σ ), giá trị kỳ vọng F µ, cịn độ lệch chuẩn F σ (Bài tập: chứng minh điều biến đổi tích phân, xuất phát từ cơng thức ∞ √1 −∞ 2π exp(− x )dx = 1) Ghi 2.7 Đối với biến ngẫu nhiên với vơ hạn giá trị, đại lượng đặc trưng chúng kỳ vọng, phương sai, đại lượng khác, lúc tồn hay hữu hạn Ví dụ, phân bố xác suất rời rạc P (k) = C/k với k ∈ N, với C = 1/( 1/n2 ) = 6/π , khơng có kỳ vọng sai phương hữu hạn Ta sử dụng đại lượng đặc trưng chúng tồn hữu hạn Bài tập 2.20 Chứng minh rằng: i) Độ lệch chuẩn phân bố hình học với tham số p (P (k) = p(1 − p)k−1 với k ∈ N) √ 1−q σ = q ii) Độ lệch chuẩn phân bố Poisson với tham số λ (P (k) = e−λ λk /k! với k ∈ Z+ ) √ σ = λ Bài tập 2.21 Giả sử X biến ngẫu nhiên với E(X) = 2, có phân bố xác suất liên tục với hàm mật độ ρX có dạng sau: ρX (x) = ax2 + b < x < 1, ρX (x) = điểm cịn lại Hãy tính a, b, var(X) Bài tập 2.22 Một phịng thí nghiệm phải kiểm tra lượng N lớn mẫu máu người (mỗi mẫu người) để tìm mẫu có chứa loại kháng thể X Thay xét nghiệm mẫu một, người ta làm sau: Chia mẫu thành nhóm, nhóm có k mẫu Trộn mẫu máu nhóm với (lấy máu từ mẫu) để mẫu hỗn hợp, xét nghiệp mẫu hỗn hợp Nếu kết xét nghiệm âm tính (mẫu hỗn hợp khơng có kháng thể X) coi k mẫu nhóm khơng có kháng thể X, cịn mẫu hỗn hợp có kháng thể X, làm tiếp k xét nghiệm, xét nghiệm cho mẫu nhóm Giả sử xác suất để mẫu máu có kháng thể X 2.4 PHƯƠNG SAI, ĐỘ LỆCH CHUẨN, VÀ CÁC MOMENT 61 số p, mẫu máu độc lập với Gọi S tổng số lần phải xét nghiệm i) Xác suất để mẫu máu hỗn hợp có chứa kháng thể X ? ii) Tính kỳ vọng phương sai S, tổng số mẫu máu phải kiểm tra N = km iii) Với giá trị p tồn số k thích hợp cho phương pháp xét nghiệm tiết kiệm số lần xét nghiệm (kỳ vọng S nhỏ N ) ? Tìm giá trị k tối ưu, hàm p 2.4.2 Các moment biến ngẫu nhiên Định nghĩa 2.17 Nếu X biến ngẫu nhiên, k số tự nhiên, đại lượng E(X k ) gọi moment (hay mô men) bậc k X, đại lượng E((X − E(X))k ) gọi moment trung tâm bậc k X Ghi 2.8 Có nhiều từ thuật ngữ gốc nước ngồi, mà tiếng Việt khơng có từ “thuần Việt” tương ứng, dịch phiên âm, ví dụ mơ men (moment), véc tơ (vector), mô đun (module), v.v Trong trường hợp vậy, để nguyên từ theo tiếng Anh, thay dùng phiên âm tiếng Việt Như phía thấy, moment bậc X giá trị kỳ vọng nó, moment trung tâm bậc X ln 0, moment trung tâm bậc X phương sai nó, biểu diễn qua moment X theo công thức: E((X − E(X))2 ) = E(X ) − E(X)2 (2.45) Tương tự vậy, moment trung tâm bậc cao X khai triển dạng đa thức moment X Nếu ký hiệu PX phân bố xác suất R X, ta viết moment bậc k X theo công thức sau: E(X k ) = xk dPX (2.46) x∈R Nếu phân bố xác suất PX la phân bố xác suất liên tục với hàm mật độ ρX ta viết: +∞ E(X k ) = xk ρX (x)dx (2.47) −∞ Các moment biến ngẫu nhiên cho ta thông tin dáng điệu phân bố xác suất biến ngẫu nhiên Ví dụ, moment trung tâm bậc nhỏ, có nghĩa giá trị X nói chung bị sai lệch so với giá trị kỳ vọng nó, hay nói cách 62 CHƯƠNG BIẾN NGẪU NHIÊN khác phần lớn xác suất phân bổ xác suất X tập trung khoảng nhỏ xung quanh điểm giá trị kỳ vọng Ngược lại, moment trung tâm bậc lớn, phân bố xác suất X nói chung "dàn trải" xa điểm giá trị kỳ vọng Moment trung tâm bậc X gọi hệ số bất đối xứng (skewness), hay cịn gọi độ xiên phân bố xác suất X: Nếu X có phân bố xác suất đối xứng quanh điểm giá trị kỳ vọng (có nghĩa X 2E(X) − X có phân bố xác suất), moment trung tâm bậc Nếu moment trung tâm bậc lớn phân bố xác suất X gọi xiên bên phải, moment trung tâm bậc nhỏ phân bố xác suất X gọi xiên bên trái Hình 2.8: Phân bố bất đối xứng Ví dụ 2.21 Moment trung tâm bậc phân bố normal Ví dụ 2.22 Giả sử có biến ngẫu nhiên X với phân bố xác suất rời rạc sau: P (X = −2) = 1/2, P (X = 1) = 1/4, P (X = 3) = 1/4 Khi giá trị kỳ vọng X 0, moment trung tâm bậc X moment bậc X bằng: (1/2).(−2)3 + (1/4).13 + (1/4).33 = > Đồ thị phân bố xác suất X (với đoạn thẳng nhô lên điểm -2,1,3 trục hoành) bị "lệch bên phải" so lấy điểm giá trị kỳ vọng (= 0) làm trung điểm Moment trung tâm bậc X liên quan đến gọi kurtosis(3) X Theo định nghĩa, kurtosis (hay gọi hệ số nhọn) biến ngẫu nhiên đại lượng γ2 = µ4 − 3, σ4 (2.48) µ4 moment trung tâm bậc 4, cịn σ độ lệch chuẩn Tỷ lệ µ4 /σ gọi moment chuẩn hóa bậc Lý việc chuẩn hóa là: moment chuẩn hóa phân bố normal số không phụ thuộc vào độ lệch chuẩn Moment (3) kurtosis từ gốc tiếng Hy lạp, độ nhọn 2.4 PHƯƠNG SAI, ĐỘ LỆCH CHUẨN, VÀ CÁC MOMENT 63 Hình 2.9: Kurtosis chuẩn hóa bậc phân bố normal 3, kurtosis phân bố normal Khi phân bố xác suất có kurtosis dương (phân bố gọi phân bố leptokurtic hay nhọn vượt chuẩn) có nghĩa "nhọn" phân bố normal có độ lệch chuẩn, kurtosis âm (phân bố gọi phân bố platykurtic) có nghĩa "bẹt" phân bố normal có độ lệch chuẩn Nếu kurtosis phân bố gọi mesokurtic (Xem hình 2.9) Hình 2.10: Thay đổi moment bậc đến bậc Ví dụ 2.23 Hình 2.10 ví dụ minh họa việc dịch chuyển điểm a, b, c, d phân bố xác suất rời rạc P (a) = P (b) = P (c) = P (d) = 1/4, từ vị trí ban đầu a = −3, b = −1, c = 1, d = 3, cho làm tăng moment bậc 1, bậc 2, bậc 3, bậc giữ nguyên moment lại Tất nhiên, hai biến ngẫu nhiên có phân bố xác suất R, tất moment chúng Điều ngược có khơng, hay nói cách khác, dãy moment E(X k ), k = 1, 2, 3, biến ngẫu nhiên xác định hoàn toàn phân bố xác suất biến ngẫu nhiên khơng ? Đây câu hỏi tốn học thú vị Có ví dụ phân bố xác suất liên tục khác có tất moment 64 CHƯƠNG BIẾN NGẪU NHIÊN Tuy nhiên, trường hợp khơng gian xác suất có hữu hạn phần tử (mà thực tất vấn đề thực tế có hữu hạn khả xảy ra, mơ hình liên tục với vơ hạn khả mơ hình mơ gần đúng), ta có: Mệnh đề 2.14 Nếu X Y hai biến ngẫu nhiên nhận số hữu hạn giá trị, có E(X k ) = E(Y k ) với k ∈ N, phân bố xác suất chúng R Bài tập 2.23 Chứng minh mệnh đề Bài tập 2.24 Tính kỳ vọng moment trung tâm phân bố lũy thừa với tham số λ 2.4.3 Bất đẳng thức Chebyschev bất đẳng thức Markov Những bất đẳng thức tương đối đơn giản sau Chebyschev Markov liên quan đến moment có ích việc đánh giá phân bố xác suất biến ngẫu nhiên Định lý 2.15 (Bất đẳng thức Chebyschev cho kỳ vọng) Với biến ngẫu nhiên X nhận giá trị không âm, số dương a > ta có P (X ≥ a) ≤ E(X) a (2.49) Chứng minh Gọi Xa biến ngẫu nhiên sau: Xa = a X ≥ a Xa = X < a Khi X ≥ Xa , Xa nhận hai giá trị a Bởi E(X) ≥ E(Xa ) = 0.P (Xa = 0) + a.P (Xa = a) = a.P (X ≥ a), từ suy điều phải chứng minh Định lý 2.16 (Bất đẳng thức Markov cho moment tuyệt đối) Với biến ngẫu nhiên X, số dương a > 0, số tự nhiên k, ta có P (|X| ≥ a) ≤ E(|X|k ) ak (2.50) Chứng minh Suy từ bất đẳng thức Chebyschev cho biến ngẫu nhiên |X|k số ak Định lý 2.17 (Bất đẳng thức Chebyschev cho phương sai) Nếu X biến ngẫu nhiên có phương sai var(X) hữu hạn a > bất kỳ, ta có P (|X − E(X)| ≥ a) ≤ var(X) a2 (2.51) 2.4 PHƯƠNG SAI, ĐỘ LỆCH CHUẨN, VÀ CÁC MOMENT 65 Hình 2.11: Pafnouti Lvovitch Chebyschev (1821-1894) Hình 2.12: Andrei Andreevitch Markov (1856-1922) Chứng minh Suy từ bất đẳng thức Markov cho biến ngẫu nhiên X − E(X) cho k = Ghi 2.9 Pafnouti Lvovitch Chebyschev (1821-1894) nhà toán học người Nga Ngồi lý thuyết xác suất, ơng ta nghiên cứu nhiều số học đại số Các đa thức sin((n + 1)x) Un bậc n thỏa mãn Un (cos(x)) = gọi đa thức Chebyschev, chúng sin x xuất nhiều toán học ứng dụng Andrei Andreevitch Markov (1856-1922) nhà tốn học người Nga, học trị Chebyschev Các xích Markov (Markov chains) đặc biệt quan trọng lý thuyết xác suất trình ngẫu nhiên (stochastic processes) Các q trình ngẫu nhiên nằm ngồi khuôn khổ sách này, 66 CHƯƠNG BIẾN NGẪU NHIÊN bàn đến sách 2.5 Hàm đặc trưng, hàm sinh, biến đổi Laplace Thay xét moment E(X k ) biến ngẫu nhiên X, ta xét giá trị đặc trưng dạng E(exp(yX)) y tham số Khi ta biến đổi y miền R C, ta hàm giá trị đặc trưng X Sự liên quan hàm moment thể qua đẳng thức sau (xảy ta có điều kiện hội tụ): (y k /k!).X k ) = MX (y) = E(exp(yX)) = E( k E(X k ).(y k /k!) (2.52) k Hàm MX (y) = E(exp(yX)) gọi hàm sinh moment X 2.5.1 Hàm đặc trưng Trong biểu thức MX (y) = E(exp(yX)), ta lấy y = is, (ở i = √ −1) ,với s ∈ R, ta có exp(yX) = exp(isX) = cos(sX) + i sin(sX) biến ngẫu nhiên bị chặn (có giá trị tuyệt đối 1), ta yên tâm tồn E(exp(isX)) Từ có định nghĩa sau: Định nghĩa 2.18 Hàm đặc trưng biến ngẫu nhiên thực X hàm ΦX : R → C cho công thức eisx dPX ΦX (s) = E(exp(isX)) = (2.53) x∈R Ví dụ 2.24 Hàm đặc trưng số phân bố xác suất quen thuộc: i) Hàm đặc trưng số c (tức biến ngẫu nhiên nhận giá trị c) Φc (s) = eics ii) Hàm đặc trưng phân bố nhị thức với tham số n, p hàm (1 − p + peis )n eibs − e−ias iii) Hàm đặc trưng phân bố xác suất đoạn thẳng [a, b] hàm i(b − a)s iv) Hàm đặc trưng phân bố xác suất lũy thừa với tham số (với mật độ ρ(x) = e−x x > 0) hàm − is v) Hàm đặc trưng phân bố xác suất normal chuẩn tắc N (0, 1) hàm Φ(s) = exp(−s2 /2) 2.5 HÀM ĐẶC TRƯNG, HÀM SINH, VÀ BIẾN ĐỔI LAPLACE 67 (Bài tập: Hãy suy công thức từ định nghĩa hàm đặc trưng phân bố xác suất) Định lý 2.18 Một số tính chất hàm đặc trưng: i) ΦX (0) = ii) |ΦX (s)| ≤ với s ∈ R √ iii) Nếu Y = aX + b với a, b số, ΦY (s) = e −1bs ΦX (as) iv) ΦX liên tục R v) Nếu E(|X|k ) < ∞ với số tự nhiên k đó, hàm đặc trưng ΦX khả vi liên tục k lần R, (k) E(X k ) = √ ΦX (0), k ( −1) (2.54) (k) ΦX ký hiệu đạo hàm bậc k ΦX Chứng minh Ba tính chất tương đối hiển nhiên, suy từ định nghĩa Tính chất thứ tư tập dành cho bạn đọc quen với khái niệm liên tục Để chứng minh tính chất cuối cùng, nhớ phép lấy giá trị kỳ vọng phép lấy giá trị trung bình, hiểu phép lấy tổng (của chuỗi), giao hốn với phép lấy đạp hàm (khi số điều kiện hội tụ thỏa mãn) Áp dụng ngun tắc giao hốn vào định nghĩa hàm đặc trưng, ta có đạo hàm bậc k hàm đặc trưng là: (k) ΦX (s) = dk dk ΦX (s) = E( k exp(isX)) = E((iX)k exp(isX)) = ik E(X k exp(isX)) dsk ds (2.55) (k) Đặt s = 0, ta ΦX (0) = ik E(X k ) 2.5.2 Tìm lại phân bố xác suất từ hàm đặc trưng Chúng ta có cơng thức giới hạn sau đây, cho phép tìm lại phân bố xác suất từ hàm đặc trưng nó: Định lý 2.19 Gọi PX phân bố xác suất biến ngẫu nhiên X tùy ý, ΦX hàm đặc trưng Khi với a, b ∈ R, a < b, ta có: lim R→∞ 2π R −R e−ias − e−ibs PX (a) + PX (b) ΦX (s)ds = PX (]a, b[) + is (2.56) Chúng ta chấp nhận định lý mà không chứng minh Nếu bạn đọc biết qua giải tích Fourier tự chứng minh khơng q khó khăn (nó tương tự 68 CHƯƠNG BIẾN NGẪU NHIÊN định lý Dirichlet cho chuỗi Fourier) Nếu khơng xem chẳng hạn Chương sách Koralov Sinai [5] Trong trường hợp X có phân bố xác suất liên tục với hàm mật độ ρX , ta viết +∞ eisx ρX (x)dx ΦX (s) = (2.57) −∞ Trong giải tích, phép tính gọi phép biến đổi Fourier Có nghĩa là, hàm đặc trưng biến đổi Fourier hàm mật độ Chia hai vế công thức (2.56) cho b − a, cho b tiến tới a, ta công thức sau, gọi phép biến đổi ngược Fourier, để tính hàm mật độ từ hàm đặc trưng: ρF (x) = 2π ∞ e−isx ΦF (s)ds (2.58) −∞ Trong trường hợp X biến ngẫu nhiên nguyên (chỉ nhận giá trị Z), hàm đặc trưng ΦX X chuỗi Fourier với hệ số xác suất PX (k) = P (X = k), k ∈ Z: PX (k) exp(iks), ΦX (s) = (2.59) k∈Z ta tính PX (k) từ ΦX theo cơng thức quen thuộc để tính hệ số chuỗi Fourier: PX (k) = 2π π e−iks ΦX (s)ds (2.60) −π Ghi 2.10 Joseph Fourier (1768–1830) nhà toán học vật lý Pháp Trong khoảng thời gian 1798–1801 Fourier theo Napoléon, với 35000 lính Pháp đồn nhà khoa học, sang chinh chiến Ai Cập (Egypt) tìm hiểu văn minh Ai Cập Khi Ai Cập, Fourier trở thành người điều hành Viện Hàn lâm Ai Cập Napoléon lập ra, sau điều hành ln cơng việc hành ngoại giao Ai Cập, gần quan toàn quyền Fourier tỏ có tài trị ngoại giao, đàm phán, hịa giải bên đối lập Sau Pháp đầu hàng Anh Ai Cập năm 1801 Fourier trở Pháp, cử làm tỉnh trưởng (préfet) vùng Isère Trong thời gian Ai Cập, Fourier phát minh chuỗi Fourier, nhìn thấy lớp sóng cát (dunes) sa mạc Chuỗi Fourier biến đổi Fourier thứ công cụ vạn năng, không quan trọng xác suất, mà cịn xuất khắp nơi tốn học vật lý Trong trường hợp tổng quát, phân bố xác suất xác định cách hàm đặc trưng nó: 2.5 HÀM ĐẶC TRƯNG, HÀM SINH, VÀ BIẾN ĐỔI LAPLACE 69 Hình 2.13: Joseph Fourier (1768–1830) Định lý 2.20 Hai biến ngẫu nhiên có phân bố xác suất chúng có hàm đặc trưng Chứng minh Giả sử hai phân bố xác suất PX PY có hàm đặc trưng Φ Công thức (2.56) dẫn đến: PX (]a, b[) + PX (a) + PX (b) PY (a) + PY (b) = PY (]a, b[) + 2 với a < b Ta chọn a b điểm liên tục FX FY , cho a tiến tới −∞, ta được: FX (b) = FY (b) điểm b mà điểm liên tục FX FY Giả sử x ∈ R điểm tùy ý Nhắc lại số điểm gián đoạn hàm phân phối xác suất R không đếm Vì tồn dãy điểm xn > x cho xn tiến tới x n tiến tới vô cùng, xn điểm liên tục FX FY với n Nhắc lại rằng, hàm phân phối xác suất có tính chất liên tục bên phải Do ta có: FX (x) = limn→∞ FX (xn ) = limn→∞ FY (xn ) = FY (x) Như vậy, hai hàm phân phối xác suất FX FY trùng nhau, hai phân bố xác suất PX PY trùng Bài tập 2.25 Ta gọi biến ngẫu nhiên X đối xứng X −X có phân bố xác suất Hãy xây dựng ví dụ biến ngẫu nhiên đối xứng, chứng minh biến ngẫu nhiên đối xứng hàm đặc trưng ΦX hàm thực (tức ΦX (s) ∈ R với s ∈ R) 70 CHƯƠNG BIẾN NGẪU NHIÊN 2.5.3 Hàm sinh xác suất biến đổi Laplace Trong biểu thức E(exp(yX)), đặt y = ln z, ta hàm sau, gọi hàm sinh xác suất: GX (z) = E(z X ) (2.61) Hàm sinh xác suất hay dùng mà giá trị biến ngẫu nhiên số ngun khơng âm Khi hàm sinh xác suất có dạng đa thức chuỗi Taylor có bán kính hội tụ lớn 1: PX (k).z k , GX (z) = (2.62) k ta có P (X = k) = dk GX (z) k! dz k với k ∈ Z+ z=0 Từ quan điểm giải tích phức, hàm đặc trưng ΦX (s) hàm sinh GX (z) gần một, chuyển từ hàm sang hàm cách đổi biến Bởi vậy, tất nhiên moment biến ngẫu nhiên suy từ hàm sinh xác suất biến ngẫu nhiên Ta có định lý sau: Định lý 2.21 Giả sử X biến ngẫu nhiên với hàm sinh xác suất G Khi đó: 1) E(X) = G (1) 2) var(X) = σ (X) = G (1) + G (1) − (G (1))2 3) E(X(X − 1) (X − k + 1)) = G(k) (1) với k ∈ N Ở G(k) đạo hàm bậc k G Ví dụ 2.25 Hàm sinh xác suất biến ngẫu nhiên X với phân bố Poisson với tham số λ hàm GX (z) = exp((z − 1)λ) Thật vậy, ta có: GX (z) = E(z X ) = k) = k k z k P (X = e−λ λk z k /k! = e−λ eλz = eλ(z−1) Từ suy E(X) = GX (1) = λ, GX (1) = λ2 var(X) = GX (1) + GX (1) − (GX (1))2 = λ2 + λ − λ2 = λ Trong trường hợp biến ngẫu nhiên X nhận giá trị thực không âm, người ta hay dùng hàm Laplace LX (t) : R+ → R, nhân từ biểu thức E(exp(yX)) cách đặt t = −y: LX (t) = E(exp(−tX)) (2.63) Ở ta coi biến t nằm tập số thực không âm Với giả sử F nhận giá trị không âm, ta có < (exp(−tF )) ≤ 1, từ suy giá trị LF (t) số dương bị chặn 2.5 HÀM ĐẶC TRƯNG, HÀM SINH, VÀ BIẾN ĐỔI LAPLACE 71 Trong trường hợp F có phân bố xác suất liên tục với hàm mật độ ρF thỏa mãn điều kiện ρF (x) = với x < (có nghĩa F khơng nhận giá trị âm), ta có ∞ exp−tx ρF (x)dx, LF (t) = (2.64) hàm LF (t) gọi biến đổi Laplace hàm mật độ ρF (x) Tương tự hàm sinh hàm đặc trưng, đạo hàm hàm LF (t) điểm t = cho ta moment F Hình 2.14: Pierre-Simon Laplace (1949-1827) Ghi 2.11 (4) Pierre-Simon Laplace (1749-1827) nhà toán học, thiên văn học vật lý người Pháp, nhà khoa học lực châu Âu thời đại ơng ta Ơng ta nghiên cứu nhiều thứ, từ xác suất (định lý giới hạn trung tâm, biến đổi Laplace) đến giải tích điều hịa, học, âm thanh, truyền nhiệt, thiên thể, v.v Laplace người đặt giả thuyết lỗ đen (black hole) co lại trọng lượng (gravitational collapse) vật lý thiên văn Laplace có tham vọng trị, thành viên thượng nghị viện Có lúc làm Bộ trưởng Bộ nội vụ thời Napoléon, sau tuần bị cách chức khơng việc Laplace bị nhiều người thời khơng ưa tính bạc bẽo, ích kỷ, có cịn vơ cơng trình người khác thành mình, thay đổi quan điểm trị chong chóng “theo chiều gió” Nhưng mặt khoa học, Laplace người vĩ đại kỷ 18-19 Biến đổi Laplace gọi Laplace đưa vào để nghiên cứu xác suất, với hàm sinh xác suất Biến đổi Laplace xuất nhiều nơi khác vật lý toán học Leonhard Euler (1707–1783) có lẽ người nghĩ biến đổi (4) Xem wikipedia: http://fr.wikipedia.org/wiki/Pierre-Simon_Laplace 72 CHƯƠNG BIẾN NGẪU NHIÊN Bài tập 2.26 Chứng minh hàm sinh xác suất biến ngẫu nhiên với phân bố pz hình học với tham số p hàm G(z) = Từ suy kỳ vọng phương sai − z + pz phân bố hình học Bài tập 2.27 Tính hàm sinh xác suất hàm Laplace phân bố nhị thức với tham số n, p Bài tập 2.28 Chứng minh định lý 2.21 cho trường hợp F nhận số hữu hạn giá trị ... thuộc vào điều kiện xác suất coi phụ thuộc vào thông tin Xác suất phụ thuộc vào người quan sát, tính chủ quan xác suất Cùng 1.1 XÁC SUẤT LÀ GÌ ? kiện, hai người quan sát khác tính hai kết xác suất. .. cửa lại ? Xác suất phụ thuộc vào điều kiện Chúng ta bàn xác suất có điều kiện cơng thức tính xác suất có điều kiện phần sau Điều đáng ý là, xác suất coi xác suất có điều kiện, phụ thuộc vào điều... 1.1 Một học sinh thi vào trường đại học Nếu xác suất thi đỗ 80% xác suất thi trượt 20% (= 100% - 80%), 30%, xác suất thi đỗ 80% xác suất thi trượt 30% khơng qn 1.1 XÁC SUẤT LÀ GÌ ? Ví dụ 1.2