ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VIỆT ANH PHÁT HIỆN NGÃ SỬ DỤNG ĐẶC TRƯNG CHUYỂN ĐỘNG VÀ HÌNH DẠNG CƠ THỂ DỰA TRÊN CAMERA ĐƠN LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội - 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VIỆT ANH PHÁT HIỆN NGÃ SỬ DỤNG ĐẶC TRƯNG CHUYỂN ĐỘNG VÀ HÌNH DẠNG CƠ THỂ DỰA TRÊN CAMERA ĐƠN Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS Lê Thanh Hà TS Nguyễn Thị Thuỷ Hà Nội - 2016 i LỜI CAM ĐOAN Tôi xin cam đoan kết nghiên cứu, thực nghiệm trình bày luận văn thực hướng dẫn Phó giáo sư, Tiến sĩ Lê Thanh Hà Tiến sĩ Nguyễn Thị Thuỷ Tất tham khảo từ nghiên cứu liên quan nêu nguồn gốc cách rõ ràng từ danh mục tài liệu tham khảo luận văn Trong luận văn, việc chép tài liệu, công trình nghiên cứu người khác mà không rõ tài liệu tham khảo TÁC GIẢ LUẬN VĂN Nguyễn Việt Anh ii LỜI CẢM ƠN Trước tiên, xin gửi lời cảm ơn sâu sắc đến thầy giáo, Phó giáo sư, Tiến sĩ Lê Thanh Hà cô giáo, Tiến sĩ Nguyễn Thị Thuỷ, tận tình hướng dẫn suốt trình thực luận văn tốt nghiệp Cảm ơn thầy giáo - Tiến sĩ Trần Quốc Long, Tiến sĩ Nguyễn Đỗ Văn có góp ý, nhận xét quý giá giúp cải thiện kết nghiên cứu luận văn Tôi xin bày tỏ lời cảm ơn chân thành tới trường Đại học Công Nghệ - ĐHQG Hà Nội thầy cô giáo giảng dạy, truyền thụ kiến thức thời gian qua Cuối cùng, xin cảm ơn tất gia đình, bạn bè động viên giúp đỡ thời gian nghiên cứu đề tài Tuy có cố gắng định thời gian trình độ có hạn nên luận văn nhiều thiếu sót hạn chế Kính mong nhận góp ý thầy cô bạn TÁC GIẢ LUẬN VĂN Nguyễn Việt Anh MỤC LỤC LỜI CAM ĐOAN .i LỜI CẢM ƠN ii Danh mục ký hiệu chữ viết tắt Danh mục hình vẽ Danh mục bảng MỞ ĐẦU CHƯƠNG TỔNG QUAN BÀI TOÁN PHÁT HIỆN NGÃ TỰ ĐỘNG .10 Phát ngã sử dụng thiết bị mang theo người 11 1.1.1 Gia tốc kế gắn thể 11 1.1.2 Cảm biến tích hợp điện thoại thông minh 11 1.1.3 Xu hướng, ưu điểm hạn chế .12 Phát ngã dựa phân tích liệu video 12 1.2.1 Phát ngã sử dụng camera đơn 13 1.2.2 Phát ngã sử dụng hệ multi camera 13 1.2.3 Phát ngã sử dụng Camera độ sâu 14 CHƯƠNG CƠ SỞ LÝ THUYẾT 16 Tổng quan xử lý ảnh số 16 2.1.1 Ảnh kỹ thuật số 16 2.1.2 Xử lý ảnh số 18 2.1.3 Các phép toán xử lý ảnh .22 Tổng quan thị giác máy tính 31 2.2.1 Hệ thống kỹ thuật thị giác máy 33 2.2.2 Các khái niệm quan trọng 34 2.2.3 Phân tích nội dung video (video content analysis) 39 2.2.4 Bài toán phát hành động (action detection) .42 CHƯƠNG PHƯƠNG THỨC ĐỀ XUẤT 44 Tổng quan .44 Phân tách vùng chuyển động 45 3.2.1 Một số thuật toán trừ 46 3.2.2 Áp dụng kỹ thuật trừ nền, phân tách vùng chuyển động 51 Trích rút đặc trưng chuyển động 55 3.3.1 Optical flow .55 3.3.2 Motion History Image (MHI) 57 3.3.3 Image Moments .58 3.3.1 Áp dụng MHI, Image Moments trích rút đặc trưng chuyển động 59 Trích rút đặc trưng hình dạng thể 62 3.4.1 Kỹ thuật fitting ellipse .63 3.4.2 Áp dụng fitting ellipse đo lường đặc trưng hình dạng 65 Phát ngã 66 CHƯƠNG THÍ NGHIỆM VÀ ĐÁNH GIÁ 68 Tập liệu phương pháp đánh giá hiệu thuật toán .68 4.1.1 Tập liệu thực nghiệm 68 4.1.2 Phương pháp đánh giá độ hiệu giải thuật 69 Cài đặt thí nghiệm 70 Kết thảo luận .70 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 72 TÀI LIỆU THAM KHẢO .74 Danh mục ký hiệu chữ viết tắt Viết tắt GMM MHI SVM KDE CB Tiếng Anh Gaussian Mixture Model Motion History Image Support Vector Machine Kernel Density Estimation Code book Tiếng Việt Mô hình Gaussian hỗn hợp Ảnh lịch sử chuyển động Máy vector hỗ trợ Bảng mã Danh mục hình vẽ Hình 1.1 Thiết bị có tích hợp cảm biến điện thoại hay gậy thông minh 11 Hình 1.2 Minh hoạ hệ thống phát ngã tự động dựa phân tích video 12 Hình 1.3 Hoạt động camera độ sâu 14 Hình 2.1 Hệ thống phân tích ảnh số 18 Hình 2.2 Minh họa chu kỳ lấy mẫu tín hiệu 20 Hình 2.3 Các láng riềng điểm ảnh 23 Hình 2.4 Hai tập điểm ảnh phụ cận với 24 Hình 2.5 Minh họa đường bao vùng ảnh 25 Hình 2.6 Ví dụ minh họa điều chỉnh độ tương phản 26 Hình 2.7 Minh họa cân biểu đồ mức xám 27 Hình 2.8 Minh họa phân bố Gaussian hàm chiều 28 Hình 2.9 Minh họa phân bố Gaussian hai chiều 29 Hình 2.10 Xấp xỉ rời rạc cho hàm Gaussian với 𝜎𝜎 = 29 Hình 2.11 Minh họa lọc Gaussian 29 Hình 2.12 Phép giãn nở 30 Hình 2.13 Phép xói mòn 30 Hình 2.14 Một số ví dụ thuật toán thị giác máy xuất sớm 31 Hình 2.15 Một số ứng dụng công nghiệp thị giác máy 33 Hình 2.16 Hệ thống kỹ thuật thị giác máy 34 Hình 2.17 Hệ toạ độ giới thực hệ toạ độ camera 35 Hình 2.18 Phép chuyển trục toạ độ 35 Hình 2.19 Đối sánh vùng ảnh ảnh 36 Hình 2.20 Điểm hấp dẫn ảnh 37 Hình 2.21 Ví dụ không gian đặc trưng ảnh 38 Hình 2.22 Biểu diễn dấu hiệu đối tượng không gian đặc trưng 38 Hình 2.23 Các điểm phân cụm với tương đồng cao cụm 39 Hình 3.1 Luồng hoạt động hệ thống phát ngã đề xuất 45 Hình 3.2 Minh họa trừ 46 Hình 3.3 Minh họa mô hình 49 Hình 3.4 Đánh giá biến đổi màu sắc theo cường độ sáng 50 Hình 3.5 Minh hoạ phương pháp đánh giá hiệu kỹ thuật trừ 51 Hình 3.6 Đường cong Precision-Recall kỹ thuật trừ thử nghiệm tập liệu có tĩnh, không nhiễu 52 Hình 3.7 Đường cong Precision-Recall kỹ thuật trừ thử nghiệm tập liệu có phức tạp 53 Hình 3.8 Đường cong Precision-Recall kỹ thuật trừ thử nghiệm tập liệu nhiễu 53 Hình 3.9 Một ví dụ phân tách vùng chuyển động 55 Hình 3.10 Ví dụ minh họa ảnh MH 58 Hình 3.11 So sánh phương thức xác định hướng chuyển động 60 Hình 3.12 Minh hoạ xác định Mrate lỗi thời điểm gần kết thúc chuyển động 61 Hình 3.13 Ví dụ cho ước lượng độ lớn chuyển động 62 Hình 3.14 So sánh kỹ thuật bounding box với fitting ellipse Hình 3.15 Minh họa thay đổi hình dạng thể ngã Hình 3.16 Quy ước góc xác định hướng chuyển động góc nghiêng thể Hình 4.1 Một số hình ảnh tập liệu thực nghiệm 65 66 67 69 Danh mục bảng Bảng 3.1 Bảng 3.2 Bảng 3.3 Bảng 4.1 Bảng 4.2 Thời gian xử lý trung bình kỹ thuật trừ Số phép tính dấu phẩy động kỹ thuật trừ Bảng so sánh chung mức độ hiệu kỹ thuật trừ Bảng mô tả tập liệu thực nghiệm Kết thực nghiệm 53 54 54 68 70 70 Cài đặt thí nghiệm Giải thuật phương thức đề xuất luận văn cài đặt ngôn ngữ Python với thư viện OpenCV môi trường MacOS Hệ thống dùng để thử nghiệm máy tính gồm CPU Core i5 2.9MHz, 8GB RAM, 512GB SSD Để xác thực hiệu kỹ thuật đề xuất, tác giả thực thí nghiệm riêng biệt, thí nghiệm không áp dụng kỹ thuật giới thiệu Ở thí nghiệm cuối cùng, tất kỹ thuật sử dụng Cụ thể sau: • Thí nghiệm thứ nhất: Không sử dụng MHI đo lường hình dáng thể mà mô tả phần 3.4.2 • Thí nghiệm thứ 2: Sử dụng phương thức tính hướng gradient thông thường đề xuất [33] thay cho phương thức giới thiệu phần 1) mục 3.3.1 • Không áp dụng thông tin chuyển động trọng tâm để hạn chế lỗi ước lượng độ lớn chuyển động sử dụng MHI, mô tả phần 2) mục 3.3.1 • Áp dụng tất kỹ thuật đề xuất Kết thảo luận Tác giả sử dụng tập liệu thử nghiệm khác nhau, với môi trường khác biệt rõ rệt: Góc camera chiều cao đặt camera khác nhau; khoảng cách từ camera đến vùng phát ngã khác nhau; điều kiện chiếu sáng khác nhau; v.v Vì vậy, với liệu cần đặt ngưỡng giá trị cho đặc trưng khác Các ngưỡng xác định thông qua thực nghiệm để đạt kết tốt Bảng 4.2 trình bày kết thí nghiệm tập liệu Các dòng từ đến tương ứng với thí nghiệm đến thí nghiệm mô tả phần trước chương Bảng 4.2 Kết thực nghiệm Datasets Lecture-room Coffee-room Home Thí nghiệm 4 Recall(%) 92.86 92.86 100 100 88.71 82.26 70.97 90.32 87.88 87.88 72.73 93.94 Precision(%) 81.25 92.86 82.35 93.33 94.83 100 100 94.92 93.55 100 96 96.88 F-measure 0.867 0.929 0.903 0.965 0.917 0.903 0.83 0.926 0.906 0.935 0.828 0.954 71 Office 82.35 64.71 52.94 82.35 77.78 73.33 52.94 87.50 0.8 0.688 0.529 0.848 Từ bảng kết nhận thấy, thí nghiệm cuối áp dụng tất kỹ thuật đề xuất, tỉ lệ khôi phục (Recall) cao hẳn Tuy nhiên tỉ lệ xác hai trường hợp thấp chút Cụ thể thí nghiệm so với thí nghiệm cho tập liệu Coffee-room; thí nghiệm so với thí nghiệm tập liệu Home Tuy nhiên ngữ cảnh toán phát ngã, tỉ lệ khôi phục thường quan trọng tỉ lệ xác không khác biệt Vì để đánh giá hiệu giải thuật, cần vào hệ số điều hòa F-measure Hệ số thể mối tương quan tỉ lệ khôi phục tỉ lệ xác kết Trong thí nghiệm, thí nghiệm thứ cho giá trị F-measure cao hẳn thí nghiệm khác Ngoài F-measure đạt giá trị cao, 0.965 cho tập Lecture-room; 0.926 cho tập Coffee-room; 0.954 cho tập Home 0.848 tập Office Ngoài thấy kết thí nghiệm tập Lecture-room cao tập liệu thử nghiệm, tập Office cho kết thấp Điều tập Lecture-room, camera đặt vị trí phù hợp đủ xa khu vực người di chuyển, dẫn đến tránh tượng tự động đo sáng lại camera Cộng với việc môi trường tập chứa nguồn sáng phức tạp cửa sổ, khiến cho giải thuật phát chuyển động không gặp nhiều khó khăn Ngược lại, môi trường tập Office có cửa sổ nên người di chuyển che khuất phần cửa sổ làm thay đổi đột ngột điều kiện chiếu sáng khung cảnh Camera đặt thấp gần ngang người Khi người di chuyển lại gần camera khiến camera đo sáng lại, gây thay đổi độ sáng khắp khung hình Những điều gây nhiều khó khăn cho giải thuật trừ áp dụng Tóm lại, trường hợp phát lỗi nhiễu tạo trình phân tách vùng chuyển động lý thay đổi điều kiện chiếu sáng đột ngột Quan sát trình thí nghiệm, số lỗi xuất có hoạt động thường ngày có đặc điểm giống với hành động ngã, ví dụ ngồi xuống dứt khoát; chủ động nằm với tốc độ nhanh Thời gian xử lý Với đặc điểm toán phát hành động thời gian thực, yêu cầu tính toán hệ thống phải đảm bảo lực xử lý tối thiểu 10fps Với hệ thống thực thí nghiệm mô tả phần trước, tốc độ xử lý giải thuật xấp xỉ 90fps, đáp ứng tốt yêu cầu hoạt động thời gian thực toán 72 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Qua trình thực luận văn, tác giả tiến hành tìm hiểu lý thuyết tổng quan lĩnh vực xử lý ảnh số thị giác máy, có hội tiếp cận với số giải thuật học máy Tác giả sâu vào tìm hiểu giải thuật thị giác máy quan trọng giải thuật trừ nền, giải thuật trích chọn số đặc trưng quan trọng góc, điểm bất biến, đặc trưng SIFT, SUFT, v.v , có hiểu biết dạng toán thuộc ngành thị giác máy, qua làm tảng cho trình học tập nghiên cứu thân lĩnh vực Về mặt thực tiễn, luận văn giới thiệu phương thức tự động phát ngã dựa việc kết hợp đặc trưng chuyển động hướng độ lớn, với đặc trưng thay đổi hình dáng thể Luận văn đề xuất số cải tiến giải thuật MHI, đề xuất sử dụng đặc điểm chuyển động trọng tâm thể để cải thiện kết đo lường chuyển động dựa MHI Điểm mấu chốt phương thức đề xuất là thông qua phân tích đặc điểm thực tế trình ngã dựa quan sát kỹ lưỡng, từ khai thác hợp lý đặc trưng trích rút Việc đưa dự đoán việc ngã không dựa giá trị đặc trưng thời điểm, mà dựa quan sát giá trị đặc trưng toàn khoảng thời gian tương ứng với hành động ngã, từ bắt đầu xuất chuyển động nhanh bất thường đến không xuất chuyển động sau ngã Các ngưỡng xác định thủ công dựa suy luận từ đặc điểm việc ngã trình quan sát video thử nghiệm Với việc lựa chọn tập liệu thực nghiệm với nhiều môi trường khác nhau, điều kiện ánh sáng khác nhau, vị trí góc độ camera đặt khác nhau, kịch ngã phong phú xen hoạt động thông thường ngày, kết đạt luận văn khả quan Các trường hợp nhận diện sai lầm chủ yếu nhiễu, thay đổi ánh sáng đột ngột người di chuyển gần ống kính camera, khiến kích hoạt chức tự động đo sáng camera, ảnh hưởng đến giải thuật phân tách vùng chuyển động Một số trường hợp nhận diện nhầm hành động nằm, ngồi dứt khoát Để giải vấn đề trên, tác giả dự kiến tìm hiểu giải pháp trừ phù hợp nữa, giúp loại trừ trường hợp camera điều chỉnh độ sáng, bổ xung kỹ thuật phát vùng đầu người (head detection) kỹ thuật giới hạn vùng quan tâm (inactivity zone) nghiên cứu Ngoài ra, để mở rộng phạm vi toán trường hợp bối cảnh có nhiều người, tác giả dự định tìm hiểu kỹ thuật theo vết đối tượng (object tracking) cho việc cải tiến phương thức đề xuất Kết nghiên cứu kỹ thuật đề xuất đồng thời trình bày báo [51] gửi hội thảo quốc tế SoICT chấp nhận 73 Danh mục công trình khoa học tác giả liên quan đến luận văn Viet Anh Nguyen, Thanh Ha Le and Thuy Thi Nguyen Single camera based Fall detection using Motion and Human shape Features In The Seventh International Symposium on Information and Communication Technology (SoICT 2016), chấp nhận đăng kỷ yếu trình bày hội thảo  ... QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VIỆT ANH PHÁT HIỆN NGÃ SỬ DỤNG ĐẶC TRƯNG CHUYỂN ĐỘNG VÀ HÌNH DẠNG CƠ THỂ DỰA TRÊN CAMERA ĐƠN Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần... thức tự động phát ngã dựa việc kết hợp đặc trưng chuyển động hướng độ lớn, với đặc trưng thay đổi hình dáng thể Luận văn đề xuất số cải tiến giải thuật MHI, đề xuất sử dụng đặc điểm chuyển động. .. kết thúc chuyển động 61 Hình 3.13 Ví dụ cho ước lượng độ lớn chuyển động 62 Hình 3.14 So sánh kỹ thuật bounding box với fitting ellipse Hình 3.15 Minh họa thay đổi hình dạng thể ngã Hình 3.16