ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN ANH TÚ PHÂN TÍCH DÁNG ĐI NGƯỜI SỬ DỤNG THƠNG TIN ĐƯỜNG BAO LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Đà Nẵng – Năm 2017 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN ANH TÚ PHÂN TÍCH DÁNG ĐI NGƯỜI SỬ DỤNG THÔNG TIN ĐƯỜNG BAO Chuyên ngành: Khoa học máy tính Mã số: 60480101 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS HUỲNH HỮU HƯNG Đà Nẵng – Năm 2017 i LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu riêng hướng dẫn trực tiếp TS Huỳnh Hữu Hưng Mọi tham khảo dùng luận văn trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian, địa điểm cơng bố Mọi chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, tơi xin chịu hồn tồn trách nhiệm Tác giả Trần Anh Tú ii MỤC LỤC LỜI CAM ĐOAN i MỤC LỤC ii DANH MỤC CÁC TỪ VIẾT TẮT v DANH MỤC CÁC BẢNG vii DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ viii MỞ ĐẦU 1 Lý chọn đề tài Mục đích nhiệm vụ nghiên cứu 2.1 Mục đích nghiên cứu 2.2 Nhiệm vụ nghiên cứu Đối tượng phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu 3.2 Phạm vi nghiên cứu Phương pháp nghiên cứu 4.1 Phương pháp lý thuyết 4.2 Phương pháp thực nghiệm Giải pháp đề xuất Ý nghĩa khoa học thực tiễn đề tài 6.1 Ý nghĩa khoa học đề tài 6.2 Ý nghĩa thực tiễn đề tài Kết dự kiến Cấu trúc luận văn CHƯƠNG - NGHIÊN CỨU TỔNG QUAN 1.1 GIỚI THIỆU CHUNG VỀ XỬ LÝ ẢNH 1.2 TỔNG QUAN CÁC VẤN ĐỀ CƠ BẢN TRONG XỬ LÝ ẢNH 1.2.1 Nắn chỉnh biến dạng 1.2.2 Khử nhiễu 1.2.3 Chỉnh mức xám 1.2.4 Trích chọn đặc trưng 1.2.5 Nhận dạng 1.2.6 Nén ảnh 1.3 CÁC GIAI ĐOẠN TRONG DÁNG ĐI Ở NGƯỜI 1.3.1 Giai đoạn tựa (chống) 10 1.3.2 Giai đoạn đu đưa 11 1.3 QUÁ TRÌNH XỬ LÝ VÀ NHẬN DẠNG DÁNG ĐI 12 1.3.1 Các giai đoạn hệ thống nhận dạng dáng 12 1.3.2 Dữ liệu vào 13 1.3.3 Tiền xử lý 13 iii 1.3.4 Trích chọn đặc trưng 17 1.3.5 Nhận dạng 18 1.4 CÁC ỨNG DỤNG DỰA TRÊN PHÂN TÍCH DÁNG ĐI 18 1.4.1 Ứng dụng lĩnh vực an ninh 18 1.4.2 Ứng dụng lĩnh vực bảo mật 19 1.4.3 Ứng dụng lĩnh vực y tế 19 1.5 NHỮNG THÁCH THỨC TRONG NHẬN DẠNG DÁNG ĐI 20 1.5.1 Bài tốn có q nhiều chiều 20 1.5.2 Hiện tượng bị che khuất 20 1.5.3 Môi trường không kiểm soát 20 1.5.4 Nhận diện thời điểm bắt đầu kết thúc 21 1.5.5 Lựa chọn đặc trưng phù hợp 21 1.5.6 Tốc độ xử lý tính xác nhận dạng 21 1.6 KẾT LUẬN CHƯƠNG 21 CHƯƠNG - PHÁT HIỆN VÀ PHÂN TÍCH DÁNG ĐI DỰA TRÊN THƠNG TIN ĐƯỜNG BAO 22 2.1 TIỀN XỬ LÝ 22 2.1.1 Phát chuyển động truy dấu 22 2.1.2 Mơ hình (Background Modeling) 22 2.1.3 Sự khác biệt (Differencing) 23 2.1.4 Hậu xử lý truy dấu 23 2.2 Trích chọn đặc trưng 25 2.2.1 Biểu diễn đường bao (Silhouette) 25 2.2.2 Huấn luyện phép chiếu (Projection) 26 2.2.3 Đặc trưng HOG 29 2.3 KỸ THUẬT NHẬN DẠNG 30 2.3.1 Đo lường tương tự (Similarity Measures) 30 2.3.2 Phân lớp 33 2.3.3 Kỹ thuật sử dụng mạng nơ-ron nhân tạo - ANN 34 2.3.4 Kỹ thuật sử dụng máy vector hỗ trợ - SVM 36 2.3.5 Sử dụng mô hình Markov ẩn - HMM 38 2.3 KẾT LUẬN CHƯƠNG 39 CHƯƠNG 3: THỰC NGHIỆM VÀ ĐÁNH GIÁ 40 3.1 THU THẬP DỮ LIỆU 40 3.2 TRIỂN KHAI CÀI ĐẶT 40 3.2.1 Tiền xử lý 40 3.2.2 Trích chọn đặc trưng 41 3.2.3 Huấn luyện 44 3.2.4 Triển khai nhận dạng tảng di động 46 iv 3.3 KẾT QUẢ THỰC NGHIỆM 49 3.3.1 Kết huấn luyện 49 3.3.2 Kết nhận dạng 52 3.3.3 So sánh với phương pháp khác 52 3.4 NHẬN XÉT KẾT QUẢ 53 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 54 TÀI LIỆU THAM KHẢO 55 v PHÂN TÍCH DÁNG ĐI NGƯỜI SỬ DỤNG THÔNG TIN ĐƯỜNG BAO Học viên: Trần Anh Tú Chuyên ngành: Khoa học máy tính Mã số: 60480101 Trường Đại học Bách khoa – ĐHĐN Khóa: 32 Tóm tắt – Ngày nay, nghiên cứu lĩnh vực thị giác máy tính hỗ trợ nhiều cho công tác y tế, đặc biệt nghiên cứu phân tích dáng giúp nhận dạng đối tượng phân tích dáng bệnh nhân Trong luận văn này đề xuất giải pháp phân tích dáng sử dụng thơng tin đường bao, sau nhận dạng đưa kết dựa liệu phân lớp Quá trình xử lý bao gồm bước: (1) thu nhận đặc trưng đường biên thể thông qua việc sử dụng camera tập liệu mẫu; (2) tính tốn thơng số đặc trưng đặc trưng đường bao; (3) huấn luyện liệu đặc trưng thu mơ hình liệu phân lớp; (4) tiến hành nhận dạng so sánh liệu nhận dạng với liệu phân lớp để đưa kết luận Từ khóa – Nhận dạng dáng đi, nhận dạng dáng người, định danh người, phân tích đường bao, phân tích dáng SILHOUETTE ANALYSIS-BASED GAIT RECOGNITION Abstract - Nowadays, visual computing studies support a great deal of medical work, especially gait analysis studies that help identify an object or analyze the gait of a patient This thesis proposes a parsimensional solution that uses envelope information, then identifies and outputs based on classified data The process consists of the following steps: (1) acquiring bodily features through the use of Kinect; (2) calculation of characteristic parameters including joint location and envelope characteristics; (3) specific data training and obtained stratified data model; (4) Identify and compare identifiers with classed data to make conclusions Key words – Gait recognition, human gait recognition, human identification, silhouette analysis, gait analysis vi DANH MỤC CÁC TỪ VIẾT TẮT 2D Two Dimension 3D Three Dimension ANN Artificial Neural Network BPNN Back propagation neural network CSDL Cơ sở liệu DoG Difference of Gaussian HMM Hidden Markov Model HOG Histogram Orientation Gradient K-NN K-Nearest Neighbors MEM Maximum Entropy Model MLP Multi-layer Perceptrons PCA Principal Components Analysis RGB Red-Green-Blue SIFT Scale Invariant Feature Transforms SV Support vector SVM Support Vector Machines VR Virtual reality THPT Trung học phổ thông PCA Principal Component Analysis vii DANH MỤC CÁC BẢNG Số hiệu bảng 3.1 Tên bảng So sánh độ xác với phương pháp khác Trang 53 viii DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Số hiệu hình vẽ 0.1 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 1.10 1.11 1.12 Tên hình vẽ Trang 9 11 12 13 14 15 15 16 17 2.5 2.6 2.7 Sơ đồ phương pháp dự kiến Quá trình xử lý ảnh Ảnh thu nhận ảnh mong muốn Các dáng bình thường Mơ tả khung xương chân cho giai đoạn chống Mô tả khung xương chân cho giai đoạn đu đưa Các giai đoạn hệ thống nhận dạng dáng Một số hình ảnh gian đoạn bước chân Ví dụ chuyển ảnh RGB sang ảnh nhị phân Ví dụ q trình chuyển đổi ảnh lọc nhiễu Phân đoạn ảnh dựa ngưỡng lược đồ mức xám Mô tả tách biên từ ảnh nhị phân Phân đoạn dựa theo vùng Một ví dụ đối tượng sân bay nhận dạng khn mặt Một mơ hình nhận diện dáng để mở khố cửa tự động Một ví dụ phân tích dáng y học Ví dụ tách đường bao chuyển động Sự thay đổi đường bao mẫu dáng Biểu diễn đường bao Minh họa PCA: tìm trục tọa độ cho liệu có độ biến thiên cao Ảnh sau tính gradient chia thành cell Phân tích chu kì dáng Phân lớp dựa vào thuật tốn K-NN 2.8 Mơ hình nơ-ron sinh học 35 2.9 2.10 36 36 2.12 Mơ hình cấu trúc nơ-ron ANN Học sửa lỗi thông qua điều chỉnh trọng số Ánh xạ liệu từ không gian gốc sang không gian đặc trưng cho phép phân chia liệu siêu phẳng Siêu phẳng tối ưu với mức lề cực đại 2.13 Ví dụ q trình phân lớp SVM đa lớp 38 2.14 Tham số xác suất mơ hình Markov ẩn 39 1.13 1.14 1.15 2.1 2.2 2.3 2.4 2.11 19 20 20 24 25 26 29 30 32 34 37 38 53 Distance using sliding window with window size = 15 (0.5*Ds +0.5*Dk +0.0*Dm) [4] 86.51% Phương thức luận văn sử dụng DNN (training step = 2000) 75.5% Phương thức triển khai DNN (training step = 4000) 87.1% Dựa kết so sánh độ xác 3.1, thấy độ xác phương pháp đưa tương đương với phương pháp khác Trong ứng dụng thực tế tăng số training step để tăng độ xác trình nhận diện 3.4 NHẬN XÉT KẾT QUẢ Dựa kết đạt được, thấy phương pháp đề có độ xác tương đối cao, nói chấp nhận Tuy nhiên chưa đánh giá vấn đề hiệu tốc độ trình huấn luyện nhận dạng Việc phân tích dáng theo chiều vng góc với máy quay làm giảm đáng kể độ xác kết quả, cần phải mở rộng nghiên cứu cách phân tích dáng theo hướng nêu mục Ngoài ra, việc triển khai nhận dạng tảng di động đưa hướng việc triển khai ứng dụng phân tích dáng lên phương tiện di động, mở nhiều ứng dụng thực tế hơn, dễ dàng đưa công nghệ tới người dung phổ thông 54 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Với nhu cầu ngày tăng hệ thống giám sát trực quan, nhận dạng đối tượng người khoảng cách định quan tâm nhiều thời gian gần Phân tích dáng phương pháp tiềm nhiều nghiên cứu tương tự chứng minh phương pháp sinh trắc học khả thi có tiềm lớn việc ứng dụng vào nhiều lĩnh vực đời sống Sự phát triển kĩ thuật thị giác máy tĩnh ảnh lớn theo chiều hướng tích cực tới khả nâng cao độ xác phương pháp phân tích dáng Luận văn mơ tả kiến thức liên quan tới việc phân tích dáng Đồng thời mô tả phương pháp đơn giản hiệu để phân tích/nhận dạng đối tượng người từ đường bao dáng thể Sự kết hợp việc tách phép chiếu đối đối xứng sử dụng để phân đoạn, truy dấu dựa đường bao người Việc lựa chọn đặc trưng đơn giản tham số không giam đặc trưng làm giảm đáng kể chi phí tính tốn q trình huấn luyện nhận dạng Bằng thực nghiệm cụ thể đựa tập sở liệu có sẵn, luận văn chứng minh tính khả thi đề tài số điều kiện định Tuy nhiên, tỉ lệ nhận dạng xác chưa cao, cần phải nghiên cứu nhiều phương pháp xây dựng phương pháp để đề cao độ xác phương pháp Để triển khai dự án môi trường rộng hơn, tác giả cần phải làm nhiều Mặc dù kết hợp lệ, lại đưa nhiều kết luận dáng cụ thể Vì việc tiến hành thực nghiệm đựa sở liệu lớn đa dạng cần thiết, đồng thời phải tiến hành cải tiến phương pháp Ngoài ra, cần có giải pháp để xử lý yếu tố ảnh hưởng tới độ xác phương pháo thay đổi quần áo, môi trường nền, nhiễu Trong quy mơ luận văn, mơ hình đề xuất thực tảng 2D, việc nghiên cứu tảng 3D hướng phát triển tiềm cần ý 55 TÀI LIỆU THAM KHẢO Tài liệu tiếng Việt [1] [2] Huỳnh Hữu Hưng, Nguyễn Trọng Ngun, Võ Đức Hồng Giáo trình xử lý ảnh số, nhà xuất Thông tin Truyền thơng, 2015 Đỗ Năng Tồn, Phạm Việt Bình, Giáo trình xử lý ảnh, Khoa cơng nghệ thơng tin Đại học Thái Nguyên, 2007 Tài liệu tiếng Anh [3] Guoying Zhao, Guoyi Liu, Hua Li, Matti Pietikäinen “3D Gait Recognition Using Multiple Cameras” Proceedings of the 7th International Conference on Automatic Face and Gesture Recognition (FGR’06) 2006 [4] Nitchan Jianwattanapaisarn, Athiwat Cheewakidakarn, Nirattaya Khamsemanan, Cholwich Nattee Human Identification using Skeletal Gait and Silhouette data extracted by Microsoft Kinect SCIS&ISIS 2014, Kitakyushu, Japan, December 3-6, 2014 [5] Alberto Esquenazi, Mukul Talaty Gait Analysis: Technology and Clinical Applications [6] Vijay Kumari Thakur and Priyadarshni Fellow, “Robust Hand Gesture Recognition for Human Machine Interaction System”, Journal of Global Research in Computer Science, Volume 5, No 3, March 2014 [7 Dimitrios Tzovaras and Anastasios Drosou Continuous authentication using activity-related traits., SPIE Newsroom DOI: 10.1117/2.1201204.004199 7, May, 2012 [8] Liang Wang, Tieniu Tan, Senior Member, IEEE, Huazhong Ning, and Weiming Hu “Silhouette Analysis-Based Gait Recognition for Human Identification” Ieee Transactions On Pattern Analysis And Machine Intelligence, Vol 25, No 12, Dec, 2003 [9] Y Yang and M Levine, “The Background Primal Sketch: An Approach for Tracking Moving Objects,” Machine Vision and Applications, vol 5, pp 1734, 1992 [10] Y Kuno, T Watanabe, Y Shimosakoda, and S Nakagawa, “Automated Detection of Human for Visual Surveillance System,” Proc Int’l Conf Pattern Recognition, pp 865-869, 1996 [11] I Haritaoglu, D Harwood, and L Davis, “W4: Real-Time Surveil- lance of People and Their Activities,” IEEE Trans Pattern Analysis and Machine Intelligence, vol 22, no 8, pp 809-830, Aug 2000 56 [12] [13] [14] [15] [16] P Huang, C Harris, and M Nixon, “Human Gait Recognition in Canonical Space Using Temporal Templates,” IEE Proc Vision Image and Signal Processing Conf., vol 146, no 2, pp 93-100, 1999 W T Freeman and M Roth, “Orientation histograms for hand gesture recognition”, Intl Workshop on Automatic Face- and Gesture- Recognition, IEEE Computer Society, Zurich, Switzerland, pp 296-301, June, 1995 H Murase and R Sakai, “Moving Object Recognition in Eigen- space Representation: Gait Analysis and Lip Reading,” Pattern Recognition Letters, vol 17, pp 155-162, 1996 C BenAbdelkader, R Culter, and L Davis, “Stride and Cadence as a Biometric in Automatic Person Identification and Verifica- tion,” Proc Int’l Conf Automatic Face and Gesture Recognition, 2002 R Collins, R Gross, and J Shi, “Silhouette-Based Human Identification from Body Shape and Gait,” Proc Int’l Conf Automatic Face and Gesture Recognition, 2002 [17] Simon Haykin, Neural Networks: A Comprehensive Foundation, 2nd ed Pearson Education Asia, 2001 [18] Corinna Cortes and Vladimir N Vapnik, “Support-Vector Networks”, Machine Learning, Volume 20, Issue 3, September 1995, pp 273–297 [19] Vladimir N Vapnik, Statistical learning theory, New York: Wiley, September 1998 Athiwat Cheewakidakarn, Nirattaya Khamsemanan, Cholwich Nattee, Human identification by Gait Analysis using Skeletal Data and Dynamic Time Warping, Proceeding of the 14th International Symposium on Advanced Intelligent Systems (ISIS) (2013) [20] [21] [22] [23] Natdanai Saitong-in, Kanin Assantachai, Nirattaya Khamsemanan, Cholwich Nattee, Human identification from Gait Analysis using Microsoft Kinect, Proceedings of ICT-ISPC (2013) Milovanovic M., Miroslav M., Dusan S Walking in Colors: Human Gait Recognition Using Kinect and CBIR, (2013) Nikolaos V Boulgouris, Konstantinos N Plataniotis, Dimitrios Hatzinakos: Gait recognition using dynamic time warping MMSP 2004: 263-266 57 Website [24] https://macdinh69.wordpress.com/2015/10/17/sinh-co-hoc-chuong-7-dang-diva-phan-tich-dang-di/ [Accessed: May 25, 2017] [25] http://phuchoichucnangnhandao.com/dang-di-va-phan-tich-dangdi/a1327476.html [Accessed: Jan 10, 2017] [26] http://www.cbsr.ia.ac.cn/english/Gait%20Databases.asp [Accessed: Jul 10, 2017] [27] http://vietonrails.com/ai/2016/05/13/co-ban-ve-tensorflow [Accessed: Mar 08, 2017] [28] https://www.tensorflow.org/ [Accessed: Mar 18, 2017] [29] https://en.wikipedia.org/wiki/K-means_clustering [Accessed: Jul 11, 2017] [30] https://en.wikipedia.org/wiki/Centroid#cite_note-:0-15 [Accessed: Jul 13, 2017] [31] https://en.wikipedia.org/wiki/Canny_edge_detector [Accessed: Jul 14, 2017] [32] https://en.wikipedia.org/wiki/Norm_(mathematics) [Accessed: Jul 11, 2017] [33] https://tuanvanle.wordpress.com/2013/12/25/phuong-phap-phan-tich-thanhphan-chinh-principal-component-analysis-pca/ [Accessed: Jul 10, 2017] DAI Hec oa NANc rnr/oNc DAI Hec sAcH KHoA cuu Ncnia vIET NAM DQc lfp - Trp - HSnh phric cQNG HoA xA Hgt HO so HeI oONc oANn TT cIA LUAN vAN rHAC sV E Bi6n ben HOi d6ne Y Bing di6m cria hec vi6n cao hgc vtr L;f lich khoa hgc cria hgc vi6n Bi6n ban ki6m phitiu NhQn x6t HQ vA rtN Hulnh Cdng Ph6p rnAcn ryHlpl\{ TRONG HQI EONG chfi tich HQi d6ng NIIT|N XET Bdn nhQn xdt r Phidu - dtem X PGS TS ,) TS Le Thi My Hanh J TS TrAn Th6 Vfr Phan bi€n I x x TS TrAn Thi6n Thanh Phdn bi€n X x GS TS Nguy6n Thanh Thriy Uj'viAn x TS Huj,nh Htiu Hung Ngudi hudng ddn X Thu lqt H\i ddns r v Dd NEns, ,sdy T0 thdng\l ndm Thu ky HQi d6ng W;\14,i 2aR f*- EAr Hec oa NANo rnrIor.rc EAI HQC NACrr KHOA ceNG ud.l xA ngt cuu Ncni.q vIET NAM DQc I$p - Trg - H4nh phric BIfi,N TAX HQp HQr ooNC OANU GIA LU,IN VAX THAC SV Ngdy A[tnang91 na* 20, ,.,HQi ddng dugc thdnh lfp theo Quyi5t dinh so 29371DIBK-DT l5ll2l20L7 c:ioa HiQu trudrng trudrng Dai hqc B6ch khoa, gtim c6c thinh vi6n: TT Hulnh HQ VA TTN CIJONG VI TRONG HQI DONG COng Ph6p Chri tich HQi d6ng PGS TS TS Le Thi My Hanh TS TrAn Th6 TS Trdn Thi6n Thdnh cS TS Nguy6n Thanh Thty dd h-op (c6 - Vt Thu ky HQi cl6ng Uy vi€n Ph6n bipn Uy vi6n Ph6n biQn2 uy vlen m{t:05 ving m[t: Q.thenh vi6n) de d6nh gi6 lu$n vdn th4c s!: TOn aC tai: Phdn tlch ddng di ngudi srh dqrng th6ng tin dudng bao ngdnh: Khoa hgc m6y tinh (K32.KMT) Chuy6n Cria hgc vi6n cao hgc: TrAn Anh Tfi NQi dung Uu6i hgp il6nh gi6 gdm cic phAn chfnh sau tIAy: a Thu ky HQi d6ng b6o crio qu6 trinh hqc tfp, nghiOn criu vd dgc ly lich khoa hgc cria hgc vi6n (co v6n bin kdm theo); b Hgc vi6n trinh bdy luQn vdn; c C6c phan biQn dgc nhQn x6t vd n6u cAu hoi (c6 vdn bin kdm theo); d Hgc vi6n tr6 ldi c6c c6u h6i cira thenh vi6n HQi d6ng; ,a a t -L '-^ d6ng e HQi th6o lupn kin vi d6nh gi6; f Ki6m phitiu vi cdng UO t