lâm BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGÔ QUỐC CƯỜNG NHẬN DẠNG HOẠT ĐỘNG GÕ TAY THÔNG QUA PHÂN TÍCH TÍN HIỆU QUANG PHỔ CẬN HỒNG NGOẠI (NIRS) DÙNG GIẢI THUẬT HỒI QUY NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Tp Hồ Chí Minh, tháng 10/2012 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGÔ QUỐC CƯỜNG NHẬN DẠNG HOẠT ĐỘNG GÕ TAY THÔNG QUA PHÂN TÍCH TÍN HIỆU QUANG PHỔ CẬN HỒNG NGOẠI (NIRS) DÙNG GIẢI THUẬT HỒI QUY NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Hướng dẫn khoa học: TS NGUYỄN THANH HẢI Tp Hồ Chí Minh, tháng 10/2012 Quyết định giao đề tài [chèn vào định có đóng mộc] i LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƯỢC: Họ & tên: Ngô Quốc Cường Giới tính: Nam Ngày, tháng, năm sinh: 17/05/1987 Nơi sinh: TP Hồ Chí Minh Quê quán: Tây Ninh Dân tộc: Kinh Chỗ riêng địa liên lạc: 28B, đường 494, khu phố 4, phường Tăng Nhơn Phú A, Quận 9, TP Hồ Chí Minh Điện thoại quan: Điện thoại nhà riêng: Fax: E-mail: ngoquoccuong175@gmail.com II QUÁ TRÌNH ĐÀO TẠO: Trung học chuyên nghiệp: không Hệ đào tạo: …… Nơi học (trường, thành phố): Ngành học: Thời gian đào tạo từ ……/…… đến ……/ Đại học: Hệ đào tạo: Chính quy Thời gian đào tạo từ 10/2005 đến 01/ 2010 Nơi học (trường, thành phố): Đại Học Sư Phạm Kỹ Thuật TP HCM Ngành học: Công nghệ điện tử - viễn thông Tên đồ án, luận án môn thi tốt nghiệp: Thiết kế thi công hệ thống DSCDMA Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: 01/2010, Bộ môn Điện Tử Viễn Thông, Khoa Điện- Điện Tử, Đại Học Sư Phạm Kỹ Thuật TP HCM Người hướng dẫn: Th.S Nguyễn Ngô Lâm III QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian 02/2010-8/2010 10/2010- Nơi công tác Đại Học Sư Phạm Kỹ Thuật TP HCM Đại Học Sư Phạm Kỹ Thuật TP HCM ii Công việc đảm nhiệm Giảng viên thỉnh giảng Giảng viên hữu LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu Các số liệu, kết nêu luận văn trung thực chưa công bố công trình khác Tp Hồ Chí Minh, ngày … tháng … năm 2012 (Ký tên ghi rõ họ tên) iii LỜI CẢM ƠN Em xin chân thành cảm ơn quý Thầy Cô Khoa Điện Điện tử trang bị cho em kiến thức giúp đỡ em giải khó khăn trình làm luận văn Bên cạnh em xin cảm ơn anh chị học viên đóng góp ý kiến cho để đề tài đạt hiệu Đặc biệt, em xin chân thành cảm ơn Thầy hướng dẫn, T.S Nguyễn Thanh Hải tận tình giúp đỡ trình lựa chọn đề tài hỗ trợ em trình thực Và không quên gởi lời cảm ơn đến quý Thầy Cô, bạn sinh viên Bộ Môn Kỹ Thuật Y Sinh, Đại Học Quốc Tế, Đại Học Quốc Gia TP Hồ Chí Minh, người xung phong tham gia hỗ trợ thu thập liệu Học viên Ngô Quốc Cường iv TÓM TẮT Trong thập kỷ gần đây, nghiên cứu việc não giao tiếp máy tính phục vụ cho mục đích chẩn đoán phục hồi chức không ngừng phát triển Oxy vỏ não lưu lượng máu vùng não người đo phương pháp không xâm nhập – quang phổ cận hồng ngoại fNIRS ( functional Near InfraRed Spectroscopy) Trong đề tài này, người thực xây dựng giải thuật để nhận dạng người gõ tay trái hay tai phải dựa tín hiệu não đo Dữ liệu nhiễu thu thập từ nhiều kênh qua tiền xử lý dùng lọc SavitzkyGolay để có tín hiệu phẳng Đặc tính tín hiệu sau lọc trình gõ tay trái phải trích thông qua hồi quy đa thức Hệ số hồi quy tương ứng với lượng tập trung oxy- hemoglobin dùng cho việc nhận dạng Sau cùng, công cụ vector hỗ trợ - SVM áp dụng để huấn luyện nhận dạng tay trái hay tay phải gõ Song song đó, mạng nơ-ron nhân tạo sử dụng để huấn luyện nhận dạng, cho thấy tín hiệu đặc trưng có Các kết thí nghiệm người với nhiều lần gõ tay cho thấy độ tin cậy giải thuật đề xuất v ABSTRACT Researches of human Brain Computer Interface (BCI) for the objective of diagnosis and rehabilitation have been recently increased Cerebral oxygenation and blood flow on particular regions of human brain can be measured using a non-invasive technique – fNIRS (functional Near Infrared Spectroscopy) In this thesis, a study of recognition algorithm will be described for recognition whether one taps his/her left hand or right hand Data with noises and artifacts collected from a multi-channel system will be pre-processed using a Savitzky- Golay filter for getting more smoothly data Characteristics of the filtered signals during left and right hand tapping process will be extracted using a polynomial regression algorithm Coefficients of the polynomial, which correspond to OxygenHemoglobin (Oxy- Hb) concentration, will be applied for the recognition of hand tapping Then Support Vector Machines (SVM) will be employed to validate the obtained coefficient data for hand tapping recognition In addition, for the objective of comparison, Artificial Neural Networks (ANN) was also applied to recognize hand tapping side with the same topology Experimental results have been done many trials on subjects to illustrate the effectiveness of the proposed method vi MỤC LỤC Trang Quyết định giao đề tài i Lý lịch khoa học ii Lời cam đoan .iii Lời cảm ơn iv Tóm tắt v Abstract vi Mục lục .vii Danh sách bảng ix Danh sách hình x Chương TỔNG QUAN .1 1.1 Tổng Quan Về Lĩnh Vực Nghiên Cứu 1.2 Mục Đích Của Đề Tài 1.3 Nhiệm Vụ Và Giới Hạn Của Đề Tài 1.3.1 Nhiệm Vụ 1.3.2 Giới Hạn 1.4 Phương Pháp Nghiên Cứu 1.5 Tóm Tắt Đề Tài Chương CƠ SỞ LÝ THUYẾT 2.1 Phương Pháp Tái Hiện Hình Ảnh Và Tín Hiệu Não Người 2.1.1 Phương pháp EEG .5 2.1.2 Phương Pháp MRI .7 2.1.3 Phương Pháp Quang Phổ Cận Hồng Ngoại fNIRS 2.2 Cơ Sở Lý Thuyết 10 Chương THU THẬP DỮ LIỆU NÃO NGƯỜI SỬ DỤNG KỸ THUẬT QUANG PHỔ CẬN HỒNG NGOẠI - fNIRS 15 3.1 Các Vùng Chức Năng Não Người .15 3.2 Thiết Bị Và Tín Hiệu fNIRS 17 3.2.1 Thiết Bị 17 3.2.2 Tín Hiệu fNIRS .19 3.3 Thiết Lập Thí Nghiệm Thu Dữ Liệu Cho Hoạt Động Gõ Tay 21 Chương TIỀN XỬ LÝ DỮ LIỆU 25 4.1 Bộ Lọc Savitzky – Golay 25 4.2 Áp Dụng Bộ Lọc Trên Tín Hiệu NIRS 31 Chương TRÍCH ĐẶC TRƯNG DÙNG HỒI QUY ĐA THỨC 36 5.1 Mô Hình Hồi Quy Tuyến Tính Nhiều Biến .36 5.2 Mô Hình Hồi Quy Đa Thức .38 vii 5.3 Tính Chất Ước Lượng Bình Phương Tối Thiểu 40 5.4 Trích Đặc Trưng Dùng Hồi Quy Đa Thức Trên Tín Hiệu NIRS 40 Chương THUẬT TOÁN NHẬN DẠNG PR- SVM 48 6.1 Siêu Phẳng - Hyperplane 48 6.2 SVM Tuyến Tính 49 6.3 Các Điều Kiện Karush-Kuhn-Tucker (KKT) 50 6.4 Giải Thuật SMO 51 6.5 Thuật Toán Nhận Dạng PR - SVM 53 Chương THUẬT TOÁN NHẬN DẠNG PR-ANN .58 7.1 Mạng Lan Truyền Ngược 58 7.2 Thuật Toán Nhận Dạng PR-ANN 61 Chương KẾT LUẬN 65 8.1 Kết Luận .65 8.2 Hướng Phát Triển Đề Tài 66 TÀI LIỆU THAM KHẢO 67 PHỤ LỤC 69 viii Chương Thuật Toán Nhận Dạng PR-ANN Hàm sigmoid double sigmoid miêu tả hình 7.5 7.6 tương ứng với (7.2) (7.3) o = S (a ) = 1 + e− a o = H(a) = 2S(a) -1 (7.2) (7.3) Mạng lan truyền ngược xây dựng dựa cấu trúc Perceptron, có lớp, hàm hoạt hóa phải hàm lấy đạo hàm (ví dụ hàm sigmoid, double sigmoid) Hình 7.7 mô hình mạng lan truyền ngược lớp (một lớp vào, lớp ẩn, lớp ra) Hình 7 Mạng lan truyền ngược với lớp Dựa giải thuật giảm gradient, mạng lan truyền ngược tìm trọng số cho trung bình bình phương sai số ngõ ngõ mong muốn đạt kết tốt E = ∑ (op − d p ) P (7.4) p =1 Trong : P số lượng mẫu, op ngõ mạng, dp ngõ mong muốn Giả sử có I nút lớp ngõ vào, J nút lớp ẩn, K nút lớp ngõ Trọng số w (1, ) j ,i ( ,1) trọng số từ nút thứ i lớp ngõ vào đến nút thứ j lớp ngõ ẩn, wk , j trọng số từ nút thứ j lớp ẩn đến nút thứ k lớp ngõ Giải thuật huấn luyện cho mạng lớp tóm tắt bảng 7.1 sau 60 Chương Thuật Toán Nhận Dạng PR-ANN Bảng Giải thuật cập nhật trọng số cho mạng lan truyền ngược lớp Chọn ngẫu nhiên giá trị trọng số Trong điều kiện MSE thỏa mãn chưa vượt số vòng lặp đặt trước, Với ngõ vào xp, 1≤ p ≤ P, (*) (1) Tính ngõ vào nút lớp ẩn net p , j ; (1) Tính ngõ nút lớp ẩn x p , j ; ( 2) Tính ngõ vào nút lớp ngõ net p ,k ; Tính ngõ mạng op,k; Điều chỉnh trọng số lớp ngõ ∆wk( 2, ,j1) = η (d p , k − o p , k ) S ′(net (p2, k) ) x (p1,)j Điều chỉnh trọng số nút ẩn nút ngõ vào ∆w (1, ) j ,i K ( ) = η ∑ (d p , k − o p , k ) S ′(net (p2, k) ) wk( 2, ,j1) S ′(net (p1,)j ) x p ,i k =1 Kết thúc (*) Kết thúc Trong : S() hàm hoạt hóa, η hệ số học hay tốc độ học 7.2 Thuật Toán Nhận Dạng PR-ANN Các đặc trưng trích lần gõ tay từ giải thuật hồi quy đa thức cho thấy mức độ tập trung oxy-Hb khác Các hệ số lần đưa vào mạng nơ-ron để huấn luyện kiểm tra Thuật toán nhận dạng PR-ANN đề xuất hình 7.8 61 Chương Thuật Toán Nhận Dạng PR-ANN Hình Sơ đồ thuật toán nhận dạng PR-ANN Trong đó, mạng nơ-ron xây dựng hình 7.9 Hình Cấu trúc mạng nơ ron thuật toán nhận dạng PR-ANN: 48 nút lớp ngõ vào, 100 nút lớp ẩn nút ngõ Mạng nơ-ron hình 7.9 có lớp: lớp ngõ vào, lớp ẩn lớp ngõ Trong đó, hàm hoạt hóa lớp ẩn hàm double sigmoid, hàm sigmoid sử dụng cho lớp ngõ Giải thuật lan truyền ngược với hệ số học thay đổi thích nghi 62 Chương Thuật Toán Nhận Dạng PR-ANN sử dụng huấn luyện mạng nơ-ron Với gõ tay trái, ngõ mong muốn [1; 0] [0; 1] giá trị ngõ mong muốn gõ tay phải Như vậy, ngõ vào mạng có 48 phần tử, với lớp ẩn có 100 nút Mạng nơron đem làm hệ huấn luyện nhận dạng thay cho hệ SVM nói Dùng giải thuật kiểm tra chéo cho thí nghiệm, ta có kết chủ thể trình bày bảng 7.2, 7.3, 7.4 Bảng Kết chủ thể với thuật toán PR- ANN Thí nghiệm Trung bình Tay gõ Độ xác (%) Phải Trái Phải Trái Phải Trái Phải Trái Phải Trái 80 70 90 80 90 70 80 70 85 72.5 Bảng Kết chủ thể với thuật toán PR- ANN Thí nghiệm Trung bình Tay gõ Độ xác (%) Phải Trái Phải Trái Phải Trái Phải Trái Phải Trái 80 80 90 70 70 70 90 80 82.5 75 Bảng Kết chủ thể với thuật toán PR- ANN Thí nghiệm Trung bình Tay gõ Độ xác (%) Phải Trái Phải Trái Phải Trái Phải Trái Phải Trái 70 60 80 80 100 80 80 70 82.5 72.5 63 Chương Thuật Toán Nhận Dạng PR-ANN Khi sử dụng mạng nơ-ron làm hệ nhận dạng ta có kết tương đối trường hợp hệ SVM Kết trung bình người thứ lần gõ tay phải 85% tay trái 72.5% Độ xác trung bình nhận dạng gõ tay phải cao so với giải thuật PR-SVM, độ xác nhận dạng gõ tay trái lại thấp Với người thứ 2, trung bình độ xác nhận dạng gõ tay trái 75%, tay phải 82.5% Hay người thứ độ xác trung bình gõ tay trái giảm từ 82.5% (hệ SVM) thành 72.5% trường hợp Như vậy, hệ số có từ hồi quy kênh miêu tả đặc điểm huyết động thay đổi tương ứng gõ tay Và độ xác thu hai hệ nhận dạng (PR-SVM PR-ANN) cho thấy hệ số hoàn toàn dùng làm đặc trưng để nhận dạng gõ tay trái hay tay phải trường hợp độ xác trung bình khác Độ xác thu người khác đề tài này, kết nhận tương đối so với kết công bố Với công đoạn thu liệu, lấy đặc trưng đem nhận dạng cho ta nhiều nhận định hoạt động não Điều giúp nhà chuyên môn việc chẩn đoán mức tập trung, lượng oxy não, lưu lượng máu, chức vận động 64 Chương Kết Luận Chương KẾT LUẬN 8.1 Kết Luận Trong đề tài này, tín hiệu não gốc thu lần gõ tay lọc lọc hay nói cách khác làm phẳng Savitzky-Golay tín hiệu “phẳng” Hơn nữa, tín hiệu sau lọc phân tích sử dụng thuật toán hồi quy theo đa thức kênh tương ứng Việc làm cho ta đặc trưng khác gõ tay phải gõ tay trái Với hình ảnh phân tích kênh sau hồi quy ta nhận thấy khác Tuy nhiên, công việc nhận dạng cần thực thông qua thuật toán PR- SVM, PR- ANN Kết thí nghiệm người cho thấy ta phân biệt chủ thể tham gia thí nghiệm gõ tay trái hay tay phải Kết độ xác trung bình với thuật toán PR-SVM tóm tắt lại bảng 8.1 với độ lệch chuẩn kèm Bảng Độ xác trung bình chủ thể với thuật toán PR-SVM Chủ thể Độ xác trung bình , độ lệch chuẩn σ (%) Gõ tay phải Gõ tay trái Chủ thể 80, σ = 11.55 82.5, σ =12.58 Chủ thể 75, σ = 10 72.5, σ = Chủ thể 82.5, σ = 82.5, σ = 15 Kết tổng hợp có tính thêm độ lệch chuẩn thấy sai lệch so với độ xác trung bình qua bốn thí nghiệm chủ thể Trong đó, với giải thuật PR-ANN, độ xác trung bình chủ thể tóm tắt bảng 8.2 sau: Bảng Độ xác trung bình chủ thể với thuật toán PR-ANN Chủ thể Độ xác trung bình , độ lệch chuẩn σ (%) Gõ tay phải Gõ tay trái Chủ thể 80, σ = 5.77 82.5, σ =5 Chủ thể 82.5, σ = 9.57 75, σ =5.77 65 Chương Kết Luận Chủ thể 82.5, σ = 12.58 72.5, σ =9.57 Thông qua phân tích hồi quy để lấy đặc trưng lần gõ tay Việc gõ tay trái tay phải nhận dạng với độ xác thể độ tin cậy Đồng thời, với nhận định trình lọc, đặc điểm kênh sau hồi quy thông tin có giá trị góp phần chẩn đoán 8.2 Hướng Phát Triển Đề Tài Giải thuật nhận dạng mà đề tài xây dựng chưa mang tính gần tuyệt đối hướng phát triển đề tài tăng độ xác hệ nhận dạng xây dựng Điều thực công việc: - Giảm nhiễu: bố trí đầu đo, nghiên cứu lọc khác chẳng hạn Kalman - Trích đặc trưng : sử dụng giải thuật phân tích thành phần độc lập ICA Các tín hiệu, phân tích tín hiệu đạt dùng việc nhận dạng, đề tài phát triển thêm cách dựa điều kết hợp với chẩn đoán lâm sàng y khoa 66 Tài Liệu Tham Khảo TÀI LIỆU THAM KHẢO [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] W O Tatum, Husain, A M., Benbadis, S R, Handbook of EEG Interpretation Demos Medical Publishing, 2008 W U i S Louis EEG/MEG research J A C Saeid Sanei, in EEG Signal Processing, ed: John Wiley and Sons, 2007, pp 10-13 H S J Neutze, in Radiology Fundamentals : Introduction to Imaging & Technology ed: Springer Science + Business Media, 2012, pp 29-30 J Bronzino, in Biomedical Engineering Handbook, ed: CRC Press, 2002, pp 63.1 – 63.8 F E W Schmidt, "Development of a Time-Resolved Optical Tomography System for Neonatal Brain Imaging," University College London, 1999 G Strangman, D Boas and J Sutton, "Non-invasive Neuroimaging using Near-Infrared Light," Society of Biological Psychiatry, vol 17, pp 679-693, 2002 M I Toshimasa Sato, Tomohiro Suto, Masaki Kameyama, Masashi Suda, Yutaka Yamagishi, Akihiko Ohshima, Toru Uehara, Masato Fukuda, Masahiko Mikuni, "Time courses of brain activation and their implications for function : A multichannel near-infrared spectroscopy study during finger tapping," Neuroscinece research, pp 297-304, 2007 K S T SHIMOKAWA, T MISAWA, K MIYAGAWA, "Predictability of investment behavior from brain information measured by functional nearinfrared spectroscopy: a bayesian neural network model," Neuroscinece research, pp 347-358, 2009 C H Rodolphe J Gentili, Hasan Ayaz, Patricia A Shewokis and José L Contreras-Vidal, "Hemodynamic Correlates of Visuomotor Motor Adaptation by Functional Near Infrared Spectroscopy," presented at the 32nd Annual International Conference of the IEEE EMBS, 2010 M N Truong Quang Dang Khoa, "Functional Near Infrared Spectroscope for Cognition Brain Tasks by Wavelets Analysis and Neural Networks," International journal of Biological and Life science, pp 28-33, 2008 M O Hiroshi Tamura, Masami Choui, "NIRS Trajectories in Oxy-Deoxy Hb Plane and the Trajectory Map to Understand Brain Activities Related to Human Interface," presented at the Human Interface, 2007 Cuong Q Ngo, T H N, T V Vo, "Linear Regression Algorithm for Hand Tapping Recognition Using Functional Near Infrared Spectroscopy," presented at the Fourth International Conference on the Development of Biomedical Engineering, VietNam, 2012, pp 421-426 H Z Ranganatha Sitaram, Cuntai Guan,Manoj Thulasidas,Yoko Hoshi,Akihiro Ishikawa,Koji Shimizu,Niels Birbaumer,, "Temporal classification of multichannel near-infrared spectroscopy signals of motor 67 Tài Liệu Tham Khảo imagery for developing a brain–computer interface," NeuroImage 34, pp 1416-1427, 2007 [15] M I Hasan Ayaz, Patricia A Shewokis, and Banu Onaral, Fellow, "Slidingwindow Motion Artifact Rejection for Functional Near-Infrared Spectroscopy," presented at the 32nd Annual International Conference of the IEEE EMBS, 2010 [16] S M Behnam Molavi, Guy A Dumont, Fellow, "Wavelet Based Motion Artifact Removal for Functional Near Infrared Spectroscopy," presented at the 32nd Annual International Conference of the IEEE EMBS, 2010 [17] M D Kapil Gupta, in Human brain colour workbook: An interactive approach to learning, ed: Princeton review publishing, 1997, pp 26-27 [18] Shimadzu, Introduction to FOIRE-3000, 2010 [19] S J Orfanidis, "Signal Processing Applications," in Introduction to signal processing, ed: Pearson Education Inc, 2010, pp 427- 453 [20] G C R Douglas C Montgomery, "Applied Statistics and Probability for Engineers " in Applied Statistics and Probability for Engineers, ed: John Wiley @ Sons Inc, 2003, pp 411-418 [21] N C a J Shawe-Taylor, "Support Vector Machines," in An Introduction to Support Vector Machines and Other Kernel-based Learning Methods, ed: Cambridge University Press, 2000, pp 93-112 [22] N C a J Shawe-Taylor, "Implementation Techniques," in An Introduction to Support Vector Machines and Other Kernelbased Learning Methods, ed: Cambridge University Press, 2000, pp 138-142 [23] J C Platt, "Sequential Minimal Optimization:A Fast Algorithm for Training Support Vector Machines," Microsoft Research, vol Technical Report MSRTR-98-14, 1998 [24] Cuong Q Ngo, T H N, Toi Van Vo, "RECOGNITION ALGORITHM FOR DEVELOPING A BRAIN- COMPUTER INTERFACE USING FUNCTIONAL NEAR INFRARED SPECTROSCOPY," in International Conference on Green Technology & Sustainable Development 2012, Vietnam, 2012,pp 577-582 [25] D Graupe, "The Perceptron, Back propagation," in PRINCIPLES OF ARTIFICIAL NEURAL NETWORKS, ed, 2007, pp 17-59 68 Phụ Lục PHỤ LỤC Phần phụ lục trình bày giao diện chương trình phục vụ cho trình tính toán cách nhanh chóng Giao diện chương trình Giao diện tương ứng với bước sơ đồ nhận dạng giới thiệu Trong đó, phần với lựa chọn trình bày sau Lựa chọn Chức File File/ Open File/ Exit Mở file liệu thu thập Thoát khỏi chương trình About Thông tin người thực đề tài WINDOW SIZE Kích thước cửa sổ lọc Savitzky-Golay SMOOTHING ORDER Bậc đa thức làm phẳng lọc POLYNOMIAL ORDER Bậc đa thức dùng hồi quy kênh tín hiệu HAND Lựa chọn tay trái hay tay phải Ex No Lựa chọn số thứ tự thí nghiệm Times Lựa chọn số thứ tự lần gõ tay FILTER PLOT Vẽ tín hiệu gốc tín hiệu sau lọc kênh (2, 5, 6, 9, 12, 15, 16, 19) PR PLOT Vẽ tín hiệu hồi quy kênh tương ứng 69 Phụ Lục RECOGNITION Nút nhấn gọi chương trình nhận dạng SUBMIT Xác nhận thông số nhập EXIT Thoát khỏi chương trình Giao diện chương trình nhận dạng gọi từ chương trình Các chức lựa chọn giao diện trình bày bảng sau Lựa chọn Chức File File/ Exit Thoát khỏi chương trình About Thông tin người thực đề tài PR-SVM Chọn lựa hệ nhận dạng PR-SVM PR-ANN Chọn lựa hệ nhận dạng PR-ANN LEFT COEF Mở file chứa hệ số đặc trưng gõ tay trái RIGHT COEF Mở file chứa hệ số đặc trưng gõ tay phải RECOGNITION Thực thi nhận dạng RIGHT TAPPING Lựa chọn trường hợp gõ tay muốn nhận dạng: tay phải LEFT TAPPING Lựa chọn trường hợp gõ tay muốn nhận dạng : tay trái EXIT Thoát khỏi chương trình Để thực phân tích liệu thu thập về, ta lựa chọn từ giao diện Lựa chọn thông số nhấn SUBMIT 70 Phụ Lục Quan sát tín hiệu gốc tín hiệu sau lọc cách nhấn vào FILTER PLOT, ta có kết trả Figure Channel - Smoothed Channel 0.1 Channel Smoothed Channel Amplitude 0.05 Channel - Smoothed Channel 0.06 Channel 0.04 Smoothed Channel 0.02 -0.05 -0.1 Channel - Smoothed Channel 0.04 Channel 0.02 Smoothed Channel -0.02 -0.04 -0.02 Time 8 Channel - Smoothed Channel 0.06 Channel 0.04 Smoothed Channel 0.02 -0.02 -0.06 -0.04 71 Phụ Lục Channel 15 - Smoothed Channel 15 0.03 Channel 15 0.02 Smoothed Channel 15 Amplitude Channel 12 - Smoothed Channel 12 0.1 Channel 12 0.05 Smoothed Channel 12 0.01 -0.05 -0.1 -0.01 Channel 16 - Smoothed Channel 16 0.08 Channel 16 0.06 Smoothed Channel 16 0.04 Channel 19 - Smoothed Channel 19 0.04 Channel 19 Smoothed Channel 19 0.02 0.02 0 -0.02 Time -0.02 Nhấn vào PR PLOT để xem kết hồi quy kênh bán cầu não Channel - Channel 12 Channel - Channel 15 0.01 0.03 Channel Channel 12 Amplitude Channel Channel 15 0.02 -0.01 -0.02 0.01 -0.03 -0.04 Channel - Channel 16 Channel - Channel 19 0.06 0.02 Channel Channel 16 0.04 Channel Channel 19 0.01 0.02 0 -0.02 -0.04 Time -0.01 Sau tính toán tất hệ số lần gõ tay thí nghiệm ta tiến hành nhận dạng Bằng cách nhấn nút RECOGNITION, chương trình nhận dạng gọi Các thông số thiết lập để thực tìm kết trình nhận dạng thiết lập sau 72 Phụ Lục Nhấn RECOGNITION, với chọn lựa nhận dạng với thuật toán PR-SVM, kiểm tra độ xác gõ tay phải, ta có kết Nhận dạng gõ tay trái Tương tự, ta kiểm tra với thuật toán PR-ANN 73 Phụ Lục Với giao diện xây dựng, ta dễ dàng phân tích, kiểm tra liệu thu thập lần thí nghiệm khác nhau, chủ thể khác 74 [...]... Hình 2 8 Đường thẳng hồi quy có được trên não trái (đường liền xanh) và não phải (đường nét đứt đỏ) khi gõ tay trái (a)) và gõ tay phải (b)) Oxy-Hb và deOxy-Hb còn có thể được dùng trực tiếp với giải thuật SVM để nhận dạng hoạt động gõ tay Tín hiệu từ tất cả các kênh được xem như là ngõ vào của hệ nhận dạng SVM để phân ra thành hai lớp tương ứng với gõ tay trái và gõ tay phải Tín hiệu NIRS được thu... dụng bộ lọc này lên tín hiệu não thu được 3 Chương 1 Tổng Quan - Chương 5: Trong chương này, người thực hiện đề tài trình bày về giải thuật hồi quy theo đa thức để lấy các hệ số hồi quy như là đặc trưng thu được khi gõ tay - Chương 6: Phương pháp phân loại SVM và thuật toán nhận dạng được đề xuất là PR- SVM được trình bày trong chương này - Chương 7: Giải thuật nhận dạng hoạt động gõ tay mà người thực... để nhận dạng nhiệm vụ của não Trong bài báo này, tác giả giới thiệu kỹ thuật phân tích tín hiệu fNIRS và cho thấy rằng tồn tại các đặc trưng khác nhau của đáp ứng huyết động để nhận dạng hoạt động não và phát triển BCI (Brain Computer Interface) Hai công cụ toán được áp dụng để thực hiện phân tích : Phân tích Wavelet để xử lý tín hiệu và tách lấy đặc trưng, mạng nơ-ron nhằm thực hiện chức năng nhận dạng. .. truyền ngược) Xây dựng thí nghiệm và đo tín hiệu não sử dụng máy fNIRS FOIRE- 3000 2 Chương 1 Tổng Quan Áp dụng cơ sở lý thuyết đã có, nhận dạng hoạt động gõ tay (gõ tay trái hay tay phải) thông qua phân tích tín hiệu não từ dữ liệu thu được 1.3.2 Giới Hạn Xử lý dữ liệu không trực tuyến Thí nghiệm thực hiện là gõ tay và chỉ đo trên vùng não điều khiển chuyển động Chỉ thực hiện trên 3 người 1.4 Phương... bản và các hoạt động khác liên quan đến ngón tay Dựa trên hệ số góc của đường thẳng thu được từ hồi quy tuyến tính, ta có thể phân biệt được là tay trái hay tay phải đang được gõ Dữ liệu thu được trong các lần gõ tay trái, phải trên các kênh được tiền xử lý bằng lọc, sau đó hồi quy tuyến 11 Chương 2 Cơ Sở Lý Thuyết tính để tìm ra các hệ số góc Các hệ số này là cơ sở so sánh cho hoạt động gõ tay trái... pháp không xâm nhập ngày càng thể hiện vai trò quan trọng của mình, trong đó có kỹ thuật fNIRS 1.2 Mục Đích Của Đề Tài Xây dựng giải thuật để thông qua tín hiệu não đo được có thể phân tích và nhận dạng được hoạt động bán cầu não và gõ tay của con người 1.3 Nhiệm Vụ Và Giới Hạn Của Đề Tài 1.3.1 Nhiệm Vụ Tìm hiểu về bộ lọc Savitzky- Golay, giải thuật hồi quy theo đa thức, vector hỗ trợ - SVM, mạng nơ-ron... 5 chủ thể với hai hoạt động : gõ ngón tay và tưởng tượng chuyển động tay trái, tay phải bằng máy OMM -1000 Tín hiệu thô được lọc với bộ lọc Chebyshev bậc 2, tần số cắt 0,7 Hz Sau đó, sử dụng thư viện phân loại SVM để huấn luyện và phân loại các hoạt động đã thực hiện : gõ ngón tay trái và phải ; tưởng tượng chuyển động tay trái và phải Ngõ vào của hệ SVM bao gồm cả đáp ứng huyết động oxy-Hb và deoxy-Hb... phản ánh hoạt động não, nhận dạng hoạt động não, và lọc nhiễu Tuy nhiên, người thực hiện đề tài nhận thấy rằng trong mỗi ứng dụng khác nhau thì mỗi phương pháp đều có giới hạn nhất định của nó Chẳng hạn với một ứng dụng liên quan đến tín hiệu não và đòi hỏi xử lý thời gian thực thì việc áp dụng như sẽ rất khó khăn Việc dựa vào các hệ số góc có được từ hồi quy tuyến tính để nhận dạng hoạt động gõ tay có... Bộ lọc Savitzky-Golay được dùng trong bài báo để giảm bớt nhiễu cũng như artifacts Với dữ liệu đã phẳng hơn, hồi quy tuyến tính được áp dụng Kết quả hồi quy tuyến tính có được là hệ số của đường thẳng tương ứng với tín hiệu có được khi gõ tay trái hay tay phải So sánh sự khác nhau giữa các hệ số hồi quy trên các kênh là cơ sở để phân biệt một chủ thể đang gõ tay trái hay tay phải Với kết quả so sánh... nghiệm, chủ thể sẽ tiến hành gõ tay - nâng (1) phần từ bàn tay đến khuỷu tay (bàn tay và cẳng tay) và hạ (2) xuống như trong hình 3.11 2 1 Hình 3 11 Hoạt động gõ tay trong thí nghiệm Việc gõ tay trái hoặc phải được thực hiện theo một giao thức bao gồm 20 giây nghỉ (Rest), 20 giây gõ tay (Task), 20 giây nghỉ (Rest) Điều này có nghĩa là chủ thể ngồi nghỉ trong 20 giây, gõ tay khoảng 10 lần trong 20 giây,