ĐẠI HỌC LẠC HỒNG KHOA CÔNG NGHỆ THÔNG TIN  BÁO CÁO NGHIÊN CỨU KHOA HỌC ĐỀ TÀI: TƯƠNG TÁC TRỰC QUAN GIỮA NGƯỜI VÀ MÁY TÍNH BẰNG CẢM BIẾN QUANG NGUYỄN THÁI NHÂN NGUYỄN XUÂN THẢO BIÊN HÒA, THÁNG 12/2013 ĐẠI HỌC LẠC HỒNG KHOA CÔNG NGHỆ THÔNG TIN  BÁO CÁO NGHIÊN CỨU KHOA HỌC ĐỀ TÀI: TƯƠNG TÁC TRỰC QUAN GIỮA NGƯỜI VÀ MÁY TÍNH BẰNG CẢM BIẾN QUANG SVTH : NGUYỄN THÁI NHÂN NGUYỄN XUÂN THẢO GVHD: ThS. NGUYỄN PHÁT NHỰT BIÊN HÒA, THÁNG 12/2013 MỤC LỤC Trang phụ bìa Lời cảm ơn Mục lục Danh mục từ viết tắt Danh mục hình ảnh Chương I PHẦN MỞ ĐẦU 1 1.1. Dẫn nhập 1 1.2. Tổng quan tình hình nghiên cứu 2 1.3. Mục tiêu nghiên cứu 6 1.4. Lựa chọn phương pháp nghiên cứu 6 1.5. Đối tượng và phạm vi nghiên cứu 10 1.6. Những mặt tích cực và hạn chế của đề tài 11 1.7. Kết cấu của đề tài 11 Chương II NỘI DUNG THỰC HIỆN 12 2.1. Quy trình thực hiện 12 2.2. Tìm hiểu về thiết bị Camera Kinect 13 2.3. Đồng bộ hóa ảnh 24 2.4. Quét vùng tương tác 25 2.5. Theo dõi khung xương 28 2.6. Theo dõi vùng tương tác và nhận diện thao tác chạm tay 31 2.7. Chuyển thao tác chạm qua tọa độ màn hình máy tính 34 2.8. Xử lý con trỏ Windows 35 2.9. Thiết kế hệ thống 37 2.10. Thử nghiệm chương trình 40 2.11. Tự đánh giá sản phẩm 45 Chương III KẾT LUẬN 48 3.1. Kết quả nghiên cứu 48 3.2. Kết luận 49 3.3. Hướng phát triển 50 Tài liệu tham khảo DANH MỤC TỪ VIẾT TẮT Từ viết tắt Giải thích API Application Programming Interface CMOS Complementary metal-Oxide-Semiconductor CL Code Laboratories CPU Central Processing Unit IR Infrared NI Nature Interface JNA Java Native Access JNI Java Native Interface NI Natural Interaction OPENNI Open Natural Interaction OPENCV Open Sourse ComPuter Vision RBG Red, Green, Blue SDK Software Development Kit SoC System on chip TOF Time Of Flight 3D 3 Dimensional DANH MỤC HÌNH ẢNH Hình 1.1: Mô hình mô phỏng hệ thống Ubi 3 Hình 1.2: Sản phẩm Touchless Touch 4 Hình 1.3: Sản phẩm tường tương tác của công ty Vntouch 5 Hình 1.4: Nhận diện bàn tay (OpenNI) 7 Hình 1.5: Mẫu màu da trên bàn tay 8 Hình 1.6: Minh họa về mật độ điểm ảnh trên bàn tay 9 Hình 1.7: Mô phỏng khung xương 10 Hình 2.1: Quy trình thực hiện 12 Hình 2.2: Hình camera Kinect 13 Hình 2.3: Hình cấu tạo của Kinect 14 Hình 2.4: Cấu tạo bên trong Kinect 15 Hình 2.5: Công nghệ xử lý ảnh của PrimeSense 16 Hình 2.6: Giải pháp độc quyền Light Coding của PrimeSense 17 Hình 2.7: Góc chiếu Kinect 20 Hình 2.8: Ảnh độ sâu 20 Hình 2.9: Thông tin các bit lưu trữ độ sâu 21 Hình 2.10: Ví dụ về đo độ sâu 21 Hình 2.11: Đối tượng cơ thể áp dụng cho học máy 22 Hình 2.12: Nhận dạng khung xương từ ảnh độ sâu 23 Hình 2.13: Trục tọa độ khung xương 24 Hình 2.14: Ví dụ minh họa Rectangle kích thước 550x400 26 Hình 2.15: Rectangle trên phần mềm 27 Hình 2.16: Quá trình nhận diện các khớp xương 28 Hình 2.17: Khớp xương trên cơ thể được đánh tên 29 Hình 2.18: Khung xương với 20 khớp xương 29 Hình 2.19: Khung xương với 10 điểm khớp xương 30 Hình 2.20: Mô phỏng cách nhận dạng thao tác chạm 32 Hình 2.21: Kết quả chạm được hiển thị 32 Hình 2.22: Lưu đồ giải thuật 34 Hình 2.23: Minh họa hệ tọa độ màn hình 34 Hình 2.24: Ví dụ minh họa về sự tương phản 35 Hình 2.25: Lưu đồ chức năng chuột 36 Hình 2.26: Mô hình thiết kế bàn tương tác 37 Hình 2.27: Mô hình thiết kế đặt Kinect cố định ở sàn nhà 38 Hình 2.28: Mô hình thiết kế Kinect đặt cố định trên trần nhà 39 Hình 2.29: Màn chiếu che bảng phấn 40 Hình 2.30: Kéo màn chiếu lên 40 Hình 2.31: Viết chữ trên bảng phấn khi máy chiếu vẫn đang chiếu 40 Hình 2.32: Hình nền Windows chiếu lên màn chiếu che bảng phấn 41 Hình 2.33: Chạm tay vào shorcut bài giảng và mở bài giảng 41 Hình 2.34: Chạm tay vào shorcut DEV C++ và hình giao diện chương trình 41 Hình 2.35: Chạm tay vào shorcut Paint và giao diện Paint 42 Hình 3.36: Thanh Taskbar trên đó có 3 chương trình được kích hoạt 42 Hình 2.37: Thao tác chuyển qua Paint 42 Hình 2.38: Màn hình Paint 43 Hình 2.39: Viết chữ trên Paint 43 Hình 2.40: Nhấn nút xóa trên Paint 43 Hình 2.41: Xóa chữ vừa viết trên Paint 44 Hình 2.42: Xóa hết trên Paint 44 Hình 2.43: Nhấn trở về bài giảng 44 Hình 2.44: Quay lại bài giảng 45 Hình 3.1: Điều khiển game Angry Birds 48 Hình 3.2: Chơi game có tính giáo dục dành cho trẻ em 49 Hình 3.3: Mô hình bàn tương tác sử dung cảm biến Kinect 50 Hình 3.4: Tường tương tác 50 1 Chương I PHẦN MỞ ĐẦU 1.1. Dẫn nhập Ngày nay các thiết bị cảm ứng đã không còn quá xa lạ, nó ngày càng trở nên đa dạng và phổ biến. Các sản phẩm màn hình cảm ứng đã được áp dụng rộng rãi vào nhiều lĩnh vực: giáo dục, y tế, quảng cáo sản phẩm, hội họp… Giúp người dùng đạt hiệu quả cao trong công việc như giúp giáo viên hướng dẫn trên lớp học đạt kết quả cao so với phương pháp dạy truyền thống, các cửa hàng hiển thị thông tin sản phẩm giúp khách khách hàng dễ dàng lựa chọn, còn trong y tế sẽ giúp các bác sĩ có cái nhìn tổng quát hơn về bệnh nhân. Từ đó mang lại hiệu quả và thu lại nhiều phản hồi tích cực. Ở Việt Nam, các sản phẩm với màn hình cảm ứng cũng dần được áp dụng nhằm nâng cao hiệu quả của công việc. Ví dụ như đã có nhiều trường mầm non tiêu chuẩn quốc tế áp dụng công nghệ thông tin vào giảng dạy, dẫn đến chất lượng trong hiệu quả giảng dạy thay đổi một cách đáng kể. Đặc biệt là việc sử dụng “bảng thông minh” tạo ra sự tương tác hai chiều giữa học sinh và bài giảng, nhằm tối ưu hóa khả năng phát triển nhận thức, tư duy trong quá trình học tập của người học. Điển hình một số trường đã tiên phong trong việc sử dụng “bảng thông minh”: Trường mầm non quốc tế MappleBear Canada, Trường mầm non Hạnh Phúc Tân Bình, Trường mầm non Quốc tế EQ. Hạn chế của“bảng thông minh” là giá thành khá cao.Ví dụ giá thành của các sản phẩm bảng thông minh có thể lên đến hơn vài ngàn USD. Tuy nhiên trước sự phát triển của công nghệ xử lý ảnh đã mở ra một giải pháp mới giúp người dùng tương tác, dùng tay chạm lên màn chiếu không cảm ứng để điều khiển máy tính như màn hình cảm ứng. Và đây cũng là lý do nhóm nghiên cứu “Tương tác trực quan giữa người và máy tính bằng cảm biến quang” nhằm giúp tiết kiệm chi phí lắp đặt bảng thông minh mà vẫn đáp ứng được các tính năng của “bảng thông minh” giúp tương tác điều khiển máy tính trực tiếp trên màn chiếu (Projector). 2 Một số bài toán thực tế như bên dưới cho thấy nếu có một loại màn chiếu thông minh với giá thành rẻ, sẽ giảm thiểu các bất tiện cho giáo viên cũng như giảm kinh phí đầu tư bảng phấn cho các cơ sở đào tạo đồng thời loại trừ nguy cơ bệnh phổi từ việc giáo viên phải hít bụi phấn. Bài toán 1: Sự mất nhiều thời gian của việc di chuyển liên tục của giáo viên từ máy tính đến bảng phấn. Bài toán 2: Sự khó khăn khi bảng phấn bị che khuất bởi màn chiếu. Bài toán 3: Sự bất tiện khi đang cầm phấn mà muốn điều khiển máy tính. 1.2. Tổng quan tình hình nghiên cứu 1.2.1. Trên thế giới Hệ thống “Ubi interactive” Ubi interactive là một công ty thành lập ở Đức đặt trụ sở ở Munich liên kết với Microsoft để phát triển hệ thống điều khiển cử chỉ trong không gian ba chiều bằng cảm biến Kinect. Công nghệ này đã gây chú ý trên thế giới và được Microsoft gọi là tương lai của màn hình kĩ thuật số tại hội nghị Đối Tác Thế Giới năm 2012. Hệ thống hoạt động nhờ sử dụng cảm biến độ sâu được gắn bên trên máy chiếu hoặc đính kèm vào màn hình. Cảm biến sẽ nhận diện các thao tác tay của người dùng, sau đó phần mềm Ubi sẽ phiên dịch hành động của người dùng thành dòng lệnh của máy tính, sau đó đưa chúng vào các ứng dụng để tương tác. Chính vì thế, Ubi có thể dùng với hầu như tất cả ứng dụng đang được hiển thị lên màn hình. Đây là một giải pháp tiết kiệm bởi nó có thể hoạt động với những phần mềm và phần cứng sẵn có mà không cần phải chỉnh sửa gì nhiều. [14]. 3 Hình 1.1: Mô hình mô phỏng hệ thống Ubi Ưu điểm - Nhận diện thao tác chạm ngón tay của người dùng. - Hoạt động ổn định với nhiều ứng dụng trên hệ điều hành. Khuyết điểm - Hệ thống vẫn chưa thật sự nhận diện hết được tất cả các thao tác ngón tay của người dùng. - Do phải nhận diện các thao tác chạm qua cảm biến nêu sự tương tác giữa người và máy vẫn có độ trễ nhất định. - Hệ thống chỉ ổn định trong cự ly gần khi đặt cảm biến Kinect đối diện với màn chiếu ở khoảng cách 80-150cm. - Hệ thống không thể nhận dạng được thao tác chạm khi bàn tay bị che khuất bởi cơ thể người tương tác. Hệ thống “Touchless Touch” Hệ thống có tên “Touchless Touch” là sản phẩm sáng tạo của nhà phát triển ứng dụng RodSmithDev. [...]...4 Hệ thống tương tác với máy tính nhờ thiết bị cảm biến độ sâu được gắn ở góc màn hình chiếu và cách màn hình 40cm, bằng chân đứng hoặc được đính kèm với màn hình Cảm biến nhận diện các hành vi của người dùng và xử lý ở máy tính[ 13] Hình 1.2: Sản phẩm Touchless Touch Ưu điểm - Hỗ trợ 128 điểm cảm ứng chuẩn - Cảm ứng từ 90 – 200 inch nên không gian tương tác khá rộng - Hỗ trợ tương tác đa điểm Khuyết... sử dụng cảm biến Kinect có tính khả thi cao trong việc giải quyết vấn đề mà nhóm đặt ra Với sự phát triển của công nghệ hiện nay thì tốc độ xử lý không còn là vấn đề khi dùng cảm biến Kinect Và việc lựa chọn, tận dụng sức mạnh của cảm biến Kinect giúp nhóm tác giả sẽ giảm bớt công việc tính toán và xác định các thao tác chạm tay thông việc sử dụng dữ liệu khung xương từ cảm biến 1.5 Đối tượng và phạm... thiết bị Kinect, nguyên lý hoạt động và các công nghệ bên trong Kinect Bước 2: Đồng bộ hóa ảnh màu và ảnh độ sâu Việc tính toán được thực hiện ở ảnh độ sâu nhưng ảnh màu cung cấp hình ảnh trực quan hơn giúp người dùng dễ dàng quan sát và chọn vùng tương tác Bước 3: Quét vùng cần tương tác trên màn chiếu Hình 2.1: Quy trình thực hiện Bước 4: Theo dõi khung xương con người để thực hiện rút trích khớp xương... Các nhà phát triển có thể truy cập dữ liệu thô từ bộ cảm biến sâu, camera cảm biến màu sắc Cho phép xây dựng các cảm biến cấp độ thấp hơn thông qua cảm biến Kinect[10] 2.2.5 Tính toán độ sâu Kinect Đây là một trong những đặc tính quan trọng nhất đó là về giá trị độ sâu hay giá trị khoảng cách tới vật thể trong thế giới thực Góc quan sát của cảm biến là hình nón giống tất cả các camera thông thường Tuy... 1.2.2 Trong nước Hệ thống “Tường tương tác của công ty Vntouch Phần mềm do kỹ sư Trần Tùng Mậu cùng đội ngũ kỹ sư của công ty Vntouch- Multitouch Technology Việt Nam đã tạo ra sản phẩm “tường tương tác là phương tiện dành cho giải trí và quảng cáo Tường tương tác gây cảm giác mới 5 lạ, sống động chân thực, nó biến người tham gia thành một phần của thế giới tương tác Một camera hồng ngoại phủ lên... hình một lớp sóng laser, khi người dùng chạm tay vào màn hình thì một cảm biến sẽ thu về ảnh bàn tay và xử lý trên máy tính Các thông tin thao tác của bàn tay sẽ được chuyển qua các hiệu ứng đồ họa[15] Hình 1.3: Ưu điểm tường tương tác của công ty Vntouch Sản phẩm - Là một sản phẩm phục vụ cho mục đích quảng cáo nên có nhiều hiệu ứng đẹp mắt, kích thước màn hình tương tác rộng - Tại một thời điểm có... toán, phương pháp nhận dạng thao tác chạm trên mặt phẳng tương tác - Khoanh vùng cần tương tác và chuyển sang tọa độ màn hình máy tính - Chuyển các thao tác chạm thành các sự kiện con trỏ chuột trái và chuột phải trên hệ điều hành Windows 1.4 Lựa chọn phương pháp nghiên cứu 1.4.1 Nhận diện bàn tay OpenNI(Hand Tracking) Phương pháp này thông qua Kinect sẽ tách ngưỡng người qua ảnh độ sâu rồi từ đó khoanh... dày, kiểu dáng) và tô phần bên trong của hình Khi người dùng quét vùng tương tác, Kinect đã được khởi động tạo các giá trị ban đầu thu về bản đồ độ sâu và phân tích vùng tương tác vừa được quét, nếu vùng tương tác quét sai hoặc xảy ra lỗi thì chương trình sẽ yêu cầu người sử dụng quét lại 27 Hình 2.15: Rectangle trên phần mềm Cách khai báo một đối tượng Rect và lưu trữ các giá trị vào trong đó 28... xương bàn tay Bước 5: Theo dõi vùng tương tác và nhận diện các thao tác chạm tay 13 Bước 6: Chuyển thao tác chạm tay từ tọa độ trong vùng chọn tương tác sang tọa độ màn hình máy tính Bước 7: Xử lý các sự kiện con trỏ chuột Windows 2.2 Tìm hiểu về thiết bị Camera Kinect 2.2.1 Sự ra đời và phát triển của Kinect Hình 2.2: Hình camera Kinect Kinect lần đầu tiên được công bố vào ngày 01/06/2009 dưới tên mã... Kinect[12] Các tính năng của SDK 1.8 - Loại bỏ nền cũ: Ứng dụng API hình nền xanh với chế độ một người dùng được thay bởi kỹ thuật mới giúp thay đổi hình nền xung quanh người mà vẫn đảm bảo sự ổn định và tính chính xác 19 - Tạo máy chủ Web cho Kinect Data Streams: Được thiết kế để cho các ứng dụng HTML5 chạy trong trình duyệt kết nối với các cảm biến thông qua một máy chủ đang chạy trên máy cục bộ Các . hình cảm ứng. Và đây cũng là lý do nhóm nghiên cứu Tương tác trực quan giữa người và máy tính bằng cảm biến quang nhằm giúp tiết kiệm chi phí lắp đặt bảng thông minh mà vẫn đáp ứng được các tính.  BÁO CÁO NGHIÊN CỨU KHOA HỌC ĐỀ TÀI: TƯƠNG TÁC TRỰC QUAN GIỮA NGƯỜI VÀ MÁY TÍNH BẰNG CẢM BIẾN QUANG SVTH : NGUYỄN THÁI NHÂN NGUYỄN XUÂN THẢO GVHD: ThS  BÁO CÁO NGHIÊN CỨU KHOA HỌC ĐỀ TÀI: TƯƠNG TÁC TRỰC QUAN GIỮA NGƯỜI VÀ MÁY TÍNH BẰNG CẢM BIẾN QUANG NGUYỄN THÁI NHÂN NGUYỄN XUÂN THẢO BIÊN