BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CÔNG TRÌNH NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG XÂY DỰNG MÔI TRƯỜNG 3D VÀ TỰ ĐỊNH VỊ CHO ROBOT S K C 0 9 MÃ SỐ: T2014-07TĐ S KC 0 Tp Hồ Chí Minh, 2015 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH BÁO CÁO TỔNG KẾT ĐỀ TÀI KH&CN CẤP TRƯỜNG TRỌNG ĐIỂM XÂY DƯN ̣ G MÔI TRƯỜNG 3D VÀ TỰ ĐỊNH VỊ CHO ROBOT Mã số: T2014-07TĐ Chủ nhiệm đề tài: TS Lê Mỹ Hà TP HCM, 04/2015 DANH SÁCH NHỮNG THÀNH VIÊN THAM GIA NGHIÊN CỨU ĐỀ TÀI Đơn vị công tác Stt Họ tên lĩnh vực chuyên môn Nội dung nghiên cứu cụ thể giao Nghiên cứu lý thuyết Trường Đại học Sư TS Lê Mỹ Hà Phạm Kỹ Thuật TP.HCM thực nghiệm hệ thống Kiểm tra chỉnh sửa giải thuật Viết báo cáo Trường Đại học Sư TS Ngô Văn Thuyên Phạm Kỹ Thuật TP.HCM Xây dựng giải thuật mô Chữ ký MỤC LỤC MỤC LỤC I DANH SÁCH CÁC HÌNH III DANH SÁCH CÁC CHỮ VIẾT TẮT V Chương 1: TỔNG QUAN 1.1.Tổng quan chung lĩnh vực nghiên cứu, kết nghiên cứu nước công bố 1.1.1.Tổng quan chung định vị robot 1.1.2.Kết nghiên cứu nước 1.2.Mục tiêu, khách thể đối tượng nghiên cứu 1.2.1.Mục tiêu nghiên cứu 1.2.2.Khách thể nghiên cứu 1.2.3.Đối tượng nghiên cứu 1.3.Nhiệm vụ đề tài phạm vi nghiên cứu 1.3.1.Nhiệm vụ đề tài 1.3.2.Phạm vi nhiên cứu 1.4.Phương pháp nghiên cứu Chương 2: XÂY DỰNG ĐÁM MÂY ĐIỂM TRONG KHÔNG GIAN 3D VÀ ĐỊNH VỊ ROBOT 2.1.Tìm cặp điểm đặc trưng tương đồng 2.1.1.Các loại đặc trưng 2.1.2.Đặc trưng SIFT I 2.2.Thông số nội camera 13 2.3.Thuật toán RANSAC 17 2.4.Định vị camera dựa điểm tương đồng 20 2.4.1.Hình học Epipolar ma trận 20 2.4.2.Ma trận thiết yếu thông số ngoại camera 21 2.5.Giải thuật điểm kết hợp RANSAC 21 2.6.Thuật toán tối ưu xây dựng không gian đám mây điểm vị trí robot 22 Chương 3: THỰC NGHIỆM GIẢI THUẬT 24 3.1.Cân chỉnh camera tìm thông số nội camera 24 3.2.Trích rút đặc trưng SIFT 30 3.3.Mô tả cặp đặc trưng tương đồng 33 3.4.Ước lượng ma trận F ma trận thiết yếu E 33 Chương 4: KẾT LUẬN 39 PHỤ LỤC A 40 TÀI LIỆU THAM KHẢO 40 II DANH SÁCH CÁC HÌNH Hình 1.1: Dùng xe ô tô trang bị thiết bị định vị GPS để lập đồ Hình 2.1: Phương pháp tính DoG Hình 2.2: Tìm điểm đặc trưng từ giá trị DoG 10 Hình 2.3 Mô tả điểm đặc trưng 13 Hình 2.4: Mô hình Pinhold camera 14 Hình 2.5: Hệ tọa độ tương đương mô hình Pinhold 14 Hình 2.6: Quan hệ tọa độ camera tọa độ không gian 16 Hình 2.7: Quan hệ tọa độ camera tọa độ không gian 17 Hình 2.8: Tập liệu đường thẳng 19 Hình 2.9: Tìm đường thẳng dùng thuật toán RANSAC 19 Hình 2.10: Mô tả hình học Epipolar 20 Hình 2.11: Mô tả hình học frame liên tục với đặc trưng tương đồng 23 Hình 3.1: Lưu đồ thực tìm vị trí 24 Hình 3.2: Tập ảnh bàn cờ dùng cân chỉnh camera 29 Hình 3.3: Ảnh qua lọc Gaussian 30 Hình 3.4: Ảnh thể sau tinh DoG 30 Hình 3.5: Điểm đặc trưng ảnh 31 Hình 3.6: Hình thể đặc trưng SIFT 32 Hình 3.7: Cặp điểm đặc trưng tương đồng 33 Hình 3.8 Trích điểm đặc trưng SIFT đối sánh 35 III Hình 3.9 Tọa độ vị trí camera hai khung ảnh 36 Hình 3.10 Kết mô vị trí robot dùng 372 ảnh 37 Hình 3.11 Kết thực nghiệm đám mây điểm 3D vị trí robot 38 IV DANH SÁCH CÁC CHỮ VIẾT TẮT SFM: Structure from motion SLAM: Simutaneous Localization and Mapping BA: Bundle Adjustment RANSAC: Random sample consensus SIFT: Scale invariant feature transform IR: Infrared radiation GPS: Global Positioning System V Chương TỔNG QUAN 1.1 Tổng quan chung lĩnh vực nghiên cứu, kết nghiên cứu nước công bố 1.1.1 Tổng quan chung định vị robot Định vịcho robot di động nhằm xác định xác vị trí robot đồ nghiên cứu từ lâu vàđã đạt nhiều thành công lớn Phương pháp định vị cổ điển dựa vào loại cảm biến để tính toán khoảng cách, hướng, gia tốc để tính toán, định quỹ đạo di chuyển robot Bên cạnh thành tựu đó, nhược điểm khách quan sai số từ cảm biến đưa cho robot loại bỏ, mục tiêu chưa giải triệt để.Việc điều khiển robot dựa vào cảm biến robot chưa đủ để giải vấn đề Dần dần, nhà nghiên cứu nhận thấy cần phải phối hợp, tương tác với môi trường xung quanh, giúp robot thêm nhiều thông tin để robot trả lời câu hỏi “tôi đâu?” Định vị robot sử dụng GPS, robot gắn thêm thiết bị định vị toàn cầu GPS Thiết bị giúp robot xác định khoảng cách từ tới vệ tinh xác định trước vũ trụ, để từ tính toán vị trí robot.Tuy nhiên kết phù hợp với khu vực có quy mô lớn Độ xác định vị dùng GPS không cao, sai số lên vàimet Định vị robot sử dụng thiết bị Kinect, nhờ thiết bị Kinect có camera RGB camera IR Thiết bị Kinect vừa thu thập hình ảnh, vừa thu thập độ sâu ảnh nhờ camera IR, giúp cho robot tính toán khoảng cách từ robot đến vật cản môi trường xung quanh, từ xác định vị trí robot môi trường Trang Bài toán lập đồ định vị cho robot chia làm loại: định vị cho robot nhà định vị cho robot trời Lập đồ định vị cho robot trời gặp nhiều khó khăn robot nhà địa hình gồ ghề hơn, môi trường phức tạp quy mô rộng lớn Robot ngày trang bị cảm biến người, thị giác robot camera gắn robot nhằm thu thập hình ảnh xử lý Robot tự hành đơn giản trang bị camera mà không cần cảm biến tự định hành vi di chuyển robot hoạt động môi trường mà chưa biết đồ 1.1.2 Kết nghiên cứu nước Lập đồ có nhiều cách thức khác dùng thiết bị định vị toàn cầu GPS gắn ô tô nhưHình 1.1 Khi ô tô di chuyển, tọa độ ô tô cập nhật gửi máy chủ Từ máy chủ tính toán vẽ đồ 2D môi trường mà ô tô di chuyển Tuy nhiên, độ xác thiết bị GPS không tốt, sai số từ vài mét vài chục mét Do đó, phương pháp định vị dùng GPS thích hợp với việc lập đồ quy mô lớn Trang Hình 1.1: Dùng xe ô tô trang bị thiết bị định vị GPS để lập đồ Trong viết tác giả Nguyễn Minh Thức, định vị cho mobile robot sử dụng GPS [1], robot di chuyển định vị dựa tín hiệu GPS, nhiên đề tài hạn chế robot tránh nhiều vật cản gần Trang Lập đồ 3D 2D sử dụng stereo camera [2], tác giả dùng stereo camera gắn xe lăn để xây dựng đồ 3D, từ phát vật cản, điều khiển xe lăn di chuyển an toàn mà không cần điều khiển người tàn tật Định vị robot dựa sở xử lý ảnh stereo camera có tích hợp GPS [3], tác giả dựa vào GPS để định vị vị trí robot mặt đất khoảng không gian rộng lớn Mỗi lúc robot di chuyển với khoảng cách nhỏ, tác giả ước lượng di chuyển dựa vào xử lý cặp ảnh chụp từ stereo camera Một mô hình định vị lập đồ thời gian thực mức đối đối tượng 3D [4] Tác giả tạo tập liệu đối tượng 3D Bản đồ xây dựng bước trực hướng đối tượng Một máy ảnh chụp cảnh nhiều đối tượng, thông tin đối tượng lặp lặp lại giải thuật nhận diện đối tượng 3D tạo đồ 3D thể vị trí đối tượng liên quan tập liệu Biểu đồ tối ưu hóa lên tục phép đo cho phép cập nhập, dự đoán liên tục xác phép đo camera 1.2 Mục tiêu, khách thể đối tượng nghiên cứu 1.2.1 Mục tiêu nghiên cứu Mục tiêu đề tài định vị robot dựa vào thuật toán SFM Robot dùng camera chụp ảnh 2D trính di chuyển để ước lượng vị trí camera gắn robot, sau tính toán vị trí hướng robot không gian robot tương tác 1.2.2 Khách thể nghiên cứu Đề tài nghiên cứu dựa vào thuật toán SIFT để trích đặc trưng ảnh tìm đặc trưng tương đồng ảnh liên tiếp Những tương đồng sai bị loại bỏ thông qua thuật toán RANSAC Đồng thời ma trận thông số nội camera tính toán theo bước cân chỉnh trước Những đám mây điểm môi trường vị trí robot khôi phục lại tính toán xác dựa giải thuật tối ưu Trang 1.2.3 Đối tượng nghiên cứu Đề tài nghiên cứu dựa liệu đầu vào tập ảnh 2D, thu thập trình di chuyển đường robot hệ thống di chuyển cần xác định vị trí tương ứng môi trường làm việc 1.3 Nhiệm vụ đề tài phạm vi nghiên cứu 1.3.1 Nhiệm vụ đề tài Để đạt mục tiêu nghiên cứu cần thực nhiệm vụ sau: - Tìm hiểu lý thuyết lập đồ định vị robot - Tìm hiểu xử lý ảnh: phép toán xử lý ảnh, trích đặt trưng từ ảnh, loại bỏ đặt trưng yếu sai  Thuật toán trích đặt trưng SIFT từ hình ảnh  Thuật toán RANSAC loại bỏ đặt trưng yếu hình ảnh - Thuật toán tối ưu tái cấu trúc 3D xây dựng đồ 3D, xác định vị trí góc quay camera để tìm vị trí hướng robot 1.3.2 Phạm vi nhiên cứu Đề tài nghiên cứu thiết bị di chuyển có người lái, tập ảnh 2D tác giả thu thập trình di chuyển đường Trên tập liệu ảnh 2D đề tài mô tính toán xây dựng đồ 3D định vị vị trí camera đồ 1.4 Phương pháp nghiên cứu Cách tiếp cận nghiên cứu khảo sát sở lý thuyế t phương pháp có, phân tích ưu nhược điểm Tiến hành đề xuất phương pháp cải tiến Thực mô giải thuật phần mềm Khi thu sai số cho phép tiến hành thực nghiêm phầ n cứng môi trường thực tế Tóm lại,phương pháp nghiên cứu đề tài trước tiên tiên hành nghiên cứu lý thuyết, sau kiểm chứng thực tế rút kết luận Trang Chương XÂY DỰNG ĐÁM MÂY ĐIỂM TRONG KHÔNG GIAN 3D VÀ ĐỊNH VỊ ROBOT Nội dung chương trình bày cách trích đặc trưng SIFT, cách tìm đặc trưng tương đồng từ hình ảnh thu Đồng thời giới thiệu giải thuật RANSAC để loại bỏ đặc trưng yếu sai Ma trận thông số nội camera tính toán cách cân chỉnh camera dựa vật mẫu chessboard Giải thuật tối ưu dùng để xây dựng đám mây điểm không gian làm việc vị trí robot trình bày chương 2.1 Tìm cặp điểm đặc trưng tương đồng 2.1.1 Các loại đặc trưng Để tìm vị trí robot từ nhiều ảnh, việc tìm đặc trưng ảnh cho phù hợp thành phần quan trọng thăng chốt Việc lựa chọn đặc trưng giúp cho việc tăng độ xác vị trí, hướng robot tốc độ xử lý robot Những năm gần việc sử dụng đặc trưng cục trở thành hướng định vị robot kỹ thuật xử lý ảnh Các điểm đặc trưng bất biến phép biến đổi hình học, phép biến đổi affine Harris corner Harris corner đặc trưng phát góc, thuật ngữ tổng quát phát điểm quan tâm (interest point detection) hướng tiếp cận sử dụng hệ thống thị giác máy tính để trích chọn loại đặc trưng suy luận nội dung ảnh Việc phát góc dùng thường xuyên phát hiện, theo dõi chuyển động, mô hình 3D nhận dạng đối tượng Một góc xác định nơi giao hai cạnh Một góc xác định điểm có hai hướng khác vùng cục bộcủa điểm Một điểm quan tâm điểm ảnh mà điểm có Trang vị trí xác định tốt phát nhanh chóng Điều có nghĩa điểm quan tâm góc điểm đơn có giá trị cường độ cực đại cực tiểu cục bộ, điểm kết thúc đường thẳng điểm đường cong mà độ cong tối đa cục Trên thực tế, hầu hết phương pháp phát góc phát điểm góc nói riêng Phương pháp phát góc Harris[5] phương pháp phát điểm quan tâm phổ biến bất biến phép quay, thay đổi độ sáng tạp nhiễu ảnh Phương pháp dựa hàm tương quan tự động cục tín hiệu; hàm tương quan tự động cục đo thay đổi cục tín hiệu với mảnh ảnh dịch chuyển lượng nhỏ theo hướng khác Tuy nhiên, phương pháp chưa giải vấn đề biến đổi co, giãn ảnh hay phép biến đổi affine Harris Laplace Harris Laplace thuật toán tìm điểm đặc trưng cải tiến từ thuật toán tìm điểm đặc trưng Harris Thuật toán đưa nhằm giải vấn đề biến đổi theo tỉ lệ mà thuật toán Harris corner chưa khắc phục Harris Laplace đưa giải pháp lựa chọn tỉ lệ tự động trình trích điểm đặc trưng từ ảnh Thuật toán thực dựa vào hai bước Bước 1, thuật toán dùng hàm Harris Laplace để phát điểm tỉ lệ Bước 2, lựa chọn điểm mà hàm Laplace of Gaussian đạt giá trị cực đại Đặc trưng Harris Laplace giải vấn đề co giãn ảnh, biến đổi affine hạn chế SURF SURF phương pháp phát mô tả hình ảnh tốt, Herbert Bay đưa lần đầu vào năm 2006, sử dụng nhiệm vụ tầm nhìn máy tính nhận dạng đối tượng, phục hồi 3D Nó dựa mô tả SIFT Phiên tiêu chuẩn SURF nhanh nhiều so với SIFT chống lại Trang biến đổi hình ảnh khác tốt SIFT SURF dựa tổng xấp xỉ đặc trưng Haar Wavelet 2D sử dụng hiệu cho ảnh tích hợp (integral image) Phương pháp dựa ma trận Hessian, sử dụng xấp xỉ bản, giống DoG phát dựa Laplacian Nó dựa hình ảnh tích hợp để giảm thời gian tính toán gọi phát 'Fast-Hessian' Mặt khác, mô tả mô tả phân bố đặc trưng HaarWavelet lân cận điểm quan tâm Hơn nữa, sử dụng kích thước 64, để giảm thời gian tính toán đặc trưng mô tả bộtương đồng, đồng thời tăng độ tin cậy Nó không làm tăng tốc độ tương đồng, mà tang độ tin cậy mô tả đặc trưng SIFT SIFT [6] trình bày David G Lowe năm 1999, đến năm 2004 David G Lowe hoàn thiện giải thuật SIFT [7] Thí nghiệm thuật toán SIFT ông hình ảnh sau co giãn, xoay hay biến đổi không gian affine đặt trưng SIFT không thay đổi SIFT cho số lượng đặc trưng tốt giải thuật lại, nên tác giả lựa chọn làm sở để tìm điểm đặc trưng nghiên cứu 2.1.2 Đặc trưng SIFT Thuật toán SIFT mô tả qua bước sau: tìm cực trị không gian tỉ lệ, lọc trích xuất điểm đặc trưng, gán hướng cho điểm đặc trưng mô tả điểm đặc trưng Tìm cực trị không gian tỉ lệ Đầu tiên, xây dựng mức ảnh phép biến đổi Gaussian ảnh với giá trị độ lệch chuẩn thay đổi liên tiếp (gọi ảnh Gaussian) Theo phương trình sau: Trang G  x, y,    2 e    x2  y /2 L  x, y,    L  x, y,   * I  x, y  (2.1) Trong đó, dấu * nhân chập miền x y Sự khác biệt Gaussian (DoG) cấp tính cách trừ hai ảnh Gaussian liền kề  x, y,   L  x, y, k   L  x, y,   (2.2) Tỉ lệ (mức kế tiếp) Tỉ lệ (mức đầu tiên) Khác biệt Gaussian Gaussian (DoG) Hình 2.1:Phương pháp tính DoG Trong Hình 2.1ảnh bên trái thể ảnh biến đổi Gaussian với hệ số lệch chuẩn thay đổi, ảnh bên phải kết trừ hai ảnh Gaussian kế Sau mức ảnh giảm kích thước với tỉ lệ hệ số lặp lại trình[7] Trang Hình 2.2: Tìm điểm đặc trưng từ giá trị DoG So sánh điểm ảnh tỉ lệ với tỉ lệ trên, lân cận 3x3, tức 26 pixel xung quanh, tìm giá trị lớn nhỏ chúng Điểm coi điểm đặc trưng Trong Hình 2.2 điểm đánh dấu x so sánh với 26 điểm lân cận, có giá trị lớn nhỏ chọn làm điểm đặc trưng Lọc trích xuấtđiểm đặc trưng Sau tìm điểm đặc trưng bước 2.1.1, điểm đặc trưng tốt nhất, ta cần loại bỏ điểm đặc trưng yếu trích xuất điểm đặc trưng mạnh Để thực điều ta cần thực bước sau: xác định vị trí điểm đặc trưng, loại bỏ điểm đặc trưng có tính tương phản thấp, loại bỏ điểm đặc trưng dư thừa theo biên  Xác định vị trí điểm đặc trưng Vì điểm đặc trưng tìm chưa phải điểm xác có giá trị cực đại cực tiểu Ta dùng khai triển Taylor hàm không gian tỉ lệ để dịch đến vị trí điểm lấy mẫu gốc D X   D  Trang 10 DT T  D  X X (2.3) X X Trong đó: D đạo hàm tính điểm đặc trưng 𝑋 = (𝑥, 𝑦, 𝜎)𝑇 độ lệch điểm nàu Vị trí điểm cực trị 𝑋 tính cách lấy đạo hàm hàm theo X cho tiến  D 1 D (2.4) Xˆ  X X  Loại bỏ điểm đặc trưng có tính tương phản thấp Trong bước ta loại bỏ điểm đặc trưng có độ tương phản thấp Để loại điểm đặc trưng có độ tương phản thấp ta so sánh giá trị 𝐷(𝑥 ) với giá trị ngưỡng Với giá trị 𝐷(𝑥) xác định cách phương trình (2.5) vào phương trình (2.4), ta được: 1 D ˆ D Xˆ  D  X (2.5) X   Nếu giá trị D  xˆ  thấp ngưỡng điểm bị loại trừ  Loại bỏ điểm đặc trưng dư thừa theo biên Sau dùng lọc Gaussian làm cho đường biên không rõ, giá trị DoG dọc góc đường biên xác điểm đặc trưng, cần loại bỏ bớt điểm đặc biệt biên Chúng ta sử dụng ma trận Hessian 2x2 tính vị trí hệ số tỉ lệ điểm đặc trưng để tìm độ góc Với công thức tỉ lệ nguyên tắc góc:  Dxx H   Dxy D xx  Dyy  Dxx Dyy   Dxy  Dxy  (2.6) Dyy   r  1 (2.7)  2 r Nếu bất đẳng thức (2.8) không thỏa điểm đặc trưng bị loại bỏ[8] Trang 11 Gán hướng cho điểm đặc trưng Mỗi điểm đặc trưng mô tả hướng dựa vào vị trí ảnh để biểu diễn đặc trưng không biến đổi trạng thái xoay Bước mô tả hai phương trình sau: m  x, y    L  x  1, y   L  x 1, y    L  x, y  1  L  x, y 1  L  x, y  1  L  x, y  1    L  x  1, y   L  x  1, y    x, y   tan 1  (2.8) (2.9) Hai phương trình thể độ lớn Gradient hướng điểm pixel(x,y) L(x,y) Trong tính toán thực tế người ta xây dựng Histogram Gradient xung quanh điểm đặc trưng từ giá trị hướng Gradient Lượt đồ gồm 36 mức, thể cho phạm vi 3600, hướng có 10o, ta có tất 36 hướng Mỗi mẫu thêm vào trọng số Histogram tính từ độ lớn Gradient tỉ lệ điểm đặc trưng Nếu Histogram có giá trị lớn 80% giá trị khác chọn làm hướng điểm đặc trưng Một điểm đặc trưng có nhiều hướng [8] Mô tả điểm đặc trưng Tạo lại bảng mô tả 2D cho giá trị trước thể thông số vị trí, tỉ lệ hướng dùng để mô tả vùng ảnh mà giá trị không thay đổi Trong bước tính toán mô tả điểm đặc trưng Mỗi điểm đặc trưng mô tả vùng ô vuông 16x16 Sau chia làm vùng nhỏ có kích thước 4x4, tính giá trị Histogram với mức hướng Sau thêm vào giá trị độ lớn gradient vùng 4x4 vào cho Histogram hướng Mỗi điểm đặc trưng chứa vector, mô tả chứa tổng cộng 4x4x8 yếu tố Trang 12 Hình 2.3 Mô tả điểm đặc trưng (a) Gradient ảnh, (b) mô tả điểm đặc trưng Đối sánh điểm đặc trưng Những điểm đặc trưng tương đồng tìm cách so sánh khoảng cách Eclidian vector đặc trưng Điểm đặc trưng tương đồng điểm có khoảng cách nhỏ Tuy nhiên số lượng điểm đặc trưng lớn phải so sánh với nhiều liệu hình ảnh số lượng điểm đối sánh phép so sánh lớn Để khắc phục điều này, phương pháp cải tiến giải thuật so sánh K-D áp dụng để giảm thời gian tính toán so sánh Trong phương pháp đối sánh lỗi nhiễu hình ảnh, phương pháp khác phục dựa thuật toán RANSAC trình bày phần sau 2.2 Thông số nội camera Quá trình tìm thông số camera gọi camera calibration Camera calibration phương pháp tính toán thực nghiệm nhằm tìm thông số camera cho việc tái tạo không gian 3D cảnh thực tế ảnh mà camera chụp lại Để có thông số đó, tính toán sau chủ yếu dựa vào mô hình camera thông dụng nay: mô hình Pinhold Về mặt hình học, mô hình bao gồm mặt phẳng ảnh I (Image plane) tâm điểm C (Eyepoint) nằm mặt phẳng tiêu cự F (Focal plane) Trang 13 S K L 0 [...]... được trang bị thiết bị định vị GPS để lập bản đồ Trong bài viết của tác giả Nguyễn Minh Thức, định vị cho mobile robot sử dụng GPS [1], robot di chuyển và định vị dựa và tín hiệu GPS, tuy nhiên trong đề tài còn hạn chế là robot không thể tránh nhiều vật cản gần nhau Trang 3 Lập bản đồ 3D và 2D sử dụng stereo camera [2], tác giả dùng stereo camera gắn trên xe lăn để xây dựng bản đồ 3D, từ đó phát hiện... hình ảnh - Thuật toán tối ưu tái cấu trúc 3D xây dựng bản đồ 3D, xác định vị trí và góc quay camera để tìm vị trí và hướng của robot 1.3.2 Phạm vi nhiên cứu Đề tài nghiên cứu trên thiết bị di chuyển có người lái, tập ảnh 2D được tác giả thu thập trong quá trình di chuyển trên đường đi Trên tập dữ liệu ảnh 2D đề tài mô phỏng tính toán xây dựng bản đồ 3D và định vị vị trí camera trong bản đồ này 1.4 Phương... khiển của người tàn tật Định vị robot dựa trên cơ sở xử lý ảnh stereo camera và có tích hợp GPS [3], tác giả dựa vào GPS để định vị vị trí robot trên mặt đất trong khoảng không gian rộng lớn Mỗi lúc robot di chuyển với khoảng cách nhỏ, tác giả ước lượng sự di chuyển này dựa vào xử lý cặp ảnh chụp từ stereo camera Một mô hình định vị và lập bản đồ thời gian thực mức đối đối tượng 3D [4] Tác giả tạo một... dùng để xây dựng đám mây điểm của không gian làm việc và vị trí của robot cũng sẽ được trình bày trong chương này 2.1 Tìm cặp điểm đặc trưng tương đồng 2.1.1 Các loại đặc trưng Để tìm vị trí robot từ nhiều ảnh, việc tìm đặc trưng của ảnh cho phù hợp là thành phần quan trọng và thăng chốt Việc lựa chọn các đặc trưng sẽ giúp cho việc tăng độ chính xác vị trí, hướng của robot và tốc độ xử lý của robot Những... tiếp 1.2 Mục tiêu, khách thể và đối tượng nghiên cứu 1.2.1 Mục tiêu nghiên cứu Mục tiêu đề tài này là định vị robot dựa vào thuật toán SFM Robot sẽ dùng camera chụp các ảnh 2D trong quá trính di chuyển để ước lượng vị trí camera được gắn trên robot, sau đó tính toán vị trí và hướng của robot trong không gian robot đang tương tác 1.2.2 Khách thể nghiên cứu Đề tài nghiên cứu dựa vào các thuật toán SIFT để... hiện mô phỏng giải thuật trên phần mềm Khi thu được sai số cho phép sẽ tiến hành thực nghiêm trên phầ n cứng và môi trường thực tế Tóm lại,phương pháp nghiên cứu của đề tài là trước tiên tiên hành nghiên cứu lý thuyết, sau đó kiểm chứng bằng thực tế và rút ra kết luận Trang 5 Chương 2 XÂY DỰNG ĐÁM MÂY ĐIỂM TRONG KHÔNG GIAN 3D VÀ ĐỊNH VỊ ROBOT Nội dung chương 2 trình bày cách trích đặc trưng SIFT,... nghiên cứu dựa trên dữ liệu đầu vào là tập ảnh 2D, được thu thập trong quá trình di chuyển trên đường đi của robot hoặc hệ thống di chuyển cần xác định vị trí tương ứng trong môi trường làm việc 1.3 Nhiệm vụ của đề tài và phạm vi nghiên cứu 1.3.1 Nhiệm vụ của đề tài Để đạt được mục tiêu nghiên cứu cần thực hiện các nhiệm vụ sau: - Tìm hiểu lý thuyết về lập bản đồ và định vị robot - Tìm hiểu về xử lý ảnh:... liệu các đối tượng 3D Bản đồ được xây dựng từng bước trực tiếp theo hướng đối tượng Một máy ảnh chụp một cảnh nhiều đối tượng, thông tin các đối tượng được lặp đi lặp lại giải thuật nhận diện đối tượng 3D và tạo ra bản đồ 3D thể hiện vị trí các đối tượng liên quan trong tập dữ liệu Biểu đồ được tối ưu hóa lên tục như các phép đo mới và cho phép luôn cập nhập, các dự đoán liên tục và chính xác của phép... cứu dựa vào các thuật toán SIFT để trích đặc trưng của ảnh và tìm những đặc trưng tương đồng trong các ảnh liên tiếp nhau Những tương đồng sai sẽ bị loại bỏ thông qua thuật toán RANSAC Đồng thời ma trận thông số nội camera cũng được tính toán theo bước cân chỉnh trước đó Những đám mây điểm của môi trường và vị trí robot được khôi phục lại và tính toán chính xác dựa trên giải thuật tối ưu Trang 4 1.2.3... dùng thường xuyên trong phát hiện, theo dõi chuyển động, mô hình 3D và nhận dạng đối tượng Một góc được xác định bởi nơi giao nhau của hai cạnh Một góc cũng có thể được xác định như một điểm có hai hướng khác nhau trong một vùng cục bộcủa điểm đó Một điểm quan tâm là một điểm trong một ảnh mà điểm này có Trang 6 vị trí được xác định tốt và có thể được phát hiện nhanh chóng Điều này có nghĩa là một điểm