Đang tải... (xem toàn văn)
Phát hiện làn đường (lane detection) là một trong những vấn đề rất quan trọng trong nhiều ứng dụng về các hệ thống hỗ trợ giao thông tự động, đặc biệt trong các hệ thống điều khiển xe tự động.
ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN ĐẶNG NGUYỄN ĐỨC TIẾN PHÁT HIỆN LÀN ĐƯỜNG THỜI GIAN THỰC CHO HỆ THỐNG ĐIỀU KHIỂN XE TỰ ĐỘNG Ng : KHOA HỌC MÁY TÍNH : 60.48.01 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN ĐÌNH THÚC GS SEIICHI MITA Thành phố Hồ Chí Minh - 2009 LỜI CẢM ƠN Lời đầu tiên, xin chân thành cảm ơn TS Nguyễn Đình Thúc GS Seiichi Mita giúp đỡ tơi nhiều suốt trình thực luận văn Các thầy đưa định hướng, ý kiến đóng góp quan trọng giúp tơi hồn thành đề tài nghiên cứu Tơi chân thành cảm ơn tất Thầy Cô, anh chị đồng nghiệp Khoa Công nghệ Thông tin, đặc biệt môn Công nghệ Tri thức động viên, tạo điều kiện cho thực luận văn thời gian qua Tôi gửi lời cảm ơn đến tất thành viên Phòng thí nghiệm Kỹ thuật Thông tin Truyền thông, đặc biệt TS Trần Thái Sơn giúp đỡ nhiều trình thực luận văn Học viện Kỹ thuật Toyota, thành phố Nagoya, Nhật Bản Con xin gửi tất lòng biết ơn, kính trọng đến ba mẹ anh chị, người nuôi dưỡng dạy bảo con, cho niềm tin nghị lực để vượt qua khó khăn sống Mặc dù cố gắng hoàn thành tất nỗ lực thân, luận văn chắn khơng tránh khỏi thiếu sót định Tơi mong nhận ý kiến đóng góp quý báu Thầy Cô, anh chị bạn Thành phố Hồ Chí Minh, tháng năm 2009 Đặng Nguyễn Đức Tiến i MỤC LỤC MỤC LỤC i DANH SÁCH CÁC BẢNG iv DANH SÁCH CÁC HÌNH v DANH SÁCH CÁC TỪ VIẾT TẮT vii CHƢƠNG GIỚI THIỆU 1.1 Đặt vấn đề 1.2 Hƣớng tiếp cận đề tài 1.3 Nội dung luận văn CHƢƠNG TỔNG QUAN 2.1 Các vấn đề toán Phát đƣờng 2.1.1 Mục tiêu 2.1.2 Môi trƣờng 2.1.3 Tín hiệu 2.2 Mơ hình tổng qt giải vấn đề 11 2.3 Các phƣơng pháp giải 12 2.3.1 Mơ hình đƣờng 12 2.3.1.1 Sử dụng đƣờng thẳng 12 2.3.1.2 Sử dụng đƣờng cong 13 2.3.1.3 Sử dụng mơ hình tốn học phức tạp 15 2.3.2 Xác định dấu phân cách 16 2.3.2.1 Dựa cạnh 17 2.3.2.2 Dựa tần số 18 ii 2.3.2.3 Dựa màu sắc vân 19 2.3.2.4 Dựa nhiều camera 21 2.3.3 Hậu xử lý 23 2.3.3.1 Sử dụng biến đổi Hough 23 2.3.3.2 Sử dụng RANSAC 23 2.3.3.3 Sử dụng kết hợp đặc trƣng 25 2.3.4 Mơ hình chuyển động toán theo vết 26 2.3.4.1 Mơ hình Aukermann 26 2.3.4.2 Kalman Filter 27 2.3.4.3 Particle Filter 28 2.3.5 Các giả định 29 CHƢƠNG PHƢƠNG PHÁP CỦA LUẬN VĂN 32 3.1 Mơ hình chung đề tài 32 3.2 Thiết lập số Camera 34 3.3 Biến đổi IPM 37 3.4 Biểu diễn đƣờng 39 3.5 Theo vết đƣờng với Particle Filter 41 3.6 Thông tin trạng thái chuyển động 42 3.7 Các độ đo 43 CHƢƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ 48 4.1 Dữ liệu thực nghiệm 48 4.2 Phƣơng pháp tiêu chí đánh giá 49 4.3 Các thí nghiệm 51 4.3.1 Về tốc độ xử lý 51 iii 4.3.2 Về độ xác 52 4.3.3 Các tình đặc biệt 56 4.4 Đánh giá chung 59 CHƢƠNG KẾT LUẬN 60 TÀI LIỆU TRÍCH DẪN 63 iv DANH SÁCH CÁC BẢNG Bảng 2-1 Tóm tắt ƣu/nhƣợc điểm loại thông tin 10 Bảng 2-2 Thời gian thực thi số thuật toán máy học 20 Bảng 3-1 Kết tính ma trận biến dạng ma trận nội 37 Bảng 3-2 Ma trận Homography ứng với Camera TTI 39 Bảng 4-1 Thống kê liệu thử nghiệm 48 Bảng 4-2 So sánh tốc độ xử lý số phƣơng pháp 51 Bảng 4-3 Kết thử nghiệm liệu đƣờng nội ô 52 Bảng 4-4 Kết thử nghiệm liệu đƣờng ngoại ô 52 Bảng 4-5 Kết thử nghiệm McCall 53 Bảng 4-6 So sánh độ xác phƣơng pháp 54 Bảng 4-7 Kết thử nghiệm đƣờng nội thành vào ban ngày ban đêm 55 v DANH SÁCH CÁC HÌNH Hình 1-1 Những ví dụ tình tốn phát đƣờng Hình 2-1 Minh họa mục tiêu khác toán phát đƣờng Hình 2-2 Ví dụ khác biệt môi trƣờng Hình 2-3 Mơ hình tổng qt giải tốn phát đƣờng 11 Hình 2-4 Biểu diễn đƣờng đƣờng thẳng 13 Hình 2-5 Biểu diễn đƣờng hình thang 13 Hình 2-6 Biểu diễn đƣờng theo B-Snake 14 Hình 2-7 Sử dụng Canny để rút trích dấu phân cách đƣờng 17 Hình 2-8 Những trƣờng hợp trích dấu phân cách dựa cạnh khơng hiệu 18 Hình 2-9 Trích dấu dựa gradient 18 Hình 2-10 Ví dụ tập ảnh huấn luyện để trích dấu đƣờng 19 Hình 2-11 Hiệu số thuật toán máy học 20 Hình 2-12 Nhiễu phƣơng pháp trích dấu đƣờng dựa màu 21 Hình 2-13 Ảnh thu đƣợc từ camera trái camera phải 22 Hình 2-14 Sử dụng camera nghiên cứu Leonard 22 Hình 2-15 Kết sử dụng CHEVP Wang 24 Hình 2-16 Kết sử dụng RANSAC Kim 24 Hình 2-17 Mơ hình đặc trƣng kết hợp với Particle Filter Apostoloff 26 Hình 2-18 Mơ hình Aukermann 27 Hình 2-19 Một số dạng dấu phân cách đặc biệt đƣờng 30 Hình 3-1 Mơ hình luận văn 34 Hình 3-2 Mơ hình Camera Pinhole 34 Hình 3-3 Các loại biến dạng 36 Hình 3-4 Các hệ số công thức biến đổi IPM 38 Hình 3-5 Ví dụ biến đổi IPM 39 Hình 3-6 Particle Filter 41 vi Hình 3-7 Bản chất tốn học độ đo vị trí đƣờng biên 44 Hình 3-8 Tình điểm nằm dấu phân cách 44 Hình 4-1 Một số hình “khó” tập liệu thử nghiệm 49 Hình 4-2 Một số kết tình đặc biệt 57 Hình 4-3 Sự thay đổi theo thời gian điểm kiểm soát 58 vii DANH SÁCH CÁC TỪ VIẾT TẮT GPS: Global Positioning System: Hệ thống định vị toàn cầu PF: Particle Filter: Lọc thành phần HOG: Histogram of Gradient ANNs: Artificial Neural Networks NBCs: Naïve Bayesian Classifiers TLC: Time to lane crossing IPM: Inverse Perspective Mapping SVM: Support Vector Machine CHEVP: Canny/Hough Estimation of Vanishing Points CHƢƠNG GIỚI THIỆU 1.1 Đặt vấn đề Phát đƣờng (lane detection) vấn đề quan trọng nhiều ứng dụng hệ thống hỗ trợ giao thông tự động, đặc biệt hệ thống điều khiển xe tự động Trong khoảng từ năm 1998 đến nay, với phát triển vƣợt bậc tốc độ xử lý máy tính, giá thành thiết bị hỗ trợ ngày giảm nghiên cứu hệ thống điều khiển xe tự động ngày đƣợc phát triển Đã có nhiều nghiên cứu tập trung vào tốn phát đƣờng số kết bƣớc đầu đạt đƣợc cho thấy tín hiệu khả quan Trong tốn phát đƣờng có loại mục tiêu là: (i) cảnh báo chuyển đƣờng, (ii) hỗ trợ ngƣời trình lái xe, (iii) điều khiển xe tự động Trong đó, mục tiêu phục vụ cho hệ thống điều khiển xe tự động đƣợc đánh giá khó Có nhiều nghiên cứu thời gian gần tập trung mục tiêu hỗ trợ hệ thống điều khiển xe tự động, nhiều khó khăn tồn việc giải toán với mục tiêu nói riêng nhƣ tồn tốn phát đƣờng nói chung Các khó khăn nhƣ sau: Phần lớn yêu cầu đòi hỏi ứng dụng phải xử lý thời gian thực Trong nhiều nghiên cứu, nhƣ [21], [22] kết đạt đƣợc tốt, nhiên nghiên cứu chƣa thực thi đƣợc thời gian thực Sự khó khăn dấu phân cách đƣờng (lane-marking) khơng rõ nét bị che lấp… Các ví dụ đƣợc thể Hình 1-1 đƣợc lấy từ kết khảo sát McCall cộng [14] Sự phức tạp địa hình Trong phần lớn nghiên cứu nhƣ [1], [3], [10], [11], [17], [18], [21] giả định mặt đƣờng cần xử lý phẳng Cho đến thời điểm thực đề tài, có nghiên cứu nhƣ [12] [23] tiếp cận theo hƣớng toàn đƣờng theo dạng chiều 51 pháp khác nhƣ nhận đƣợc ƣu điểm khuyết điểm phƣơng pháp đề xuất Trong phần tiếp theo, chúng tơi trình bày kết thực nghiệm đƣợc tiến hành trình nghiên cứu đề tài 4.3 Các kết thực nghiệm Chƣơng trình thực thi chúng tơi đƣợc thử nghiệm máy tính cấu hình Pentium Core Duo 1.8GHz, Ram 2GB, HDD 160GB, Hệ điều hành Windows XP SP3, ngơn ngữ lập trình đƣợc sử dụng C++ với thƣ viện OpenCV 4.3.1 Về tốc độ xử lý Tốc độ xử lý chƣơng trình tốt Chƣơng trình xử lý thời gian thực file video với độ phân giải 640x480 tốc độ 15 fps Đây tốc độ xử lý cao so sánh với kết khác Bảng 4-2 So sánh tốc độ xử lý số phƣơng pháp Nghiên cứu Wang [22] Kim [11] Khả xử lý Câu hình 240 x 256, 4s/frame 128 MB Ram 176 x 120, 2-3 fps P4 3GHz, C++ sử dụng với thƣ viện OpenCV McCall [14] Không đề cập Bertozzi [3] 128 x 128, fps CPU 1.7GHz, Sử dụng Matlab Apostoloff [1] Không đề cập Vacek [21] 720 x 576, 10 fps Không đề cập Luận văn 640 x 480, 15 fps 1.8GHz, 2GB Ram, C++ với thƣ viện OpenCV 52 Nhƣ vậy, so sánh đơn tốc độ phƣơng pháp luận văn tỏ hiệu có thời gian xử lý gần nhƣ tốt số phƣơng pháp Điều quan trọng thể đƣợc với tốc độ di chuyển xe khoảng 40km/h (xấp xỉ 11.11m/s) chƣơng trình hồn tồn có khả xử lý thời gian thực gửi kết cho bƣớc hệ thống 4.3.2 Về độ xác Chúng tơi tiến hành thử nghiệm thời điểm khác tập liệu nhƣ mô tả Bảng 4-1 Kết thu nhận đƣợc thể Bảng 4-3 Bảng 4-4 Trong hai bảng này, kết thể cho thấy đƣờng vắng ngƣời phƣơng tiện, cụ thể đƣờng nội trung tâm TTI kết tốt nhất, sai biệt trung bình nhƣ độ lệch chuẩn nhỏ, vào khoảng 3cm sai biệt trung bình 4.25cm độ lệch chuẩn Kết so với kết tốt phƣơng pháp McCall cho thấy hiệu luận văn không thua Trong phƣơng pháp McCall, kết tốt 3.04cm 3.9 cm, đƣờng ban đêm Bảng 4-3 Kết thử nghiệm liệu đƣờng nội ô Đơn vị (cm) Ban đêm Ban ngày Trời mưa Sai biệt trung bình 4.6521 3.5356 30.3341 Độ lệch chuẩn 6.7350 4.3501 53.1283 Bảng 4-4 Kết thử nghiệm liệu đƣờng ngoại ô Đơn vị (cm) Ban đêm Ban ngày Trời mưa Sai biệt trung bình 2.8785 12.6314 15.0449 Độ lệch chuẩn 4.2598 20.8041 23.9871 53 Bảng 4-5 Kết thử nghiệm McCall Nguồn: [14] Standard Deviation of Error (cm) Dawn Noon Dusk Night Total Set A 4.5400 11.5700 8.1062 7.9710 8.4221 Set B 8.6041 14.8687 7.9457 3.8871 9.6612 Set C 11.1815 13.5135 29.9347 23.2722 20.8885 Set D 5.1547 10.7514 12.1687 8.3031 9.4761 Totals 7.8460 12.7784 17.1246 13.1261 13.1377 Mean Absolute of Error (cm) Dawn Noon Dusk Night Total Set A 3.6497 8.6429 5.5313 6.4720 6.0740 Set B 6.8463 10.6362 5.6768 3.0417 6.5503 Set C 8.1815 10.8677 20.4727 12.9471 13.1173 Set D 4.1713 8.4701 9.8390 6.5232 7.2509 Totals 5.7122 9.6542 10.3800 7.2460 8.2481 Trong thử nghiệm McCall khơng có test điều kiện trời mƣa, nên điều kiện thời tiết so sánh đƣợc Nếu nhƣ loại bỏ test trời mƣa, chúng tơi có kết trung bình test ban ngày ban đêm vùng ngoại nội ơ, đó, kết so với kết McCall tỏ hiệu So sánh với nghiên cứu khác có sử dụng độ đo sai biệt trung bình, chúng tơi có đƣợc bảng so sánh Bảng 4-6 Kết cho thấy hiệu giải thuật đề xuất chúng tôi, tất nhiên điều khơng hồn tồn khách quan tập liệu thử nghiệm phƣơng pháp đƣợc đánh giá khác 54 Bảng 4-6 So sánh độ xác phƣơng pháp Đơn vị (cm) Phương pháp Độ lệch chuẩn Sai biệt trung bình McCall [14] 8.2481 13.1377 10 13 5.9244 9.0373 Apostoloff [1] Luận văn Từ kết Bảng 4-3 Bảng 4-4, nhận đƣợc số kết luận thú vị phƣơng pháp đề xuất luận văn: Đối với đƣờng nội thành, kết ban đêm tốt ban ngày Điều lý giải đƣợc vào ban đêm, khác biệt dấu phân cách đƣờng bật phản quang chất liệu sơn dấu phân cách Mặt khác, vào ban đêm dấu phân cách bị che khuất bóng nắng tòa nhà cối xung quanh Vào ban ngày, kết ngoại thành tốt hơn, ngƣợc lại vào ban đêm Điều thấy đƣợc đƣờng nội thành vào ban ngày mật độ giao thông thƣờng đông nên dấu phân cách khó nhận rõ Ngƣợc lại, vào ban đêm ngoại thành thiếu ánh sáng, mờ (đối với đƣờng nội bộ) nên kết không tốt đƣờng nội thành Kết trời mƣa ngoại thành tốt nội thành Điều lý giải chất lƣợng hình ảnh mà chúng tơi ghi nhận đƣợc vào thời tiết trời mƣa nội thành Tiến hành thử nghiệm độ xác giản lƣợc bớt số cải tiến phƣơng pháp, thu nhận đƣợc kết nhƣ thể Bảng 4-7 Ở bảng này, cột bên trái thể kết vào ban ngày cột bên phải thể kết vào ban đêm Tất liệu test đƣờng nội thành 55 Bảng 4-7 Kết thử nghiệm đƣờng nội thành vào ban ngày ban đêm Đơn vị (cm) Phương pháp Bình thường Khơng sử dụng trạng Sai biệt Độ lệch Sai biệt Độ lệch Trung bình chuẩn Trung bình chuẩn 4.6521 6.7350 3.5356 4.3501 12.0872 15.5280 11.9241 15.1420 7.2140 10.8174 7.1498 10.0981 15.1248 20.8871 14.1480 19.9148 thái chuyển động Sử dụng S = 100 Loại bỏ Kết đƣợc nhận xét giải thích nhƣ sau: Khi loại bỏ thơng tin từ mơ hình trạng thái, kết giảm sút rõ rệt, kết đạt đƣợc sai số gia tăng gấp lần, phƣơng pháp cho thấy tỏ sút so với kết McCall Apostoloff Điều dễ hiểu cách tiếp cận phƣơng pháp có tốc độ thực thi nhanh nhờ vào đơn giản xử lý Do vậy, giảm thơng tin từ mơ hình trạng thái độ xác sụt giảm nghiêm trọng Khi sử dụng 100% đƣờng biên cơng thức tính độ đo vị trí đƣờng biên, hiệu sụt giảm rõ nét, không nhiều so với việc loại bỏ thơng tin từ mơ hình trạng thái Điều dễ hiểu gặp phải đƣờng có dấu phân cách cách xa dấu phân cách không nhận đƣợc độ đo vị trí đƣờng biên không hiệu đặt giá trị S = 65 nhƣ khảo sát Khi loại bỏ yếu tố trên, ta thấy tất ƣu phƣơng pháp bị loại trừ, dẫn đến việc hiệu suất trở nên thấp, khó chấp nhận để đƣa vào thực tế Những thử nghiệm chứng tỏ đƣợc hiệu phƣơng pháp trình bày luận văn so với phƣơng pháp đại thời điểm thực luặn văn Đặc biệt thấy đƣợc vai trò thơng tin trạng thái việc nâng cao hiệu thực thi chƣơng trình 56 4.3.3 Các tình đặc biệt Thử nghiệm số tình đặc biệt, thu nhận đƣợc số kết trình bày nhƣ ví dụ Hình 4-2, gồm có số trƣờng hợp nhƣ sau: Đối với đƣờng có độ cong nhƣ hình a, kết cho thấy khả thực thi tốt Khi gặp dấu phân cách phức tạp nhƣ hình b, nhờ vào thơng tin trạng thái, chƣơng trình giải đƣợc cách hiệu Tƣơng tự nhƣ hình b, hình e, dấu hiệu (trong ví dụ vết bánh xe) dễ gây nhầm lẫn thành dấu phân cách đƣờng, chƣơng trình xử lý đƣợc Đây lỗi mà nghiên cứu nhƣ [15], [17] [18] vƣợt qua thiếu thông tin bổ trợ Nếu không sử dụng thơng tin bổ trợ, mơ hình đƣờng phải đủ mạnh để hệ thống giữ đƣợc quỹ đạo đƣờng theo vết Trong hình c d trƣờng hợp khó, tồn nghiên cứu khảo sát luận văn này, có nghiên cứu Leonard [12] giải đƣợc kết tƣơng tự với kết luận văn Tuy nhiên, phƣơng pháp Leonard phải sử dụng thêm thông tin từ camera bên hông thơng tin từ Laser Ở hình c tình độ rộng đƣờng thay đổi cách đột ngột, hình d tình gặp phải giao lộ Nhờ vào thông tin trạng thái nên hệ thống định theo vết bên trái, hay thẳng tình Trong tình cuối hình f, xe dừng, hệ thống trì đƣợc dự báo đƣờng Đây trƣờng hợp khó mà hầu hết nghiên cứu trƣớc chƣa thể giải Một thử nghiệm khác tiến hành khảo sát thay đổi điểm kiểm soát để tìm điều chỉnh hợp lý tích hợp thông tin trạng thái chuyển động vào Kết khảo sát đƣợc minh họa Hình 4-3 Trong hình này, khảo sát thay đổi điểm kiểm soát gần điểm kiểm soát xa 57 đƣờng biên trái kết gán thủ công Chiều rộng đồ thị thể thứ tự frame ảnh khảo sát chiều cao đồ thị thể hồnh độ tính theo điểm ảnh điểm kiểm soát đầu cuối Kết khảo sát cho thấy hầu nhƣ điểm kiểm soát gần thay đổi vị trí điểm kiểm sốt xa có thay đổi lớn Mặt khác, ta thấy việc thay đổi diễn số vị trí định, ứng với vị trí rẻ xe, đƣờng có độ cong lớn (a) (b) (c) (d) (e) (f) Hình 4-2 Một số kết tình đặc biệt 58 241 481 721 961 1201 1441 1681 1921 2161 2401 2641 2881 3121 3361 3601 3841 4081 4321 4561 4801 5041 5281 5521 5761 6001 6241 6481 6721 6961 7201 7441 7681 7921 8161 350 300 250 200 150 100 50 Left1.x Left4.x Hình 4-3 Sự thay đổi theo thời gian điểm kiểm soát Từ kết đó, ta rút kết luận cần tác động vào điểm kiểm soát xa nhất, điểm kiểm sốt xa Các điểm lại, cho giữ nguyên tọa độ với độ nhiễu nhỏ Mặt khác, ta thấy điểm kiểm sốt thay đổi nhiều đến vị trí có độ cong lớn xe thay đổi hƣớng di chuyển Vì vậy, ta hồn tồn sử dụng thông tin khác với thông tin trạng thái chuyển động xe, cần thơng tin đóng vai trò dự báo trƣớc đƣợc hƣớng di chuyển xe Ví dụ, thơng tin kết lập lộ trình (planning) xe comb công xƣởng kết hợp với thiết bị định vị, gần tới ngã rẻ, thiết bị thông báo PF cập nhật đoạn đƣợc thông báo đó, đoạn khác, Particl Filter tiến hành bình thƣờng không cần phải sử dụng thêm thông tin bổ trợ khác Mặc dù tỏ hiệu nhiều trƣờng hợp, nhƣng phƣơng pháp gặp phải hạn chế nhƣ sau: Chƣa có phƣơng pháp khởi tạo trạng thái hiệu Hiện phải sau khoảng 10 đến 15 frame ảnh kết đƣợc cập nhật PF cần phải có thời gian cập nhật để thích nghi Trong số trƣờng hợp dấu hồn tồn, có thơng tin trạng thái chuyển động không đủ để khôi phục đƣợc kết mong muốn Đối với môi trƣờng phức tạp (ví dụ nhƣ trời mƣa kết thực nghiệm), phƣơng pháp gặp phải nhiều khó khăn 59 Đôi thông tin từ trạng thái chuyển động khơng xác, ví dụ ngƣời dùng tập trung gây nhiễu cho kết xử lý Để áp dụng vào toán điều khiển xe tự động, việc tự động phát đƣờng để điều khiển xe việc sử dụng thông tin trạng thái chuyển động xe để phát đƣờng trở thành toán “con gà trứng” Tuy nhiên, may mắn tầm hoạt động hai thiết bị khác nên hồn tồn bổ sung đƣợc cho Mặt khác, tốn lái xe tự động, khơng có thơng tin từ kết phát đƣờng mà xe thu nhận thơng tin từ kết lập lộ trình đƣờng (Planning) nhƣ đồ (bao gồm đồ toàn cục (global map) đồ cục (local map)) 4.4 Đánh giá chung Các phƣơng pháp cải tiến đề tài chứng tỏ đƣợc vai trò chúng, góp phần nâng cao hiệu việc giải tốn phát đƣờng Sử dụng thơng tin bổ sung từ trạng thái chuyển động xe không giúp nâng cao hiệu việc dự đốn đƣờng mà làm giảm thiểu chi phí tính tốn Nhờ có thơng tin này, mơ hình đƣờng xây dựng đơn giản cách xấp xỉ đƣờng biên theo đƣờng cong bậc mà khơng cần phải dùng mơ hình phức tạp cho mơ hình đƣờng Các độ đo sử dụng có độ linh động cao giúp vƣợt qua đƣợc hạn chế áp dụng phƣơng pháp trích dấu đƣờng dựa cạnh (mà trƣờng hợp điểm kiểm sốt nằm đƣờng biên) thƣờng hay gặp phải Thực nghiệm cho thấy kết đạt đƣợc có thời gian thực thi nhanh sai số trung bình vào khoảng 6cm; hoạt động hiệu nhiều môi trƣờng nhƣ tình phức tạp, đặc biệt có tình thay đổi hƣớng di chuyển xe, tình nghiên cứu giải đƣợc tính đến thời điểm thực luận văn 60 CHƢƠNG KẾT LUẬN Trong đề tài tập trung giải toán phát đƣờng hỗ trợ cho hệ thống điều khiển xe tự động cách sử dụng Particle Filter kết hợp với thông tin từ trạng thái chuyển động thiết bị Ở bƣớc thực thuật toán tiến hành áp dụng giải thuật Canny để rút trích cạnh làm đặc trƣng dấu đƣờng Tiếp theo, Particle Filter đƣợc sử dụng để theo vết đƣờng Ở bƣớc, Particle Filter tạo 100 ứng viên, gồm 50 ứng viên cho đƣờng biên trái 50 ứng viên cho đƣờng biên phải Các đƣờng biên đƣợc xấp xỉ đƣờng cong bậc thơng qua điểm kiểm sốt Điểm kiểm soát thứ đƣờng biên đƣợc chọn điểm gần thiết bị (xe) nhất, điểm điều khiểu cuối điểm dấu đƣờng xa thị trƣờng Các điểm lại đƣợc chọn cho khoảng cách điểm kiểm soát với cân tốt Ở bƣớc lặp, Particle Filter sinh đƣờng biên cách di chuyển điểm kiểm soát cũ dựa theo thông tin trạng thái chuyển động Mỗi đƣờng biên đƣợc tính trọng số theo độ đo vị trí đƣờng biên Các đƣờng kết hợp cặp đƣờng biên trái đƣờng biên phải Mỗi đƣờng đƣợc gán trọng số theo độ đo đƣờng, kết hợp độ đo đƣờng biên, độ cong đƣờng độ rộng đƣờng Làn đƣờng có trọng số cao đƣợc chọn để làm kết thể Thông tin trạng thái sử dụng dựa mơ hình Aukermann Tồn trình thực đƣợc tiến hành ảnh IPM thông qua phép biến đổi IPM dựa vào ma trận Homography Đề tài tiến hành nghiên cứu thử nghiệm phƣơng pháp xác định hệ số camera để thu đƣợc hình ảnh xác thực tế Các kết đƣợc lƣu trữ ma trận nội ma trận biến dạng ứng với camera Cách tiếp cận giải vấn đề thông qua thực nghiệm kết khảo sát thể đƣợc ƣu điểm tốc độ thực thi nhanh (có thể hoạt động thời gian thực với video đầu vào có độ phân giải 640 x 480, tốc độ 15 fps) hiệu tốt 61 so sánh với phƣơng pháp đại Sai biệt trung bình cho trƣờng hợp thơng thƣờng mà thuật tốn áp dụng 6cm, độ lệch chuẩn vào khoảng 9cm Bằng cách sử dụng ảnh IPM, vấn đề khó khăn độ cong nhƣ kích thƣớc khơng đồng dấu phân cách đƣợc giải Phép biến đổi IPM với việc xác định tham số cho camera cần tính tốn lần sử dụng lại kết cho frame ảnh thông qua ma trận Homography, ma trận nội ma trận biến dạng Độ xác hiệu ƣớc lƣợng giá trị ma trận góp phần nâng cao độ xác phƣơng pháp Xấp xỉ đƣờng biên đƣờng đƣờng cong bậc đủ mạnh để mơ tả đƣợc hình dạng tƣơng đối phức tạp khác đƣờng mà trì đƣợc độ phức tạp với chi phí tính tốn nhỏ Khó khăn phƣơng pháp dấu đƣờng bị vị trí điểm kiểm soát phải nằm đƣờng biên đƣợc giải với cơng thức tính độ đo cải tiến, khơng sử dụng tồn đƣờng biên mà sử dụng khoảng 65% điểm có số cao đƣờng Việc áp dụng Particle Filter thay Kalman Filter hay phƣơng pháp khác mang lại độ linh động cho tốn, hồn tồn phù hợp cho mục tiêu điều khiển xe tự động Hơn nữa, mơ hình Particle Filter phù hợp việc áp dụng vào thay đổi vị trí điểm kiểm sốt Tích hợp thơng tin từ trạng thái chuyển động xe khơng làm giảm bớt chi phí tính tốn, bổ sung thơng tin cho mơ hình chuyển động Particle Filter mà giúp gia tăng độ xác cách hiệu Nhờ áp dụng thông tin này, số trƣờng hợp đặc biệt nhƣ trƣờng hợp dấu đƣờng, trƣờng hợp xe thay đổi hƣớng đi, trƣờng hợp đƣờng thay đổi độ rộng đột ngột… giải đơn giản nhiều so với việc sử dụng mơ hình đƣờng phức tạp Đặc biệt trƣờng hợp gặp giao lộ, thơng tin tỏ phù hợp Phân tích khảo sát tầm ảnh hƣởng thông tin trạng thái chuyển động với thay đổi điểm kiểm sốt cho thấy thơng tin đƣợc thay 62 thơng tin khác có vai trò tƣơng tự nhƣ lập lộ trình (Path Planning) GPS kết hợp với đồ chi tiết Các hệ thống hứa hẹn mở rộng thành hệ thống điều khiển xe tự động hoàn chỉnh Với yêu cầu nhƣ tại, cần camera hệ thống máy tính xử lý, phƣơng pháp luận văn hồn tồn thực áp dụng đƣợc môi trƣờng Việt Nam nay, đặc biệt đƣờng cao tốc Phƣơng pháp gặp phải hạn chế nhƣ chƣa có phƣơng pháp tính giá trị đƣờng khởi đầu cách hiệu Trong trƣờng hợp dấu đƣờng thời gian dài, sai số từ trạng thái chuyển động chƣa đƣợc giải cách hiệu quả, dẫn đến sai sót Trong trƣờng hợp đƣờng thực tế q rộng so với xe, mơ hình khơng thể áp dụng đƣợc dấu phân cách không kết hợp đƣợc với thị trƣờng xe bị thay đổi Đối với điều kiện thời tiết phức tạp, tốn thách đố Phƣơng pháp rút trích đặc trƣng dựa đơn vào trích cạnh có ƣu mặt tốc độ nhƣng trƣờng hợp khó, thơng tin trạng thái chuyển động bị sai lệch dẫn đến sai số khơng kiểm sốt Hƣớng phát triển tƣơng lai đề tài nhƣ sau: Xây dựng phƣơng pháp xác định trạng thái khởi đầu hiệu để bổ sung cho trƣờng hợp khiếm khuyết phƣơng pháp Kết hợp với thông tin khác để nâng cao hiệu bƣớc rút trích đặc trƣng mà không làm suy giảm ƣu tốc độ thực thi Mở rộng mơ hình lên khơng gian chiều để giải đƣợc tình phức tạp Kết hợp thêm thông tin khác nhƣ GPS, lập lộ trình (path planning)… để bổ sung chí thay cho thơng tin từ mơ hình trạng thái chuyển động 63 TÀI LIỆU TRÍCH DẪN [1] Nicholas Apostoloff and Alexander Zelinsky, "Robust vision based lane tracking using multiple cues and particle filtering," in IEEE Intelligent Vehicles Symposium, Columbus, OH, 2003 [2] M Sanjeev Arulampala, Simon Maskell, Neil Gordon, and Tim Clapp, "A Tutorial on Particle Filters for Online Nonlinear/Non-Gaussian Bayesian Tracking," IEEE Trans Signal Processing, vol 50, no 2, pp 174-188, February 2002 [3] M Bertozzi and A Broggi, "GOLD: A parallel real-time stereo vision system for generic obstacle and lane detection," IEEE Transaction on Image Processing, pp 199-213, 1998 [4] M Bertozzi, A Broggi, and A Fascioli, "Vision-based intelligent vehicles: State of the art and perspectives," Robotics and Autonomous Systems, vol 32, pp 1-16, 2000 [5] G Bradski and A Kaebler, "Camera Model and Calibration," in Learning OpenCV: Computer Vision with the OpenCV Library United States of America: O'Reilly, 2008, ch 11, pp 370-404 [6] Canny, "A Computational Approach to Edge Detection," IEEE on Pattern Analysis and Machine Learning, vol PAMI-8, no 6, pp 679 - 698, November 1986 [7] Radu Danescu and Sergiu Nedevschi, "Probabilistic Lane Tracking in Difficult Road Scenarios Using Stereovision," IEEE on Intelligent Transportation Systems, 2009, to appear [8] Arnaud Doucet and Adam M Johansen, "A Tutorial on Particle Filtering and 64 Smoothing: Fifteen years later," Doucet, Arnaud, 2008 [9] Martin A Fischler and Robert C Bolles, "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography," in Readings in computer vision: issues, problems, principles, and paradigms, J D Foley, Ed San Francisco, CA, USA: Morgan Kaufmann Publishers Inc, 1981, pp 726 - 740 [10] ZuWhan Kim, "Realtime Lane Tracking of Curved Local Road," in IEEE Intelligent Transportation Systems, Toronto, Canada, 2006, pp 1149 - 1155 [11] ZuWhan Kim, "Robust lane detection and tracking in challenging scenarios," IEEE Trans Intelligent Transportation System, vol 9, no 1, pp 16-26, March 2008 [12] John Leonard, "A Perception-Driven Autonomous Urban Vehicle," Journal of Field Robotics, vol 25, no 10, p 727–774, 2008 [13] David McAllester, Pedro Felzenszwalb, and Deva Ramanan, "A Discriminatively Trained, Multiscale, Deformable Part Model," in IEEE on Computer Vision and Pattern Recognition, Anchorage, AK, 2008, pp 1-8 [14] Joel C McCall and Mohan M Trivedi, "Video-based Lane Estimation and Tracking for Driver Assistance: Survey, System, and Evaluation," IEEE Transaction on Intelligent Transportation Systems, vol 7, no 1, pp 20 - 37, 2006 [15] A M Muad, A Hussain: S.A Samad, M.M Mustaffa, and B.Y Majlis, "Implementation of inverse perspective mapping algorithm for the development of an automatic lane tracking system," in TENCON 2004 2004 IEEE Region 10 Conference, Singapore, 2004, pp 207- 210 65 [16] N Nadai and B Triggs, "Histograms of Oriented Gradients for Human Detection," in IEEE Conference on Computer Vision and Pattern Recognition, 2005, pp 886-893 [17] S Sehestedt, S Kodagoda, A Alempijevic, and G Dissanayake, "Efficient Lane Detection and Tracking in Urban Environments," in Third European Conference on Mobile Robots, Freiburg, 2007, pp 126-131 [18] Stephan Sehestedt, Sarath Kodagoda, Alen Alempijevic, and Gamini Dissanayake, "Robust Lane Detection in Urban Environments," in IEEE on Intelligent Robots and Systems, San Diego, CA, USA, 2007, pp 123-128 [19] Sebastian Thrun, Wolfram Burgard, and Dieter Fox, Probabilistic Robotics USA: MIT Press, 2005 [20] Emanuele Trucco and Konstantinos Plakas, "Video Tracking: A Concise Survey," in IEEE - Oceanic Engineering, 2006, pp 520-529 [21] Stefan Vacek, Stephan Bergmann, Ulrich Mohr, and Rudiger Dillmann, "Rulebased tracking of multiple lanes using particle filters," in IEEE on Multisensor Fusion and Integration for Intelligent Systems, Heidelberg, 2006, pp 203-208 [22] Y Wang, E K Teoh, and D Shen, "Lane detection and tracking using BSnake," Image and Vision Computing, vol 22, no 4, pp 269-280, 2004 [23] Bing-Fei Wu, Chuan-Tsai Lin, and Yen-Lin Chen, "Dynamic Calibration and Occlusion Handling Algorithms for Lane Tracking," IEEE Transaction on Industrial Electrics, vol 56, no 5, pp 1757-1773, May 2009 [24] Alper Yilmaz and Mubarak Shah, "Object Tracking: A Survey," in ACM Computing Surveys, 2006 ... lái xe, (iii) điều khiển xe tự động Trong đó, mục tiêu phục vụ cho hệ thống điều khiển xe tự động đƣợc đánh giá khó Có nhiều nghiên cứu thời gian gần tập trung mục tiêu hỗ trợ hệ thống điều khiển. .. ngƣời điều khiển xe c) Mục tiêu điều khiển xe tự động Nguồn: [14] Các loại mục tiêu nhƣ sau: Hệ thống thông báo chuyển đường1 : Trong mục tiêu này, yêu cầu đặt hệ thống phải thông báo đƣợc xe thay... đƣợc thời gian thực, mặt khác giải đƣợc phần lớn khó khăn kể trên, đặc biệt hỗ trợ đƣợc cho mục tiêu ứng dụng vào hệ thống điều khiển xe tự động Hình 1-1 Những ví dụ tình tốn phát đƣờng a) Làn