LỜI CAM ĐOAN Tôi xin cam đoan số liệu kết nêu Luận văn trung thực chưa công bố công trình khác Trừ phần tham khảo nêu rõ Luận văn Tác giả Khổng Minh LỜI CẢM ƠN Tác giả xin chân thành cảm ơn thầy cô Viện Cơ khí Trƣờng Đại học Bách Khoa Hà Nội nhƣ thầy cô tham gia giảng dạy cao học lớp cao học CĐT2013B tận tình giúp đỡ cho tác giả suốt thời gian vừa qua Tác giả xin chân thành cảm ơn bạn bè đồng nghiệp môn Cơ điện tử, thầy Ban chủ nhiệm khoa Cơ khí Trƣờng Đại học Công nghiệp Hà Nội tạo điều kiện, giúp đỡ tác giả trình vừa học vừa công tác Tác giả xin chân thành cảm ơn gia đình, bạn sinh viên động lực, nguồn cảm hứng cho tác giả suốt trình công tác học tập Đặc biệt tác giả xin chân thành cảm ơn PGS.TS Tạ Duy Liêm trực tiếp hƣớng dẫn tác giả hoàn thành luận văn PGS.TS Tạ Duy Liêm trực tiếp định hƣớng, giúp đỡ cho tác giả suốt trình học tập Đại học nhƣ Cao học Trƣờng Đại học Bách Khoa Hà Nội Thầy không ngƣời thầy mà nhà khoa học, đồng nghiệp mà suốt đời tác giả biết ơn ngƣỡng mộ Tác giả Khổng Minh MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC HỆ THỐNG DANH MỤC BẢNG BIỂU HỆ THỐNG DANH MỤC HÌNH VẼ MỞ ĐẦU 10 Lý chọn đề tài 10 Lịch sử nghiên cứu 11 Mục đích, đối tƣợng phạm vi nghiên cứu luận văn 11 3.1 Mục đích nghiên cứu 11 3.2 Đối tƣợng phạm vi nghiên cứu 11 Tóm tắt luận điểm đóng góp tác giả 12 4.1 Những luận điểm 12 4.2 Đóng góp tác giả 12 Phƣơng pháp nghiên cứu 13 CHƢƠNG I: TỔNG QUAN 14 1.1 Tổng quan sở lý thuyết 14 1.1.1 Tổng quan lý thuyết xử lý ảnh 14 1.1.2 Thƣ viện OpenCV 22 1.1.3 Robot công nghiệp Nachi MC20-01 25 1.2 Tình hình nghiên cứu nƣớc 28 1.2.1 Tình hình nghiên cứu nƣớc 28 1.2.2 Tình hình nghiên cứu nƣớc 29 CHƢƠNG II: THIẾT KẾ VÀ CHẾ TẠO HỆ THỐNG 30 2.1 Xác định yêu cầu hệ thống, giới hạn điều kiện biên 30 2.1.1 Yêu cầu hệ thống 30 2.1.2 Các điều kiện biên 30 2.2 Thiết kế chế tạo hệ thống 31 2.2.1 Thiết kế tổng thể 31 2.2.2 Thiết kế phần mềm xử lý ảnh 33 2.2.3 Thiết kế thi công mạch điều khiển 36 CHƢƠNG III: TÍCH HỢP HỆ THỐNG 49 3.1 Ghép nối xử lý ảnh với robot công nghiệp Nachi MC 20 49 3.2 Mô hình hóa mô hệ thống phần mềm AX on Desk 52 3.2.1 Mô hình hóa không gian làm việc 52 3.2.2 Viết chƣơng trình hoạt động cho robot phần mềm AX on Desk 54 3.2.3 Mô trình hoạt động hệ thống 58 CHƢƠNG IV: ẾT QUẢ Đ NH GI 61 4.1 Kết luận văn 61 4.1.1 Kết phần mềm xử lý ảnh 61 4.1.2 Kết phần cứng xử lý ảnh 65 4.2 Phân tích, đánh giá độ xác, mức độ đạt đƣợc kết nghiên cứu, thực nghiệm 69 4.2.1 Các thí nghiệm kiểm tra chất lƣợng hệ thống 69 4.2.2 Đánh giá kết thí nghiệm 72 KẾT LUẬN 73 PHỤ LỤC………………………………………………………………… 73 CODE CHƢƠNG TRÌNH……………………………………………… ….73 PHẦN BÀI TẬP THỰC HÀNH 84 BÀI 1: THIẾT KẾ KHÔNG GIAN LÀM VIỆC CHO ROBOT 84 CÔNG NGHIỆP NACHI MC20-01 VỚI HỆ THỐNG XỬ LÝ ẢNH 84 Mục tiêu thực hành: 84 Nội dung thực hành: 84 2.1 Xây dựng không gian làm việc cho robot công nghiệp Nachi MC20-01 phần mềm Solidwork 84 2.1.1 Xây dựng bàn gá 85 2.1.2 Xây dựng khay chứa phôi 85 2.1.3 Xây dựng hộp chứa sản phẩm 86 2.1.4 Xây dựng băng tải 86 2.1.5 Xây dựng bệ robot 87 2.2 Thiết lập vẽ lắp không gian làm việc robot 87 2.3 Xây dựng không gian làm việc cho robot công nghiệp phần mềm AX on Desk 88 2.3.1 Thiết lập không gian làm việc 88 2.3.2 Lựa chọn robot 90 BÀI 2: MÔ PHỎNG HOẠT ĐỘNG CỦA ROBOT CÔNG NGHIỆP NACHI MC20-01 VỚI HỆ THỐNG XỬ LÝ ẢNH BẰNG PHẦN MỀM AX ON DESK 92 Mục tiêu thực hành: 92 Nội dung thực hành: 92 2.2 Viết chƣơng trình 92 2.3 Viết chƣơng trình 92 2.4 Giả lập tín hiệu đầu vào 93 2.5 Chạy chƣơng trình mô 94 BÀI 3: VẬN HÀNH HỆ THỐNG XỬ LÝ ẢNH CHO ROBOT CÔNG NGHIỆP NACHI MC20-01……………………………………………… 96 Mục tiêu thực hành: 96 Nội dung thực hành: 96 2.1 Kiểm tra hệ thống trƣớc vận hành 96 2.1.1 Kiểm tra robot trƣớc bật nguồn điện 96 2.1.2 Kiểm tra vị trí công tắc, nút điều khiển 96 2.1.3 Kiểm tra máy nén khí máy biến áp 97 2.1.4 Kiểm tra băng tải 98 2.1.5 Kiểm tra phần mềm xử lý ảnh thu phát RF 99 2.2 Viết chƣơng trình chƣơng trình bảng dạy học 99 2.2.1 Kết nối mạch RF với tủ điều khiển AX 99 2.2.2 Viết chƣơng trình chƣơng trình bảng dạy học 99 Tài liệu tham khảo 103 HỆ THỐNG DANH MỤC BẢNG BIỂU Bảng 1.1 Thông số kỹ thuật Robot Nachi MC20-01 26 Bảng 2.1 Các linh kiện mạch phát RF 42 Bảng 2.2 Các linh kiện mạch thu RF 48 Bảng 3.1 Danh sách chân tín hiệu đầu vàocủa điều khiển AX 50 Bảng 3.2 Yêu cầu kỹ thuật tín hiệu I/O điều khiển AX 51 Bảng 4.1 Kết thí nghiệm XLA với khoảng thu phát 2m 70 Bảng 4.2 Kết thí nghiệm XLA với khoảng thu phát 10m 71 HỆ THỐNG DANH MỤC HÌNH VẼ Hình 1.1 Quá trình xử lý ảnh 14 Hình 1.2 Các bước xử lý ảnh 14 Hình 1.3 Ảnh liên tục ảnh số 16 Hình 1.4 Hiện tượng vỡ hạt 17 Hình 1.5 Độ phân giải ảnh 17 Hình 1.6 Mức xám ảnh 18 Hình 1.7 Độ nhạy sáng 18 Hình 1.8 Ảnh nhị phân ảnh đen trắng 18 Hình 1.9 Lược đồ mức xám ảnh 19 Hình 1.10 Không gian màu RGB 20 Hình 1.11 Không gian màu YUV 21 Hình 1.12 Không gian màu YCbCr 21 Hình 1.13 Không gian màu HSV 22 Hình 1.14 Kết nối tủ điều khiển với robot 27 Hình 1.15 Kết nối bảng điều khiển tay với tủ điều khiển 27 Hình 1.16 Robot SCARA xử lý ảnh ĐHCN Hà Nội 28 Hình 1.17 Mobile Robot xử lý ảnh 28 ĐH Lạc Hồng 28 Hình 1.18 Công nghệ xử lý ảnh áp dụng công nghiệp thực phẩm 29 Hình 1.19 Áp dụng công nghệ xử lý ảnh robot công nghiệp phân loại rác 29 Hình 1.20 Công nghệ xử lý ảnh phân loại sản phẩm 29 Hình 1.21 Công nghệ xử lý ảnh sản xuất rượu bia 29 Hình 2.1 Sơ đồ khối hệ thống 32 Hình 2.2 Giao diện phần mềm xử lý ảnh 34 Hình 2.3 Quá trình lấy ngưỡng màu 35 Hình 2.4 Mạch nguyên lý mạch phát sóng RF 37 Hình 2.5 Vi điều khiển ATmega8 38 Hình 2.6 Khối reset nạp ISP 39 Hình 2.7 Khối PL2303 39 Hình 2.8 Khối giao tiếp với module RF 40 Hình 2.9 Khối nguồn 41 Hình 2.10 Mạch in mạch phát sóng RF 41 Hình 2.11 Mạch phát sóng RF 42 Hình 2.12 Mạch nguyên lý mạch thu sóng RF 43 Hình 2.13 Khối ghi dịch 74HC595 44 Hình 2.14 Khối ULN2803 45 Hình 2.15 Khối kết nối tín hiệu vào robot 46 Hình 2.16 Mạch in mạch thu sóng RF 46 Hình 2.17 Mạch thu sóng RF 47 Hình 3.1 Vị trí cổng I/O 49 Hình 3.2 Các chân I/O 50 Hình 3.3 Kết nối với cổng tín hiệu vào lấy nguồn từ điều khiển 52 Hình 3.4 Hình chiếu cạnh không gian làm việc 53 Hình 3.5 Hình chiếu đứng không gian làm việc 53 Hình 3.6 Hình chiếu trục đo không gian làm việc 54 Hình 3.7 Cửa sổ Visual Program 55 Hình 3.8 Cửa sổ Visual Robot 56 Hình 3.9 Cửa sổ Visual I/O 57 Hình 3.10 Cửa sổ Visual TP 58 Hình 3.11 Vị trí ban đầu robot 59 Hình 3.12 Robot vị trí chờ gắp phôi phân loại 59 Hình 3.13 Robot gắp phôi nhận diện 60 Hình 3.14 Robot thả phôi vào khay tương ứng 60 Hình 4.1 Nhận diện phôi tam giác vàng 62 Hình 4.2 Nhận diện phôi tròn đỏ 62 Hình 4.3 Nhận diện phôi tròn trắng 63 Hình 4.4 Nhận diện phôi tròn vàng 63 Hình 4.5 Nhận diện phôi vuông đỏ 64 Hình 4.6 Các chế độ lựa chọn phôi 64 Hình 4.7 Lấy thông số màu sắc phôi với điều kiện ánh sáng khác 65 Hình 4.8 Mạch nhận phát tín hiệu RF máy tính 66 Hình 4.9 Mặt trước mạch nhận xử lý tín hiệu tủ điều khiển 67 Hình 4.10 Mặt sau mạch nhận xử lý tín hiệu tủ điều khiển 67 Hình 4.11 Bảng thao tác băng tải 68 MỞ ĐẦU Lý chọn đề tài Năm 1969, lần khái niệm điện tử đƣợc sử dụng Nhật Bản So với ngành khoa học kỹ thuật khác điện tử non trẻ Tuy nhiều tranh cãi khái niệm điện tử nhƣng nhìn chung điện tử ngành khoa học đƣợc tổ hợp từ ba lĩnh vực: khí, điện tử công nghệ thông tin Cùng với phát triển lĩnh vực này, nhƣ ƣu việt mình, điện tử ngày phát triển mạnh mẽ Các sản phẩm ngành điện tử có khắp nơi từ thực tiễn đời sống nhƣ: máy ảnh kỹ thuật số, máy giặt, tủ lạnh, phƣơng tiện giao thông… loại máy móc phục vụ công nghiệp nhƣ: máy CNC, robot công nghiệp, hệ thống FMS CIM… Năm 2013, đƣợc đơn vị cử học cao học Đại học Bách Khoa Hà Nội chuyên ngành điện tử, tác giả băn khoăn việc chọn đề tài tốt nghiệp Bởi điện tử ngành khoa học với kiến thức tổng hợp, sản phẩm đa dạng Tuy nhiên kết hợp chuyên môn thân, định hƣớng phát triển nhà trƣờng đặc biệt tƣ vấn PGS.TS Tạ Duy Liêm tác giả chọn đề tài “Nghiên cứu thiết kế chế tạo xử lý ảnh phân loại sản phẩm cho robot công nghiệp Nachi MC20-01” làm đề tài tốt nghiệp Đề tài đáp ứng đƣợc định hƣớng nghiên cứu thân tác giả mà xây dựng đƣợc sở vật chất phục vụ đào tạo, nghiên cứu cho phòng thực hành điện tử 3, trƣờng Đại học Công nghiệp Hà Nội, nơi tác giả công tác 10 Mở phần mềm AX on Desk, vào cửa sổ Virtual ROBOT, [file] [open] chọn file *igs tƣơng ứng Thực lệnh dịch chuyển xoay không gian, ta có đƣợc không gian làm việc robot nhƣ sau: 89 2.3.2 Lựa chọn robot Trong cửa sổ Virtual ROBOT, chọn [File] - [Mechanism Registration] Vào C: AX_ONDESK/RobView/Mechanisms chọn file MC20-01.mec Sử dụng lệnh dịch chuyển xoay, ta đƣa robot vị trí bệ đặt robot 90 91 BÀI 2: MÔ PHỎNG HOẠT ĐỘNG CỦA ROBOT CÔNG NGHIỆP NACHI MC20-01 VỚI HỆ THỐNG XỬ LÝ ẢNH BẰNG PHẦN MỀM AX ON DESK Mục tiêu thực hành: Viết chƣơng trình mô trình hoạt động hệ thống xử lý ảnh với robot công nghiệp Nachi MC20-01 phần mềm AX on Desk, tối ƣu chƣơng trình lập trình Nội dung thực hành: 2.2 Viết chƣơng tr nh - Trong cửa sổ Virtual TP ấn phím [Enable] + [PROG/STEP] đặt tên chƣơng trình - Tiến hành lập trình phần mềm AX on Desk theo lƣu đồ thuật toán nhƣ hình II.1 2.3 Viết chƣơng tr nh - Sử dụng câu lệnh FN81 viết chƣơng trình có điều kiện + Chạy chƣơng trình số 01: Gắp phôi tròn trắng từ băng tải sang hộp chứa sản phẩm tƣơng ứng có tín hiệu đầu vào chân input số 01 + Chạy chƣơng trình số 02: Gắp phôi tròn đỏ từ băng tải sang hộp chứa sản phẩm tƣơng ứng có tín hiệu đầu vào chân input số 02 + Chạy chƣơng trình số 03: Gắp phôi tròn vàng từ băng tải sang hộp chứa sản phẩm tƣơng ứng có tín hiệu đầu vào chân input số 03 + Chạy chƣơng trình số 04: Gắp phôi tam giác vàng từ băng tải sang hộp chứa sản phẩm tƣơng ứng có tín hiệu đầu vào chân input số 04 + Chạy chƣơng trình số 05: Gắp phôi vuông đỏ từ băng tải sang hộp chứa sản phẩm tƣơng ứng có tín hiệu đầu vào chân input số 05 - Yêu cầu tốc độ di chuyển: 92 + Tốc độ chạy không: 800mm/s + Tốc độ dịch chuyển không gian băng tải không gian chứa sản phẩm: 200mm/s 2.4 Giả lập tín hiệu đầu vào Vào cửa sổ Virtual IO giả lập tín hiệu đầu vào 01,02,03,04,05 nhƣ sau: 93 2.5 Chạy chƣơng tr nh mô - Bật nguồn động - Chuyển chế độ chạy tự động Virtual IO AX T/P Switch -Quan sát trình làm việc robot, nhận xét hiệu chỉnh 94 Bắt đầu Robot di chuyển tới vị trí làm việc KT input 01 S KT input 02 Đ Đ S KT input S KT input 03 04 S KT input 05 Đ Đ Đ CT gắp CT gắp CT gắp CT gắp CT gắp phôi phôi tròn phôi tròn phôi tròn phôi tam vuông đỏ trắng đỏ vàng giác vàng KT dừng khẩn cấp Đ Kết thúc Hình 2.1 95 S BÀI 3: VẬN HÀNH HỆ THỐNG XỬ LÝ ẢNH CHO ROBOT CÔNG NGHIỆP NACHI MC20-01 Mục tiêu thực hành: Vận hành hệ thống xử lý ảnh cho robot công nghiệp robot Nachi MC20-01 Nội dung thực hành: 2.1 Kiểm tra hệ thống trƣớc vận hành 2.1.1 Kiểm tra robot trƣớc bật nguồn điện - iểm tra đế lắp robot: Số lƣợng bulong đủ chiếc, bulong đƣợc bắt chặt, kiểm tra mắt thƣờng độ nghiên robot, kiểm tra tay độ chắn đế robot - iểm tra thân robot: Trên thân robot công có vật lạ, dây khí đƣợc cắm chặt, bulong đầy đủ, lắp chặt không bị tháo lỏng, không gian chuyển động khớp không bị cản trở 2.1.2 Kiểm tra vị trí công tắc, nút điều khiển - iểm tra vị trí công tắc nguồn tủ điều khiển: Công tắc nguồn vị trí OFF - iểm tra vị trí khóa MODE bảng dạy học tủ điều khiển: MODE dạy học đƣợc lựa chọn 96 - Reset nút dừng khẩn cấp bảng dạy học tủ điều khiển cách quay từ trái qua phải 2.1.3 Kiểm tra máy nén khí máy biến áp - iểm tra máy nén khí: + iểm tra dây khí nén từ máy đến robot phải đƣợc cắm chặt + iểm tra khóa khí nén từ máy đến robot đƣợc mở + Cắm điện bật nguồn cho máy nén khí + iểm tra áp suất máy nén khí - iểm tra máy biến áp + iểm tra dây điện nguồn từ máy tủ điện đến máy biến áp phải đƣợc nối chắn, chỗ dây hở + Bật nguồn cho ổn áp + iểm tra điện áp pha: pha, pha đủ 220V, ổn định 97 + iểm tra dòng điện pha: chƣa khởi động robot, dòng điện 0A, ổn định 2.1.4 Kiểm tra băng tải - iểm tra vị trí băng tải - iểm tra đƣờng chuyển động băng tải vật cản trở - iểm tra dây nguồn đến băng tải chắn, không hở điện - Lắp điện cho băng tải theo sơ đồ - Cấp nguồn cho băng tải Băng tải hoạt động bình thƣờng: hi cấp nguồn băng tải chạy, phôi đƣợc vận chuyển, cảm biến gặp phôi, băng tải dừng lại - iểm tra đƣờng dẫn phôi: Phôi phải dừng vị trí trƣớc cảm biến băng tải, không bị lệch phải hay lệch trái 98 2.1.5 Kiểm tra phần mềm xử lý ảnh thu phát RF - iểm tra phần mềm xử lý ảnh + hởi động phần mềm: - Bật máy tính PC 20 - hởi động phần mềm xử lý ảnh - Lựa chọn cổng kết nối - ết nối - Lựa chọn tất loại phôi - Chạy thử chƣơng trình - iểm tra thu phát RF hi phần mềm báo nhận đƣợc phôi tƣơng ứng, đèn tín hiệu nhận tín hiệu RF tủ điều khiển băng tải sáng lên tƣơng ứng 2.2 Viết chƣơng tr nh chƣơng tr nh bảng dạy học 2.2.1 Kết nối mạch RF với tủ điều khiển AX - Trên mạch thu RF tủ điều khiển, cắm chân output mạch RF với chân input tủ điều khiển tƣơng ứng 2.2.2 Viết chƣơng tr nh chƣơng tr nh bảng dạy học - Ngƣời vận hành robot đứng vào vị trí vận hành (đã đƣợc đánh dấu xƣởng) để tiến hành vận hành robot 99 - Quá trình vận hành thực theo bƣớc sau: Bƣớc 1: Bật công tắc nguồn điều khiển  Trước bật điện điều khiển, cửa điều khiển cần phải đóng chặt Để tránh sờ vào khu vực cấp nguồn bị điện giật gây chết người  Kiểm tra vị trí công tắc  Bật công tắc nguồn lên vị trí ON  Khi hộp thoại kết thúc mà vấn đề gì, hình bảng dạy đƣợc hiển thị Hộp điều khiển hình hiển thị khởi động robot Bƣớc 2: Lựa chọn mode  Mode kiểm tra hình bảng dạy Chuyển đổi mode cách sử dụng núm chuyển đổi mode panel thao tác Bật nút cho panel thao tác bảng dạy phƣơng thức Vị trí núm chuyển đổi mode panel thao tác teach pendant Bƣớc 3: Bật nguồn động  Trước bật nguồn tuyệt đối không tiến lại gần robot  Kiểm tra xem chọn teach mode chƣa 100  Ấn nút [motor power ON]  Giữ công tắc Deadman  Kết thúc phần chuẩn bị vận hành Vị trí nút nhấn vùng hiển thị phương thức mode hình Teach pendant Bƣớc 4: Vận hành robot tay  Robot vận hành theo hệ trục tọa độ chọn ( Hệ tọa độ khớp, hệ tọa độ robot, hệ tọa độ dụng cụ)  Kiểm tra xem teach mode đƣợc chọn chƣa  Ấn núm [motor power ON]  Muốn thay đổi tốc độ,ấn [CHECK SPD/ TEACH SPEED] 101  Muốn chọn hệ tọa độ ấn phím [INTERP/COORD]  Giữ công tắc Deadman  Ấn phím vận hành trục để di chuyển robot Thực trình viết chƣơng trình chƣơng trình nhƣ phần viết phần mềm AX on Desk Bƣớc 5: Tắt nguồn động  Trong phƣơng thức dạy (Teach mode ),hãy thả lỏng [công tắc Deadman]  Nhấn núm ngừng khẩn cấp  Muốn bật nguồn điện động trở lại, phải thả lỏng nút ngừng khẩn cấp, cách vặn nút theo chiều mũi tên.Trên panen thao tác hộp vận hành ,có nút ngừng khẩn cấp Robot ngừng ấn nút ngừng khẩn cấp kể Bƣớc 6: Tắt công tắc nguồn hộp điều khiển  Kiểm tra xem Robot dừng lại chƣa  Hãy để công tắc ngắt mạch điện vị trí OFF  Bây nguồn điện điều khiển tắt 102 Tài liệu tham khảo Tiếng Việt Nguyễn Ngọc Cƣơng (2011), Giáo trình Ngôn Ngữ Lập Trình C/C++, NXB Thông Tin & Truyền Thông Võ Đức Khánh (2003), Giáo trình xử lý ảnh, NXB Thống Kê Khổng Minh (2012), Tài liệu thực hành môn robot công nghiệp,Trƣờng Đại Học Công Nghiệp Hà Nội Kiều Xuân Thực (2008), Vi Điều Khiển, NXB Giáo Dục Minh Hà Group, banlinhkien.vn Tiếng Anh Gary Bradsky and Adrian Kaehler (2008), Learning Opencv, O’Reilly Ivor Horton’s (2008), Beginning Visual C++, WROX NACHI AX Controller Operating Manual Instalation Manual – NACHI-FUJICOSHI CORP 103 ... đích nghiên cứu Luận văn nghiên cứu hai nội dung công nghệ xử lý ảnh khả tích hợp công nghệ xử lý ảnh robot công nghiệp Nachi MC 20 – 01 Trên sở nhằm thiết kế, chế tạo xử lý ảnh, tích hợp robot công. .. cách phân loại truyền thống làm đƣợc… Hình 1.18 Công nghệ xử lý ảnh Hình 1.19 Áp dụng công nghệ xử lý áp dụng công nghiệp thực phẩm ảnh robot công nghiệp phân loại rác Hình 1.20 Công nghệ xử lý ảnh. .. 1.18 Công nghệ xử lý ảnh áp dụng công nghiệp thực phẩm 29 Hình 1.19 Áp dụng công nghệ xử lý ảnh robot công nghiệp phân loại rác 29 Hình 1.20 Công nghệ xử lý ảnh phân