ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Khâm Hồng Quang NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG PHẦN CỨNG, PHẦN MỀM PHÁT HIỆN VÀ THEO DÕI CHUYỂN ĐỘNG TRÊN CƠ SỞ CÔNG NGHỆ FPGA LUẬN VĂN THẠC SĨ ĐIỆN TỬ VIỄN THÔNG Ngành: Kỹ thuật Điện tử HÀ NỘI – 2020 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Khâm Hồng Quang NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG PHẦN CỨNG, PHẦN MỀM PHÁT HIỆN VÀ THEO DÕI CHUYỂN ĐỘNG TRÊN CƠ SỞ CÔNG NGHỆ FPGA LUẬN VĂN THẠC SỸ ĐIỆN TỬ VIỄN THÔNG Ngành: Kỹ thuật Điện tử Giảng viên hướng dẫn: PGS.TS Trần Xuân Tú HÀ NỘI – 2020 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LỜI CAM ĐOAN Tôi xin cam đoan luận văn tốt nghiệp hồn tồn cơng trình nghiên cứu thực tôi, thực dựa sở nghiên cứu lý thuyết, kiến thức ngành chuyên ngành, nghiên cứu khảo sát tình hình thực tiễn hướng dẫn PGS.TS Trần Xuân Tú Các số liệu, bảng biểu kết luận văn tốt nghiệp trung thực, nhận xét, kết luận đưa xuất phát từ thực tiễn thực nghiệm kinh nghiệm thân Những phần sử dụng tài liệu tham khảo khóa luận tốt nghiệp nêu rõ mục “Tài liệu tham khảo”, có điều khơng trung thực tơi xin nhận hồn tồn trách nhiệm chịu hình thức kỷ luật khoa nhà trường Tác giả luận văn thạc sĩ: Nguyễn Khâm Hồng Quang i LỜI CAM ĐOAN i TÓM TẮT iv DANH SÁCH CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT v DANH SÁCH HÌNH ẢNH vi DANH SÁCH BẢNG viii GIỚI THIỆU ix Chương HỆ THỐNG XỬ LÝ ẢNH SỐ Giới thiệu xử lý ảnh số Các trình xử lý ảnh số 1.2.1 Một số khái niệm xử lý ảnh số 1.2.2 Các bước xử lý ảnh số Một số vấn đề xử lý ảnh số 1.3.1 Chỉnh mức xám 1.3.2 Biến đổi ảnh 1.3.3 Nén ảnh Thuật toán theo dõi phát chuyển động 1.4.1 Thuật toán trừ 1.4.2 Thuật tốn trừ khung hình 10 Thuật toán phân loại đối tượng 11 Hệ thống xử lý ảnh số 14 Một số giải pháp phần cứng thực thi hệ thống xử lý ảnh 15 Chương CÔNG NGHỆ FPGA 17 Tổng quan mạch tích hợp 17 2.1.1 Mạch tích hợp ứng dụng chuyên biệt 18 2.1.2 Các thiết bị lơ-gic lập trình 19 2.1.3 Mảng cổng lô-gic có khả lập trình 19 So sánh mảng cổng lơ-gic có khả lập trình mạch tích hợp khác 20 2.2.1 biệt Mảng cổng lơ-gic có khả lập trình mạch tích hợp ứng dụng chun 20 2.2.2 Mảng cổng lơ-gic lập trình thiết bị lơ-gic lập trình 21 Cấu trúc mảng cổng lơ-gic lập trình 22 Ứng dụng mảng cổng lơ-gic lập trình 25 ii Giới thiệu Kit Artix – AC701 25 Vi xử lý Microblaze 28 2.6.1 Kiến trúc vi xử lý Microblaze 29 2.6.2 Định dạng liệu kiến trúc tập lệnh Microblaze 31 Chương ĐỀ XUẤT VÀ THỰC THI THỬ NGHIỆM HỆ THỐNG XỬ LÝ ẢNH TRÊN ARTIX-7 35 Công cụ Vivado Design Suite 35 Sơ đồ khối liên kết camera với Artix 35 Hệ thống xử lý ảnh đề xuất FPGA sử dụng Kit Artix-7 39 Thực mô hệ thống đề xuất vivado 45 KẾT LUẬN 53 TÀI LIỆU THAM KHẢO 54 iii TĨM TẮT Tóm tắt: Ngày công nghệ xử lý ảnh ngày phát triển đưa vào ứng dụng nhiều thiết bị di động, ứng dụng hệ thống camera để đảm bảo an ninh cơng cộng Ngồi ra, xử lý ảnh xuất nhiều ứng dụng khác quốc phòng, trật tự trị an giám sát cơng việc độc hại Có thể thấy công nghệ ngày sử dụng để để phục vụ người mục đích khác Tuy nhiên, công nghệ xử lý ảnh ngày chủ yếu thực phần mềm Do đó, khơng thể cải thiện hiệu xử lý ảnh chỉnh sửa để phù hợp với nhu cầu sử dụng người Dựa việc phân tích yêu cầu thực tế đặt Đề tài nghiên cứu hệ thống phần cứng, phần mềm xử lý ảnh dựa công nghệ FPGA để áp dụng thực thi thuật toán xử lý ảnh sau từ đưa vào ứng dụng đời sống Từ khóa: FPGA, hệ thống xử lý ảnh số iv DANH SÁCH CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt ALU Arithmetic Logic Unit Bộ thực thi phép tốn lơ-gic ALU Arithmetic Logic unit Đơn vị lô-gic số học AMBA Advanced Microcontroller Bus Architecture Kiến trúc bus vi điều khiển tiên tiến ASIC Application Specific Integrated Circuit Vi mạch chuyên dụng BRAM Block Random Access Memory CPLD Complex Programmable Logic Device Cấu kiện lơ-gic khả trình phức tạp CPU Central Processing Unit Khối nhớ truy cập ngẫu nhiên Đơn vị xử lý trung tâm EEPROM Electrically Erasable ROM ROM lập trình xóa điện FPGA Field Programmable Gate Array Mảng cổng lơ-gic có khả lập trình DL Hardware Description Language Ngơn ngữ mơ tả phần cứng IC Intergrated Circuits Mạch tích hợp LUT Look Up Table Bảng tra cứu PAL Programmable Array Logic Mảng lơ-gic lập trình PLA Programmable Logic Array Vi mạch lập trình dùng mảng lơ-gic PLD Programmable logic devices Thiết bị lơ-gic lập trình PROM Programmable ROM ROM khả trình RAM Random Access Memory Bộ nhớ truy cập ngẫu nhiên RISC Reduced Instruction Set Computer Máy tính có kiến trúc tập lệnh thu gọn ROM Read Only Memory Bộ nhớ đọc RTL Register Transfer Language Ngôn ngữ chuyển dịch ghi SPLD Simple Programmable Logic Device Cấu kiện lơ-gic khả trình đơn giản SRAM Static RAM Bộ nhớ truy cập ngẫu nhiên tĩnh VHDL Very High Speed Hardware Description Language Ngôn ngữ mô tả phần cứng cho mạch tích hợp tốc độ cao v DANH SÁCH HÌNH ẢNH Hình 1.1: Ảnh số Hình 1.2: Điểm ảnh (pixel) Hình 1.3: Các loại ảnh xử lý ảnh Hình 1.4: Các bước xử lý ảnh số Hình 1.5: Mối liên hệ bước xử lý ảnh số Hình 1.6: Các bước theo dõi đối tượng Hình 1.7: Sơ đồ khối thuật tốn trừ 10 Hình 1.8: Sơ đồ khối thuật tốn trừ khung hình 11 Hình 1.9: Cách nhận biết góc thuật tốn Harris Conner 12 Hình 1.10: Biểu đồ quan hệ λ1 λ2 14 Hình 1.11: Hệ thống xử lý ảnh 15 Hình 2.1: Các loại mạch tích hợp 18 Hình 2.2: Tổng thể kiến trúc FPGA 23 Hình 2.3: Khối lô-gic (CLB) 24 Hình 2.4: Sơ đồ khối Artix-7 26 Hình 2.5: Sơ đồ khối kiến trúc vi xử lý Microblaze 32 bits 30 Hình 2.6: Định dạng lệnh Microblaze 31 Hình 2.7: Kiến trúc đường ống ba giai đoạn 32 Hình 2.8: Kiến trúc đường ống năm giai đoạn 33 Hình 2.9: Kiến trúc đường ống tám giai đoạn 33 Hình 3.1: Kết nối camera-vita 2000 với hình 36 Hình 3.2: Kiến trúc khối truy cập trực tiếp nhớ video [2] 36 Hình 3.3: Xử lý hình ảnh Microblaze 38 Hình 3.4: Mối liên hệ kiến trúc phần mềm phần cứng hệ thống 38 Hình 3.5: Hệ thống xử lý ảnh để xuất Artix-7 AC701 39 vi Hình 3.6: Sơ đồ kết nối Module Anvet bo mạch Artix-7 40 Hình 3.7: Sơ đồ khối kiến trúc chuyển đổi Anvet [6] 40 Hình 3.8: Kiến trúc khối thu nhận camera VITA-2000 41 Hình 3.9: Sơ đồ thời gian tín hiệu đầu khối thu nhận ảnh 43 Hình 3.10: In chữ "Hello World" LCD kit Artix 45 Hình 3.11: Ghép nối camera VITA-2000 bo mạch FPGA Artix-7 46 Hình 3.12: Hệ thống xử lý ảnh đề xuất vivado 46 Hình 3.13: Kiến trúc khối IP fmc_imageon_vita_recever 47 Hình 3.14: Kiến trúc khối IP fmc_imageon_hdmio_rgb 47 Hình 3.15: Hình ảnh camera VITA kết nối với bo mạch Artix-7 48 Hình 3.16: Cấu hình kích thước 1/3 qua khối VDMA 49 Hình 3.17: Cấu hình kích thước 2/3 qua khối VDMA 50 vii DANH SÁCH BẢNG Bảng 1.1: Các cấp độ xử lý ảnh Bảng 2.1: Bảng so sánh số dòng Board FPGA 28 Bảng 3.1: Hiệu AXI VDMA số bo mạch FPGA 37 Bảng 3.2: Chức tín hiệu khối thu nhận camera VITA-2000 42 Bảng 3.3: Kết mô Vivado qua khối VDMA 50 Bảng 3.4: Bảng thống kê lượng hiệu hệ thống 51 Bảng 3.5: Điện sử dụng khồi hệ thống 52 viii Đầu vào video truyền camera VITA-2000, cấu hình cho độ phân giải 1080p Video đầu vào lấy từ camera VITA-2000 từ chuyển đổi Anvet FMCIMAGEON Sơ đồ kết nối thể sơ đồ khối hình 3.5: Hình 3.6: Sơ đồ kết nối Module Anvet bo mạch Artix-7 Kiến trúc cụ thể chuyển đổi Anvet FMC-IMAGEON biểu diễn Hình 3.7: Hình 3.7: Sơ đồ khối kiến trúc chuyển đổi Anvet [6] Bộ chuyển đổi Anvet kết nối với kit Artix-7 chân FMC chuyển đổi lấy nguồn từ kit Artix-7 để nuôi toàn thiết bị module Camera VITA kết nối với chân FMC để đưa liệu vài kit Artix-7 để xử lý Nó kết nối với chân FMC gián tiếp kết nối giao diện hiển qua hình LCD (LCEDI) Ngồi liệu video 40 chuyển đổi Anvet cịn đưa xung nhịp video vào để thực đồng hóa với khối thu nhận video kit Artix-7 Hình ảnh đầu vào ảnh thơ chuyển đổi thành hình ảnh RGB đường ống xử lý hình ảnh triển khai lõi video để loại bỏ điểm ảnh bị lỗi, khử màu chỉnh màu cho hình ảnh Bộ đệm khung video triển khai nhớ DDR3 hệ thống xử lý, giúp hình ảnh truy cập vào lõi xử lý Microblaze thông qua AXI VDMA Bộ đệm khung video không cần thiết cho hoạt động đường ống xử lý hình ảnh, bao gồm thiết kế phép chụp ảnh video đầu vào để phân tích Hình ảnh qua khối camera đầu vào có kiến trúc Hình 3.8: Hình 3.8: Kiến trúc khối thu nhận camera VITA-2000 Khối thu nhận ảnh dùng thể thực thu nhận hình ảnh từ camera VITA-2000 Khối De-Serializer dùng để thực việc thu tín hiệu vi phân điện áp thấp Khối “Sync Channel Decoder” dùng để giải mã kênh Sync tạo tín hiệu đồng hóa phù hợp tín hiệu đồng hóa đưa qua khối “CRC Checker” để kiểm tra xem có lỗi đồng hóa hay khơng Khối “Sync Generator” tạo tín hiệu đồng hóa tiêu chuẩn VSYNC/HSYNC, VBLANK/HBlanK, DE cần thiết để tạo giao diện video theo thời gian chung (VID _OUT) Bộ phân kênh lấy giá trị điểm ảnh song song đồng với xung nhịp “clk” tái tạo luồng điểm ảnh đồng hóa với xung nhịp “clkx4” Khối có chứa FIFO lưu trữ tối đa dòng video hoạt động Cổng fsync tạo xung nhịp hoạt 41 động chu kỳ, bắt đầu khung hình Nó sử dụng để đồng hóa chuyển qua khối truy cập trực tiếp nhớ video Ngồi cịn có chức tín hiệu vào khối thu nhận ảnh thể chi tiết bảng 3.2: Bảng 3.2: Chức tín hiệu khối thu nhận camera VITA-2000 Cổng Hướng Giao diện Bus Chức reset In Slave AXI Reset oe In Slave AXI Cho phép đầu clk In Slave AXI Xung nhịp Clk100 In Slave AXI Xung nhịp tần số 100 MHz xsvi_active_video_o Out VID_OUT Cho phép đưa liệu xsvi_vsync_o Out VID_OUT Dữ liệu chiều dọc khung hình xsvi_hsync_o Out VID_OUT Dữ liệu chiều ngang khung hình xsvi_vblank_o Out VID_OUT Dữ liệu trống chiều dọc khung hình xsvi_hblank_o Out VID_OUT Dữ liệu trống chiều ngang khung hình xsvi_video_data_o Out VID_OUT Dữ liệu video đầu vita_clk_pll Out VITA_CAMERA Xung nhịp cung cấp cho camera VITA vita_reset_n Out VITA_CAMERA Tín hiệu reset mức thấp vita_trigger[2:0] Out VITA_CAMERA Tín hiệu trigger tới camera VITA vita_monitor[1:0] In VITA_CAMERA Lựa chọn hình từ camera VITA vita_spi_sclk Out VITA_CAMERA Xung nhịp SPI từ camera VITA vita_spi_ssel_n Out VITA_CAMERA Tín hiệu lựa chọn SPI tới camera VITA vita_spi_mosi Out VITA_CAMERA Tín hiệu SPI truyền vào camera VITA vita_spi_miso In VITA_CAMERA Tín hiệu SPI từ camera vita_clk_out_p/n In VITA_CAMERA Xung nhịp từ camera VITA vita_sync_p/n In VITA_CAMERA Tín hiệu đồng hóa từ camera VITA vita_data[3:0]_p/n In VITA_CAMERA Dữ liệu từ camera VITA 42 Các tín hiệu đầu khối thu nhận ảnh biểu diễn hình sau: Hình 3.9: Sơ đồ thời gian tín hiệu đầu khối thu nhận ảnh Đây khối quan trong việc đinh chất lượng hình ảnh lưu trữ nhớ Khối dẽ có chức việc đồng hóa xung nhịp camera VITA với bo mạch FPGA từ tạo khả liên kết việc thu nhận ảnh chu kì để không tạo xung đột việc khác xung nhịp khối Khối thu nhận có tín hiệu điều khiển cho phép nhận tín hiệu từ camera sau thực xong thao tác xử lý động hóa, xử lí nhiễu liên kết tín hiệu vi phân điện áp thấp camera có tín hiệu cho phép truyền liệu qua khối khác để xử lý giai đoạn Khối truy cập trực tiếp nhớ video thiết kế để cung cấp khả đọc/ghi video từ miền ánh xạ nhớ AXI4 sang miền AXI4-Stream ngược lại Khối cung cấp truyền liệu tốc độ cao nhớ hệ thống IP video đích dựa luồng AXI4 Lõi khối truy cập trực tiếp nhớ video kết hợp chức dành riêng cho video, ví dụ generator locking đồng hóa khung hình cho hoạt động truy cập trực tiếp nhớ khung đồng hóa hồn tồn chuyển qua truy cập trực tiếp nhớ hình ảnh 2D Ngồi việc đồng hóa, số khung ghi hoạt động chế độ thu thập trực tiếp 43 phân tán để dễ dàng kiểm sốt xử lý trung tâm Các ghi khởi tạo, trạng thái điều khiển lõi truy cập nhớ trực tiếp video truy cập thông qua giao diện AXI4-Lite chế độ slave Bộ truy cập trực tiếp nhớ video (VDMA) cấu hình để xử lý nhiều độ phân giải thông qua việc định độ phân giải ngang dọc không gian ghi Các giao diện Memory Mapper to Stream Stream to Memory Mapper rộng 24 bit từ phiên AXI VDMA kết nối với phiên AXI_MM (AXI Memory Mapped) kết nối AXI Các masters chạy theo xung nhịp video (bộ tạo xung nhịp bo mạch) yêu cầu chuyển đổi xung nhịp không đồng thành tần số lõi kết nối AXI 100 MHz Khi mở rộng kết nối AXI sử dụng để chuyển đổi giao dịch 24 bit từ AXI VDMA sang độ rộng giao dịch lõi kết nối AXI Ngồi ra, đệm dịng bên AXI VDMA cho mặt đọc ghi đặt thành sâu 1K Dữ liệu pixel từ giao diện truyền phát tạm thời lưu trữ đệm dòng trước cung cấp giao diện MM Điều cho phép giao diện VDMA MM xử lý chuyển đổi độ rộng mà không liệu Vi xử lí Microblaze chế độ đệm lệnh đệm liệu: Vi xử lý Microblaze chạy số ứng dụng từ nhớ chính, thiết lập giám sát liệu video vào Bộ tạo xung nhịp video tạo phát thời gian đa Đầu vào IP tự động phát xung nhịp đồng hóa ngang dọc, phân cực, khoảng trống, timing, điểm ảnh video hoạt động Đầu IP tạo xung nhịp đồng sử dụng hệ thống video tiêu chuẩn bao gồm hỗ trợ lập trình Bộ tạo xung nhịp video chứa giao diện AXI4-Lite để truy cập ghi slaves từ xử lý Bộ cấu hình video đầu ra: Nó sử dụng để chuyển đổi từ giao diện giao thức AXI4-Stream sang giao diện miền video IP hoạt động với phần tạo thời gian tạo xung nhịp video Nó cung cấp cầu nối đầu vào video AXI4-Stream với đầu video (tín hiệu đồng hóa video hoạt động với giao diện đồng hóa, khoảng trống 2) Nó cấu hình chế độ slaves nhận tín hiệu video trực tiếp từ khối VDMA tín hiệu thời gian từ tạo xung nhịp video để tạo tín hiệu đầu Video đến giao diện HDMI xuất hình Một tạo xung nhịp khối reset xử lý cung cấp xung nhịp tín hiệu reset tồn hệ thống Một tạo xung nhịp khác bo mạch sử dụng linh hoạt để thay 44 đổi tần số video thời gian chạy để thay đổi tốc độ khung hình Hệ thống chứa thiết bị ngoại vi I/O IP hỗ trợ xử lý cung cấp xử lý MicroBlaze Thực mô hệ thống đề xuất vivado Sau thực thiết kế hệ thống xử lý ảnh sơ đồ khối từ bước đơn giản đến phức tạp học viên tiến hành thực nghiệm phần mềm Vivado kết kiếm chứng thực nghiệm nhận xét làm phát triển hệ thống Đầu tiên tiến hành chạy thử số ứng dụng Artix-7 project có sẵn vivado Tiến hành chạy thử chương trình “Hello Word” xuất kết hình LCD Hình 3.10: In chữ "Hello World" LCD kit Artix Kết với mong muốn hình xuất “Hello Word” Sau học viên tiến hành tạo project thực ghép nối Camera bán dẫn Vita-2000 với Kit Artix7 Kết thực nghiệm kết nối camera với Kit khơng bị lỗi đưa hình ảnh hình khơng bị liệu 45 Hình 3.11: Ghép nối camera VITA-2000 bo mạch FPGA Artix-7 Thực tạo thiết kế IP theo sơ đồ khối hệ thống đề xuất công cụ vivado Thiết kế hệ thống biểu diễn hình 3.11: Hình 3.12: Hệ thống xử lý ảnh đề xuất vivado 46 Trong đó, có hai IP hệ thống thực việc kết nối camera đưa liệu công HDMI IP fmc_imageon_vita_recever IP fmc_imageon_hdmio_rgb module Anvet FMC_IMAGEON thành phần cụ thể biểu diễn hình 3.13: Hình 3.13: Kiến trúc khối IP fmc_imageon_vita_recever Hình 3.14: Kiến trúc khối IP fmc_imageon_hdmio_rgb Sau tiến hành cấu hình cho IP để thực việc kết nối Module Anvet FMC-IMAGEON Artix-7 tiến hành đưa kiến trúc phần cứng thiết kế vào SDK để tiến hành mô chạy thử đưa số kết thị hình ảnh hình Đầu tiên trước kết nối với IP xử lý ảnh đầu vào học viên tiến hành kết nối camera với hình thu ảnh với chất lượng 1080p60 để xác nhận việc kết hợp camera với module hoàn thành thu kết hình 3.15: 47 Hình 3.15: Hình ảnh camera VITA kết nối với bo mạch Artix-7 Sau học viên tiến hành kết nối IP VDMA vào hệ thống camera để tiến hành xử lý ảnh đưa ảnh vào vi xử lý để thực bước sau Sau thực viết driver sử dụng khối VDMA học viên tiến hành thử nghiệm trường hợp truyền tải hình ảnh khối VDMA để truyền ngoài, Tiến hành thử nghiệm cho độ phân giải hình ảnh mức 1/3, 2/3 full hình để tiến hành kiểm thử hệ thống có hoạt động yêu cầu để Hình ảnh đầu bị số lỗi nhiễu đầu vào chưa xử lý 48 Hình 3.16: Cấu hình kích thước 1/3 qua khối VDMA Khi tiến hành cấu hình 1/3 hình hình ảnh qua có chất lượng tốt khơng có nhiễu đầu Sau học viên tiến hành thử nghiệm với đầu 2/3 hình cho kết với số nhiễu khung hình Lỗi đồng hóa thu nhận video khối VDMA chưa thật xác khiến cho khung hình bị nhiễu chí bị đè lên khung hình khác 49 Hình 3.17: Cấu hình kích thước 2/3 qua khối VDMA Từ kết thể cụ thể bảng 3.3: Bảng 3.3: Kết mô Vivado qua khối VDMA Chiều ngang khung hình 0x780 (1920*1) 0xF00 (1920*2) 0x1680 (1920*3) Nhiễu khơng có Khơng tín hiệu Kích thước video 1/3 2/3 Khơng tín hiệu Sau chạy mô thực nghiệm bo mạch Artix-7 học viên tiến hành phân tích hệ thống phần cứng lượng hoạt động, hiệu tài nguyên sử dụng hệ thống thiết kế Các số liệu tổng hợp bảng đây: 50 Bảng 3.4: Bảng thống kê lượng hiệu hệ thống Thành phần Chip Điện năng(W) Sử dụng Tổng Tài nguyên sử dụng (%) Xung nhịp 0,219 56 - - LUT as Lô-gic 0,067 32.957 134.600 24,49 Thanh ghi 0,006 46.617 269.200 17,32 LUT as Distributed RAM 0,004 4.021 46.200 8,70 CARRY4 0,004 1.454 33.650 4,32 Bộ phân kênh F7/F8