Đang tải... (xem toàn văn)
Tài liệu tham khảo công nghệ thông tin Nghiên cứu hệ thống nhúng và xây dựng ứng dụng giao tiếp Webcam
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM KHOA ĐIỆN-ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ VIỄN THÔNG ĐỒ ÁN TỐT NGHIỆP ĐỀ TÀI: NGHIÊN CỨU HỆ THỐNG NHÚNG VÀ XÂY DỰNG ỨNG DỤNG GIAO TIẾP WEBCAM GVHH: THẦY TRƯƠNG NGỌC SƠN SVTH: ĐÀO THANH MAI MSSV: 06119058 TRƯƠNG XUÂN KIM MSSV: 06119023 Tp Hồ Chí Minh - Tháng 7/2010 TÓM TẮT NỘI DUNG ĐỀ TÀI VÀ BÁO CÁO I TÓM TẮT NỘI DUNG ĐỀ TÀI Đồ án tốt nghiệp “nghiên cứu hệ thống nhúng và xây dựng ứng dụng giao tiếp webcam” là đề tài nghiên cứu về một lĩnh vực mới của Việt Nam Đó là lập trình nhúng Qua thực tế và khoa học ngày càng phát triển thì nhóm đề tài tốt nghiệp đả quyết định chọn đề tài hướng về lập trình nhúng này để tìm hiểu về các kiến thức nền, kiến thức bản về lập trình nhúng, hệ thống nhúng, vi điều khiển nhúng và hệ điều hành mã nguồn mở là linux Nội dung đề tài có hai phần: Phần I là nghiên cứu về lý thuyết phần lý thuyết có những nội dung sau : - Nghiên cứu về thống nhúng bao gồm nghiên cứu những đặt trưng, đặt điểm kiến truc phần mềm hệ thống nhúng, - Nghiên cứu về hệ điều hành thời gian thực , phân tích quy trình xử lý của hệ điều hành - Phân tích một hệ thống nhúng chạy hệ điều hành thời gian thực - Giới thiệu kiến thức bản về hệ điều hành linux - Nghiên cứu về vi điều khiển arm là vi điều khiển ứng dụng nhiều nhất hệ thống nhúng - Nghiên cứu các tính , cấu trúc, kiến trúc và ưu nhược điểm của vi điều khiển arm so với các dóng vi điều khiển khác - Và nhóm tiến hành nghiên cứu và biên dịch lại nhân linux để chạy board phát triển hệ thống nhúng, chạy vi điều khiển arm AT91SAM9260 Phần là phần xây dựng ứng dụng chạy board phát triển hệ thống nhúng - Trươc tiên là nghiên cứu cài đặt cho board phát triển hệ thống nhúng KM9260 Từ việc nghiên cứu quá trình hoặt động chạy hệ điều hành nhúng mà nhóm tiến hành cài đặt hệ điều hành cho board - Sau đó phát triển các ứng dụng mô phỏng về giao tiếp , lập trình C/C++ lập trình I/O , lập trình driver - Ứng dụng nhóm đồ án làm gồm có xây dựng board phát triển nhúng chạy tập tin multimedia - Trong đó gồm chạy file audio phát nhạc - Giao tiếp với Webcam USB truyền và nhận ảnh để ứng dụng vào xử lý ảnh - Giao tiếp với các thiết bị khác MOUSE, nút nhấn , led đơn Đó là những nội dung bản mà nhóm làm đồ án tốt nghiệp đả hoàn thành mặt dù còn hạn chế về kiến thức và khả nhiên cứu nhóm đả cố gắn hoàn thành và xây dựng nhiều ứng dụng mô phỏng để có thể hiểu sâu về lập trình nhúng và vi điều khiển nhúng II TÓM TẮT NỘI DUNG BÁO CÁO Lý thuyết về vấn đề nghiên cứu đồ án Mô chạy tập tin mp3 Mô chạy ứng dụng giao tiếp webcam PHỤ LỤC XÂY DỰNG CÁC HƯỚNG DẪN THỰC HIỆN TRÊN BOARD PHÁT TRIỂN HỆ THỐNG NHÚNG BOOT LOADER CHO KM9260 Boot loader có vai trò quan trọng hệ thống nhúng Tùy theo loại MPU khác mà ta có chế, trình tự boot khách Đối với AT91SAM9260, Khi cấp nguồn, AT9260 chạy chương trình boot bên ROM (được xây dựng sẵn quá trình sản xuất chíp) Hình sau thể hiện lưu đồ ROM boot của AT91SAM9260: Hình: Trình tự boot của MPU AT91SAM9260 B1> Chương trình chạy với bộ dao động nội, hoặc với bộ dao động thạch anh B2> Kiểm tra sự tồn tại của chương trình AT91BootStrap SPI serial dataflash device (NPCS0) hay không, nếu tồn tại, MPU thực hiện chép mã thực thi của AT91BootStrap từ SPI serial dataflash device vào SRAM nội của MPU, sau đó thực thi lệnh nhảy đến địa đầu tiên của SRAM để thực thi chương trình AT91BootStrap Nếu không tồn tại chương trình boostrap SPI serial dataflash device, MPU thực hiện bước B3 sau B3> Kiểm tra sự tồn tại của chương trình AT91BootStrap SPI serial dataflash device (NPCS1) hay không, nếu tồn tại, MPU thực hiện chép mã thực thi của AT91BootStrap từ SPI serial dataflash device vào SRAM nội của MPU, sau đó thực thi lệnh nhảy đến địa đầu tiên của SRAM để thực thi chương trình AT91BootStrap Nếu không tồn tại chương trình boostrap SPI serial dataflash device, MPU thực hiện bước B4 sau B4> Kiểm tra sự tồn tại của chương trình AT91BootStrap NAND FLASH device hay không, nếu tồn tại, MPU thực hiện chép mã thực thi của AT91BootStrap từ NAND FLASH vào SRAM nội của MPU, sau đó thực thi lệnh nhảy đến địa đầu tiên của SRAM để thực thi chương trình AT91BootStrap Nếu không tồn tại chương trình boostrap SPI serial dataflash device, MPU thực hiện bước B5 sau B5> Nếu MPU nhận được ký tự bất kỳ từ bàn phím máy tính (qua cổng DBGU) Hoặc cắm cable USB vào máy tính chương trình nhảy sang SAM-BA boot Từ lưu đồ trên, ta có thể lưu trữ AT91BootStrap.bin theo cách: SPI serial dataflash (NPCS0 or NPCS2) hoặc lưu trữ NAND Flash KM9260 sử dụng SPI serial dataflash (NPCS1) và NAND FLASH TRÌNH TỰ BOOT LINUX CỦA KM9260: Quá trình boot kernel Linux KM9260 được thực thi qua tầng, hình sau biểu thị cách hoạt động của board: Hình : Trình tự boot kernel của KM9260 (1) KM9260 thực thi ROM boot, load AT91AT91BootStrap.bin từ AT45DB041D-SU (SPI NPCS1) vào SRAM, thực hiện lệnh nhảy và thự thi chương trình AT91BootStrap (2) KM9260 thực hiện khởi động PLL cho system clock, khởi động SDRAM controller, load u-boot.bin từ AT45DB041D-SU tại offset 0x8400 vào địa 0x21F00000 của SDRAM Sau đó thực hiện lệnh nhảy vào vùng SDRAM để chạy chương trình U-Boot (3) U-Boot load kernel uImage từ nhiều nguồn khác (TFTP, NAND FLASH ) chép vào địa 0x20000000 SDRAM, sau đó thực hiện lệnh boot hệ điều hành Linux CÀI ĐặT CHO BOARD PHÁT TRIỂN NHÚNG Tổ chức phần mềm hệ thống nhúng KM9260 BootStrap U-boot Kernel File System Cài đặt chương trình cho hệ thống 2.1 Cài đặt BootStrap và U- boot - BootStrap là một chương trình khởi động được nạp xuống trước tiên cho các vi điều khiển dòng ARM của Atmel - BootStrap là một module ứng dụng, nó được sử dụng để thực hiện các chức sau: o Khởi tạo phần cứng tần số xung clock, thiết lập các PIO (programmable Input Output) o Thiết lập các ngoại vi PIO, PCM, SDRAMC, o Thực hiện các thực toán truy xuất vật lý các ngoại vi DataFlash, NANDFlash, Paralell Flash o Điều khiển các tập tin hệ thống JFFS2, FAT o Thực thi các ứng dụng ELF, Linux, - BootStrap có thể được đặt vùng bootLoader, cụ thể là được đặt vùng DataFlash BootStrap được chép lên RAM nội bởi trình SAM-BA Boot BootLoader thực hiện khởi tạo vi xử lý (PLL, PIO, SDRAMC, SPI) - BootStrap thực hiện load U-boot từ DataFlash lên SRAM và trỏ đến thực hiện chương trình U-Boot - Cài đặt BootStrap và u-boot thực hiện theo hướng dẫn tài liệu kèm theo board - U-boot (universal bootLoader) là một tập mã nguồn mở, hổ trợ bootLoader cho nhiều kiến trúc nền khác U-boot hổ trợ các lệnh tương tác, các biến môi trường, các lệnh thực thi và boot hệ thống từ các thiệt bị media bên ngoài - - - - U-boot hổ trợ nhiều lọai CPU và các họ CPU thông dụng hiện U-boot hổ trọ các board phát triển nền các vi xử lý thông dụng hiện U-boot thực hiện cấu hình các khối phần cứng một board và đặt chúng vào trạng thái hoạt động Nó có thể load và thực thị hệ điều hành một cách tự động (auto-boot) hoặc ngược lại nó cho phép người dùng khởi động hệ điều hành thông qua các lệnh giao tiếp mà u-boot hổ trợ Tập lệnh chuẩn của uboot cung cấp khả cho phép người sử dụng thao tác bộ nhớ, mạng và nhiều thao tác khác hệ thống khởi động Thông thường u-boot được đặt phân vùng đầu tiên của Flash, bắt đầu từ sector hay block nào được định nghĩa bởi vi xử lý U-boot khởi tạo CPU và một vài phần cứng board, tạo một vài cấu trúc dữ liệu để cho kernel sử dụng và load nó lên phân vùng đầu tiên của bộ nhớ Khi quyền điều khiển được chuyển đến cho u-boot, nó khởi tọa các ngắt và các thiết bị ngoại vi Sau đó u-boot chờ nhập các lệnh từ người dùng Nếu uboot nhận được lệnh boot ảnh của kernel hoặc nếu nó được sử dụng để boot kernel trực tiếp thì u-boot giải nén kernel image, load kernel lên bộ nhớ và chuyển điều khiển đến kernel Kernel thực thi mà không có sự tương tác với u-boot U-boot cung cấp các hàm chuẩn để hiệu chỉnh qúa trình khơi động và khởi tạo kernel Thường thì nó cung cấp các thao tác dưới dạng các lệnh (commandline) Cấu trúc thư mục của U-boot 2.2 Các thao tác u-boot - Sau U-boot đã được load vào hệ thống Bootstrap thực thi, khởi tạo các thông số cho CPU, load uboot và thực thi uboot Khi uboot thực thi, u-boot command cho phép người sử dụng có thể giao tiếp với hệ thống thông qua các lệnh u-boot hổ trợ - Trước hết cần thiết lập các thông số môi trường cho hệ thống - Để thiết lập các thông số môi trường chúng ta sử dụng command setenv sau o Thiết lập địa IP cho board: setenv ipaddr o Thiết lập địa IP cho host : setenv serverip o Thiết lập địa ethernet(MAC): setenv ethaddr o Thiết lập mặt nạ : setenv netmask o Lưu lại các biến môi trường vào dataflash : save - Chuẩn bị kernel cho hệ thống Tại command line của uboot: o Xóa vùng nhớ NAND FLASH để chuẩn bị cho kernel: nand erase offset length nand erase 0x0 0x200000 lệnh cho phép xóa Mbyte bộ nhớ Nand Flash ở địa offset là (vùng nhớ đầu tiên của NandFlash) o Chép uImage từ máy tính vào SRAM ở địa 0x20000000 Tftp 0x20000000 uImage Để có thể chép thông qua giao thức tftp thì máy tính host phải cài đặt và chạy dịch vụ tftp, file uImage được lưu thưc mục của tftp server U-boot dò biến môi trường xem địa của server là và nó lên sever này tìm file có tên uImage và chép vào bộ nhớ SRAM từ địa 0x20000000 o Thực thi kernel Bootm 0x20000000 Hệ thống chuyển đến địa SRAM 0x20000000 để boot Umage Trong trường hợp này lần sau mở điện nội dung SRAM mất Để có thể sư dụng uImage cho các lần khởi động sau chúng ta cần chep uImage lên NandFlask Nand write 0x20000000 0x0 0x200000 Chép Mbyte từ địa SRAM 0x20000000 lên nandflash có địa offset là (vùng đầu tiên của NandFlash) Các lần khởi động sau chép uImage từ Nanflash xuống SRAM và thực thi nó SRAM Nand read 0x20000000 0x0 0x200000 Bạn chú ý các thao tác chép uImage từ Nandflash xuống SRAM và thực thi nó được thiết lập biến môi trường uboot để thực hiện một cách tự động o File system Để board có thể họat động thì phần cuối cùng hệ thống phần mềm nhúng làm File System Đối với board KM9260 hoặc các board tương tự sử dụng chip của Atmel có thể sử dụng Angstrom hay debian Việc cài đặt file system theo tài liệu kèm theo không được giới thiệu ở Xây dựng và phát triển hệ thống 3.1 bootstrap : boostrap nhà sản xuất hổ trợ, download bootstrap.bin tại trang của atmel.com 3.2 u-boot: uboot có nhiều phiên bản, nhiên từ phiên bản 1.3.4 trở thì mới hổ trợ board AT91SAM9260 - - - - Sau download u-boot về , chép nó vào một thư mục nào đó máy tính cài hệ điều hành linux Việc chép vào máy tính linux có thể được thực hiện thông qua nhiều cách ví dụ bạn có thể dowanload trực tiếp máy tính Linux có nối mạng internet, hoặc từ máy tính Windows XP đó chép sang máy tính Linux thống qua dịch vụ truyền file của SSH server – client, hoặc có thể chép các thiết bị lưu trữ USB Biên dịch uboot cho arm không sử dụng trình biên dịch gcc có sẵn máy tính cài linux Trước hết bạn cần cài gói phần mềm biên dịch arm-linux-gcc Gói phần mềm biên dịch bạn có thể tải về từ mạng Trước biên dịch, cần thiết lập biến môi trường về đường dẫn cho trình biên dịch, ví dụ sau PATH=/usr/local/arm/3.4/bin:$PATH Trong đó thư mục PATH=/usr/local/arm/3.4/bin chứa các trình biên dịch arm-linux-gcc… Biên dịch uboot cho hệ thống o Make clean : xóa hết các cấu hình biên dịch trước đo o Make at91sam9260ek_config : khai báo biên dịch uboot cho hệ thống board at91sam9260ek o Make all Nếu quá trình biên dịch thành công thư mục u-boot-1.3.4 tồn tại file u-boot.bin Một điều chú ý là ở chúng ta sử dụng make at91sam9260ek_config vì board KM9260 co thiết kế gần giống board chuẩn at91sam9260ek, các file cấu hình cho board KM9260 chưa update lên nên tạm thời có thể sử dụng at91sam9260 để biên dịch cho hệ thống Chính vè điều đó mà tạo uboot.bin có một số module không hoạt động được Để khắc phục trường hợp trước biên dịch chúng ta cần sửa một số cấu hình tập mã nguồn uboot1.3.4 Biên dịch lại uboot PHÁT TRIỂN LINUX TRÊN KM9260 GIỚI THIỆU MỘT SỚ TOOL HỮU ÍCH: Putty.exe (WinXP): Chương trình chạy cho console của hệ thống nhúng hỗ trợ theo kiểu kết nối RS232 và qua đường ethernet 10 Connection type: Raw, Telnet, Rlogin, SSH, Serial Có thể sử dụng putty làm terminal cho console chính của board KM9260 Ở đây, baudrate của cổng COM được set ở 115200 Nếu máy Linux chạy ssh server và được nối mạng LAN, ta có thể sử dụng console của máy Linux đó thông qua putty cách sử dụng kiểu kết nối SSH hình WinSCP.exe (WinXP): Chương trình cho phép ta dễ dàng thao tác file của máy Linux máy WinXP, giao diện tương tự WinCommander, ta có thể chép file ra-vào từ máy WinXP với máy Linux Để sử dụng chương trình này, máy Linux cần phải có ssh server 11 Hình : Đăng nhập vào WinSCP Thông tin đăng nhập: Host name : Địa IP của máy Linux : 192.168.3.29 User name : root Password : thanhmai06119058 Sau điền thông tin, ấn nút "Save" và thực hiện kết nối 12 Hình : Thao tác file WinSCP Ta có thể drop, drap file vào-ra từ màn hình destop WinXP để thực hiện lưu file với máy Linux Cross Toolchians (Linux): Là trình biên dịch cho AT91SAM, chạy môi trường Linux Phần sau hướng dẫn cách cài đặt toolchains máy host Linux PC: Trước tiên ta tạo thư mục làm việc sau: $ mkdir -p /home/km9260-project/tool Chép file arm-2007q3.tar.bz2 vào thư mục vừa tạo ở và thực hiện giải nén gói tarball của toolchains: $ cd /home/km9260-project/tool $ tar –jcvf arm-2007q3.tar.bz2 13 Để có thể sử dụng toolchains, ta khai báo biến môi trường lệnh sau: $ export PATH=$PATH:/home/km9260-project/tool/arm-2007q3/bin Để ý thư mục “arm-2007q3/bin” chứa những file cần thiết phục vụ cho việc biên dịch cho KM9260, có thể xem tên các file này cách dùng lệnh “ls” Các file này được đặt tên theo quy luật Prefix bao gồm chuỗi ký tự “arm-none-linux-gnueabi-“ Và các suffix bao gồm: gcc, ld, as … Ta có thể kiểm tra việc export biến môi trường PATH thành công hay không cách type lệnh shell sau: $ arm-none-linux-gnueabi-gcc $ arm-none-linux-gnueabi-gcc: no input files Nếu có xuất hiện thông báo “no input files” thì thao tác export thành công, nếu có thông báo “command not found” có nghĩa là ta chưa export đúng đường dẫn Chú ý bước export PATH rất quan trọng, lần khởi động máy Linux hoặc sử dụng console khác ta bắt buộc phải export lại để đảm bảo toochains có thể hoạt đợng được MƠ HÌNH MƠI TRƯỜNG PHÁT TRIỂN LINUX CHO KM9260: Môi trường phát triển Linux cho KM9260 có thể áp dụng theo một số mô hình sau: Mô hình cho nhiều member: LAN SSH server TFTP client Developer UART LAN SSH server TFTP server Toolchains Target LAN Workstation LAN LAN Developer Developer 14 Developer: Các thành viên có thể coding máy tính chạy WinXP hoặc Linux Các máy này có thể kết nối với Workstation thông qua đường Ethernet Việc biên dịch source có thể thực hiện Workstation, và các máy Developer có thể truy cập console, truy xuất file với Workstation hoặc KM9260 thông qua giao thức của SSH server Workstation (host) : Là máy tính Linux, có nhiệm vụ biên dịch source code từ các Developer cách sử dụng cross-compiler (toolchains) Do host có chạy SSH server, các Developer có thể sử dụng console của host thông qua SSH client Ngoài TFTP server có vai trò lưu trữ các file ảnh sau đã biên dịch xong, sẵn sang cho việc boot, chạy chương trình ứng dụng target Target Là đích mà chúng ta cần phát triển đến TFTP client target có nhiệm vụ download các file ảnh từ TFTP server (ở host) và boot kernel thông qua bootloader (UBoot, RedBoot…) Console chính của target được nối với máy host (hoặc là Developer) thông qua đường UART CÀI ĐẶT DEBIAN CHO KM9260: Đối với user mới làm quen với embedded Linux, thì Debian rootfs là lựa chọn hoàn hảo, tính ưu việt về số lượng lớn gói phần mềm mà Debian support, chế quản lý các gói phần mềm chặt chẽ và hệ thống, cộng đồng phát triển rộng Debian rootfs có dung lượng khá lớn, vì thế ta nên dùng thẻ nhớ có dung lượng 2GB trở lên Phần này cách cài đặt và boot Debian KM9260 sử dụng thẻ nhớ microSD Trước tiên ta chép “Debian_km9260_rootfs_121209.tar.bz2” vào máy PC Linux, gắn đầu đọc thẻ microSD vào Giả sử cắm vào máy PC Linux có thiết bị mới có tên gọi là /dev/sdb1, trước tiên ta format card microSD theo định dạng ext2, và mount vào thư mục “mnt/rootfs” chẳng hạn $ mkfs.ext2 /dev/sdb1 $ mkdir –p /mnt/rootfs $ mount /dev/sdb1 /mnt/rootfs Copy gói tarball Debian rootfs vào thư mục mnt và tiến hành giải nén $ cp Debian_km9260_rootfs_121209.tar.bz2 /mnt $ cd /mnt/rootfs $ tar –jxvf /Debian_km9260_rootfs_121209.tar.bz2 Sau kết thúc giải nén ta đã hoàn tất việc chép Debian rootfs vào thẻ nhớ microSD Phải đảm bảo thư mục gốc của microSD phải tồn tại những thư mục bản của Linux rootfs ví dụ như: bin, dev, home, lib, etc… Điều này thực hiện cách dùng lệnh “ls” để kiểm tra, trước tháo microSD khỏi máy Linux PC ta nên unmount thư mục /mnt/rootfs trên: $ ls /mnt/rootfs $ umount /mnt/rootfs Sau hoàn tất các bước trên, ta có thể tiến hành boot thử Debian: - Gắn microSD vào socket KM9260 (chú ý thực hiện tháo gỡ nắp đậy theo chiều mũi lên kéo lên-xuống được ghi socket microSD của KM9260) Kết nối cổng COM (115200) với máy tính, dùng putty.exe ở mode serial làm console chính Bật công tắc nguồn, ấn nút reset để board KM9260 có thể vào màn hình U-Boot Khai báo biến môi trường bootargs thông qua lệnh sau: U-BOOT> setenv bootargs console=ttyS0,115200 root=/dev/mmcblk0p1 rootdelay=5 U-BOOT> save Ấn nút reset để boot hệ thống, thông tin nhập sau: Username: root Password: thanhmai06119058 Cấu hình mạng cho Debian: Có thể cấu hình mạng cho Debian thông qua việc edit file interfaces $ nano /etc/network/interfaces Dùng DHCP: # The primary network interface allow-hotplug eth0 auto eth0 iface eth0 inet dhcp pre-up ifconfig eth0 hw ether AA:AA:AA:AA:AA:AA Trong đó AA:AA:AA:AA:AA:AA là địa MAC address Hoặc dùng IP tĩnh: # Use for home network auto eth0 iface eth0 inet static address 192.168.1.35 netmask 255.255.255.0 network 192.168.1.1 broadcast 192.168.1.255 gateway 192.168.1.1 Khai báo nameserver: $ nano /etc/resolv.conf nameserver 192.168.1.1 Lưu file cách ấn CTR-O, Enter, CTR-X ... TẮT NỘI DUNG ĐỀ TÀI VÀ BÁO CÁO I TÓM TẮT NỘI DUNG ĐỀ TÀI Đồ án tốt nghiệp ? ?nghiên cứu hệ thống nhúng và xây dựng ứng dụng giao tiếp webcam? ?? là đề tài nghiên cứu về một... án Mô chạy tập tin mp3 Mô chạy ứng dụng giao tiếp webcam PHỤ LỤC XÂY DỰNG CÁC HƯỚNG DẪN THỰC HIỆN TRÊN BOARD PHÁT TRIỂN HỆ THỐNG NHÚNG BOOT LOADER CHO KM9260 Boot loader có vai... multimedia - Trong đó gồm chạy file audio phát nhạc - Giao tiếp với Webcam USB truyền và nhận ảnh để ứng dụng vào xử lý ảnh - Giao tiếp với các thiết bị khác MOUSE, nút nhấn
