Trường Đại học Công Nghệ Thông Tin Bài thu họach : Máy học và ứng dụng Máy học – mạng nơron nhân tạo và ứng dụng auto - routing car [Type the document subtitle] GVHD : PGS. TS Vũ Thanh Nguyên Người thực hiện : Phù Khắc Anh MSHV : CH1301079 Máy học và ứng dụng GVHD : PGS.TS Vũ Thanh Nguyên LỜI MỞ ĐẦU 2 A.CHƯƠNG I : KHÁI NIỆM VỀ MÁY HỌC 3 I.Định nghĩa máy học : 6 II.Phân loại máy học 8 1)Học có giám sát (Supervised Learning) 8 2)Học không giám sát : ( Unsupervised Learning ) 10 3)Học nửa giám sát 11 4)Một số thuật toán máy học : 11 B.CHƯƠNG II : MÔ HÌNH HỆ THỐNG MẠNG NƠRON NHÂN TẠO 12 I.Mạng neural nhân tạo: cấu trúc, nguyên tắc hoạt động và các giải thuật huấn luyện 12 1.Cấu trúc của mạng nơron nhân tạo 12 2.Nguyên tắc họat động mạng neural nhân tạo 15 3.Huấn luyện mạng neural : 16 II.Ứng dụng demo auto – routing car 26 1.Mục đích chương trình 26 2.Mô tả chương trình và mô hình nơron nhân tạo 26 3.Kết luận: 32 Tài liệu tham khảo 33 LỜI MỞ ĐẦU Xã hội ngày càng phát triển, nhu cầu của con người ngày càng tăng cao, đặc biệt trong công việc tiết kiệm chi phí sức lao động của con người và nâng cao năng suất lao HVTH : CH1301079 – Phù Khắc Anh Máy học và ứng dụng GVHD : PGS.TS Vũ Thanh Nguyên động, từ đó máy móc được ra đời. Máy học là ngành khoa học với mục đích nghiên cứu nhằm thiết kế các hệ thống có thể “ học “ từ dữ liệu và dần thay thế các công việc thay con người, với các mô hình toán học dần ra đời nhằm phục vụ cho nhu cầu trên. Mạng neural nhân tạo là một trong những mô hình đó Mạng neural nhân tạo là một mô hình toán học đã được nghiên cứu từ lâu và được ứng dụng nhiều vào các bài toán mô phỏng, nhận dạng, dự đoán. Gần đây mạng neural nhân tạo được quan tâm và ứng dụng ngày càng nhiều vào các bài toán khác nhau, trong đó có bài toán tự động tìm đường cho ô tô. Mục đích của bài báo cáo này là tìm hiểu về máy học, mạng neural nhân tạo cùng với nguyên tắc hoạt động, hai giải thuật huấn luyện mạng neural: lan truyền ngược (backpropagation) và RPROP, và một demo nhỏ cho phần lý thuyết của báo cáo/ Bài báo cáo chia làm 2 chương. Chương 1: Cái khái niệm về máy học, phân loại cũng như một số thuật tóan của máy học Chương 2: Cấu trúc, nguyên tắc họat động và hai giải thuật huấn luyện mạng neural nhân tạo cùng với ứng dụng demo auto-routing car A.CHƯƠNG I : KHÁI NIỆM VỀ MÁY HỌC Học, như trí thông minh, được mọi sinh vật áp dụng mọi nơi, mọi lúc trong nhiều hoàn cảnh khác nhau nên khó có thể định nghĩa một cách chính xác như chúng ta mong HVTH : CH1301079 – Phù Khắc Anh Máy học và ứng dụng GVHD : PGS.TS Vũ Thanh Nguyên muốn. Các từ điển thì định nghĩa như sau : “ Học giúp đạt được tri thức, hay gia tăng hiểu biết, hay có thêm kỹ năng trong một lãnh vực, là thực hiện công việc nghiên cứu tìm hiểu, thực hiện các chỉ dẫn, hay là áp dụng các kinh nghiệm tích lũy từ quá khứ vào hiện tại và tương lai ” và “ Học là điều chỉnh để cải thiện hành vi ứng xử theo kinh nghiệm đạt được “ vv……… Máy học là môn khoa học nghiên cứu kết hợp song song nhiều ngành khác nhau như khoa học máy tính, tâm lý học, động vật học và như vậy có nhiều vấn đề kỹ thuật trong máy học xuất phát từ các cố gắng của các nhà tâm lý học, nhà nghiên cứu về động vật để có thể mô phỏng chính xác hơn các lý thuyết về phương pháp học của con người hay động vật ứng dụng vào các mô hình thuật toán trên máy tính. Cũng cần nói thêm rằng các khái niệm và kỹ thuật được phát triển trong máy học cũng soi sáng trở lại nhiều khía cạnh được ẩn dấu trong quá trình học của sinh vật. Từ góc nhìn của khoa học máy tính, chúng ta có thể nói máy tính luôn luôn học ở bất kỳ nơi nào khi mà có sự biến đổi về cấu trúc, có sự thay đổi trong chương trình hay dữ liệu (các thay đổi dựa trên các dữ liệu vào hay dựa vào việc hồi đáp các thông tin từ bên ngoài), máy tính học theo cách cải thiện công việc mà nó thực hiện trong tương lai. Nhưng có những thay đổi như thêm một record vào cơ sở dữ liệu hay đơn giản là xóa tập tin thì không gọi là học. Và ví dụ, sau khi nghe vài mẫu giọng nói của con người máy tính tăng khả năng nhận dạng giọng nói, thì chúng ta hoàn toàn có thể nói là máy tính đã học. HVTH : CH1301079 – Phù Khắc Anh Máy học và ứng dụng GVHD : PGS.TS Vũ Thanh Nguyên Máy học thường dùng khi hệ thống có sự biến đổi kết hợp với việc cải tiến chức năng nhờ vào áp dụng trí thông minh nhân tạo. Sự biến đổi hệ thống có thể hiểu một cách mở rộng như hoàn thiện hệ thống hay khởi tạo hệ thống mới. Mọi người có thể tự hỏi : “Tại sao máy tính cần phải học ? Tại sao không thiết kế máy tính để nó thực hiện công việc mà chúng ta mong muốn ngay từ đầu ?” Có vài lý do tại sao việc máy tính có thể học là quan trọng, nhất là về mặt kỹ thuật : • Có vài công việc chúng ta không thể xác định một cách rỏ ràng khi thiết kế, ví dụ : chúng ta có thể chỉ ra dữ liệu nhập hay dữ liệu xuất nhưng khó nắm bắt được mối quan hệ giữa chúng với nhau. Chúng ta mong muốn máy tính có khả năng thêm vào cấu trúc của nó chức năng điều chỉnh các dữ liệu xuất cho phù hợp cả với các dữ liệu nhập khi nó rất lớn hay thể hiện được một cách gần đúng ràng buộc trong các quan hệ ẩn giấu của dữ liệu. • Máy học có khả năng lấy ra và thể hiện các quan hệ hay tương quan quan trọng trong dữ liệu. • Thiết kế của con người không thể tính hết các biến đổi trong môi trường làm việc của máy tính. • Toàn bộ các tri thức có giá trị của con người thì quá lớn ,với năng lực hạn chế của bản thân con người khó khăn trong việc có thể thể hiện các tri thức này một cách rỏ ràng trong sáng như mong muốn. HVTH : CH1301079 – Phù Khắc Anh Máy học và ứng dụng GVHD : PGS.TS Vũ Thanh Nguyên I. Định nghĩa máy học : Máy học ( Machine learning) là một lĩnh vực của trí tuệ nhân tạo liên quan đến việc nghiên cứu và xây dựng các kĩ thuật cho phép các hệ thống "học" tự động từ dữ liệu để giải quyết những vấn đề cụ thể. Ví dụ như các máy có thể "học" cách phân loại thư điện tử xem có phải thư rác (spam) hay không và tự động xếp thư vào thư mục tuơng ứng. Máy học rất gần với suy diễn thống kê (statistical inference) tuy có khác nhau về thuật ngữ. Máy học có liên quan lớn đến thống kê, vì cả hai lĩnh vực đều nghiên cứu việc phân tích dữ liệu, nhưng khác với thống kê, máy học tập trung vào sự phức tạp của các giải thuật trong việc thực thi tính toán. Nhiều bài toán suy luận được xếp vào loại bài toán NP-khó, vì thế một phần của máy học là nghiên cứu sự phát triển các giải thuật suy luận xấp xỉ mà có thể xử lý được. Máy học có hiện nay được áp dụng rộng rãi bao gồm máy truy tìm dữ liệu, chẩn đoán y khoa, phát hiện thẻ tín dụng giả, phân tích thị trường chứng khoán, phân loại các chuỗi DNA, nhận dạng tiếng nói và chữ viết, dịch tự động, chơi trò chơi và cử động rô-bốt (robot locomotion). Dưới góc nhìn của trí tuệ nhân tạo, động lực chính học máy bởi là nhu cầu thu nhận tri thức (knowledge acquisition). Thật vậy, trong nhiều trường hợp ta cần kiến thức chuyên gia là khan hiếm (không đủ chuyên gia ngồi phân loại lừa đảo thẻ tín dụng của tất cả giao dịch hàng ngày) hoặc chậm vì một số nhiệm vụ cần đưa ra quyết định nhanh chóng dựa trên xử lý dữ liệu khổng lồ (trong mua bán chứng khoán phải quyết định trong vài khoảng khắc của giây chẳng hạn) và thiếu ổn định thì buộc phải cần đến máy tính. Ngoài ra, đại đa số dữ liệu sinh ra ngày nay chỉ phù hợp cho máy đọc (computer readable) tiềm tàng ngưồn kiến HVTH : CH1301079 – Phù Khắc Anh Máy học và ứng dụng GVHD : PGS.TS Vũ Thanh Nguyên thức quan trọng. Máy học nghiên cứu cách thức để mô hình hóa bài toán cho phép máy tính tự động hiểu, xử lý và học từ dữ liệu để thực thi nhiệm vụ được giao cũng như cách đánh giá giúp tăng tính hiệu quả. Tom Mitchell, giáo sư nổi tiếng của Đại học Carnegie Mellon University - CMU định nghĩa cụ thể và chuẩn mực hơn như sau: "Một chương trình máy tính CT được xem là học cách thực thi một lớp nhiệm vụ NV thông qua trải nghiệm KN, đối với thang đo năng lực NL nếu như dùng NL ta đo thấy năng lực thực thi của chuơng trình có tiến bộ sau khi trải qua KN" (máy đã học). Lợi điểm của các phương pháp máy học là nó phát sinh ra các luật tường minh, có thể được sửa đổi,hoặc được huấn luyện trong một giới hạn nhất định. Các phương pháp máy học hoạt động trên các dữ liệu có đặc tả thông tin. Các thông tin được trình bày theo một cấu trúc gồm 4 mức được gọi là tri thức kim tự tháp (pyramid knowledge). Máy học kiểm tra những ví dụ trước đó và kiểm tra luôn cả những kết quả của chúng khi xuất và học làm cách nào để tái tạo lại những kết quả này và tạo nên những sự tổng quát hóa cho những trường hợp mới. HVTH : CH1301079 – Phù Khắc Anh Máy học và ứng dụng GVHD : PGS.TS Vũ Thanh Nguyên Nói chung, máy học sử dụng một tập hữu hạn dữ liệu được gọi là tập huấn luyện. Tập này chứa những mẫu dữ liệu mà nó được viết bằng mã theo một cách nào đó để máy có thể đọc và hiểu được. Tuy nhiên, tập huấn luyện bao giờ cũng hữu hạn do đó không phải toàn bộ dữ liệu sẽ được học một cách chính xác. II. Phân loại máy học Một tiến trình máy học gồm 2 giai đoạn: • Giai đoạn học (learning): hệ thống phân tích dữ liệu và nhận ra mối quan hệ (có thể là phi tuyến hoặc tuyến tính) giữa các đối tượng dữ liệu. Kết quả của việc học có thể là: nhóm các đối tượng vào trong các lớp, tạo ra các luật, tiên đoán lớp cho các đối tượng mới. • Giai đoạn thử nghiệm (testing): mối quan hệ (các luật, lớp ) được tạo ra phải được kiểm nghiệm lại bằng một số hàm tính toán thực thi trên một phần của tập dữ liệu huấn luyện hoặc trên một tập dữ liệu lớn. Các thuật toán máy học được chia làm 3 loại: học giám sát, học không giám sát và học nửa giám sát 1) Học có giám sát (Supervised Learning) Đây là cách học từ những mẫu dữ liệu mà ở đó các kỹ thuật máy học giúp hệ thống xây dựng cách xác định những lớp dữ liệu. Hệ thống phải tìm một sự mô tả cho từng lớp (đặc tính của mẫu dữ liệu). Người ta có thể sử dụng các luật phân loại hình thành trong quá trình học và phân lớp để có thể sử dụng dự báo các lớp dữ liệu sau này. Thuật toán học có giám sát gồm tập dữ liệu huấn luyện M cặp: HVTH : CH1301079 – Phù Khắc Anh Máy học và ứng dụng GVHD : PGS.TS Vũ Thanh Nguyên S = {(xi, cj), i=1,…,M; j=1,…,C} • Các cặp huấn luyện này được gọi là mẫu, với xi là vector n-chiều còn gọi là vector đặc trưng, cj là lớp thứ j đã biết trước. • Thuật toán máy học giám sát tìm kiếm không gian của những giả thuyết có thể, gọi là H. Đối với một hay nhiều giả thuyết, mà ước lượng tốt nhất hàm không được biết chính xác f : x  c. Thuật toán máy học tìm ra những giả thuyết bằng cách khám phá ra những đặc trưng chung của những ví dụ mẫu thể hiện cho mỗi lớp. Kết quả nhận được thường ở dạng luật (Nếu thì). Khi áp dụng cho những mẫu dữ liệu mới, cần dựa trên những giả thuyết đã có để dự báo những phân lớp tương ứng của chúng. Nếu như không gian giả thuyết lớn, thì cần một tập dữ liệu huấn luyện đủ lớn nhằm tìm kiếm một hàm xấp xỉ tốt nhất f. Tùy thuộc vào mức độ của thuật toán học giám sát, người ta có những mô hình học giám sát như sau: • Học vẹt (rote): hệ thống luôn được “dạy” những luật đúng, rồi có học hội tụ. • Học bằng phép loại suy (analogy): hệ thống được dạy phản hồi đúng cho một công việc tương tự, nhưng không xác định. Vì thế hệ thống phải hiệu chỉnh phản hồi trước đó bằng cách tạo ra một luật mới có thể áp dụng cho trường hợp mới. • Học dựa trên trường hợp (case-based learning): trong trường hợp này hệ thống học lưu trữ tất cả các trường hợp, cùng với kết quả đầu ra của chúng. Khi bắt gặp một trường hợp mới, nó sẽ cố gắng hiệu chỉnh đến trường hợp mới này cách xử lý trước đó của nó đã được lưu trữ. HVTH : CH1301079 – Phù Khắc Anh Máy học và ứng dụng GVHD : PGS.TS Vũ Thanh Nguyên • Học dựa trên sự giải thích (explanation-based learning): hệ thống sẽ phân tích tập hợp những giải pháp nhằm chỉ ra tại sao mỗi phương pháp là thành công hay không thành công. Sau khi những giải thích này được tạo ra, chúng sẽ được dùng để giải quyết những vấn đề mới. 2) Học không giám sát : ( Unsupervised Learning ) Đây là việc học từ quan sát và khám phá. Hệ thống khai thác dữ liệu được ứng dụng với những đối tượng nhưng không có lớp được định nghĩa trước, mà để nó phải tự hệ thống quan sát những mẫu và nhận ra mẫu. Hệ thống này dẫn đến một tập lớp, mỗi lớp có một tập mẫu được khám phá trong tập dữ liệu. Học không giám sát còn gọi là học từ quan sát và khám phá. Trong trường hợp chỉ có ít, hay gần như không có tri thức về dữ liệu đầu vào, khi đó một hệ thống học không giám sát sẽ khám phá ra những phân lớp của dữ liệu, bằng cách tìm ra những thuộc tính, đặc trưng chung của những mẫu hình thành nên tập dữ liệu. Một thuật toán máy học giám sát luôn có thể biến đổi thành một thuật toán máy học không giám sát (Langley 1996). Đối với một bài toán mà những mẫu dữ liệu được mô tả bởi n đặc trưng, người ta có thể chạy thuật toán học giám sát n-lần, mỗi lần với một đặc trưng khác nhau đóng vai trò thuộc tính lớp, mà chúng ta đang tiên đoán. Kết quả sẽ là n tiêu chí phân lớp (n bộ phân lớp), với hy vọng là ít nhất một trong n bộ phân lớp đó là đúng. HVTH : CH1301079 – Phù Khắc Anh [...]... xúc này và xem nó như dữ liệu đầu vào của mạng nơron Như vậy mạng nơron sẽ có lớp input HVTH : CH1301079 – Phù Khắc Anh Máy học và ứng dụng GVHD : PGS.TS Vũ Thanh Nguyên với 5 nơron, dữ liệu đầu vào sau đó sẽ trải qua lớp mờ có 8 nơron và sau cùng sẽ cho ra kết quả ở lớp Output gồm 2 nơron HVTH : CH1301079 – Phù Khắc Anh Máy học và ứng dụng GVHD : PGS.TS Vũ Thanh Nguyên Mô hình mạng nơron nhân tạo được... CH1301079 – Phù Khắc Anh Máy học và ứng dụng GVHD : PGS.TS Vũ Thanh Nguyên B CHƯƠNG II : MÔ HÌNH HỆ THỐNG MẠNG NƠRON NHÂN TẠO Theo nghĩa sinh học, mạng nơ-ron là một tập hợp các dây thần kinh kết nối với nhau Ngày nay, thuật ngữ này còn dùng để chỉ mạng nơ-ron nhân tạo, cấu thành từ các nơ-ron nhân tạo Do đó thuật ngữ 'mạng nơ-ron' xác định hai khái niệm phân biệt: • Mạng nơ-ron sinh học là một mạng lưới.. .Máy học và ứng dụng GVHD : PGS.TS Vũ Thanh Nguyên 3) Học nửa giám sát Học nửa giám sát là các thuật toán học tích hợp từ học giám sát và học không giám sát Việc học nửa giám sát tận dụng những ưu điểm của việc học giám sát và học không giám sát và loại bỏ những khuyết điểm thường gặp trên hai kiểu học này 4) Một số thuật toán máy học : Thuật Toán Naïve Bayes Mô hình Hệ thống mạng Nơrôn Lan... PGS.TS Vũ Thanh Nguyên Mô hình mạng nơron nhân tạo được sử dụng HVTH : CH1301079 – Phù Khắc Anh Máy học và ứng dụng GVHD : PGS.TS Vũ Thanh Nguyên Dữ liệu về mạng nơron được lưu trữ trong thư mục Resources\ExportedNNs HVTH : CH1301079 – Phù Khắc Anh Máy học và ứng dụng HVTH : CH1301079 – Phù Khắc Anh GVHD : PGS.TS Vũ Thanh Nguyên Máy học và ứng dụng GVHD : PGS.TS Vũ Thanh Nguyên Mỗi lần chạy thử sẽ bao... CH1301079 – Phù Khắc Anh Máy học và ứng dụng GVHD : PGS.TS Vũ Thanh Nguyên 3) Hàm sigmoid: 4) Hàm sigmoid lưỡng cực Các perceptron liên kết với nhau qua các cạnh có trong số tạo thành mạng neural nhân tạo Tùy theo số lượng các perceptron và cách thức liên kết của chúng mà tạo thành các mạng neural khác nhau có khả năng khác nhau Có hai loại mạng neural nhân tạo cơ bản là mạng truyền thẳng và mạng hồi... cho sự phát triển của khoa học kỹ thuật trong tương lai HVTH : CH1301079 – Phù Khắc Anh Máy học và ứng dụng GVHD : PGS.TS Vũ Thanh Nguyên Tài liệu tham khảo [1] Bài giảng Máy học & Ứng dụng – PGS TS Vũ Thanh Nguyên - Đại học Quốc Gia Thành Phố Hồ Chí Minh [2] Machine Learning and Its Applications - Advanced Lectures [Georgios Paliouras] [3] McGrawHill _-_ Machine_Learning_-Tom_Mitchell [4] Georgios Paliouras;... lần lược là 1.2 và 0.5, để việc lựa chọn các tham số cho giải thuật được đơn giản Trong thực tế, hai thông số cần được lưa chọn cho giải thuật RPROP là ∆ 0 và ∆ max HVTH : CH1301079 – Phù Khắc Anh Máy học và ứng dụng II GVHD : PGS.TS Vũ Thanh Nguyên Ứng dụng demo auto – routing car 1 Mục đích chương trình Ngày nay, với sự phát triển khoa học kỹ thuật, con người ngày càng muốn chinh phục và khám phá nhiều... chỉ tập trung vào mô hình mạng này HVTH : CH1301079 – Phù Khắc Anh Máy học và ứng dụng GVHD : PGS.TS Vũ Thanh Nguyên 2) Mạng hồi quy: Khác với mạng truyền thẳng, mạng hồi quy có chứa các liên kết ngược từ một perceptron đến perceptron ở lớp trước nó 2 Nguyên tắc họat động mạng neural nhân tạo Trong mạng neural truyền thẳng nhiều lớp, các tín hiệu sẽ được truyền từ các perceptron đầu vào qua các perceptron... Mạng nơ-ron nhân tạo được thiết kế để mô hình một số tính chất của mạng nơron sinh học, tuy nhiên, khác với các mô hình nhận thức, phần lớn các ứng dụng lại có bản chất kỹ thuật I Mạng neural nhân tạo: cấu trúc, nguyên tắc hoạt động và các giải thuật huấn luyện 1 Cấu trúc của mạng nơron nhân tạo Mạng neural nhân tạo là một mạng gồm một tập các node được kết nối với nhau bằng các cạnh có trọng số, mỗi node... vào từ các perceptron phía trước hay một nguồn bên ngoài và sử dụng chúng để tính tín hiệu ra Mỗi perceptron có thể có nhiều tín hiệu đầu vào nhưng chỉ có một tín hiệu đầu ra duy nhất Đôi khi các perceptron còn có một giá trị gọi là độ lệch (bias) được gộp vào các tính hiệu đầu vào để tính tín hiệu ra HVTH : CH1301079 – Phù Khắc Anh Máy học và ứng dụng GVHD : PGS.TS Vũ Thanh Nguyên Trong một mạng nơron . Trường Đại học Công Nghệ Thông Tin Bài thu họach : Máy học và ứng dụng Máy học – mạng nơron nhân tạo và ứng dụng auto - routing car [Type the document subtitle] GVHD. hoạt động và các giải thuật huấn luyện 12 1.Cấu trúc của mạng nơron nhân tạo 12 2.Nguyên tắc họat động mạng neural nhân tạo 15 3.Huấn luyện mạng neural : 16 II .Ứng dụng demo auto – routing car 26 1.Mục. tóan của máy học Chương 2: Cấu trúc, nguyên tắc họat động và hai giải thuật huấn luyện mạng neural nhân tạo cùng với ứng dụng demo auto- routing car A.CHƯƠNG I : KHÁI NIỆM VỀ MÁY HỌC Học, như