Đồ án môn học:Trí Tuệ Nhân Tạo Sinh viên thực hiện:Nguyễn Trọng Đông Nguyễn Hoàng Tú Đề tài:tổng quan mạng nơ ron ứng dụng A.Đặt vấn đề: Trong năm gần đây, ngời ta thờng nhắc đến Trí tuệ nhân tạo nh phơng thức mô pháng trÝ th«ng minh cđa ngêi tõ viƯc lu trữ đến xử lý thông tin Và thực đà trở thành tảng cho việc xây dựng hệ máy thông minh đại Cũng với mục đích đó, nhng dựa quan điểm nghiên cứu hoàn toàn khác, môn khoa học đà đời, Lý thuyết Mạng neuron Tiếp thu thành tựu thần kinh sinh học, mạng neuron đợc xây dựng thành cấu trúc mô trực tiếp tỉ chøc thÇn kinh bé n·o ngêi Tõ nghiên cứu sơ khai McCulloch Pitts năm 40 kỷ, trải qua nhiều năm phát triển, thập kỷ này, trình độ phần cứng phần mềm đà đủ mạnh cho phép cài đặt ứng dụng phức tạp, Lý thuyết Mạng neuron thực đợc ý nhanh chóng trở thành hớng nghiên cứu đầy triển vọng mục đích xây dựng máy thông minh tiến gần tới Trí tuệ ngời Sức mạnh thuộc chất tính toán song song, chấp nhận lỗi mạng neuron đà đợc chứng minh thông qua nhiều ứng dụng thực tiễn, đặc biệt tích hợp với kỹ thuật khác Một ứng dụng kinh điển mạng neuron lớp toán nhận dạng mẫu, mẫu tập hợp (hay vector) tham số biểu thị thuộc tính trình vật lý (ví dụ tín hiệu tiếng nói) Ngoài sức mạnh vốn có, mạng neuron thể u điểm việc nhận dạng thông qua khả mềm dẻo, dễ thích nghi với môi trờng Chính vậy, coi mạng neuron trớc tiên công cụ để nhận dạng Nhiều công trình nghiên cứu, nhiều ứng dụng thực nghiệm đà đợc thực mạng neuron với mục đích nhận dạng đà thu đợc thành công to lớn 1.Cơ sở lý thuyết : Lý thuyết Mạng neuron Mạng neuron nhân tạo mô hình mô cấu trúc nÃo ngời Hai thành phần cấu tạo nên mạng neuron neuron (mô tế bào thần kinh) synapse (mô khớp nối thần kinh) Trong kiến trúc mô hình kết nối, neuron nút mạng, đợc liên kết với thông qua synpase, cung mạng Neuron đơn vị tính toán có nhiều đầu vào đầu ra, đầu vào đến từ syanpse Đặc trng neuron hàm kích hoạt phi tuyến chuyển đổi tổ hợp tuyến tính tất tín hiệu đầu vào thành tín hiệu đầu Hàm kích hoạt đảm bảo tính chất phi tuyến cho tính toán mạng neuron Synapse thành phần liên kết neuron, nối đầu neuron với đầu vào neuron khác Đặc trng synapse trọng số mà tín hiệu qua đợc nhận với trọng số Các trọng số synapse tham số tự mạng neuron, thay đổi đợc nhằm thích nghi với môi trờng xung quanh Mạng tiến đa mức kiến trúc mạng nhất, neuron đợc chia thành mức Có ba loại mức: mức đầu vào bao gồm nút nguồn (không phải neuron) cung cấp tín hiệu đầu vào chung nhận đợc từ môi trờng; mức ẩn bao gồm neuron không quan hệ trực tiếp với môi trờng; mức đầu đa tín hiệu đầu cho môi trờng Lần lợt từ mức đầu vào tới mức đầu ra, tín hiệu đầu nút mạng thuộc mức trớc tín hiệu đầu vào cho nút mạng thuộc møc tiÕp sau Tõ kiÕn tróc nµy ta cã thĨ hình dung mạng neuron nh xử lý thông tin có nhiều đầu vào nhiều đầu Quá trình tích luỹ mạng (học) trình mà tham số tự (các trọng số synapse) đợc điều chỉnh nhằm mục đích thích nghi với môi trờng Đối với vấn đề học cho mạng neuron ngời ta quan tâm tới ba yếu tố sau: ã Quy tắc học: Phơng thức tảng cho việc thay ®ỉi träng sè syanapse (vÝ dơ: Quy t¾c häc hiƯu chỉnh lỗi, Quy tắc học kiểu Heb, ) ã Mô hình học: Cách thức mạng neuron quan hệ với môi trờng trình học (ví dụ: Mô hình học với ngời dạy, ) ã Thuật toán học: Các bớc tiến hành cụ thể cho trình học Thuật toán Back-propagation thuật toán học kinh điển đợc áp dụng cách phổ biến cho mạng tiến đa mức Nó đợc xây dựng sở Quy tắc học hiệu chỉnh lỗi Mô hình học với ngời dạy Thuật toán bao gồm hai giai đoạn tính toán: giai đoạn tiến mà tín hiệu chức từ mức đầu vào tới mức đẩu mạng nhằm tính toán tín hiệu lỗi; giai đoạn lùi tín hiệu lỗi quay trở lại từ mức đầu lần lợt qua mức để tính gradient cục neuron Để nâng cao tính thuật toán, có nhiều kinh nghiệm thực tế đợc nêu thành quy tắc mà không đợc chứng minh cách chặt chẽ Các mạng hồi quy trễ lớp kiến trúc mở rộng tích hợp quan điểm synapse trễ kiến trúc hồi quy dựa sở mạng tiến đa mức Một synapse trễ bao gồm nhiều nhánh, nhánh có trọng số riêng đặc biệt có toán tử trễ theo thời gian (z-n) nhằm quan tâm tới ảnh hởng lẫn neuron tời điểm khác Lớp kiến trúc đợc đa để xử lý tín hiệu có đặc tính thống kê biến thiên theo thời gian 1.1 Mạng neuron - Mô trùc tiÕp bé n·o ngêi Lý thut vỊ M¹ng nơ ron nhân tạo, hay gọi tắt Mạng nơ ron, đ ợc xây dựng xuất phát từ thực tế nÃo ngời luôn thực tính toán cách hoàn toàn khác so với máy tính số Có thể coi nÃo máy tính hay hệ thống xử lý thông tin song song, phi tuyến phức tạp Nó có khả tự tổ chức phận cấu thành nó, nh tế bào thần kinh (neuron) hay khớp nối thần kinh (synapse), nhằm thực số tính toán nh nhận dạng mẫu điều khiển vận động nhanh nhiều lần máy tính nhanh Sự mô nÃo ng ời mạng neuron dựa sở số tính chất đặc thù rút từ nghiên cứu thần kinh sinh học 1.1.1 Sơ lợc cấu trúc nÃo ngời Hệ thống thần kinh ngời đợc xem nh hệ thống ba tầng Trung tâm hệ thống nÃo đợc tạo nên mạng lới thần kinh; liên tục thu nhận thông tin, nhận thức thông tin, thực định phù hợp Bên nÃo tiếp nhận làm nhiệm vụ chuyển đổi kích thích từ thể ngời hay từ môi trờng bên thành xung điện; xung điện vận chuyển thông tin tới mạng l ới thần kinh Tầng thứ ba bao gồm tác động có nhiệm vụ chuyển đổi xung điện sinh mạng lới thần kinh thành đáp ứng thấy đ ợc (dới nhiều dạng khác nhau), đầu cđa hƯ thèng C¸c kÝch thÝch C¸c bé tiÕp nhận Mạng lưới thần kinh Các tác động Các đáp ứng Hình 1.1 Biểu diễn sơ đồ khối hệ thống thần kinh Hai số thành phần nÃo mà cần quan tâm đến nh yếu tố định khả tính toán nÃo tế bào thần kinh (neuron) khớp nối thần kinh (synapse) Ngời ta íc tÝnh r»ng cã xÊp xû 10 tû neuron 60 nghìn tỷ synapse vỏ nÃo ngời Các neuron đơn vị xử lý thông tin sở nÃo với tốc độ xử lý chậm từ năm tới sáu lần cổng logic silicon Tuy nhiên điều đợc bù đắp số lợng lớn neuron nÃo Các synapse đơn vị cấu trúc chức làm trung gian kết nối neuron Kiểu synapse chung synapse hoá học, hoạt động nh sau Một trình tiền synapse giải phóng chất liệu truyền, chất liệu khuếch tán qua synapse sau lại đợc xử lý trình hậu synapse Nh synapse chuyển đổi tín hiệu điện tiền synapse thành tín hiệu hoá học sau trở lại thành mét tÝn hiƯu ®iƯn hËu synapse Trong hƯ thèng tht ngữ điện, phần tử nh đợc gọi thiết bị hai cổng không thuận nghịch Có thể nói tính mềm dẻo hệ thống thần kinh ngêi cho phÐp nã cã thĨ ph¸t triĨn ®Ĩ thÝch nghi víi m«i trêng xung quanh Trong mét óc ngời trởng thành, tính mềm dẻo đợc thể hai hoạt động: tạo synapse neuron, biến đổi synapse có Các neuron có đa dạng lớn hình dạng, kích thớc cấu tạo phần khác nÃo thể tính đa dạng chất tính toán Trong nÃo, có số lợng lớn tổ chức giải phẫu quy mô nhỏ nh quy mô lớn cấu tạo dựa sở neuron synapse; chúng đợc phân thành nhiều cấp theo quy mô chức đặc thù Cần phải nhận thấy kiểu cấu trúc phân cấp hoàn hảo đặc trng nÃo Chúng không đợc tìm thấy nơi máy tính số, không đâu đạt tới gần tái tạo lại chúng với mạng neuron nhân tạo Tuy nhiên, tiến bớc đờng dẫn tới phân cấp mức tính toán tơng tự nh Các neuron nhân tạo mà sử dụng để xây dựng nên mạng neuron nhân tạo thực thô sơ so với đợc tìm thấy nÃo Các mạng neuron mà đà xây dựng đợc phác thảo thô kệch đem so sánh với mạch thần kinh nÃo Nhng với tiến đáng ghi nhận nhiều lĩnh vực thập kỷ võa qua, chóng ta cã qun hy väng r»ng thập kỷ tới mạng neuron nhân tạo tinh vi nhiều so với 1.1.2 Mô hình neuron nhân tạo Để mô tế bào thần kinh khớp nối thần kinh nÃo ngời, mạng neuron nhân tạo có thành phần có vai trò tơng tự neuron nhân tạo kết nối synapse Một neuron nhân tạo đơn vị tính toán hay đơn vị xử lý thông tin sở cho hoạt động môt mạng neuron Sơ đồ khối hình 1.2 mô hình neuron nhân tạo đây, xác định ba thành phần mô hình neuron: Một tập hợp synapse hay kết nối, mà chúng đợc đặc trng trọng số riêng Tức tín hiệu x j đầu vào synapse j nối với neuron k đợc nhân với trọng số synapse wkj k số neuron đầu synapse xét, j điểm đầu vào synapse Các trọng số synapse cuả neuron nhân tạo nhận giá trị âm giá trị dơng Một cộng để tính tổng tín hiệu đầu vào neuron, đà đợc nhân với trọng số synapse tơng ứng; phép toán đợc mô tả tạo nên tổ hợp tuyến tính Một hàm kích hoạt (activation function) để giới hạn biên độ đầu neuron Hàm kích hoạt đợc xem xét nh hàm nén; nén (giới hạn) phạm vi biên độ cho phép tín hiệu đầu khoảng giá trị hữu hạn Mô hình neuron hình 1.2 bao gồm hệ số hiệu chỉnh tác động từ bên ngoài, bk Hệ số hiệu chỉnh bk có tác dụng tăng lên giảm đầu vào thực hàm kích hoạt, tuỳ theo dơng hay âm Hệ số hiệu chỉnh b x1 Các tín hiệu đầu vào w x2 w xm k k1 Hàm kích hoạt k1 w v k (.) Đầu y k Bộ tổ hợp tuyến tính k1 Các trọng số synpase Hình 1.2 Mô hình phi tuyến neuron Dới dạng công thức toán học, mô tả neuron k cặp công thức sau: uk = m ∑w kj xj j =0 (1.1) yk= (uk+b) (1.2) x1,x2, ,xm tín hiệu đầu vào; w k1,wk2, ,wkm trọng số synapse neuron k; uk đầu tổ hợp tuyến tính tơng ứng; bk hệ số hiƯu chØnh HƯ sè hiƯu chØnh b k lµ mét tham số neuron nhân tạo k Chúng ta thấy đợc có mặt công thức (1.2) Một cách tơng đơng, tổ hợp công thức (1.1) (1.2) nh sau: m v k = ∑wkj x j j =0 (1.3) vµ y k = ϕ (v k ) (1.4) Trong công thức (1.3), đà thêm synapse Đầu vào là: x0=+1 (1.5) wk0=bk (1.6) vµ träng sè cđa nã lµ Nh vËy chóng ta vẽ lại mô hình neuron k nh hình 1.3 Trong hình này, nhiệm vụ hệ số hiệu chỉnh thực hai việc: (1) thêm tín hiệu đầu vào cố định 1, (2) thêm trọng số synapse giá trị hệ số b k Mặc dầu mô hình hình 1.2 1.3 khác hình thức nhng tơng tự chất toán học w Ddầu vào cố định x =+1 k0 x1 Các tín hiệu đầu vào w w w =b (hệ số hiệu chỉnh) k k1 x2 k0 xm Hàm kích hoạt k1 w vk (.) Đầu y k Bộ tổ hợp tuyến tính k1 Các trọng số synpase Hình 1.3 Mô hình phi tuyến thứ hai neuron Các kiểu hàm kích hoạt Hàm kích hoạt, ký hiệu (v), xác định đầu neuron Dới kiểu hàm kích hoạt bản: Hàm ngỡng: Đối với loại hàm (mô tả h×nh 1.4a), chóng ta cã 1 nÕu v ≥ ϕ (v) =  0 nÕu v < (1.7) Trong tài liệu kỹ thuật, dạng hàm ngỡng thờng đợc gọi hàm Heaviside Đầu neuron k sư dơng hµm ngìng sÏ nh sau  nÕu v k ≥ yk =   v k < (1.8) vk đầu tổ hợp tuyến tính, có nghĩa lµ m v k = ∑ wkj x j + bk j =1 Một neuron nh thờng đợc gọi mô hình McCulloch-Pitts (1.9) (v) -2 (a) ϕ (v) -2 (b) ϕ (v) -2 (c) H×nh 1.4 (a) Hµm ngìng, (b) Hµm vïng tun tÝnh (c) Hàm sigma với tham số độ dốc a thay đổi Hàm vùng tuyến tính: Đối với loại hàm (mô tả hình 1.4b), có 1, v≥+   1  ϕ (v ) =  v , + ≥ v > − 2   0, v≤−   tuyến (1.10) Dạng hàm đợc xem nh môt xấp xỷ khuếch đại phi Hàm sigma: Hàm sigma dạng chung hàm kích hoạt đợc sử dụng cấu trúc mạng neuron nhân tạo Nó hàm tăng thể trung gian tuyến tính phi tun Mét vÝ dơ cđa hµm nµy lµ hµm logistics, xác định nh sau (v) = 1 + exp(av) (1.11) a tham số độ dốc hàm sigma Bằng việc biến đổi tham số a, thu đợc hàm sigma với độ dốc khác nhau, nh đợc minh hoạ hình 1.4c Thực tế, hệ số góc v=0 a/4 Khi tham số hệ số góc tiến tới không xác định, hàm sigma trở thành hàm ngỡng đơn giản Trong hàm ngỡng có giá trị 1, hàm sigma nhận giá trị từ tới Cũng phải ghi nhận hàm sigma hàm phân biệt, hàm ngỡng không (Tính phân biệt hàm đặc tính quan trọng lý thuyết mạng neuron) Các hàm kích hoạt đợc định nghĩa công thức (1.7), (1.10), (1.11) phạm vi từ đến Đôi có yêu cầu xây dựng hàm kích hoạt phạm vi từ -1 đến 1, trờng hợp hàm kích hoạt đợc giả định có dạng đối xứng qua gốc toạ độ (hay gọi dạng phản đối xứng); nghĩa hàm kích hoạt hàm lẻ Ví dụ, hàm ngỡng công thức (1.7) đợc xác định nh sau (v ) =  −  v>0 v=0 (1.12) v