Đang tải... (xem toàn văn)
Bài giảng Lý thuyết nhận dạng - Một số kỹ thuật trong lý thuyết nhận dạng (tiếp) với các nội dung radial basis functions neural networks; kiến trúc của mạng neural RBF; khớp đường cong sử dụng mạng neural RBF; biểu diễn của dữ liệu nói trên; phân bố của mẫu trong ví dụ...
MỘT SỐ KỸ THUẬT TRONG LÝ THUYẾT NHẬN DẠNG (TIẾP) Biên soạn: TS Ngô Hữu Phúc Bộ môn: Khoa học máy tính Học viện kỹ thuật quân Email: ngohuuphuc76@gmail.com Mạng neural RBF LÝ THUYẾT NHẬN DẠNG RADIAL BASIS FUNCTIONS NEURAL NETWORKS Mạng neural công cụ hiệu cho việc biểu diễn ánh xạ phi tuyến từ tập liệu vào tới tập liệu Có nhiều lược đồ khác mạng neural Trong số dạng khơng tham số (ví dụ PNN, k-nearest neighbor khơng bao gồm ước lượng có tham số) Trong có dạng có tham số, ví dụ hàm phân biệt tuyến tính Một ứng dụng quan trọng mạng neural tính hồi quy Thay ánh xạ tập input vào nhãn lớp rời rạc, mạng neural ánh xạ tập tham số input vào tập giá trị liên tục Trong phần xem xét RBF Mạng neural RBF KIẾN TRÚC CỦA MẠNG NEURAL RBF Giả sử input x, output y(x), kiến trúc mạng neural RBF chọn hàm Gaussian hàm cho bởi: x ci y x wi exp i 1 M Trong công thức trên, ci tâm, σ bán kính wi trọng số Có M hàm với tâm ci Mạng neural RBF KIẾN TRÚC CỦA MẠNG NEURAL RBF (T) Kiến trúc mạng neural RBF Mạng neural RBF KHỚP ĐƯỜNG CONG SỬ DỤNG MẠNG NEURAL RBF Trong toán hồi quy, khớp đường cong ứng dụng có sử dụng RBF Ví dụ: lấy σ = 1, c1 = 2, c2 = 5, c3 = Như vậy, hàm đầu x ci 2 y x wi exp i 1 Từ công thức cho thấy, hiệu chỉnh đường cong việc thay đổi trọng số tâm Mạng neural RBF VÍ DỤ VỀ ĐƯỜNG CONG NĨI TRÊN (1) Mạng neural RBF VÍ DỤ VỀ ĐƯỜNG CONG NĨI TRÊN (2) Mạng neural RBF VÍ DỤ VỀ ĐƯỜNG CONG NĨI TRÊN (3) Mạng neural RBF VÍ DỤ VỀ ĐƯỜNG CONG NÓI TRÊN (4) Mạng neural RBF KHỚP ĐƯỜNG CONG SỬ DỤNG MẠNG NEURAL RBF (T) Bằng việc hiệu chỉnh đường cong qua trọng số tâm, dùng RBF để xấp xỉ hàm phi tuyến chưa biết thơng qua tập liệu huấn luyện Xét n cặp (x1,t1), (x2,t2),…, (xn,tn) Trong đó, xi có giá trị thực, ti thường giá trị xác định trước (có thể nguyên) Huấn luyện mạng RBF liệu Mục đích: y(xi) xấp xỉ ti Mạng neural RBF 10 TIẾN TRÌNH CẠNH TRANH Gọi m số chiều liệu input mẫu ký hiệu: X = [x1,…,xm]T Vector trọng số liên kết neuron mạng có kích thước với vector input Giả sử có l neuron mạng Vector trọng số liên kết neuron j ký hiệu: wj = [wj,1, … , wj,m]T, j = 1,2,…,l Sử dụng số i để đánh dấu neuron phù hợp với X nhất: min{d(X,wj)} = d(X,wi) Neuron i neuron phù hợp Kohonen's self-organizing feature map TIẾN TRÌNH TƯƠNG TÁC Neuron phù hợp nói có vị trí trung tâm neuron tương tác với (láng giềng) Thể ảnh hưởng qua lại Kohonen's self-organizing feature map TIẾN TRÌNH THÍCH NGHI Với tất node j láng giềng neuron i, ta có: w j t 1 w j t hi , j t X t w j t Trong đó, t tham số thời gian Vector X(t) có từ việc chọn ngẫu nhiên mẫu thời điểm t η tỷ lệ học Hàm hi,j(t) hàm buộc láng giềng, hàm có giá trị giảm đến khoảng cách neuron tăng Kohonen's self-organizing feature map TIẾN TRÌNH THÍCH NGHI (T) Ví dụ hàm hi,j(t): di2, j hi , j t exp d i, j xác định dựa vị trí tương quan neuron j i Một đặc tính khác hàm xem xét tính giảm theo thời gian Kohonen's self-organizing feature map MINH HỌA Sự phâm bố liệu Kohonen's self-organizing feature map MINH HỌA Sự tiến triển tập liệu qua SOM Kohonen's self-organizing feature map 10 MINH HỌA Dữ liệu phân bố theo đường tròn Kohonen's self-organizing feature map 11 MINH HỌA Sự tiến triển tập liệu qua SOM Kohonen's self-organizing feature map 12 Phân cụm liệu nhận dạng Biên soạn: TS Ngô Hữu Phúc Bộ mơn: Khoa học máy tính Học viện kỹ thuật quân Email: ngohuuphuc76@gmail.com Phân cụm liệu nhận dạng Giới thiệu • Mục tiêu xem xét mạng neural tự tổ chức Khác với mạng trước, mạng cho phép tìm đặc tính quan trọng liệu input mà khơng cần giám sát • Trong phần này, xem xét: – Giải thuật K-mean Phân cụm liệu nhận dạng Thuật toán K-mean • Vector mẫu có n chiều, hiểu điểm không gian n chiều, X = [x1,x2, ,xn]T • Khoảng cách Euclidean định nghĩa: 1/ 2 X xi i 1 n • Như vậy, khoảng cách vector định nghĩa: 1/ n 2 X Z xi zi i 1 Phân cụm liệu nhận dạng Thuật toán K-mean (t) • Thuật tốn K-mean giả thiết, số chùm liệu a, biết • Gọi x(p) vector đầu vào thứ p Như vậy, tập vector đầu vào là: {x(1), x(2), , x(p)} • Vector z biểu diễn tâm chùm Như vậy, với K chùm, ta có tập tâm: z1, z2, , zk • Gọi Sj = {x|x gần chùm thứ j} • Nhiệm vụ thuật tốn tìm vector z Phân cụm liệu nhận dạng Thuật tốn K-mean (t) Các bước thuật tốn K-mean: • Bước 1: khởi tạo: – Chọn số chùm, K Với chùm, chọn giá trị cho tâm: {z1(l),z2, ,zk(l)} • Bước 2: phân bố mẫu: – Trong số mẫu x, chọn vector x(p) gần với chùm nếu: x p S j l if x p z j l x p zi l for all i 1,2, , K , i j – Trong đó, Sj(l) tập chứa mẫu lần lặp thứ l Phân cụm liệu nhận dạng Các bước thuật tốn K-mean (t) • Bước 3: Tính tâm chùm mới: – Tính lại tâm chùm cho tổng khoảng cách tới tâm cực tiểu Giả sử giá trị cực tiểu Jj, đó: Jj x p z j l 1 x ( p ) S j ( l ) j 1,2, , K – Giá trị zj(l+1) tính theo cơng thức p z j (l 1) x N j x p S j l – Với Nj số mẫu Sj Phân cụm liệu nhận dạng Các bước thuật toán K-mean (t) • Bước 4: Kiểm tra hội tụ: – Điều kiện hội tụ bước xác định khơng có thay đổi tâm nhóm: z j l 1 z j l , j 1,2, , K – Nếu có hội tụ dừng thuật tốn, khơng quay bước • Ví dụ K-mean viết C++ Phân cụm liệu nhận dạng ... 20 MỘT SỐ KỸ THUẬT TRONG LÝ THUYẾT NHẬN DẠNG (TIẾP) Biên soạn: TS Ngô Hữu Phúc Bộ mơn: Khoa học máy tính Học viện kỹ thuật quân Email: ngohuuphuc76@gmail.com Bộ phân lớp RBF LÝ THUYẾT NHẬN DẠNG... pháp chọn tâm RBF LÝ THUYẾT NHẬN DẠNG MỘT SỐ KỸ THUẬT TRONG LÝ THUYẾT NHẬN DẠNG (TIẾP) Biên soạn: TS Ngô Hữu Phúc Bộ môn: Khoa học máy tính Học viện kỹ thuật quân Email: ngohuuphuc76@gmail.com... đồ khác mạng neural Trong số dạng khơng tham số (ví dụ PNN, k-nearest neighbor khơng bao gồm ước lượng có tham số) Trong có dạng có tham số, ví dụ hàm phân biệt tuyến tính Một ứng dụng quan trọng