HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG KHOA CÔNG NGHÊ THÔNG TIN I BÁO CÁO THỰC TẬP Giảng viên hướng dẫn : TS. Hoàng Xuân Dậu Sinh viên : Đào Thanh Tùng Lớp : D08CNPM1 HÀ NỘI, 7/2012 I.Giới thiệu Thiết kế và cái đặt hệ thống phát hiện đột nhập là một vấn đề nghiên cứu quan trọng trong an toàn mạng. Các hệ thống phát hiện đột nhâp được học và đề xuất gặp phải các thách thức trong môi trường internet. Không phải là sự thổi phòng trạng thái mà một hệ thống phát hiện đột nhập phải là một hệ thống hiện đại. Kĩ thuật phát hiện đột nhập có thể chia thành 2 nhóm : phát hiện sai và phát hiện dị thường. Phát hiện sai nhận ra các các hành động đột nhập dựa trên các hành vi đã biết từ quá trình phát triển. Phát hiện sai tương tự các phần mềm diệt vi rút. Chúng so sánh dữ liệu với cơ sở dữ liệu virus có sẵn. Phát hiện sai là tập hợp các hành vi tấn công từ cơ sở dữ liệu thuộc tính. Do đó chúng có hạn chế không thể phát hiện đột nhập mới xảy ra ví dụ các sự kiện chưa xảy ra bao giờ. Phát hiện di thường khác biệt so với phát hiện sai. Phát hiện dị thường dựa trên phân tích dữ liệu các sự kiện và nhận ra các mẫu của các hành động xuất hiện một cách bình thường. Nếu một sự kiện xảy ra ngoài mẫu, chúng được báo cáo như một xâm nhập. Có thể xem phương pháp này là phương pháp tiếp cận nửa học máy. Có nhiều kĩ thuật học máy được sử dụng phát hiện đột nhập dị thường. Qiao giới thiệu một phương pháp phát hiện đột nhập dựa vào mô hình ẩn của Markov để phân tích tập dữ liệu UNM. Lee thiết lập mô hình phất hiện đột nhập kết hợp luật kết hợp và logic mờ điều chế mãu cho phất hiện dột nhâp. Mohajeran phát triển hệ thống phát hiện đôt nhập kết hợp mạng nơron và logic mờ phân tích tập dữ liệu KDD, Wang áp dụng thuật toán di truyền dánh giá hàm thành viên cho khai phái mờ luật kết hợp. SVM (SVM) là một kĩ thuật phổ biến cho phát hiện đột nhâp dị thường. SVM huấn luyện vector vào không gian đặc trưng có số chiều lớn hơn, gán nhãn mỗi vector vào các lớp. SVM phân loại dữ liệu bởi giới hạn một tập vector hỗ trợ chúng là thành viên của tập dữ liệu huấn luyện nằm trên lề siêu phẳng của không gian đặc trưng. SVM cung cấp một cơ chế chung để phù hợp với bề mặt siêu phẳng dữ liệu thông qua hàm nhân. Có nhiều hàm (tuyến tính, đa giác, xích ma) cho SVM trong quá trình huấn luyện, lựa chọn vector hỗ trợ theo bề mặt của hạt nhân. Lý do SVM cho phát hiện đột nhâp. Thứ nhát là tốc độ : hiệu suất thời gian thực là yếu tố quan trọng hàng đầu cho hệ thống phát hiện đột nhập, Thứ hai là khả năng mở rộng : SVM là tương đối không nhảy cảm với số lượng các điểm dữ liệu và phân loại phưc tạp không phụ thuộc vào chiều của không gian vì vậy có khă năng học tập lớn các mẫu. II.Nội dung SVM được giới thiệu bởi V.Vapnik và các đồng nghiệp của ông vào những năm 1970 ở Nga và sau đó đã phổ biến vào những năm 1990. SVM có những đặc điểm làm cho nó trở thành một trong những thuật toán phổ biến nhất. Không chỉ có nền tảng lý thuyết chắc mà còn thực hiện phân loại chính xác so với hầu hết các thuật toán khác trong nhiều ứng dụng đặc biết các ứng dụng liên quan đến dữ liệu nhiều chiều. Ý tưởng của phương pháp : cho trước một tập huấn luyện được biểu diễn trong không gian vector. Phương pháp tìm ra một siêu phẳng f quyết định tốt nhất có thể chia các điểm trên không gian thành hai lớp tương ứng là lớp + và lớp Chất lượng của siêu phẳng này được quyết đỉnh bởi khoảng cách (gọi là biên) của điểm dữ liệu gần nhất của mỗi lớp đến mặt phẳng này. Khi đó, khoảng cách biên càng lớn thì mặt phẳng quyết định càng tốt, đồng thời việc phân loại càng chính xác. Cho tập hợp các ví dụ huấn luyện D Với là một vector đầu vào r chiều trong không gian giá trị thực , là nhãn lớp (giá trị đầu ra) và {1, -1}. 1 biểu thị lớp dương và -1 biểu thị lớp âm. Để xây dựng một phân loại, SVM tìm một hàm tuyến tính có dạng sau : (1) vì vậy vector đầu vào xi được gán vào các lớp dương nếu f(xi) 0, và lớp âm nếu ngược lại, tức là, (2) F(x) là một hàm giá trị thực được gọi là vector trọng số. b được gọi là độ dịch chuyển <w.x> là dot product của w and x. Phương trình (1) được viết như sau: (3) Với là biến biểu diễn tọa độ thứ i của vector x. Bản chất SVM tìm các siêu phẳng: (4) để chia các mẫu huấn luyện thành dương và âm. Siêu phẳng này được gọi là đường biên quyết định hoặc bề mặt quyết định. Về mặt hình học, siêu phẳng <w.x> + b=0 phân chia không gian đầu và othành hai nửa không gian: một nửa cho các mẫu dương và một nửa khác cho các mẫu âm. Nhớ lại rằng siêu phẳng thường được gọi là một đường trong một không gian 2-chiều và một plane trong một không gian 3 chiều. Hình 1 cho thấy một ví dụ trong một không gian 2 chiều. Mẫu dương được biểu diễn bởi hình chữ nhật đặc nhỏ, và mẫu âm được biểu diễn bởi hình tròn rỗng nhỏ. Đường dày ở giữa là các siêu phẳng biên quyết định (một đường trong trường hợp này), nó chia các điểm dữ liệu dương (phía trên đường) và âm (phía dưới đường). Phương trình (1), gọi là quy tắc quyết định của phân lớp SVM, được sử dụng để tạo quyết định phân lớp trên các trường hợp thử nghiệm. Hình 1 (A) A là một đường thẳng chia tập dữ liệu và (B) các biên quyết dịnh có thể 1.SVM tuyến tính : trường hợp có thể chia Phần này nghiên cứu trường hợp đơn giản của SVM tuyến tính. Nó giả thiết rằng các dữ liệu dương và âm là có thể chia tuyến tính. Theo đại số tuyến tính, chúng ta biết rằng trong <w.x> + b = 0, w định nghĩa một đường pháp tuyến với siêu phẳng (xem hình 2). Không thay đổi vector chuẩn w, biến b di chuyển siêu phẳng song song với chính nó. Cũng lưu ý rằng <w.x> + b = 0 có một mức độ tự do vốn có. Chúng ta có thể thay đổi tỉ lệ các siêu phẳng thành mà không thay đổi hàm/ siêu phẳng. Hình 2 Siêu phẳng phân chia và lề của của SVM : Vector hỗ trợ khoanh tròn Khi SVM đạt cực đại lề giữa các điểm dữ liệu dương và âm, hãy tìm lề đó. Gọi d+ là khoảng cách ngắn nhất từ siêu phẳng để chia tới các điểm dữ liệu dương gần nhất, d- là khoảng cách ngắn nhất từ siêu phẳng để chia tới các điểm dữ liệu âm gần nhất. Khi đó lề của siêu phẳng để chia là (d+)+(d-). SVM tìm siêu phẳng để chia với lề lớn nhất, còn gọi là lề siêu phẳng cực đại, làm đường biên quyết định. Hãy chú ý đến các điểm dữ liệu dương () và âm () mà gần siêu phẳng nhất . Chúng ta định nghĩa hai siêu phẳng, và , mà đi qua và . và cũng là song song với <w.x> +b=0. Chúng ta có thể thay đổi tỉ lệ w và b để thu được: (5) (6) Cái mà cho biết rằng không có dữ liệu huấn luyện nào rơi vào giữa các siêu phẳng và . Bây giờ ta cùng tính toán khoảng cách giữa hai lề siêu phẳng và . Khoảng cách là lề ((d+)+ (d-)). Theo không gian vector trong đại số tuyến tính thì khoảng cách Euclidena từ điểm xi tới một siêu phẳng <w.x>+b=0 là: (7) Với là chuẩn của véc tơ w, (8) Để tính d+ , thay vì tính khoảng cách từ tới siêu phẳng chia <w.x> +b=0, chúng ta lấy một điểm trên <w.x> +b=0 và tính khoảng cách từ trên <w.x> +b=0 và tính khoảng cách từ tới <w.> +b=1 bằng cách áp dụng phương trình (40) và chú ý rằng <w.> +b=0, (9) Tương tự , ta có thể tính khoảng cách từ tới <w.> +b=-1 để thu được . Do đó, đường quyết định (<w.x> +b=0 ) nằm giữa hai đường và , khi đó : (10) SVM tìm siêu phẳng để chia mà lề đạt được cực đại, điều này đưa ra một vấn đề đánh giá. Giá trị lề cực đại tương tự như cực tiểu giá trị . Mô tả SVM có thể chia tuyến tính như sau: Định nghĩa (Linear SVM: Separable Case): Với một tập các mẫu huấn luyện có thể chia tuyến tính , quá trình học là giải quyết cực tiểu hóa ràng buộc sau: (11) Ràng buộc được tổng quát hóa như sau: Giải quyết vấn đề (11) sẽ tạo ra các giải pháp cho w và b. Kể từ khi hàm mục tiêu là bậc hai và lồi và các ràng buộc là tuyến tính trong các thông số w và b, chúng ta có thể sử dụng phương pháp hệ số nhân Lagrange chuẩn để giải quyết nó. Thay vì đánh giá hàm mục tiêu, ta cần đánh giá Lagrangian của vấn đề,nó xem xét các ràng buộc cùng một lúc. Cần quan tâm đến các ràng buộc là rõ ràng bởi vì chúng giảm bớt các giải pháp khả thi. Khi ràng buộc bất đẳng thức được biểu diễn sử dụng “ ”, các Lagrange được xây dựng bằng cách các ràng buộc được nhân với các hệ số nhân dương và được trừ vào hàm mục tiêu, cụ thể là: (12) trong đó 0 là các hệ số nhân lagrange. Lí thuyết đánh giá nói rằng một giải pháp đánh giá cho biểu thức phải thỏa mãn các điều kiện nhất định, được gọi là các điều kiện Kunhn- Tucker, nó giữ vai trò quan trọng trong đánh giá ràng buộc. Ở đây, ta giới thiệu tóm tắt các điều kiện này. Các vấn để tổng quá hóa là : (13) Trong đó f là hàm mục tiêu và la hàm ràng buộc. Lagrangian của (13) là, (14) Một giải pháp đánh giá vấn đề trong (13) phải thỏa mãn các điều kiện cần thiết (nhưng chưa đủ) sau : (15) (16) (17) (18) Các điều kiện này được gọi là các điều kiện Kuhn-Tucker, chú ý rằng (16) là tập các ràng buộc bản đầu có trong (13). Điều kiện (18) được gọi là điều kiện bổ sung, nó ngụ ý rằng tại điểm giải quyết : Để cực tiểu vấn đề (11), các điều kiện Kuhn-Tucker là : (19) (20) (21) (22) (23) Bất đẳng thức (21) là tập các ràng buộc ban đầu. lưu ý rằng mặc dù có một hệ số nhân Lagrange αi cho mỗi điểm dữ liệu huấn luyện, điều kiện bổ sung (23) cho thấy rằng chỉ những điểm dữ liệu nằm trên mép siêu phẳng (tức là, H + và H-) có thể có αi> 0 mà làm cho yi (〈 w ⋅ xi 〉 + b)- 1 = 0. Những điểm dữ liệu được gọi là vectơ hỗ trợ. Tất cả các điểm dữ liệu khác có αi = 0. Bất đẳng dối ngẫu của phương trình căn bản (11) là: (24) Sau khi giải quyết vấn đề (24) ta thu được các giá trị của , chúng được dùng để tính các vector trọng số w độ lệch b sử dụng các đẳng thức (19) và (23). Thay vì phụ thuộc vào một vector hỗ trợ (α i> 0) để tính b, trong thực tế tất cả các vector hỗ trợ được sử dụng để tính b, sau đó đưa ra giá trị trung bình của chúng làm giá trị cuối cùng của b. Đường biên quyết định cuối cùng là : (25) Trong đó sv là tập các chỉ số của không gian vector trong dữ liệu hấn luyện. Testing : chúng ta áp dụng (25) để phân lớp. với một tập các thể hiện z, chúng phân loại nó sử dụng cái sau : (26) Nếu (26) trả về 1, z được phân vào lớp dương ngược lại thì z được chia vào lớp âm. 2.SVM tuyến tính: Trường hợp không thể chia Trường hợp chia tuyến tính là tình huống lý tưởng. Tuy nhiên trong thực tế, dữ liệu huấn luyện hầu như luôn bị nhiễu , tức là chứa các lỗi vì nhiều lí do khác nhau. Chẳng hạn, một số mẫu có thể được gán nhãn không chính xác. Hơn nữa các vấn đề thực tế có thể có một số mức độ ngẫu nhiên. Ngay cả đối với hai vector đầu vào giống hệt nhau, nhãn của chúng có thể khác nhau. Để SVM là hữu dụng, nó phải cho phép nhiễu trong các dữ liệu huấn luyện. Tuy nhiên, với dữ liệu nhiễu thì SVM chia tuyến tính sẽ không tìm ra một hướng giải pháp nào bởi vì các ràng buộc không thể đạt được. Chẳng hạn, trong hình 3, có một điểm âm trong miền dương, và có một điểm dương trong miền âm. Một cách rõ ràng hơn, không có giải pháp có thể được tìm thấy cho vấn đề này. Nhớ lại rằng nền tảng cho trường hợp chia tuyến tính là: (27) Để cho phép lỗi trong dữ liệu, chúng ta có thể nới lỏng các rằng buộc lề dc bẳng cách đưa ra các biến slack, () như sau: Do đó chúng ta có các rằng buộc mới : Biểu diễn hình học được minh họa trong hình 3, ở đây có hai điểm dữ liệu lỗi , (được khoanh tròn) trong miền không chính xác. Hình 3 Trường hợp không phân chia đúng Chúng ta cũng cần để ý các lỗi trong hàm mục tiêu. Một cách thông thường là gán một giá trị mở rộng cho các lỗi để thay đổi hàm mục tiêu để: (28) Với C là một tham số được quy định bởi người dùng. K=1 được sử dụng phổ biến, nó có tiến bộ là không phải mà cũng không phải hệ số nhân Lagrangian của nó xuất hiện trong biểu thức đối ngẫu. Ta chỉ quan tâm thảo luận trường hợp k=1 ở phía dưới đây. Vấn đề đánh giá mới trở thành: (29) Công thức này được gọi là lề mềm SVM. Lagrangian cơ bản (biểu diễn bởi ) của biểu thức này như sau: (30) Trong đó, , là các hệ số nhân Lagrange. Điều kiện Kuhn-Tucker tốt nhất là những điều kiện sau : (31) (32) (33) (34) (35) (36) (37) (38) (39) Trong trường hợp chia tuyến tính, sau đó ta chuyển biểu thức ban đầu sang biểu thức đối ngẫu bằng cách thiết lập về zero các dẫn xuất một phần của Largangian (30) đối với các biến ban đầu (tức là w,b và ), và thay thế các kết quả liên quan trở lại Lagrangian. Đó là, chúng ta thay thế phương trình (31), (32), và (33) vào Lagrangian ban đầu (30). Từ đẳng thức (33), C - - = 0, chúng ta có thể suy ra rằng C bởi vì 0. Do đó, biểu thức đối ngẫu của (29) là : (40) Vấn đề đối ngẫu (40) cũng có thể được giải quyết về số lượng, và các giá trị kết quả sau đó được sử dụng để tính w và b. W được tính sử dụng phương trình (31) và b được tính sử dụng điều kiện bổ sung Kuhn-Tucker (38) và (39), nếu 0 < <C thì cả =0 và () – 1 + = 0. Do đó có thể sử dụng vài điểm dữ liệu huấn luyện mà 0 < <C và phương trình (38) (với = 0.) để tính toán b : (41) Nhắc lại, do lỗi con số, ta có thể tính tất cả các khả năng của b và sau đó lấy giá trị trung bình của chúng làm giá trị b cuối cùng. Chú ý rằng phương trình (33), (38) và (39) trong thực tế cho ta biết : (42) Tương tự với các support vector cho trường hợp có thể chia, (42) đưa ra một trong các đặc tính quan trọng nhất của SVM : giải pháp là rời rạc . Đa số các điểm dữ liệu huấn luyện là nằm ngoài vùng mép và của chúng trong hướng giải pháp bằng 0. Chỉ những điểm dữ liệu đó là nằm trên mép (cụ thể (<w.>+b)=1, là các support vector trong trường hợp có thể chia), hoặc các lỗi là khác zero. Nếu không có thuộc tính rời rạc này , SVM sẽ không thực hiện cho bộ dữ liệu lớn. Đường quyết định cuối cùng là : (43) Luật quyết định cho phân lớp (testing) giống như trường hợp có thể chia, cụ thể là sign(<w.x> +b). Lưu ý rằng cả phương trình (43) và (41) thì không cần được tính toán cụ thể. Chủ yếu dành cho sử dụng các hàm nhân để xử lí các đường biên quyết định không tuyến tính. Cuối cùng, ta vẫn có một vấn đề là xác định tham số C. Giá trị của C thường chọn bởi thử một dãy các giá trị trên bộ dữ liệu huấn luyện để xây dựng bộ phân loại đa lớp và sau đó test chúng trên bộ dữ liệu xem xét, trước khi chọn một cái mà đưa ra kết quả phân loại tốt nhất trên bộ dữ liệu xem xét. Xem xét chéo là được sử dụng phổ biến như vậy. 3.SVM phi tuyến tính : hàm nhân Ở hai trường hợp các mẫu dương và âm có thể được tách tuyến tính, tức là đường biên quyết định phải là một siêu phẳng. Tuy nhiên đối với nhiều bộ dữ liệu thực tế, các đường biên quyết định là không tuyến tính. Để giải quyết với dữ liệu chia không tuyến tính công thức tương tự và các kĩ thuật giải quyết như đối với trường hợp tuyến tính vẫn được sử dụng. Ta [...]... hợp thử nghiệm là "không xâm nhập" Điều này, tuy nhiên, không cần thiết Độ chính xác và độ hồi nhớ là thích hợp trong vài ứng dung vì chúng đánh giá phân loại như thế nào chính xác và hoàn thành trên lớp dương Đó là thuận lợi để giới thiệu các biện pháp này bằng cách sử dụng một ma trận nhầm lẫn (confusion matrix).Một ma trận nhầm lẫn có chứa thông tin về kết quả thực tế và dự đoán được đưa ra bởi phân... hạn chế : - SVM chỉ làm việc với không gian đầu vào là các số thực →Đối với các thuộc tính định danh (nominal), cần chuyển các giá trị định danh thành các giá trị số - SVM chỉlàm việc (thực hiện phân lớp) với 2 lớp Đối với các bài toán phân lớp gồm nhiều lớp, cần chuyển thành một tập các bài toán phân lớp gồm 2 lớp, và sau đó giải quyết riêng rẽ từng bài toán 2 lớp này - Siêu phẳng phân tách (ranh... trọng nhất và xóa chúng Trong thuật toán, xếp hạng và lựa chọn đặc trưng điều khiển trong cùng 1 quá trình 4 Các tiêu chí đánh giá Trong 1 số trường hợp chỉ quan tâm đến một lớp như trong phân loại văn bản và ứng dụng Web Ví dụ quan tâm đến tài liệu hoặc các trang web của một chủ đề cụ thể Ngoài ra trong phân loại dữ liệu có sai lệch hoặc mất cân bằng cao, ví dụ phát hiện đột nhập mang và gian lận... đó là tỷ lệ đúng âm tính (TNR), hoặc nhớ lại của lớp tiêu cực TNR được định nghĩa như sau: III.Kết luận SVM là một hệ thống học tuyến tính nhằm tìm đường quyết định mức lền lớn nhất để chia điểm dương và âm SVM tương đương với việc giải quyết bài toán tối ưu bậc hai Ranh giới quyết định phi tuyến tính được tìm qua việc chuyển đổi dữ liệu ban đầu sang không sang đặc đặc trưng có số chiều nhiều hơn Tuy... các lớp chiếm số lượng ít Các lớp người ta thường quan tâm gọi là lớp dương và phần còn lại là lớp âm Độ chính xác không thích hợp để đánh gái trong một số trường hợp bởi có thể đạt được độ chính xác cao nhưng không thể xác định xâm nhập đơn lẻ Ví dụ, 99% các trường hợp là bình thường trong thiết lập một dữ liệu phát hiện xâm nhập Sau đó, một phân loại có thể đạt được độ chính xác 99% (mà không làm bất... được định nghĩa là một phần trong các trường hợp dương tính thực được phân loại chính xác : Tỷ lệ dương tính giả (FPR) được định nghĩa là một phần trong số các trường hợp âm tính thực tế được phân loại vào lớp tích cực, TPR cơ bản của nhớ lại của lớp dương tính và cũng được gọi là nhạy cảm trong thống kê.Ngoài ra còn có một biện pháp khác trong thống kê được gọi là đặc trưng, đó là tỷ lệ đúng âm tính... phân lớp (testing) là: (48) Ví dụ: giả sử không gian đầu vào của ta là 2 chiều, và ta cần chọn phép chuyển đổi sau: (49) Mẫu huấn luyện ((2,3),-1) trong không gian đầu vào được chuyển đổi sang mẫu huấn luyện trong không gian đặc trưng như sau: ((4,9,8,5),-1) Vấn đề tiềm ẩn với cách tiếp cận chuyển dổi dữ liệu đầu vào này sang không gian đặc trưng và sau đó áp dụng SVM tuyến tính là có thể bị thiếu chiều... đầu vào hoặc ngay cả ánh xạ hàm chức năng của chính nó Trong SVM, điều này được thực hiện thông qua việc sử dụng hàm nhân, biểu diễn bởi K, (50) Đây là các hàm chức năng chính xác để tính toán các tích vô hướng trong không gian đặc trưng đã chuyển đổi sử dụng vector x và z một ví dụn của hàm nhân là nhân đa thức (51) Ví dụ 19: ta cùng tính nhân này với d=2 triong một không gian 2 chiều x=(x1,x2) và. ..chỉ chuyển dữ liệu đầu vào từ không gian ban đầu của nó sang không gian khác (thường là không gian có số chiều nhiều hơn) do đó một đường biên quyết định tuyến tính có thể chia các mẫu dữ liệu dương và âm trong không gian sau khi chuyển đổi, cái mà được gọi là không gian đặc trưng Ý tưởng cơ bản là ánh xạ dữ liệu từ không gian X đầu vào sang không gian đặc trưng F thông qua một... hay không một hàm là một KerNel mà không thực hiện phép lấy đạo hàm như thế trong (52)? Đó là, làm thế nào chúng ta biết rằng một hàm nhân thực sự là một tích vô hướng trong một số không gian đặc trưng? Câu hỏi này được trả lời bởi một định lý được gọi là lí thuyết Mercer Rõ ràng rằng ý tưởng của nhân tổng quát hóa tích vô hướng trong một số không gian đầu vào Tích vô hướng cũng là một nhân với phép . trạng thái mà một hệ thống phát hiện đột nhập phải là một hệ thống hiện đại. Kĩ thuật phát hiện đột nhập có thể chia thành 2 nhóm : phát hiện sai và phát hiện dị thường. Phát hiện sai nhận ra. 7/2012 I.Giới thiệu Thiết kế và cái đặt hệ thống phát hiện đột nhập là một vấn đề nghiên cứu quan trọng trong an toàn mạng. Các hệ thống phát hiện đột nhâp được học và đề xuất gặp phải các thách. dụng phát hiện đột nhập dị thường. Qiao giới thiệu một phương pháp phát hiện đột nhập dựa vào mô hình ẩn của Markov để phân tích tập dữ liệu UNM. Lee thiết lập mô hình phất hiện đột nhập kết hợp