ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN LỚP CAO HỌC QUA MẠNG – KHĨA BÀI THU HOẠCH MƠN HỌC: CƠ SỞ TRI THỨC ỨNG DỤNG CỦA TẬP THÔ TOLERANT TRONG PHÂN LOẠI DỮ LIỆU Giảng viên: GS TSKH Hoàng Kiếm Sinh viên thực hiện: Nguyễn Hoàng Hạc MSHV: CH1101081 TP HCM, NĂM 2012 LỜI CÁM ƠN!  Tôi xin trân trọng dành lời cảm ơn tới GS TSKH Hoàng Kiếm, người trực tiếp hướng dẫn giảng dạy môn Công nghệ tri thức Xin chân thành cám ơn thầy cô khác trường Đại Học Cơng nghệ Thơng tin Thành phố Hồ Chí Minh Xin gởi lời cảm tới bạn người hổ trợ tạo điều kiện cho tơi hồn thành đề tài Một lần nữa, xin chân thành cảm ơn người lòng! Học viên thực hiện: Nguyễn Hoàng Hạc MỤC LỤC MỞ ĐẦU Chương TẬP THÔ TOLERANT 1.1 Giới thiệu .5 1.2 Tập thô tolerant 1.3 Quan hệ tương tự 1.4 Tập xấp xỉ tập xấp xỉ 1.5 Độ đo tương tự ngưỡng tương tự Chương XÁC ĐỊNH NGƯỠNG TƯƠNG TỰ BẰNG THUẬT GIẢI DI TRUYỀN 11 2.1 Giải thuật chung cho thuật giải di truyền .11 2.2 Biểu diễn nhiễm sắc thể cho thuật giải di truyền 13 2.3 Khởi tạo quần thể ban đầu 13 2.4 Hàm thích nghi .13 2.5 Các phép toán di truyền 16 2.5.1 Phép chọn lọc tái sinh 16 2.5.2 Phép lai ghép 18 2.5.3 Phép đột biến 18 Chương PHÂN LOẠI DỮ LIỆU DỰA TRÊN TẬP THÔ TOLERANT 20 3.1 Giai đoạn 1: dùng xấp xỉ .21 3.2 Giai đoạn 2: dùng xấp xỉ .21 3.3 Ứng dụng tập thô tolerant phân loại liệu IRIS .24 3.3.1 Bộ liệu IRIS .24 3.3.2 Xác định tập thô tolerant .26 3.3.3 Phân loại liệu 27 3.3.4 So sánh kết phân loại với phương pháp phân loại khác 30 3.4 Kết luận .31 Chương CÀI ĐẶT VÀ KẾT QUẢ THỰC HIỆN 33 4.1 Cấu trúc liệu 33 4.1.1 Lớp CUniverse 33 4.1.2 Lớp CObjects 34 4.1.3 Lớp CChromosome .35 4.1.4 Lớp CSimilarity 36 4.1.5 Lớp CApproximation 37 4.1.6 Lớp CTolerant .37 4.2 Thử nghiệm với liệu IRIS 38 4.2.1 Bộ liệu IRIS .38 4.2.2 Các tham số cho chương trình 38 4.2.3 Kết thực phân loại 39 4.3 Thử nghiệm với liệu gồm 25 ký tự 39 4.3.1 Bộ liệu 25 ký tự 39 4.3.2 Các tham số cho chương trình 42 4.3.3 Kết thực 42 4.4 Đánh giá 43 MỞ ĐẦU Ngày nay, với phát triển không ngừng Công nghệ thông tin kèm theo liệu giới thực lưu trữ nhiều Với nguồn liệu lưu trữ ngày lớn làm cho việc phân loại liệu trở nên khó khăn, đơi bất khả thi Để thực việc phân loại liệu, nhà Trí tuệ nhân tạo đưa phương pháp phân loại như: thuật toán Quinland, định danh, thuật toán Apriori, thuật toán Apriori Tid… Nhưng phương pháp có nhược điểm khơng phân loại phần liệu mơ hồ (không chắn chắn, không xác định) Sau này, phương pháp đưa như: Back-propagation neural networks (BPNN), the Object function-based unsupervised neural networks (OFUNN), Fuzzy C-means (FCM),…giải vấn đề phân loại liệu mơ hồ với độ xác khơng cao thời gian xử lý lâu Đề tài “Ứng dụng tập thô tolerant phân loại liệu” tập trung chủ yếu vào lý thuyết tập thơ, tập thơ tolerant, tốn sử dụng tập thô phân loại liệu ứng dụng tập thô tolerant phân loại liệu Đây phương pháp thực phân loại liệu xác thời gian xử lý nhanh so với phương pháp đưa trước Chương TẬP THÔ TOLERANT 1.1 Giới thiệu Vấn đề việc phân loại liệu phân chia không gian liệu  n vào lớp sau xác định điểm x n tới điểm thuộc lớp khác Nhiều ứng dụng tìm thấy ngành khoa học như: nhận dạng dấu vân tay, phần phân loại quan sát máy tính, phân tích máu,…và Các phương pháp phân loại liệu phân loại thành cách khác nhau: Phân loại liệu thống kê, phân loại liệu cú pháp phân loại liệu mạng nơron sở (neural network-based) Một vài thuộc tính có quan niệm người phân loại liệu đề cập sau: Thích nghi tức (On-line adaptation): Chương trình phân loại liệu cần học lớp tinh chế lớp tồn nhanh chóng mà khơng phá hủy thông tin lớp cũ Phân chia khơng định hướng (Nonlinear separation): Chương trình phân loại liệu cần xây dựng ranh giới định lớp ngăn cách hình dạng kích thước Các lớp chồng chéo (Overlapping classes): Chương trình phân loại liệu cần có khả định dạng ranh giới định việc giảm tối thiểu số lượng lớp không phân loại tất lớp chồng chéo Thời gian huấn luyện (Training time): Chương trình phân loại liệu cần có khoảng thời gian học ngắn cho việc tạo ranh giới định Các định dễ khó (Soft and hard decisions): Chương trình phân loại liệu cần cung cấp hai loại định phân loại dễ khó 6 Kiểm tra xác nhận (Verification and validation): Chương trình phân loại liệu cần có kỹ thuật để kiểm tra xác nhận lại thực chương trình nhiều cách Tham số điều chỉnh (Tuning parameters): Chương trình phân loại liệu nên có nhiều tham số điều chỉnh hệ thống tốt Sự phân loại khơng giới hạn (Nonparametric classification): Chương trình phân loại liệu hoạt động tối ưu mà không cần biết đến phân phối liệu bên Như đề cập trên, nhiều nhà nghiên cứu thực nhiều cách khác Carpenter Grossberg phát triển nhanh chóng đáng tin cậy mẫu hệ thống gọi lý thuyết Fuzzy Adaptive Resonance (ART) liên kết logic mờ với ART1, Lin Lee giới thiệu tổng quát mạng nơron cho việc điều khiển logich mờ hệ thống định thành lập luật logich mờ tối ưu chức nhập / xuất thành viên Simpson phát triển phân loại min_max khơng rõ ràng mạng nơron sử dụng tập mờ lớp mẫu, việc học mạng nơron thực nơi định điều chỉnh hyberboxes không gian mẫu Bởi vì, lý thuyết phân loại có cấu trúc kết nối logic mờ mạng nơron nên họ dự tính gặp khó khăn giống mạng nơron sau:  Khả có giải pháp khơng hội tụ chọn lựa sai giá trị trọng số ban đầu  Có liên quan đến thời gian học dài  Khả có giải pháp khơng tối ưu vấn đề cục Gần Banzan đề xuất hai ứng dụng logich cho việc phân loại đối tượng cách sử dụng multi-modal logics cho việc tự động lấy đặc trưng ban đầu sử dụng phương pháp qui nạp tập thô để khám phá tập đặc trưng tối ưu chất lượng việc phân loại Phương pháp họ nhấn mạnh tối ưu lựa chọn thuộc tính liên quan từ việc linh động thu nhỏ Nhưng số lượng đối tượng phân biệt hạn chế để xác định tương tự nó, giao khơng luôn trường hợp vấn đề phân loại mẫu Nguyễn đề xuất việc sử dụng số lượng mối quan hệ tolerant đối tượng cho việc phân loại mẫu Nhưng phương pháp không đề cập xác định ngưỡng khởi tạo tối ưu thuộc tính cho việc phân loại tốt vấn đề đưa Những yêu cầu gặp cho ý tưởng người phân loại nhiều tốt khắc phục số trở ngại phương pháp đề xuất trước đó, lý cho việc đề xuất phương pháp phân loại dựa tập thô tolerant 1.2 Tập thô tolerant Tập thô Z Pawlak giới thiệu vào đầu thập niên 80 công cụ tính tốn giải tính gần khơng chắn lĩnh vực: máy học, thu nhận tri thức, phân tích định, khám phá tri thức từ sở liệu, lập luận qui nạp nhận dạng mẫu Khi số đối tượng không phân biệt từ đối tượng khác với thuộc tính cho có mối quan hệ khơng phân I biệt thoả mãn tính chất: Phản xạ (Reflexive): xIx Đối xứng (Symmetric): xIy  yIx Bắc cầu (Transitive): xIy yIz  xIz Với x, y z đối tượng vũ trụ đối tượng U Vì mối quan hệ không phân biệt mối quan hệ tương đương phân chia tập U vào lớp tương đương Tuy nhiên, thực tế nhiều tốn phân lớp khơng phải lúc tính chất bắc cầu thoả mãn Ví dụ: xét toán phân lớp điểm gần biên sau: biên Rõ ràng, điểm gần điểm điểm gầ điểm 3, điểm không gần điểm Trong trường hợp tính chất bắc cầu khơng Bởi đối tượng liệu x z bảo đảm lớp chí cặp liệu x y chứa lớp cặp liệu y z chứa lớp chưa hẳn x z thuộc lớp (tính chất bắc cầu khơng thoả mãn) Vì vậy, tập thơ Tolerant mở rộng quan hệ không phân biệt thành quan hệ tolerant (quan hệ tương tự) cho phù hợp với toán phân lớp mà quan hệ đối tượng thoả mãn hai tính chất: phản xạ đối xứng 1.3 Quan hệ tương tự Cho A = (U, Ad) bảng định U tập gồm yếu tố (các đối tượng, mẫu) A tập thuộc tính điều kiện, aA tập giá trị thuộc tính a Va, {d} tập định với d = {1, 2, …, r(d)}, r(d) số lớp định Cho  A = {Ra: Ra  Va x Va  aA} tập mối quan hệ tolerant Mỗi mối quan hệ tolerant thoả mãn: Phản xạ (Reflexive):  v1  Va , v1Rav1, Đối xứng (Symmetric): v1Rav2  v2 Rav1 Với v1 v2 thuộc tính giá trị Va Hai đối tượng x y tương tự thuộc tính a Khi giá trị a(x) a(y) thoả mãn a(x)Raa(y) Hơn nữa, nói hai đối tượng x y tương tự tồn thuộc tính A thoả mãn mối quan hệ tolerant với việc thừa nhận tất thuộc tính nghĩa là: a  A, a(x)Raa(y) Một tập thô tolerant (tolerance rough set) TS(x) đối tượng x định nghĩa tập tất đối tượng có mối quan hệ tolerant với đối tượng x tất thuộc tính sau: TS(x) = {yU | xAy} 1.4 Tập xấp xỉ tập xấp xỉ Xấp xỉ  A (Y) xấp xỉ  A (Y) tập YU có mối quan hệ tolerant tất cá thuộc tính A định nghĩa sau:  A (Y) = U {TS(x) | TS(x)Y} xU  A (Y) = U {TS(x) | TS(x)Y  } xU Ý nghĩa tập xấp xỉ mối quan hệ tolerant mối quan hệ tương tự Để thành lập mối quan hệ tolerant liệu với cần xác định độ đo tương tự, xác định số lượng tính chặt chẽ giá trị thuộc tính đối tượng 1.5 Độ đo tương tự ngưỡng tương tự Để xác định độ đo tương tự Sa(x,y) thuộc tính a hai đối tượng x y Hai đối tượng tương tự với thuộc tính a Sa(x,y)  t(a), với t(a) ngưỡng tương tự khởi tạo thuộc tính a, giá trị a nằm khoảng t(a)[0,1] Vì vậy, liên hệ mối quan hệ tolerant với độ đo tương tự sau: a(x)Raa(y)  Sa(a,y)  t(a) Trong vấn đề phân loại liệu, thông thường sử dụng độ đo tương tự dựa sở khoảng cách: Sa(x,y) =  d (a ( x), a( y )) d max Với dmax giá trị khoảng cách tối đa hai giá trị thuộc tính a(x) a(y) Sự chọn lựa hàm khoảng cách phụ thuộc vào loại ứng dụng Trong trường hợp này, 10 Phân lớp tập thô Mẫu Lớp 70 77 83 119 133 134 Tolerant Dưới 000 041 050 010 081 010 C2 C2 C2 C3 C3 C3 Trên 0.0 0.8 0.9 0.0 0.8 0.9 0.0 0.7 0.8 0.0 0.7 0.3 0.0 0.8 0.3 0.0 0.7 0.3 Kết phân lớp Bỏ qua C2 (Đúng) C2 (Đúng) C2 (Sai) C2 (Sai) C2 (Sai) Phân lớp mạng nơron Kết 0.00 0.35 0.76 0.00 0.37 0.56 0.00 0.32 0.31 0.00 0.48 0.02 0.00 0.87 0.02 0.00 0.62 0.04 Độ mờ 0.533396 0.334095 0.019633 0.588750 0.969795 0.937068 Kết phân lớp C3 (Sai) C3 (Sai) Bỏ qua C2 (Sai) C2 (Sai) C2 (Sai) Bảng 4-6: So sánh thử nghiệm thử nghiệm 3.3.4 So sánh kết phân loại với phương pháp phân loại khác Kiểm chứng với mẫu Kiểm chứng với 75 mẫu Phân lớp Các mẫu bị loại Tập thô Tolerant 25 0 24 0 25 48 Mạng nơron 25 0 23 0 25 35 IRIS (150 mẫu) Tập thô Tolerant 50 0 49 0 47 70 Mạng nơron 50 0 47 47 83 Mẫu phân loại sai Không 48 119, 133, 134 70, 77, 119, Ma trận hổn loạn 133, 134 Bảng 4-7: So sánh thử nghiệm 1, 2, 3, Bảng 4-7 tổng kết kết thực nghiệm cách so sánh thực phân loại thử nghiệm khác giới hạn ma trận hổn loạn Hình 4-3: Biểu đồ phương pháp phân loại liệu Hình 4-3 biểu đồ so sánh việc thực phân loại thời gian huấn luyện thuật toán phân loại khác nhau: Tolerant Rough Set (TRS) 31 BPNN (back-propagation neural networks) The Objective Function-based Unsupervised Neural Networks (OFUNN) Fuzzy C-Means (FCM) Ta thấy, phương pháp TRS sử dụng tập xấp xỉ tập xấp xỉ dựa tập thô tolerant làm tốt phương pháp phân loại khác dựa thực tế việc thực phân loại thời gian xử lý 3.4 Kết luận Phương pháp phân loại hai giai đoạn đề xuất dựa tập thơ tolerant đòi hỏi việc xác định độ đo tương tự từ hàm khoảng cách tất thuộc tính hai đối tượng, xác định số lượng mối quan hệ tolerant đối tượng, xác định tập xấp xỉ xác định tập xấp xỉ đối tượng dựa thông tin lớp Chúng ta sử dụng hàm khoảng cách khác hoàn toàn thuộc tính chi phí cho việc tính tốn nhỏ ta sử dụng thuật giải di truyền để xác định giá trị ngưỡng khởi tạo tối ưu với mục tiêu làm cân hai yêu cầu :  Nếu hai đối tượng x, yU có quan hệ tolerant chúng nằm lớp nhiều tốt  Nếu hai đối tượng nằm lớp thí chúng có quan hệ tolerant nhiều tốt Sau tìm giá trị ngưỡng khởi tạo tối ưu, tìm tập tolerant cho mẫu huấn luyện Dựa tập tolerant, xác định hai tập xấp xỉ xấp xỉ mẫu huấn luyện Phương pháp phân loại đề xuất dùng phân loại liệu IRIS so sánh với phương pháp phân loại khác như: PBNN, OFUNN FCM dựa việc thực phân loại liệu thời gian xử lý Kết thực nghiệm đưa phương pháp phân loại liệu hai giai đoạn đề xuất sử dụng tập xấp xỉ tập xấp xỉ dựa tập thô tolerant làm tốt phương 32 pháp phân loại khác như: PBNN, OFUNN FCM quan điểm hai: thực phân loại liệu thời gian xử lý Chúng ta tin tưởng vào việc phân loại liệu thực tốt phương pháp phân loại hai giai đoạn đề xuất dựa giá trị ngưỡng tương tự khởi tạo Việc xác định độ tương tự hai đối tượng mẫu huấn luyện xác định tối ưu dựa vào thuật toán di truyền 33 Chương CÀI ĐẶT VÀ KẾT QUẢ THỰC HIỆN 4.1 Cấu trúc liệu 4.1.1 Lớp CUniverse class CUniverse { private: CChromosome* mNewPopulation; CApproximation* mUpper; CApproximation* mLower; CChromosome* mChromosome; CObjects* mObject; CApproximation* mLowerFirst; int nClass; int nObject; int nAtt; int* aClass; float pselect; public: void setmUpper(); void setmLower(); int checkStage1or2(int x); float getMuyArg(int x, int di, int M); int ClassificationUsingTheUpper(int x); int ClassificationUsingLower(int x); CChromosome getMaxInPop(CChromosome* c, int index); int filPopulation(int index); CChromosome doCrossover(int i, int j); void Crossover(float *a, float value2, int &index); CChromosome doMultation(int t1); int Reproduction(float *a, float value1, float value2, float value3); int theThirdSelection(float *a, float value1, float value2, float value3, int k); int theSecondSelection(float *a, float value1, float value2, int k); int getMaxInArray(float *a, int n); 34 int theFirstSelection(float *a, float value); void setTempArray(CChromosome* c, float *a, int index); CChromosome geneticAlgorithm(); void printFitnessFunction(CChromosome* c, int index); void printmTolerant(); void printmLowerFirst(); void generateInitialPopulation(); int checkInClass(int c, int obj); int getBeginInClass(int c); void getApproximationSet(); void defineTolerantRoughtSet(); float getGamma(); float getFitnessFunction(); int checkTolerantofXY(int x, int y); int getClass(int x); float getAlpha(); int IsTolerant(int x, int y, CChromosome nst); float defineTolerant(CChromosome c, int index); void printmSimilarity(); float Absolute(float x, float y); float getMaxSimilarityInPop(int att); void defineTheSimilarityMeasure(); void printTable(); void setaClass(int index, int value); void setData(int att, int obj, int nc); void setObject(int obj, int index, float value); CUniverse(); virtual ~CUniverse(); }; 4.1.2 Lớp CObjects class CObjects { private: float* MuyArg; int nClass; float* muy; 35 int nAtt; float* mValue; int nObject; CSimilarity* mSimilarity; CTolerant mTolerant; public: void setMuyArg(int index, float value); float getMuyArg(int index); void setnClass(int n); void printMuy(int index); float getMuy(int index); void setMuy(int index, float value); void printTolerant(); void printSim(); void printObjects(); void printmValue(); int getmTolerant(int index); float getmSimilarity(int obj, int index); float getnValue(int index); void setmTolerant(int index, int value); void setmSimilarity(int obj, int index, float value); void setmValue(int index, float value); void setData(int att, int obj); CObjects(); virtual ~CObjects(); }; 4.1.3 Lớp CChromosome class CChromosome { private: //Do thich nghi cua NST float Fitness; //Gia tri cua NST float* mValue; //So thuoc tinh cua NST 36 int nAtt; public: float getmValue(int index); void initialPopulation(); void setData(int n); void freeChromosome(); int getnAtt(); void printChromosome(); void setmValue(int index, float value); float getFitness(); void setFitness(float value); CChromosome(); virtual ~CChromosome(); }; 4.1.4 Lớp CSimilarity class CSimilarity { private: //Gia tri tuong tu ung voi tung thuoc tinh float* mValue; //So thuoc tinh cua tuong tu int nAtt; public: void printSim(); float getmValue(int index); void setmValue(int index, float value); void freeSimilarity(); void setData(int n); CSimilarity(); virtual ~CSimilarity(); }; 37 4.1.5 Lớp CApproximation class CApproximation { private: //So phan tu tap xap xi duoi int nObj; //Gia tri cua cac phan tu tap xap xi duoi int* mValue; public: int getnObj(); int getmValue(int index); void setnObj(int n); int countTolerantIn(); void printlowerApp(); void setmValue(int index, int value); void setData(int n); CApproximation(); virtual ~CApproximation(); }; 4.1.6 Lớp CTolerant class CTolerant { private: //Gia tri cua Tolerant int* mValue; //So phan tu tap tolerant int mObject; public: void printTolerant(); void freeTolerant(); int getmValue(int index); void setmValue(int index, int value); 38 void setData(int n); CTolerant(); virtual ~CTolerant(); }; 4.2 Thử nghiệm với liệu IRIS 4.2.1 Bộ liệu IRIS Mẫu Lớp I Lớp II Lớp III 4.5 2.3 1.3 0.3 4.9 2.4 3.3 1.0 6.7 3.3 5.7 2.1 5.0 3.5 1.6 0.6 6.2 2.2 4.5 1.5 7.3 2.9 6.3 1.8 4.3 3.0 1.1 0.1 5.5 2.6 4.4 1.2 6.5 3.2 5.1 2.0 5.0 3.5 1.3 0.3 6.0 3.4 4.5 1.6 4.9 2.5 4.5 1.7 5.4 3.7 1.5 0.2 5.8 2.7 3.9 1.2 6.7 3.1 5.6 2.4 5.1 3.8 1.9 0.4 5.7 3.0 4.2 1.2 5.8 2.8 5.1 2.4 4.8 3.0 1.4 0.1 5.6 3.0 4.1 1.3 6.5 3.0 5.5 1.8 5.0 3.4 1.5 0.2 5.7 2.9 4.2 1.3 7.7 3.8 6.7 2.2 5.1 3.7 1.5 0.4 5.9 3.0 4.2 1.5 5.7 2.5 5.0 2.0 10 5.1 3.8 1.5 0.3 6.9 3.1 4.9 1.5 6.8 3.0 5.5 2.1 11 4.6 3.4 1.4 0.3 6.0 2.7 5.1 1.6 7.7 3.0 6.1 2.3 12 5.4 3.4 1.7 0.2 5.2 2.7 3.9 1.4 6.9 3.2 5.7 2.3 13 5.8 4.0 1.2 0.2 7.0 3.2 4.7 1.4 7.2 3.0 5.8 1.6 14 4.9 3.0 1.4 0.2 5.7 2.6 3.5 1.0 7.4 2.8 6.1 1.9 15 5.0 3.2 1.2 0.2 6.6 2.9 4.6 1.3 7.2 3.2 6.0 1.8 16 5.0 3.0 1.6 0.2 6.0 2.9 4.5 1.5 6.4 2.7 5.3 1.9 17 5.1 3.8 1.6 0.2 6.6 3.0 4.4 1.4 6.0 3.0 4.8 1.8 18 4.7 3.2 1.3 0.2 6.1 2.8 4.0 1.3 7.9 3.8 6.4 2.0 19 5.4 3.4 1.5 0.4 6.4 3.2 4.5 1.5 6.2 2.8 4.8 1.8 20 4.6 3.2 1.4 0.2 5.5 2.5 4.0 1.3 6.4 3.2 5.3 2.3 21 4.9 3.1 1.5 0.2 5.0 2.3 3.3 1.0 6.7 3.3 5.7 2.5 22 5.0 3.4 1.6 0.4 5.8 2.7 4.1 1.0 6.9 3.1 5.4 2.1 23 4.4 2.9 1.4 0.2 5.8 2.6 4.0 1.2 5.8 2.7 5.1 1.9 24 4.6 3.6 1.0 0.2 5.9 3.2 4.8 1.8 6.4 2.8 5.6 2.1 25 5.1 3.3 1.7 0.5 6.4 2.9 4.3 1.3 6.5 3.0 5.8 2.2 4.2.2 Các tham số cho chương trình 39 Tham số thực Kích thước quần thể (|P|) Hệ số tái sinh (PSelect) Hệ số đấu loại k (k-tournament) Xác suất lai ghép (Pc) Xác suất đột biến (Pm) Số lần tiến hoá Hệ số quan hệ  Giá trị 100 0.3 0.3 0.1 50 0.6 4.2.3 Kết thực phân loại Ngưỡng tối ưu sau thực STT Thử nghiệm  Số mẫu nhận đúng: 73 a2 = 0.620365  Số mẫu nhận sai: a3 = 0.875892 (mẫu 48) a4 = 0.879385  A = 0.735765 a1 = 0.747735 a3 = 0.844813  Số mẫu nhận đúng: 74  Số mẫu nhận sai: (mẫu 48) a4 = 0.875954 A = 0.749811 a1 = 0.633661 a2 = 0.637524 Thử nghiệm Số mẫu bỏ qua: (mẫu 53) a2 = 0.630245 Thử nghiệm Kết phân lớp thuật giải di truyền a1 = 0.716168 a3 = 0.846852  Số mẫu bỏ qua:  Số mẫu nhận đúng: 73  Số mẫu nhận sai: (mẫu 48, 53) a4 = 0.856438  A = 0.602715 Số mẫu bỏ qua: 4.3 Thử nghiệm với liệu gồm 25 ký tự 4.3.1 Bộ liệu 25 ký tự Mẫu Lớp Lớp Lớp Lớp Lớp 0.22 0.33 0.33 0.44 0.56 0.33 0.56 0.33 0.33 0.22 0.33 0.33 0.44 0.33 0.44 0.33 0.56 0.33 0.44 0.33 0.38 0.06 0.25 0.06 0.50 0.19 0.25 0.06 0.31 0.13 0.13 0.13 0.38 0.19 0.25 0.06 0.50 0.19 0.13 0.13 0.31 0.44 0.44 0.50 0.63 0.44 0.63 0.44 0.50 0.38 0.31 0.31 0.56 0.44 0.56 0.44 0.63 0.44 0.50 0.25 0.44 0.16 0.32 0.16 0.56 0.24 0.40 0.16 0.44 0.20 0.16 0.16 0.48 0.24 0.40 0.16 0.56 0.24 0.16 0.12 40 0.36 0.56 0.48 0.64 0.72 0.56 0.76 0.60 0.64 0.52 0.48 0.48 0.68 0.56 0.72 0.60 0.72 0.56 0.52 0.40 0.42 0.36 0.33 0.31 0.67 0.36 0.53 0.28 0.58 0.33 0.28 0.28 0.61 0.36 0.53 0.28 0.67 0.36 0.28 0.22 0.39 0.61 0.50 0.67 0.78 0.64 0.72 0.61 0.64 0.53 0.47 0.47 0.72 0.61 0.69 0.58 0.78 0.64 0.50 0.42 0.45 0.41 0.37 0.37 0.78 0.41 0.53 0.31 0.59 0.35 0.31 0.31 0.65 0.41 0.55 0.31 0.78 0.41 0.33 0.20 0.37 0.61 0.45 0.67 0.78 0.65 0.76 0.65 0.63 0.55 0.53 0.53 0.69 0.61 0.69 0.61 0.78 0.65 0.55 0.49 10 0.41 0.45 0.34 0.41 0.78 0.45 0.58 0.36 0.59 0.41 0.36 0.36 0.64 0.45 0.55 0.36 0.78 0.45 0.38 0.28 11 0.47 0.64 0.53 0.69 0.78 0.67 0.80 0.70 0.69 0.61 0.50 0.50 0.72 0.64 0.73 0.66 0.78 0.67 0.50 0.44 12 0.52 0.44 0.46 0.42 0.78 0.48 0.64 0.43 0.64 0.46 0.36 0.36 0.67 0.48 0.60 0.42 0.78 0.48 0.37 0.26 13 0.54 0.69 0.59 0.74 0.79 0.69 0.80 0.72 0.72 0.64 0.53 0.53 0.74 0.67 0.75 0.68 0.79 0.69 0.43 0.38 14 0.57 0.51 0.52 0.48 0.78 0.51 0.67 0.47 0.67 0.49 0.40 0.40 0.69 0.51 0.64 0.46 0.78 0.51 0.33 0.24 15 0.55 0.71 0.60 0.75 0.80 0.71 0.81 0.73 0.76 0.69 0.59 0.59 0.78 0.71 0.80 0.73 0.82 0.73 0.50 0.45 16 0.55 0.56 0.51 0.53 0.79 0.54 0.69 0.50 0.72 0.55 0.45 0.45 0.74 0.56 0.69 0.51 0.81 0.56 0.40 0.30 17 0.51 0.70 0.55 0.74 0.81 0.70 0.83 0.71 0.33 0.22 0.33 0.33 0.74 0.68 0.75 0.69 0.81 0.73 0.46 0.43 18 0.54 0.55 0.50 0.52 0.81 0.55 0.71 0.51 0.31 0.13 0.13 0.13 0.69 0.55 0.65 0.51 0.81 0.58 0.36 0.30 19 0.52 0.72 0.56 0.75 0.81 0.72 0.81 0.72 0.50 0.38 0.31 0.31 0.75 0.69 0.76 0.71 0.81 0.74 0.44 0.40 20 0.55 0.57 0.51 0.54 0.80 0.57 0.70 0.53 0.44 0.20 0.16 0.16 0.71 0.57 0.67 0.53 0.80 0.59 0.36 0.28 Mẫu Lớp Lớp Lớp Lớp Lớp 10 0.56 0.22 0.44 0.00 0.33 0.22 0.67 0.33 0.44 0.22 0.56 0.22 0.22 0.22 0.56 0.44 0.22 0.22 0.56 0.11 0.50 0.06 0.13 0.00 0.38 0.13 0.31 0.06 0.38 0.06 0.31 0.06 0.38 0.19 0.13 0.13 0.44 0.06 0.13 0.00 0.63 0.38 0.50 0.00 0.50 0.38 0.31 0.56 0.56 0.38 0.63 0.38 0.38 0.31 0.38 0.31 0.38 0.38 0.38 0.13 0.56 0.16 0.16 0.00 0.48 0.20 0.28 0.16 0.48 0.16 0.44 0.16 0.48 0.24 0.08 0.08 0.48 0.20 0.08 0.00 0.72 0.48 0.52 0.00 0.64 0.52 0.48 0.68 0.68 0.48 0.76 0.48 0.44 0.40 0.64 0.56 0.44 0.36 0.64 0.28 0.67 0.25 0.28 0.00 0.61 0.33 0.39 0.28 0.61 0.25 0.56 0.25 0.50 0.33 0.33 0.25 0.50 0.31 0.33 0.06 0.78 0.58 0.50 0.08 0.64 0.53 0.47 0.69 0.72 0.58 0.78 0.61 0.56 0.50 0.56 0.50 0.56 0.47 0.56 0.19 0.78 0.33 0.33 0.00 0.61 0.37 0.41 0.33 0.69 0.33 0.63 0.33 0.59 0.41 0.31 0.24 0.59 0.37 0.31 0.04 0.78 0.53 0.55 0.06 0.63 0.55 0.53 0.73 0.65 0.53 0.69 0.55 0.59 0.55 0.59 0.55 0.59 0.35 0.59 0.18 10 0.78 0.31 0.38 0.00 0.61 0.42 0.45 0.39 0.64 0.31 0.59 0.31 0.61 0.47 0.36 0.31 0.61 0.30 0.36 0.05 11 0.78 0.58 0.50 0.06 0.69 0.61 0.47 0.63 0.69 0.58 0.72 0.59 0.48 0.45 0.48 0.45 0.48 0.33 0.48 0.17 12 0.78 0.37 0.37 0.00 0.64 0.46 0.33 0.46 0.67 0.37 0.63 0.37 0.52 0.41 0.30 0.26 0.52 0.30 0.30 0.05 13 0.79 0.62 0.43 0.05 0.72 0.64 0.53 0.79 0.72 0.62 0.74 0.63 0.52 0.48 0.52 0.48 0.52 0.38 0.52 0.22 14 0.78 0.42 0.33 0.00 0.68 0.51 0.48 0.50 0.69 0.42 0.66 0.42 0.55 0.43 0.35 0.29 0.55 0.34 0.35 0.09 15 0.82 0.65 0.50 0.05 0.76 0.69 0.59 0.82 0.74 0.67 0.76 0.69 0.54 0.51 0.64 0.60 0.54 0.37 0.64 0.26 16 0.81 0.46 0.40 0.00 0.73 0.56 0.53 0.55 0.71 0.49 0.69 0.48 0.56 0.46 0.47 0.40 0.56 0.34 0.47 0.12 17 0.81 0.63 0.46 0.07 0.72 0.66 0.52 0.83 0.71 0.63 0.74 0.64 0.50 0.48 0.60 0.56 0.50 0.35 0.60 0.28 18 0.81 0.47 0.36 0.02 0.69 0.56 0.48 0.57 0.69 0.47 0.67 0.46 0.53 0.44 0.44 0.38 0.53 0.33 0.44 0.15 19 0.81 0.65 0.44 0.07 0.74 0.68 0.54 0.74 0.73 0.65 0.75 0.67 0.53 0.51 0.61 0.58 0.53 0.36 0.61 0.21 20 0.80 0.50 0.36 0.02 0.70 0.56 0.44 0.60 0.71 0.50 0.69 0.49 0.54 0.47 0.47 0.41 0.54 0.34 0.47 0.11 Mẫu Lớp 11 Lớp 12 Lớp 13 Lớp 14 Lớp 15 0.44 0.22 0.33 0.33 0.33 0.33 0.00 0.33 0.44 0.22 0.56 0.22 0.44 0.22 0.44 0.33 0.33 0.22 0.44 0.33 0.44 0.06 0.13 0.13 0.25 0.19 0.00 0.13 0.38 0.06 0.31 0.06 0.38 0.06 0.31 0.06 0.31 0.13 0.25 0.06 0.56 0.38 0.44 0.38 0.50 0.44 0.00 0.25 0.69 0.38 0.69 0.38 0.63 0.38 0.56 0.44 0.50 0.38 0.56 0.44 0.56 0.16 0.24 0.16 0.40 0.24 0.00 0.12 0.60 0.16 0.44 0.16 0.52 0.16 0.44 0.16 0.44 0.20 0.40 0.16 41 0.68 0.52 0.48 0.44 0.60 0.56 0.00 0.40 0.80 0.48 0.80 0.48 0.76 0.48 0.72 0.52 0.64 0.52 0.72 0.60 0.69 0.28 0.28 0.22 0.72 0.58 0.56 0.50 0.50 0.36 0.00 0.22 0.72 0.25 0.56 0.25 0.67 0.25 0.56 0.25 0.58 0.33 0.53 0.28 0.67 0.64 0.00 0.50 0.75 0.42 0.75 0.42 0.89 0.56 0.81 0.64 0.64 0.53 0.69 0.58 0.71 0.35 0.39 0.29 0.57 0.45 0.00 0.31 0.67 0.24 0.55 0.24 0.82 0.33 0.63 0.35 0.59 0.35 0.55 0.31 0.67 0.55 0.45 0.43 0.57 0.61 0.00 0.43 0.82 0.49 0.82 0.49 0.73 0.49 0.76 0.55 0.63 0.55 0.69 0.61 10 0.69 0.36 0.30 0.27 0.50 0.45 0.00 0.28 0.75 0.31 0.63 0.31 0.69 0.31 0.61 0.33 0.59 0.41 0.55 0.36 11 0.73 0.63 0.48 0.45 0.63 0.64 0.00 0.45 0.88 0.55 0.88 0.55 0.78 0.55 0.84 0.58 0.69 0.64 0.72 0.67 12 0.74 0.44 0.33 0.30 0.56 0.48 0.00 0.32 0.83 0.37 0.68 0.37 0.74 0.38 0.68 0.37 0.63 0.49 0.60 0.42 13 0.75 0.65 0.53 0.51 0.67 0.67 0.00 0.41 0.93 0.60 0.93 0.60 0.81 0.59 0.88 0.62 0.72 0.67 0.74 0.69 14 0.75 0.48 0.41 0.36 0.60 0.51 0.00 0.30 0.90 0.42 0.74 0.42 0.78 0.43 0.72 0.42 0.66 0.52 0.64 0.46 15 0.79 0.70 0.55 0.52 0.70 0.71 0.00 0.47 0.94 0.64 0.94 0.64 0.86 0.63 0.91 0.67 0.76 0.71 0.79 0.74 16 0.79 0.60 0.42 0.37 0.58 0.56 0.00 0.36 0.92 0.46 0.77 0.46 0.83 0.47 0.76 0.47 0.71 0.57 0.69 0.51 17 0.76 0.68 0.49 0.46 0.64 0.70 0.00 0.45 0.87 0.58 0.87 0.58 0.81 0.58 0.82 0.63 0.72 0.66 0.75 0.69 18 0.76 0.53 0.38 0.33 0.58 0.58 0.00 0.35 0.83 0.44 0.73 0.44 0.78 0.44 0.71 0.46 0.68 0.53 0.65 0.51 19 0.79 0.72 0.47 0.47 0.67 0.72 0.00 0.42 0.87 0.61 0.87 0.61 0.81 0.61 0.84 0.63 0.74 0.68 0.76 0.71 20 0.79 0.58 0.36 0.35 0.62 0.59 0.00 0.33 0.83 0.47 0.74 0.47 0.78 0.47 0.73 0.48 0.70 0.56 0.67 0.53 Mẫu Lớp 16 Lớp 17 Lớp 18 Lớp 19 Lớp 20 0.56 0.22 0.56 0.00 0.33 0.22 0.44 0.56 0.56 0.22 0.56 0.33 0.44 0.22 0.56 0.33 0.22 0.00 0.56 0.22 0.50 0.06 0.19 0.00 0.38 0.13 0.25 0.13 0.56 0.06 0.19 0.13 0.38 0.19 0.25 0.06 0.38 0.06 0.13 0.00 0.63 0.38 0.63 0.00 0.50 0.38 0.56 0.69 0.63 0.38 0.63 0.38 0.50 0.25 0.50 0.44 0.44 0.19 0.44 0.19 0.56 0.16 0.32 0.00 0.48 0.24 0.40 0.24 0.60 0.16 0.36 0.16 0.40 0.20 0.32 0.16 0.52 0.16 0.12 0.00 0.72 0.52 0.80 0.16 0.64 0.52 0.72 0.80 0.72 0.52 0.76 0.44 0.64 0.40 0.64 0.60 0.44 0.16 0.64 0.32 0.72 0.25 0.56 0.00 0.61 0.36 0.53 0.36 0.72 0.39 0.47 0.31 0.50 0.39 0.44 0.31 0.42 0.19 0.25 0.14 0.75 0.58 0.72 0.11 0.53 0.44 0.58 0.69 0.75 0.58 0.72 0.53 0.67 0.42 0.61 0.58 0.56 0.28 0.56 0.28 0.73 0.33 0.53 0.00 0.49 0.33 0.45 0.39 0.73 0.35 0.53 0.29 0.57 0.35 0.45 0.31 0.59 0.24 0.31 0.08 0.78 0.53 0.80 0.10 0.63 0.57 0.69 0.80 0.78 0.55 0.80 0.49 0.69 0.47 0.67 0.67 0.59 0.24 0.59 0.24 10 0.78 0.31 0.59 0.00 0.59 0.45 0.55 0.47 0.78 0.36 0.59 0.27 0.69 0.34 0.53 0.36 0.61 0.23 0.36 0.08 11 0.78 0.55 0.78 0.09 0.69 0.64 0.72 0.80 0.78 0.56 0.83 0.53 0.77 0.47 0.64 0.70 0.41 0.27 0.41 0.27 12 0.74 0.38 0.56 0.06 0.64 0.51 0.60 0.49 0.77 0.40 0.63 0.36 0.67 0.42 0.52 0.43 0.46 0.25 0.23 0.12 13 0.79 0.59 0.83 0.09 0.72 0.67 0.75 0.83 0.79 0.63 0.83 0.56 0.77 0.40 0.58 0.72 0.46 0.33 0.46 0.33 14 0.75 0.43 0.62 0.06 0.68 0.53 0.65 0.54 0.78 0.46 0.65 0.39 0.67 0.36 0.49 0.47 0.50 0.30 0.30 0.18 15 0.80 0.63 0.83 0.08 0.76 0.72 0.79 0.84 0.80 0.68 0.83 0.57 0.78 0.47 0.60 0.74 0.48 0.31 0.58 0.39 16 0.76 0.47 0.64 0.06 0.71 0.60 0.69 0.58 0.79 0.52 0.67 0.40 0.69 0.50 0.52 0.59 0.46 0.31 0.37 0.26 17 0.81 0.60 0.85 0.07 0.72 0.67 0.75 0.83 0.81 0.63 0.85 0.55 0.76 0.47 0.69 0.73 0.50 0.25 0.60 0.33 18 0.81 0.44 0.72 0.00 0.68 0.56 0.65 0.61 0.81 0.48 0.72 0.38 0.74 0.38 0.59 0.51 0.53 0.25 0.44 0.19 19 0.79 0.65 0.83 0.15 0.74 0.70 0.76 0.81 0.79 0.67 0.83 0.60 0.78 0.49 0.69 0.74 0.47 0.23 0.56 0.31 20 0.78 0.50 0.73 0.05 0.70 0.59 0.67 0.60 0.78 0.53 0.73 0.43 0.76 0.40 0.62 0.54 0.50 0.24 0.42 0.18 Mẫu Lớp 21 Lớp 22 Lớp 23 Lớp 24 Lớp 25 0.33 0.22 0.33 0.33 0.33 0.11 0.33 0.22 0.33 0.22 0.44 0.33 0.22 0.00 0.33 0.22 0.22 0.33 0.56 0.33 0.25 0.13 0.25 0.06 0.25 0.06 0.25 0.00 0.38 0.06 0.25 0.06 0.25 0.06 0.13 0.00 0.31 0.19 0.19 0.13 0.50 0.38 0.50 0.44 0.50 0.25 0.50 0.31 0.50 0.50 0.50 0.50 0.44 0.19 0.44 0.19 0.31 0.50 0.56 0.25 0.40 0.20 0.40 0.16 0.40 0.12 0.40 0.08 0.48 0.24 0.40 0.16 0.44 0.16 0.20 0.00 0.40 0.28 0.24 0.12 42 0.60 0.52 0.60 0.60 0.60 0.36 0.60 0.44 0.68 0.52 0.68 0.52 0.32 0.16 0.40 0.32 0.36 0.52 0.72 0.44 0.50 0.33 0.50 0.28 0.50 0.22 0.50 0.17 0.72 0.17 0.56 0.17 0.33 0.25 0.22 0.17 0.39 0.28 0.28 0.22 0.67 0.53 0.67 0.58 0.67 0.39 0.67 0.47 0.53 0.56 0.53 0.56 0.36 0.14 0.44 0.28 0.31 0.50 0.64 0.36 0.57 0.35 0.57 0.31 0.57 0.27 0.57 0.20 0.51 0.35 0.43 0.31 0.37 0.16 0.29 0.08 0.37 0.37 0.39 0.20 0.57 0.55 0.57 0.61 0.57 0.37 0.57 0.37 0.61 0.65 0.61 0.65 0.47 0.24 0.47 0.24 0.43 0.61 0.78 0.49 10 0.50 0.41 0.50 0.36 0.50 0.28 0.50 0.16 0.61 0.44 0.52 0.38 0.47 0.23 0.31 0.08 0.48 0.48 0.52 0.28 11 0.63 0.61 0.63 0.66 0.63 0.39 0.63 0.45 0.73 0.59 0.73 0.59 0.33 0.30 0.33 0.31 0.31 0.55 0.63 0.39 12 0.56 0.46 0.56 0.42 0.56 0.30 0.56 0.25 0.74 0.38 0.62 0.36 0.35 0.28 0.22 0.15 0.38 0.42 0.42 0.26 13 0.67 0.63 0.67 0.67 0.67 0.40 0.67 0.46 0.69 0.60 0.69 0.60 0.40 0.36 0.40 0.37 0.27 0.53 0.58 0.35 14 0.60 0.48 0.60 0.45 0.60 0.31 0.60 0.26 0.71 0.41 0.59 0.39 0.41 0.33 0.29 0.20 0.33 0.42 0.41 0.24 15 0.70 0.69 0.70 0.73 0.70 0.41 0.70 0.47 0.71 0.67 0.71 0.67 0.39 0.33 0.45 0.42 0.37 0.61 0.69 0.43 16 0.64 0.55 0.64 0.51 0.64 0.32 0.64 0.27 0.76 0.44 0.64 0.42 0.40 0.36 0.33 0.30 0.40 0.45 0.44 0.30 17 0.64 0.66 0.64 0.69 0.64 0.45 0.64 0.50 0.64 0.67 0.64 0.67 0.38 0.25 0.42 0.33 0.50 0.70 0.82 0.54 18 0.58 0.53 0.58 0.51 0.58 0.37 0.58 0.33 0.61 0.54 0.58 0.47 0.38 0.25 0.34 0.19 0.53 0.61 0.64 0.37 19 0.67 0.68 0.67 0.71 0.67 0.42 0.67 0.47 0.67 0.74 0.67 0.74 0.40 0.23 0.44 0.31 0.45 0.69 0.78 0.49 20 0.62 0.56 0.62 0.53 0.62 0.35 0.62 0.31 0.64 0.61 0.62 0.54 0.40 0.24 0.36 0.18 0.48 0.60 0.63 0.34 4.3.2 Các tham số cho chương trình Tham số thực Kích thước quần thể (|P|) Hệ số tái sinh (PSelect) Hệ số đấu loại k (k-tournament) Xác suất lai ghép (Pc) Xác suất đột biến (Pm) Số lần tiến hoá Hệ số quan hệ  Giá trị 100 0.3 0.3 0.1 50 0.6 4.3.3 Kết thực Do kích thước mẫu thử 25 ký tự lớn nên trình bày kết phân loại 10 lớp đầu tương ứng với 200 đối tượng STT Thử nghiệm Ngưỡng tối ưu sau thực Kết phân lớp thuật giải di truyền a1 = 0.500992 a2 = 0.786981  Số mẫu nhận đúng: 200 a3 = 0.519425  Số mẫu nhận sai: a4 = 0.656423  Số mẫu bỏ qua: A = 0.999573 43 a1 = 0.874874 Thử nghiệm a2 = 0.537614  Số mẫu nhận đúng: 200 a3 = 0.957671  Số mẫu nhận sai: a4 = 0.527024  Số mẫu bỏ qua: a2 = 0.680441  Số mẫu nhận đúng: 200 a3 = 0.986999  Số mẫu nhận sai: a4 = 0.681692  Số mẫu bỏ qua: A = 0.995880 a1 = 0.599017 Thử nghiệm A = 0.991180 Kết phân loại hoàn tồn xác mẫu liệu 10 ký tự gồm 200 đối tượng 4.4 Đánh giá  Cách học phương pháp sử dụng thuật giải di truyền học học có giám sát  Phương pháp tương đối đơn giản  Kết phân lớp tương đối tốt tập liệu IRIS 44 Tài liệu tham khảo [1] Rough set approach to knownledge-based decision support – Zdzislaw Pawlak – Warsaw University of Technology and Polish Academy of Sciences, Poland [2] Data classification based on tolerant rough set – Daijin Kim – Pattern Recognition 34, 2001, pp 1613-1624 [3] Lập trình tiến hố – TS Nguyễn Đình Thúc – Nhà xuất Giáo Dục, 2001 [4] Data mining methods for knowledge discovery - Krzysxtof J.Cios, Wiltold Pedrycz, Roman W.Swiniarski – Kluwer Academic Publishers (1998) 45 ... vấn đề phân loại liệu mơ hồ với độ xác khơng cao thời gian xử lý lâu Đề tài Ứng dụng tập thô tolerant phân loại liệu tập trung chủ yếu vào lý thuyết tập thô, tập thô tolerant, tốn sử dụng tập. .. tính, phân tích máu, và Các phương pháp phân loại liệu phân loại thành cách khác nhau: Phân loại liệu thống kê, phân loại liệu cú pháp phân loại liệu mạng nơron sở (neural network-based) Một vài... sử dụng tập thơ phân loại liệu ứng dụng tập thô tolerant phân loại liệu Đây phương pháp thực phân loại liệu xác thời gian xử lý nhanh so với phương pháp đưa trước Chương TẬP THƠ TOLERANT 1.1 Giới