HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Ng yễ hắ X B h NGHI N C U H IPH DỮ IỆU TRONG QU RO TÍN D NGNG NH NG LUẬN VĂN THẠC SĨ Ỹ THUẬT (THEO ĐỊNH HƢỚNG ỨNG DỤNG) HÀ NỘI - 2020 N R I HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - hắ X Ng yễ B h NGHI N C U H I PH DỮ IỆU TRONG QU N ROTÍND NGNG NH NG HỆ THỐNG THÔNG TIN CHUYÊN NGÀNH : 8.48.01.04 : MÃ SỐ LUẬN VĂN THẠC SĨ Ỹ THUẬT (Theo đị h hướng ứng dụng) NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS TS HỮU ẬP HÀ NỘI - 2020 R I i ỜIC MĐO N Tôi xin cam đoan kết đạt đƣợc luận văn sản phẩm riêng cá nhân tôi, không chép lại ngƣời khác Trong toàn nội dung luận văn, điều trình bày cá nhân đƣợc tổng hợp từ nhiều nguồn tài liệu Tất nguồn tài liệu tham khảo có xuất xứ rõ ràng đƣợc trích dẫn hợp pháp Tơi xin chịu tồn trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan T Ng yễ gi ậ hắ X B h ii ỜIC MƠN Lời tơi xin gửi lời cảm ơn lịng biết ơn sâu sắc đến PGS TS Hữ ậ , ngƣời giúp tơi chọn đề tài, định hình hƣớng nghiên cứu, tận tình hƣớng dẫn bảo tơi suốt q trình thực luận văn tốt nghiệp Tơi xin bày t lòng biết ơn trân thành tới thầy, cô giáo trƣờng Học viện Công nghệ Bƣu Viễn thơng Các thầy, giáo dạy bảo truyền đạt cho nhiều kiến thức, giúp tơi có đƣợc tảng kiến thức vững sau ngày tháng học tập trƣờng Và xin gửi lời cảm ơn đến Ban Lãnh đạo đồng nghiệp Khối công nghệ thông tin – Ngân hàng thƣơng mại cổ phần Sài Gòn – Hà Nội (SHB tạo điều kiện thuậ n lợi cho tơi suốt q trình học tập thực luận văn Tôi xin gửi sâu sắc bạn khóa 2018 đợt ủng hộ khuyến khích tơi suốt q trình học tập trƣờng Cuối cùng, muốn gửi lời cảm ơn sâu sắc đến gia đình bạn bè – ngƣời thân yêu kịp thời động viên giúp đỡ vƣợt qua khó khăn học tập nhƣ sống H Ni Ng yễ h g 12 m 2019 hắ X B h iii M C C LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC .iii DANH MỤC CÁC THUẬT NGỮ, CÁC CHỮ VIẾT TẮT v DANH SÁCH BẢNG vi DANH SÁCH HÌNH VẼ vii LỜI MỞ ĐẦU CHƢƠNG 1: RỦI RO T N DỤNG VÀ QUẢN L RỦI RO T N DỤNG T I NG N HÀNG 1.1 Hoạt động tín dụng 1.1.1 Tín dụng ngân hàng gì? 1.1.2 Bản chất tín dụng 1.1.3 Vai trị tín dụng 1.1.4 Chức tín dụng 1.2 Phân loại tín dụng ngân hàng 1.3 Rủi ro tín dụng 1.3.1 Rủi ro tín dụng nguyên nhân 1.3.2 Các ảnh hƣởng rủi ro tín dụng đến hoạt động ngân hàng .8 1.4 Đánh giá phƣơng pháp quản l rủi ro tín dụng ngân hàng SHB nay9 1.5 Kết luận Chƣơng 10 CHƢƠNG 2: KHAI PHÁ DỮ LIỆU VÀ BÀI TOÁN PH N LỚP DỰ BÁO RỦI RO T N DỤNG 11 2.1 Tổng quan khai phá liệu 11 2.1.1 Khai phá liệu phải khai phá liệu 11 2.1.2 Quy trình bƣớc khai phá liệu 12 2.1.3 Các phƣơng pháp khai phá liệu 15 2.2 Ứng dụng khai phá liệu hệ thống thông tin ngân hàng 16 iv 2.2.1 Quản trị rủi ro 2.2.2 Phát gian lận 2.2.3 Q 2.2.4 Ứng dụng kinh doanh 2.2.5 Quảng cáo chăm sóc khách hàng 2.3 Bài toán phân lớp dự báo rủi ro tí 2.3.1 P 2.3.2 Phân lớp sử dụng định 2.3.3 P 2.4 Mơ hình phân lớp dự báo rủi ro 2.5 Kết luận chƣơng CHƢƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ RỦI RO T N DỤNG T I NG N HÀNG SHB 3.1 Kho liệu SHB 3.2 Thử nghiệm thuật toán phân 3.3 So sánh kết đánh giá đề xu 3.4 Kết luận chƣơng DANH MỤC TÀI LIỆU THAM KHẢO v D NH M C C C THUẬT NGỮ C C CHỮ VIẾT TẮT Viết tắt BI CSS DWH IAS KDD KPDL NHTM SHB vi D NHS CHB NG Bảng 3.1: Các trƣờng thông tin chi tiết khách hàng nhân 50 Bảng 3.2: Bảng kết xây dựng định áp dụng thuật toán C4.5 56 Bảng 3.3: Kết phân lớp C4.5 tập mẫu 57 Bảng 3.4: Bảng kết xây dựng với mơ hình phân lớp SVM .59 Bảng 3.5: Kết phân lớp SVM tập mẫu 59 Bảng 3.6: Bảng tiêu chí đánh giá mơ hình phân lớp 60 Bảng 3.7: Bảng số đánh giá phƣơng pháp phân lớp C4.5 61 Bảng 3.8: Bảng số đánh giá phƣơng pháp phân lớp SVM 61 vii D NH S CH HÌNH VẼ Hình 2.1: Các bƣớc khai phá liệu 13 Hình 2.2: Các thành phần hệ thống Data Mining 14 Hình 2.3: Khai phá liệu tìm kiếm tri thức từ lƣợng liệu khổng lồ .17 Hình 2.4: Ứng dụng data mining ngân hàng [14] 18 Hình 2.5: Ví dụ định 29 Hình 2.6: Sự phụ thuộc Entropy 36 Hình 2.7: Siêu ph ng phân tách 39 Hình 2.8: Khoảng cách từ siêu ph ng đến m gần siêu ph ng 39 Hình 2.9: Tập liệu có th tách tuyến tính 40 Hình 2.10: Chuy n đổi không gian hàm nhân 43 Hình 2.11: Phân đa lớp 44 Hình 2.12: Mơ hình phân lớp dự báo rủi ro 45 Hình 2.13: Quy trình phân lớp 46 Hình 3.1: Mơ hình kiến trúc kho liệu SHB 49 Hình số 3.2: Tập liệu sử dụng làm mẫu 53 Hình 3.3: Quan sát đánh giá chi tiết thuộc tính tình trạng nhóm nợ 54 Hình số 3.4: Quan sát đánh giá chi tiết thuộc tính tên mục đích vay 54 Hình số 3.5: Cách cài đặt thuật tốn C4.5 Weka Explore .55 Hình số 3.5: Mơ hình C4.5 đƣợc th hình Weka Explore 56 Hình 3.6: Bộ chuy n đổi từ Nominal sang ki u Binary 58 Hình 3.7: Kết mơ hình SVM Weka Explore 59 ỜI MỞ ĐẦU ý chọ đề i Một hoạt động ngân hàng thƣơng mại hoạt động cho vay nên rủi ro tín dụng nhân tố quan trọng, đòi h i ngân hàng phải có khả phân tích, đánh giá quản l rủi ro hiệu ngân hàng chấp nhận nhiều khoản cho vay có rủi ro tín dụng cao ngân hàng có khả phải đối mặt với tình trạng thiếu vốn hay tính khoản thấp Điều có th làm giảm hoạt động kinh doanh thu lợi nhuận ngân hàng, chí phá sản Đã có nhiều giải pháp mặt nghiệp vụ nhằm hạn chế rủi ro tín dụng ngân hàng Tuy nhiên, CNTT đƣợc ứng dụng rộng rãi ngƣời ta trông chờ vào giải pháp quản l rủi ro qua trình cho vay tín dụng cách hiệu Một phƣơng pháp ứng dụng khai phá liệu vào lĩnh vực quản l rủi ro nói chung rủi ro tín dụng nói riêng nhằm giảm thi u tình trạng nợ hạn, nâng cao chất lƣợng tín dụng, giảm thi u khả vốn ngân hàng Từ l đề tài luận văn: Nghi ứ h i h ữ iệ o g ý i o ụ g g h g có nghĩa mặt khoa học thực tiễn T g ề đề i ghi ứ Rủi ro tín dụng đề tài nghiên cứu quan trọng rộng khắp ngành ngân hàng liên quan đến định cho vay khả sinh lời Đối với tất ngân hàng, tín dụng đƣợc coi rủi ro lớn khó có th đƣợc bù đắp Việc áp dụng kỹ thuật tiên tiến có tính thống kê việc đánh giá rủi ro tín dụng dự đoán phá sản trở thành lĩnh vực nghiên cứu k từ thập niên 70 Xếp hạng tín dụng trở thành phƣơng thức phân tích chủ yếu trụ sở kinh tế có liên quan đến rủi ro tín dụng Mục đích xếp hạng tín dụng phân chia ứng viên thành hai nhóm: ứng viên tín dụng tốt ứng viên với tín dụng xấu Tính xác xếp hạng tín dụng đóng vai trị quan trọng lợi nhuận tổ chức tài Thậm 51 10 11 12 13 14 Số ngƣời trực tiếp phụ thuộc v Giá trị hợp đồng bảo hi m nhân với dƣ nợ khách hà Cơ cấu gia đình dựa tình tr Đánh giá mối quan hệ KH tác, kinh doanh, khu phố địa ph Đánh giá mối quan hệ khác đình khách hàng Năng lực hành vi dân ng Đánh giá gia cảnh khách hàng s Tình trạng sức kh e khách h II Thô g i ề h 15 16 Loại hình quan cơng tá Tri n vọng phát tri n qua tác Thời gian làm lĩnh vực ch Thời giancông tác quan h Rủi ro nghề nghiệp (thất nghiệp Vị trí cơng tác Trả lƣơng chuy n thu nhậ Hình thức hợp đồng lao động Tổng thu nhập hàng tháng Mức thu nhập ròng ổn định hàn nợ Tỷ lệ tổng số tiền phải trả trả nợ cho SHB Đánh giá cán tín dụng v 17 18 19 20 21 22 23 24 25 26 III 27 30 Thô g i Số lần cấu lại nợ nợ 28 Tỷ trọng nợ (nợ gốc, lãi tổng dƣ nợ khách hà cấp tín dụng 29 Tình trạng dƣ nợ Tỷ trọng tiền gửi tiết kiệm SHB so với dƣ nợ khách hàng 52 31 32 33 34 Tình hình cung cấp thơng tin củ 12 tháng gần Tình hình trả nợ gốc lãi với gần (tính đến thời m đán Thời gian khách hàng quan hệ v Số Tổ chức tín dụng mà kh IV Thơ g i ề hư g 35 36 Tỷ lệ vốn tự có KH vay Chiều hƣớng biến động gia đầu tƣ tháng vừa Đánh giá phƣơng án đầu tƣ Đánh giá rủi ro gián đoạn ho tác động mơi trƣờng kin Tính ổn định thị trƣờng Quan hệ khách hàng đối 37 38 39 40 a Hiện liệu hệ thống kho liệu SHB bao gồm có thơng tin kê khoản vay khách hàng giao dịch khách hàng liên quan đến khoản vay nhƣ thời gian giải ngân, thời gian đáo hạn, lãi suất, tình trạng nhóm nợ khách hàng Với toán phân lớp dự báo rủi ro đề cập chƣơng số cần sử dụng liệu lịch sử tình trạng nhóm nợ khách hàng Dữ liệu tình trạng nhóm nợ khách hàng đƣợc ghi nhận giá trị rời rạc tƣơng ứng với nhóm nợ mà khách hàng có th rơi vào thời gian khách hàng trả nợ Trong đó:  Nhóm 1: nhóm nợ đủ tiêu chuẩn, nhóm khách hàng trả trả nợ hạn trƣớc tất tốn khoản vay  Nhóm 2: nhóm nợ cần , nhóm khách hàng trả nợ nhƣng hạn dƣới 90 ngày  Nhóm 3: nhóm nợ dƣới tiêu chuẩn, bao gồm khách hàng trả nợ nhƣng hạn từ 90 ngày đến 180 ngày 53  Nhóm 4: nhóm nợ nghi ngờ, khách hàng trả nợ nhƣng hạn từ 180 ngày đến 360 ngày Việc thu hồi nợ từ khách hàng khó khăn  Nhóm 5: nhóm khách hàng có khả vốn mà nợ hạn 360 ngày Phạm vi luận văn nhƣ toán đƣợc nêu chƣơng số thực tập liệu khách hàng cá nhân khách hàng cá nhân kinh doanh nên tiêu phƣơng án đầu tƣ khơng có giá trị Vì trƣớc thực thực nghiệm phải loại b trƣờng không cần thiết Ngoài tập liệu thực tế có số trƣờng có tỷ lệ mẫu khơng có giá trị cao nên loại b khơng tham gia vào q trình xây dựng mơ hình phân lớp Sau loại b trƣờng không cần thiết, trƣờng có tỷ lệ r ng cao cịn 24 thuộc tính có tổng cộng 10000 mẫu nhƣ hình dƣới đây: 3.2: Đ trực quan thơng tin số thuộc tính tập liệu mẫu, công cụ Weka Explore cho phép xem thông tin mô tả liệu nhƣ tỷ lệ phân bổ chi tiết của liệu thuộc tính, đƣợc th đồ thị dễ quan sát đánh giá: 54 3.3: 3.4: b P Đ ki m nghiệm thuật toán phân lớp sử dụng định C4.5 liệu mẫu nêu ta thực công cụ Weka Explore phiên 3.8.2 cách chọn thuật toán J48 nhƣ sau: 55 3.5: We E e : Trong giải thuật định C4.5 hay J48 đƣợc cung cấp Weka có tham số quan trọng:  confidenceFactor: Nhân tố sử dụng cho việc cắt tỉa (Nếu giá trị nhỏ sinh cắt nhiều)  minNumObj: Số thể tối thiểu nút 56  unPruned: True sinh cắt tỉa ngược lại Sau điều chỉnh thông số nghiên cứu ta chọn giá trị tham số cho kết tốt nhƣ sau:  Chọn phƣơng pháp test: Cross Validation  Tham số thuật toán: minNumObj=10  confidenceFactor=0.2  unpruned=False Kết xây dựng mơ hình phân lớp định áp dụng thuật toán C4.5 tập liệu 10000 mẫu nhƣ sau: B ng 3.2: Thời gian xây dựng mơ hình (Time taken to build model) Số (Number of Leaves) Số nút (Size of the tree) Số mẫu phân lớp (Correctly Classified Instances) Số mẫu phân lớp sai (Incorrectly Classified Instances) 3.5: We E e 57 Ma trận th classified as a = Nhom b = Nhom c = Nhom d = Nhom e = Nhom Từ bảng kết ta rút số luật (IF - THEN) + If khách hàng “Luôn trả nợ hạn”AND “Học vấn Đại học ” AND “Số tiền vay lớn 50 triệu ” AND “Loại hình cơng ty làm việc: Cơ quan nhà nƣớc” AND “Vị trí cơng tác: Cấp quản l ” AND “Giá trị vay < 140000000 ” AND “Thời gian quan hệ với SHB