ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA BÙI HUY HOÀNG ỨNG DỤNG KỸ THUẬT HỌC SÂU TRONG CHẨN ĐỐN BỆNH NGỒI DA Chun ngành: KHOA HỌC MÁY TÍNH Mã số: 8480101 TĨM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng - Năm 2019 Cơng trình hoàn thành TRƯỜNG ĐẠI HỌC BÁCH KHOA Người hướng dẫn khoa học: TS HOÀNG VĂN DŨNG Phản biện 1: TS Lê Thị Mỹ Hạnh Phản biện 2: TS Đậu Mạnh Hoàn Luận văn bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp thạc sĩ ngành Khoa học máy tính họp Trường Đại học Bách khoa vào ngày 25 tháng năm 2019 Có thể tìm hiểu luận văn tại: - Trung tâm Học liệu, Đại học Đà Nẵng Trường Đại học Bách khoa - Thư viện Khoa Công nghệ thông tin, Trường Đại học Bách khoa - ĐHĐN MỞ ĐẦU Lý chọn đề tài Sức khỏe có vai trò quan trọng phát triển kinh tế - xã hội đất nước Một quốc gia phát triển người dân khơng có sức khỏe Sức khỏe quan trọng phát triển kinh tế - xã hội quốc gia quyền lợi người Do vậy, sức khỏe cần phải nhìn nhận tài sản người xã hội, cải vật chất Cùng với phát triển nhanh chóng khoa học cơng nghệ, kỹ thuật dựa trí tuệ nhân tạo xử lý ảnh ứng dụng hệ thống thông minh đạt kết vượt bậc Trong y học, xử lý ảnh hỗ trợ tốt cho việc chẩn đốn hình ảnh bệnh khối u, xương, mạch, ung thư…, nhiên, ảnh y học, đặc trưng thường chụp phận bên thể người máy chụp X quang, máy chụp city, máy siêu âm, máy nội soi… nên chất lượng hình ảnh thường bị mờ, nhiễu, khơng sắc nét… gây khó khăn cho việc chẩn đoán bệnh Để khắc phục vấn đề trên, luận văn sử dụng kỹ thuật học sâu để giải Kỹ thuật học sâu thể tính ưu việt kỹ thuật khác việc nhận diện hình ảnh nhiều lĩnh vực khác, kết nghiên cứu gần áp dụng kỹ thuật cho độ xác cao Mục đích ý nghĩa đề tài a Mục đích: Mục đích đề tài nghiên cứu kỹ thuật trí tuệ nhân tạo, đặc biệt kỹ thuật học sâu ứng dụng thực tế Nghiên cứu hình ảnh da, tập trung vào điểm ảnh bất thường dựa kỹ thuật học sâu mạng tích chập 3D-CNN lĩnh vực thị giác máy tính Thực nghiệm áp dụng kỹ thuật mạng tích chập 3D-CNN trích xuất đặc trưng hình ảnh để dự đốn bệnh ngồi da Từ phân tích, đánh giá hiệu độ xác thư viện chuẩn có sẵn b Ý nghĩa khoa học: Kế thừa nghiên cứu hệ thống nhận dạng hình ảnh y tế trước đây; tìm hiểu, mơ tả mơ hình hệ thống chẩn đoán bệnh qua ảnh chụp qua da; so sánh kỹ thuật sử dụng hệ thống nhận dạng; đánh giá hiệu suất phương pháp thực nghiệm tập liệu thực; vận dụng trí tuệ nhân tạo việc giải toán chẩn đoán bệnh qua ảnh chụp qua da với khả xử lý nhiều loại bệnh c Ý nghĩa thực tiễn: Thiết kế mơ hình chẩn đoán bệnh qua ảnh chụp qua da để ứng dụng việc chẩn đoán bệnh Mục tiêu nhiệm vụ a Mục tiêu: Nắm vững kỹ thuật học sâu toán chẩn đoán bệnh qua ảnh chụp qua da Đề xuất mơ hình chẩn đốn bệnh qua ảnh chụp qua da b Nhiệm vụ: Nghiên cứu kỹ thuật trí tuệ nhân tạo, mạng neural học sâu; phát biểu tốn; phân tích cài đặt giải thuật cho toán chẩn đoán bệnh qua ảnh chụp da; đánh giá kết theo yêu cầu đề tài Đối tượng phạm vi nghiên cứu a Đối tượng nghiên cứu: Nghiên cứu kỹ thuật trí tuệ nhân tạo, kỹ thuật mạng neural học sâu để ứng dụng phân tích hình ảnh chụp qua da b Phạm vi nghiên cứu: Nghiên cứu đề xuất mơ hình chẩn đốn bệnh qua ảnh chụp qua da để ứng dụng cho phòng khám chẩn đoán bệnh Phương pháp nghiên cứu a Phương pháp lý thuyết: Phương pháp phân tích điều tra số liệu: Thu thập nghiên cứu tài liệu có liên quan đến đề tài Phương pháp nghiên cứu tài liệu: Các kỹ thuật xử lý ảnh, trí tuệ nhân tạo đặc biệt kỹ thuật học sâu b Phương pháp thực nghiệm: Nghiên cứu khai thác mô hình nhận diện hình ảnh đề xuất; xây dựng chương trình ứng dụng vào nhận dạng điểm đặc trưng qua ảnh chụp qua da loại bệnh; kiểm tra, thử nghiệm, nhận xét đánh giá kết Phương tiện, công cụ triển khai * Môi trường sử dụng để huấn luyện mô hình nhận dạng chẩn đốn bệnh máy vi tính có cấu hình: - Vi xử lý (CPU): Intel Core i3-7100 3.90GHz - RAM: 16Gb - Card đồ họa GPU: NVIDIA GeForce GTX 1060 6GB - Ổ cứng: SSD Colorful 160GB+ HDD Toshiba 1TB - Hệ điều hành Windows 10 64bit * Ngơn ngữ lập trình Matlab Thư viện thị giác máy tính, thư viện trí tuệ nhân tạo OpenCV, Computer vision tool, Neural network tool Cấu trúc luận văn Mở đầu Chương Cơ sở lý thuyết Chương Kỹ thuật học sâu CNN chẩn đoán bệnh Chương Thực nghiệm, đánh giá kết Kết luận kiến nghị CHƯƠNG I CƠ SỞ LÝ THUYẾT Tổng quan trí tuệ nhân tạo (Artificial intelligence) Vào năm 1980, nghiên cứu thành cơng liên quan đến trí tuệ nhân tạo (AI) hệ chuyên gia, mô tri thức kỹ phân tích nhiều chuyên gia người AI áp dụng logic, khai phá liệu, chẩn đoán y học nhiều lĩnh vực ứng dụng khác công nghiệp Sự thành công dựa vào nhiều yếu tố: Tăng khả tính tốn máy tính, tập trung giải tốn cụ thể, xây dựng mối quan hệ AI, lĩnh vực khác giải toán tương tự chuyển giao nhà nghiên cứu cho phương pháp toán học vững chuẩn khoa học xác 1.1.1 Các lĩnh vực trí tuệ nhân tạo Lập luận, suy diễn tự động; biểu diễn tri thức; lập kế hoạch; xử lý ngơn ngữ tự nhiên; hệ chun gia Trí tuệ nhân tạo ứng dụng hiệu lĩnh vực giáo dục, lĩnh vực y tế, lĩnh vực công nghiệp… Tổng quan ảnh số kỹ thuật xử lý ảnh 1.2.1 Tổng quan ảnh 1.2.1.1 Một số khái niệm 1.2.1.2 Một số dạng ảnh 1.2.2 Một số kỹ thuật xử lý ảnh 1.2.2.1 Lược đồ ảnh (Histogram) Lược đồ ảnh đồ thị biểu diễn tần số xuất cường độ sáng điểm ảnh theo mức hay nói cách khác lược đồ Histogram hình ảnh biểu diễn lược đồ phân bố mức cường độ xám ảnh 1.2.2.2 Nhị phân hóa ảnh Hình ảnh phiếu trả lời trắc nghiệm chụp scan thành file ảnh sau đưa vào hệ thống Hình ảnh có hệ màu RGB cần phải chuyển sang dạng nhị phân điểm ảnh biểu diễn giá trị 255 để phân tích nhận dạng 1.2.2.3 Làm mịn ảnh Mịn ảnh thực dựa lọc trơn (Smoothing filter) nhằm loại nhiễu, bước dùng trình tiền xử lý (Pre-processing) phải giảm bớt số chi tiết không cần thiết đối tượng ảnh Một hướng áp dụng phổ biến để giảm nhiễu lọc tuyến tính, lọc tuyến tính theo hướng biết đến lọc thông thấp 1.2.2.4 Phép co ảnh - Erosion Xét tập hợp A tập hợp B (Phần tử cấu trúc), phép co ảnh nhị phân tập hợp A phần tử cấu trúc B kí hiệu A ⊝ B viết dạng công thức sau[2]: A ⊝ B = { c (B) C  A } Trong đó: A: Ma trận điểm ảnh ảnh nhị phân; B: Là phần tử cấu trúc Trích chọn biểu diễn đặc trưng hình ảnh 1.3.1 Đặc trưng ảnh 1.3.1.1 Đặc trưng màu sắc Màu sắc đặc trưng bật sử dụng phổ biến tìm kiếm ảnh theo nội dung Mỗi điểm ảnh (thông tin màu sắc) biểu diễn điểm không gian màu sắc ba chiều Các không gian màu sắc thường dùng là: RGB, Munsell, CIE, HSV 1.3.1.2 Đặc trưng kết cấu Kết cấu hay gọi vân (texture) đối tượng dùng để phân hoạch ảnh thành vùng quan tâm để phân lớp vùng Vân cung cấp thơng tin xếp mặt không gian màu sắc cường độ ảnh 1.3.1.3 Đặc trưng hình dạng Hình dạng ảnh hay vùng đặc trưng quan trọng việc xác định phân biệt ảnh nhận dạng mẫu Mục tiêu biểu diễn hình dạng nhận dạng mẫu đo thuộc tính hình học đối tượng dùng phân lớp, so sánh nhận dạng đối tượng 1.3.2 Một số phương pháp trích chọn đặc trưng đơn giản 1.3.2.1 Trích chọn đặc trưng ảnh dựa màu sắc - Lược đồ màu (Histogram) - Vector liên kết màu (Color Coherence Vector) 1.3.2.2 Trích chọn đặc trưng ảnh dựa kết cấu Kết cấu hay gọi vân (texture) đối tượng dùng để phân hoạch ảnh thành vùng quan tâm để phân lớp vùng Vân cung cấp thông tin xếp mặt không gian màu sắc cường độ ảnh Ví dụ cấu trúc vân số loại 1.3.2.3 Trích chọn đặc trưng ảnh dựa hình dạng - Trích chọn đặc trưng theo biên - Trích chọn đặc trưng theo vùng 1.3.3 Mô tả đặc trưng HOG 1.3.3.1 Đặc trưng HOG Bộ mô tả đặc trưng HOG dùng phổ biến nhiều toán nhận dạng mẫu nhận dạng người, nhận dạng xe, biển báo giao thông nhiều loại đối tượng khác Đặc trưng HOG mơ tả hình dáng tư đối tượng theo phân bố hướng gradient mức xám ảnh HOG thuộc nhóm phương pháp mơ tả đặc trưng toàn vùng ảnh đối tượng, đặc trưng biểu diễn dạng vector Qua việc trích rút đặc trưng mẫu ảnh cho trước ta thu vector đặc trưng đối tượng ảnh 1.3.3.2 Q trình trích rút đặc trưng HOG Q trình xử lý liên quan đến cách chia mẫu ảnh đầu vào thành lưới cell tính vector đặc trưng HOG theo phương pháp thông dụng áp dụng cho toán nhận dạng người Để phù hợp với toán nhận dạng đối tượng khác nhau, cần có biến đổi phù hợp nhằm đạt kết xác cao thời gian tính tốn tối ưu 1.3.4 Mô tả đặc trưng SIFT 1.3.4.1 Đặc trưng SIFT Mô tả đặc trưng SIFT dùng để mô tả phân phối đặc trưng vùng ảnh quanh điểm (hay gọi điểm chính, keypoint) phát (xác định) nhờ vào tính chất bất biến theo biến đổi hình học điều kiện ánh sáng Nhằm mô tả đặc điểm khác keypoint phục vụ việc đối sánh ảnh, cần có mơ tả đặc trưng phù hợp 1.3.4.2 Q trình xử lý SIFT Thuật toán SIFT thực theo bước sau: Xác định cực trị khơng gian tỷ lệ Sau tính giá trị DoG toàn ảnh mức scale, xét vị trí pixel để so sánh với láng giềng vùng 3x3x3, tương ứng với bảng DoG với láng giềng (neighbors) vùng kích thước x mức tỷ lệ; vùng 3x3 (9 pixels) vị trí tương ứng lớp vùng 3x3 (9 pixels) vị trí tương ứng mức phía Nếu giá trị DoG vị trí local extrema (cực trị cục bộ: lớn nhỏ nhất) điểm cực trị vị trí mức scale Những điểm lựa chọn điểm tiềm trở thành điểm (potential keypoint) 1.3.4.3 Mô tả đặc trưng keypoint Đặc trưng keypoint giới hạn vùng bao quanh vị trí keypoint với kích thước 16×16 pixels Vùng chia nhỏ thành 4×4 vùng con, tương ứng vùng 4×4 pixel Mỗi vùng tính lược đồ với hướng khác Như vậy, mô tả đặc trưng keypoint biểu diễn vector với số chiều 4×4×8=128 phần tử Vector sau chuẩn hóa nhằm mục đích làm bật khả bất biến với biến đổi hình học biến đổi độ chiếu sáng Để giảm ảnh hưởng độ sáng phi tuyến tính, cường độ gradient lớn áp dụng ngưỡng giá trị vào vector đặc trưng, giá trị không lớn ngưỡng Giá trị ngưỡng xác định giá trị 0,2 sử dụng sau vector chuẩn hóa lại Phương pháp phân đoạn ảnh Phân đoạn ảnh trình chia ảnh số thành nhiều vùng khác nhau, vùng gồm tập hợp điểm ảnh có tính chất Mục tiêu việc phân đoạn để đơn giản hóa thay đổi cách biểu diễn ảnh theo tiêu chuẩn nhằm làm cho ý nghĩa dễ dàng phân tích, trích xuất đặc trưng[7] Kết trình phân đoạn ảnh tập hợp vùng (region) hay gọi phân đoạn (segments) bao gồm tồn ảnh tập hợp vùng đối tượng trích xuất từ ảnh 10 Gán đối tượng vào cụm K=2 Chọn k đối tượng trung tâm tùy ý 0 10 Cập nhật lại trọng tâm Gán lại đối tượng Gán lại đối tượng 10 10 9 8 7 6 5 4 0 10 Cập nhật lại trọng tâm 0 10 Hình 1.1 Minh họa phân cụm k-means Kỹ thuật học máy 1.5.1 Tổng quan Học máy (Machine Learning) ngành khoa học nghiên cứu thuật tốn cho phép máy tính học khái niệm (concept) Có hai loại phương pháp học máy chính: Phương pháp quy nạp Phương pháp suy diễn Để huấn luyện mơ hình nhận dạng đối tượng, mẫu liệu thường số hóa biểu diễn thành vector đặc trưng không gian đa chiều tương ứng, gọi không gian đặc trưng Nhờ vào vector đặc trưng để phân tích, đánh giá nhằm xây dựng mơ hình đối tượng phục vụ phân loại, nhận dạng chúng Q trình nhận dạng đối tượng mơ tả sơ đồ tổng quát sau: Ảnh đầu vào Tiền xử lý Trích xuất đặc trưng Phân tích đặc trưng Hình 1.2 Quá trình nhận dạng đối tượng Phân loại 10 CHƯƠNG KỸ THUẬT HỌC SÂU CNN TRONG CHẨN ĐỐN BỆNH Bài tốn chẩn đốn bệnh ngồi da hình ảnh 2.1.1 Các nghiên cứu liên quan 2.1.1.1 Giới thiệu Lưu trữ ISIC Hiệp hội hợp tác hình ảnh da quốc tế (ISIC - International skin imaging collaboration) tài trợ Hiệp hội quốc tế hình ảnh kỹ thuật số da (ISDIS) Lưu trữ ISIC chứa sưu tập lớn có sẵn hình ảnh da kiểm sốt chất lượng tổn thương da Lưu trữ ISIC chứa 13.000 hình ảnh da liễu, thu thập từ trung tâm lâm sàng hàng đầu quốc tế mua từ nhiều thiết bị khác trung tâm 2.1.1.2 Tổng quan Ung thư da Hơn nửa số chẩn đốn ung thư tồn giới ung thư da[9,10] Về bản, có hai loại ung thư da phổ biến ung thư tế bào đáy (BCC), ung thư tế bào vảy u hắc tố Trong thập kỷ gần đây, tỷ lệ mắc bệnh tử vong ung thư da ngày tăng lên, trở thành vấn đề lớn sức khỏe cộng đồng 2.1.2 Mục tiêu toán chẩn đoán bệnh Chẩn đốn phân loại bệnh qua hình ảnh da liễu số bệnh da phổ biến như: Nốt ruồi; U da lành tính; U ác tính; Dày sừng quang hóa; Chứng khơ sừng quang hóa; Ung thư tế bào đáy; Tổn thương mạch máu Nốt ruồi U da lành tính U ác tính Tổn thương mạch máu Dày sừng quang hóa Chứng khơ sừng quang hóa Ung thư tế bào đáy 11 Hình 2.1 Hình ảnh số bệnh da 2.1.3 Dữ liệu chẩn đoán bệnh 2.1.3.1 Dữ liệu đầu vào Các hình ảnh tổn thương đến từ Bộ liệu HAM10000[13] thu thập nhiều loại da liễu, từ tất vị trí giải phẫu (trừ niêm mạc móng tay), từ lịch sử số mẫu bệnh nhân sàng lọc ung thư da số tổ chức khác 2.1.3.2 Dữ liệu đầu Dữ liệu đáp ứng tập hợp phân loại nhị phân cho số trạng thái bệnh, cho biết chẩn đoán hình ảnh tổn thương đầu vào Tất liệu đầu mã hóa tệp CSV, với phản hồi phân loại liên tiếp Các cột tệp là: - MEL: Chẩn đốn U ác tính - NV: Chẩn đoán Nốt ruồi - BCC: Chẩn đoán Ung thư tế bào đáy - AKIEC: Chẩn đoán Dày sừng quang hóa - BKL: Chẩn đốn Chứng khơ sừng quang hóa - DF: Chẩn đốn U da lành tính - VASC: Chẩn đoán Tổn thương mạch máu 2.1.3.3 Chứng minh tính xác Như chi tiết mơ tả Bộ liệu HAM10000, thật chẩn đoán thiết lập phương pháp: Mô bệnh học; kính hiển vi đồng tiêu phản xạ; thương tổn khơng thay đổi trình theo dõi da kỹ thuật số hai năm với ba hình ảnh; đồng thuận ba chuyên gia da liễu từ hình ảnh Trong tất trường hợp ác tính, chẩn đốn bệnh xác nhận mơ bệnh học 2.1.4 Đánh giá chẩn đốn bệnh 2.1.4.1 Mục tiêu số liệu Ứng dụng lâm sàng phân loại tổn thương da cuối có hai mục tiêu: Đưa thông tin cụ thể lựa chọn điều trị cho tổn 12 thương, phát ung thư da với độ nhạy độ đặc hiệu hợp lý Trong thách thức trước ISIC, tập trung vào nhiệm vụ thứ hai, xếp hạng cho số liệu xác độ xác đa giác, gần với đánh giá thực bác sĩ da liễu 2.1.4.2 Số liệu khác Về mặt khoa học, chẩn đoán đầu tính tốn số liệu sau cho hình ảnh: Độ nhạy; Độ đặc hiệu; Chính xác; Khu vực đường cong (AUC); Trung bình xác; Điểm F1; AUC tích hợp từ độ nhạy 80% đến 100%; Giá trị tiên đốn tích cực (PPV); Giá trị tiên đốn âm (NPV) 2.1.5 Chạy thử chương trình chẩn đoán bệnh 2.1.5.1 Xác thực - Tải liệu đầu vào xác nhận liệu - Chạy thuật toán xác thực liệu đầu vào để tạo phản hồi dự đoán xác thực - Gửi phản hồi dự đoán xác thực, cung cấp phản hồi dự đoán có định dạng liệu xác có hiệu suất hợp lý 2.1.5.2 Kiểm tra - Tải liệu đầu vào thử nghiệm - Chạy thuật toán liệu đầu vào thử nghiệm để tạo phản ứng dự đoán thử nghiệm - Gửi phản ứng dự đoán thử nghiệm - Gửi thảo mơ tả cách tiếp cận thuật tốn Mạng neural học sâu sử dụng nhận dạng 2.2.1 Giới thiệu mơ hình CNN Mạng neural tích chập (Convolutional Neural Network - CNN) đời với kiến trúc khác so mạng truyền thẳng Thay tồn ảnh nối với node có phần cục ảnh nối đến node lớp Dữ liệu hình ảnh thơng qua lớp mơ hình “học” đặc trưng để tiến hành phân lớp cách hiệu Về mơ hình mạng neural tích chập bao gồm lớp sau: lớp Convolutional, lớp RELU, lớp Pooling, lớp Fully connected 13 2.2.2 Cấu trúc mơ hình CNN - Lớp Convolutional: Lớp nơi thể tư tưởng ban đầu mạng neural tích chập Thay kết nối toàn điểm ảnh, lớp sử dụng lọc (filters) có kích thước nhỏ so với ảnh áp vào vùng ảnh tiến hành tính tích chập filter giá trị điểm ảnh vùng cục Bộ filter dịch chuyển theo giá trị bước trượt (stride) chạy dọc theo ảnh quét toàn ảnh - Lớp RELU - rectified linear unit: Lớp có nhiệm vụ chuyển tồn giá trị âm kết lấy từ lớp Convolutional thành giá trị Ý nghĩa cách cài đặt tạo nên tính phi tuyến cho mơ hình Tương tự mạng truyền thẳng, việc xây dựng dựa phép biến đổi tuyến tính khiến việc xây dựng đa tầng đa lớp trở nên vô nghĩa - Lớp Pooling: Lớp sử dụng cửa sổ trượt quét qua toàn ảnh liệu, lần trượt theo bước trượt (stride) cho trước Khác với lớp Convolutional, lớp Pooling khơng tính tích chập mà tiến hành lấy mẫu (subsampling) Khi cửa sổ trượt ảnh, có giá trị xem giá trị đại diện cho thơng tin ảnh vùng giữ lại Các phương thức lấy phổ biến lớp Pooling MaxPooling (lấy giá trị lớn nhất), MinPooling (lấy giá trị nhỏ nhất) AveragePooling (lấy giá trị trung bình) - Lớp FC - fully connected: Lớp tương tự với lớp mạng neural truyền thẳng, giá trị ảnh liên kết đầy đủ vào node lớp Sau ảnh xử lý rút trích đặc trưng từ lớp trước đó, liệu ảnh khơng q lớn so với mơ hình truyền thẳng nên ta sử dụng mơ hình truyền thẳng để tiến hành nhận dạng 2.2.3 Hoạt động mơ hình CNN Một mạng neural tích chập hình thành cách ghép lớp nêu lại với Mơ hình bắt đầu với lớp Convolutional Lớp RELU thường cài đặc sau lớp Convolutional chí kết hợp hai lớp thành lớp Các lớp Convolutional hay Pooling tùy theo kiến trúc mà ta muốn xây dựng Cuối lớp fullyconnected để tiến hành phân lớp 14 2.2.4 Một số kiến trúc học sâu huấn luyện sử dụng 2.2.4.1 Mơ hình Mạng AlexNet Mạng AlexNet[14] kiến trúc mạng neural học sâu đặc biệt mạng tích chập (CNN), phát triển nhóm nghiên cứu Alex AlexNet lần đầu giới thiệu vào năm 2012 với kiến trúc mạng tương tự với LeNet sử dụng số lượng lớp (layer), số lọc số neural lớn nhiều Mơ hình pretrain AlexNet sử dụng thành công phổ biến lĩnh vực nhận dạng đối tượng ảnh Thành công AlexNet nâng tầm kỹ thuật học sâu CNN thu hút quan tâm lớn nhiều nhà khoa học chứng minh khả ứng dụng cao giải toán nhận dạng mẫu ứng dụng thực tế nhờ có độ xác cao tốc độ xử lý nhanh 2.2.4.2 Mơ hình Mạng ZFNet Sau thành cơng vang dội AlexNet, nhóm nghiên cứu Zeiler Fergus[15] tiếp tục nghiên cứu đề xuất mơ hình kiến trúc mạng CNN với tên gọi ZFNet Về nhóm tác giả ZFNet phát triển dựa tảng mạng AlexNet, đặc biệt tinh chỉnh siêu tham số kích thước nhân tích chập, bước trượt (stride) 2.2.4.3 Mơ hình mạng GoogLeNet Nhóm nghiên cứu Szegedy công ty Google thực số thay đổi nhằm giảm thiểu số lượng tham số AlexNet từ 60 triệu xuống triệu Trong đó, GoogLeNet[16] sử dụng lớp Pooling trung bình (average pooling) trước lớp kết nối đầy đủ FC-Layer giúp tăng độ xác top-1 lên khoảng 0,6%[16] Mơ hình huấn luyện với triệu ảnh có khả phân loại 1.000 lớp đối tượng khác Kết quả, mơ hình huấn luyện pretrain thể đặc trưng cấp cao với nguồn liệu ảnh chứa lượng lớn lớp đối tượng 2.2.4.4 Mô hình mạng VGG19 VGG19 mạng nơ ron tích chập huấn luyện triệu hình ảnh từ sở liệu ImageNet Mạng sâu 19 lớp phân loại hình ảnh thành 1000 loại đối tượng, chẳng hạn bàn phím, 15 chuột, bút chì nhiều động vật Kết là, mạng học biểu diễn tính phong phú cho loạt hình ảnh Mạng có kích thước đầu vào hình ảnh 224 x-224 Thiết kế hệ thống học sâu chẩn đoán bệnh 2.3.1 Kiến trúc tổng quát Trong nghiên cứu này, đề xuất hệ thống phân loại khối u ác tính bao gồm ba thành phần chính: module tăng cường liệu, module trích xuất đặc trưng giai đoạn phân loại nhận dạng nhóm liệu Mơ hình tổng thể trình bày hình 2.9 sau: Dữliệuhuấnluyện Dữ liệu Đặc tính tăng thêm trích xuất Huấn luyện mơ hình phân loại Mơ hình phân loại Đối tượng Dữ liệu Đặc tính tăng thêm trích xuất Dự đốn ung thư da - Nốt ruồi - U da lành tính - U ác tính - Dày sừng quang hóa - Khơ sừng quang hóa - Ung thư tế bào đáy - Tổn thương mạch máu Hình 2.2 Sơ đồ tổng quát giải pháp phân loại bệnh qua hình ảnh Như biết, cách tiếp cận mạng học sâu cần lượng liệu lớn để huấn luyện mơ hình nhận dạng hiệu Tuy nhiên, toán liệu huấn luyện cân loại hình ảnh tổn thương da nói chung hình ảnh huấn luyện nói riêng Do vậy, để nâng cao chất lượng nhận dạng hiệu luận văn đề xuất giải pháp ăng cường hình ảnh liệu huấn luyện gốc Nhiệm vụ quan trọng để tạo mơ hình nhận dạng đủ mạnh liệu huấn luyện nhỏ 2.3.2 Kiến trúc học sâu dựa vào mạng Deepmind inception Inception V4 kiến trúc tiếng phát triển dựa tảng GoogLeNet, nâng cấp Inception V3[18] Đầu vào mạng mẫu liệu hình ảnh có kích thước 299x299 pixel, đầu phụ 16 thuộc vào tốn có lớp mục tiêu cần dự đốn Trong mơ hình huấn luyện trước pretrained sử dụng với đầu gồm 1000 lớp Trong nghiên cứu này, sử dụng phiên GoogLeNet (Inception V4) với số mẫu đầu huấn luyện lại theo toán luận văn; kiến trúc mạng xóa lớp kết nối đầy đủ sử dụng lớp chia sẻ trung bình (Average Pooling) lớp đầu cuối Đầu lớp Average Pooling vector đặc trưng chiều với 1.536 phần tử số thực Bên cạnh vector đặc trưng chiều lớp Average Pooling, ba đặc trưng logit thêm vào cuối từ mạng CNN Do vector đặc trưng tổng thể đầu vector gồm 1.539 phần tử biểu diễn hình ảnh mẫu 2.3.3 Tăng cường liệu cho mạng học sâu Trong thực nghiên cứu phân loại khối u ác tính, áp dụng ba loại tăng cường liệu sau: - Geometric augmentation (tăng cường hình học): Các mẫu ảnh sinh từ ảnh gốc thực cách kết hợp cách ngẫu nhiên phép toán cắt xén phép toán đối xứng theo chiều ngang, dọc tương tự tình xoay máy ảnh chụp - Color augmentation (tăng màu): Đây phương pháp tăng cường ảnh phép toán xử lý màu sắc ảnh gốc Thơng thường hình ảnh tổn thương da thu thập từ nguồn khác tạo loại thiết bị khác Do đó, cần chuẩn hóa màu sắc hình ảnh nhằm tạo đa dạng liệu hình ảnh bao trùm liệu với giả định thu thập từ nguồn, thiết bị khác - Data warping based on specialist's knowledge (dữ liệu cong vênh dựa kiến thức chuyên gia): Trong thực tế chẩn đoán bệnh da chuyên gia thực dựa quan sát, sử dụng thông tin, mẫu tác động qua lại hình ảnh xung quanh vùng tổn thương Các kỹ thuật xử lý làm cong vênh vân hình ảnh phù hợp cho mục đích tăng cường liệu nhằm cải thiện hiệu suất giảm thiểu khan liệu hình ảnh bệnh da 17 CHƯƠNG THỰC NGHIỆM, ĐÁNH GIÁ KẾT QUẢ Cơ sở liệu thực nghiệm Luận văn thực đánh giá hai liệu thực nghiệm khác hai tổ chức ISIC[19] HAM10000[13] Cả hai tập liệu chứa hình ảnh trường hợp khối u, chia thành hai lớp khối u ác tính khối u lành tính Bộ liệu thực nghiệm ISIC 2016 chứa 900 hình ảnh có nhãn, bao gồm 172 hình ảnh Khối u ác tính - 728 hình ảnh khối u lành tính Bộ liệu thứ hai ISIC 2018 bao gồm tổng cộng 10015 hình ảnh, bao gồm 1113 hình ảnh khối u ác tính 8892 hình ảnh khối u lành tính Hình ảnh có độ phân giải cao, xấp xỉ tới 1800x1200 pixel Xây dựng kiến trúc học máy môi trường cài đặt 3.2.1 Xây dựng kiến trúc mạng tham số thực nghiệm Để xây dựng máy nhận dạng, có nhiều cách tiếp cận khác để xây dựng mạng học sâu nhận dạng bệnh Trong nghiên cứu này, xây dựng kiến trúc mạng neural học sâu DNN có kiến trúc 75 lớp, có số kiểu mạng sau: lớp đầu vào, lớp tích chập (convolution layer), lớp chỉnh sửa đơn vị tuyến tính (rectified linear unit layer-ReLu), chuẩn hóa chéo (cross normalization), lớp max-pooling lớp kết nối đầy đủ (fully connectional layer) Mạng biến đổi hình ảnh đầu vào thành mơ tả đặc trưng phân cấp nối tiếp Dữ liệu đầu vào tập hợp neural giá trị cường độ sáng điểm ảnh mẫu ảnh đưa vào mạng học sâu Kích thước mẫu liệu đầu vào bao gồm hình ảnh 200x265x3 Trong mơ hình này, lọc lớp tương ứng với ba kênh màu R-G-B Các lọc hoạt động độc lập kết nối với lớp ẩn, liên quan đến ba kênh ảnh đầu vào Lớp cuối xử lý vectơ đặc trưng trích xuất để đưa vào lớp phân loại nhận dạng Một lớp convolutional thực kết hợp ánh xạ ảnh đầu vào với kích thước lọc nx×ny Trong phần nhận dạng bệnh thức, đánh giá cách sử dụng phương pháp tiếp cận khác sử dụng kiến trúc học sâu DNN kiến trúc mạng đồ thị có hướng (DAGNetworks) 18 3.2.2 Mơi trường cơng cụ lập trình * Mơi trường sử dụng để huấn luyện mơ hình nhận dạng chẩn đốn bệnh máy vi tính có cấu hình: - Vi xử lý (CPU): Intel Core i3-7100 3.90GHz - RAM: 16Gb - Card đồ họa GPU: NVIDIA GeForce GTX 1060 6GB - Ổ cứng: SSD Colorful 160GB+ HDD Toshiba 1TB - Hệ điều hành Windows 10 64bit * Kết thực nghiệm cấu hình máy tính khác cho thấy, hệ thống nhận dạng dựa kiến trúc mạng học sâu thường yêu cầu nhiều thời gian cho trình huấn luyện so với cách tiếp cận truyền thống đòi hỏi phần cứng phải có card đồ họa GPU Quy trình đánh giá, phân loại liệu Quy trình đánh giá phân loại liệu bao gồm bước chính: • Tiền xử lý liệu • Trích xuất đặc trưng • Phân loại khối u ác tính • Phân tích kết Phân tích kết Để đánh giá hiệu mơ hình phân loại, có nhiều thơng số đánh giá, tùy thuộc vào toán mục đích sử dụng mà có tiêu chí đánh giá khác + Tiêu chí AUC (Area Under the Curve): Giá trị diện tích biểu đồ ROC tiêu chí liên quan đến xác suất mà nhận dạng lựa chọn ngẫu nhiên mẫu positive cao lựa chọn ngẫu nhiên Negative + Tiêu chí AP (Average Precision): Độ xác trung bình + Tiêu chí SEN (Sensitivity): Đây tiêu chí đề cập đến khả kiểm tra để phát xác mẫu đánh giá bị bệnh + Tiêu chí SPC (Specificity): Tiêu chí SPC liên quan đến khả kiểm tra tính xác mẫu không bị bệnh thực mà không cần thêm điều kiện 19 + Tiêu chí PPV (Positive predictive value) dùng để xác suất trường hợp mẫu đánh giá mẫu positive xác định người người thực positive Kết thực nghiệm 3.5.1 Kết đánh giá khối u ác tính liệu ISIC2017 Trong luận văn này, tiến hành thực tăng cường liệu cách sử dụng thư viện TensorFlow, sau thực việc trích chọn đặc trưng liệu huấn luyện liệu thử nghiệm mô tả mục sở liệu ISIC2017 Kết trích chọn đặc trưng lưu lại để thực việc phân loại mơ hình huấn luyện Sau huấn luyện xong, thực việc đánh giá hiệu giải thuật liệu thử nghiệm đặc trưng Trong nghiên cứu này, việc phân loại tiến hành theo phương pháp NN, SVM, RF để so sánh hiệu giải thuật với với tiêu chí đánh giá AUC, AP, SEN, SPC, ACC Bảng 3.2 Kết thực nhận dạng với liệu huấn luyện 2000 mẫu ảnh Classifier AUC AP SEN SPC ACC PPV TOP 0.868 0.710 0.735 0.851 0.828 - TOP 0.856 0.654 0.103 0.998 0.823 - TOP 0.874 0.715 0.547 0.950 0.872 - NN-DAUG 0.876 0.737 0.564 0.965 0.872 0.795 SVM-DAUG 0.768 0.722 0.573 0.963 0.887 0.788 RF-DAUG 0.741 0.722 0.504 0.977 0.887 0.843 3.5.2 Kết đánh giá loại bệnh sắc tố da liệu ISIC2018 Trong luận văn này, thực tăng cường liệu lên lần sử dụng 50% mẫu loại cho huấn luyện 50% cho đánh giá kiểm tra Số lượng mẫu ảnh sử dụng huấn luyện mô hình nhận dạng phân loại loại bệnh liên quan đến sắc tố Kết đánh giá thể bảng sau Trong đó, số lượng mẫu đường chéo ma trận bảng 3.4 số mẫu nhận dạng Trong số mẫu phần tử cột i hàng mẫu bệnh thứ i bị chẩn đoán nhầm qua bệnh thứ j Ví dụ 69 mẫu 20 cột MEL hàng NV hình ảnh bệnh MEL bị chẩn đốn nhầm qua bệnh NV Bảng 3.4 Ma trận chéo kết chẩn đoán bệnh MEL NV BCC AKIEC BKL DF VASC MEL 1029 754 23 24 104 0 NV 69 5704 29 118 BCC 54 435 10 AKIEC 26 18 283 0 BKL 13 162 857 DF 0 107 VASC 0 142 Trong toán đoán nhận nhãn đa lớp (7 loại bệnh), để đánh giá tiêu chí SEN, SPC, PPV cần xác định số Positive, Negative, True Positive, True Negative sau: Positive số mẫu ảnh loại bệnh tương ứng xét; Negative tổng số mẫu không thuộc loại bệnh xét, nghĩa tổng số mẫu sở liệu trừ số Positive; True Positive số lượng mẫu nhận dạng bệnh tương ứng với bệnh xét; True Negative số lượng mẫu khơng thuộc bệnh xét có kết chẩn đốn khơng thuộc bệnh xét Theo cách tính này, số SEN, SPC PPV chẩn đoán đạt theo loại bệnh bảng 3.6 Bảng 3.6 Kết đánh giá theo tiêu chí chẩn đoán True False True Positve Negative SEN SPC PPV Positive Positive Negative MEL 1113 8902 1029 905 7997 92.45 89.83 53.21 NV 6705 3310 5704 229 3081 85.07 93.08 96.14 BCC 514 9501 435 72 9429 84.63 99.24 85.80 AKIEC 327 9688 283 53 9635 86.54 99.45 84.23 BKL 1099 8916 857 193 8723 77.98 97.84 81.62 DF 115 9900 107 9899 93.04 99.99 99.07 VASC 142 9873 142 9868 100 99.95 96.60 21 Một số kết đánh giá so sánh giải pháp Phần này, sử dụng kỹ thuật trích xuất đặc trưng HOG kỹ thuật học máy SVM Các kỹ thuật dùng trực tiếp, không tiền xử lý liệu Kết đánh giá tập liệu ISIC2018, liệu chia thành hai tập liệu train (70%) test (30%) bảng 3.8 NV NV 1767 VASC MEL 122 BCC 16 AKIEC BKL 98 DF 2011 Bảng 3.8 Kết nhận dạng bệnh VASC MEL BCC AKIEC BKL 20 233 50 34 225 23 0 0 59 20 11 41 65 31 38 16 20 53 0 0 43 333 154 98 329 DF 15 34 Một số kết so sánh, đánh giá sử dụng kết hợp nhiều phương pháp Phần này, luận văn đưa kết nhận dạng bệnh cơng trình nghiên cứu cơng bố kết để so sánh với kết nghiên cứu luận văn Ở cơng trình nghiên cứu (nghiên cứu nhóm: T.C.Pham, G.S Tran, N.T.Phuong, D.Antoine, L.C.Mai, V.D.Hoang, “A comparative study for classification of skin cancer”, IEEE International Conference on System Science and Engineering, pp 1-6, 2019) [34], kỹ thuật xử lý sử dụng gồm tiền xử lý: gốc, GB, LN, GB + LN; trích xuất đặc trưng: HSV, LBP, HOG, SIFT, HSV + LBP + HOG, HSV + LBP + HOG LN , HSV + LBP + HOG PCA; phân loại: SVM, LR, RF, AdaBoost, BB, BRF 3.7.1 Các phương pháp trích xuất đặc trưng HSV (Hue-Saturation-Value)[23] đại diện cho đặc trưng màu hình ảnh đầu vào Luận văn nghiên cứu chuyển đổi hình ảnh đầu vào (ở định dạng RGB) sang khơng gian màu HSV tính tốn biểu đồ cho 22 kênh (H, S, V) riêng biệt Sau kết hợp biểu đồ để đạt vectơ 512 đặc trưng LBP (Local Binary Pattern)[24] mô tả trực quan, đại diện cho kết cấu hình ảnh đầu vào Hình ảnh đầu vào chia thành 8x8 ô, pixel ô so sánh với bên cạnh nó, cung cấp số cho pixel Sau tính tốn biểu đồ ô, kết hợp tất lại với thực chuẩn hóa Kết vectơ 242 đặc trưng, đại diện cho kết cấu hình ảnh đầu vào HOG (Histogram of Oriented Gradients)[25] mô tả hình ảnh khác hình ảnh đầu vào cách định hướng vùng tiêu chuẩn hóa Đầu trích xuất đặc trưng vectơ bao gồm 18432 đặc trưng SIFT (Scale-Invariant Feature Transform)[26] trích xuất điểm hình ảnh đầu vào, chuyển đổi hình ảnh, tỷ lệ xoay Các điểm trích xuất sau sử dụng để tính tốn tương đồng hình ảnh 3.7.2 Các phương pháp học máy SVM (Máy véc tơ hỗ trợ) LR (Hồi quy logistic) RF (Rừng ngẫu nhiên) AdaBoost (Tăng cường thích ứng) BB (Cân đóng gói) BRF (Rừng ngẫu nhiên cân bằng) 3.7.3 Phân tích kết theo kỹ thuật tiền xử lý Trong phần này, đánh giá hiệu phương pháp tiền xử lý cho tập liệu cho Đặc biệt, đánh giá kết tốt đạt cách sử dụng hình ảnh gốc, lọc gaussian Blur (GB), chuẩn hóa tuyến tính (LN) kết hợp GB LN Có thể thấy hình ảnh ban đầu HAM10000 cho kết dự đoán tốt so với phần lại Gaussian Blur chuẩn hóa tuyến 23 tính bình thường cải thiện kết dự đốn cho liệu ISIC 2016, liệu thực nghiệm HAM10000 Các phân tích kết xem xét liệu thực nghiệm HAM10000 hầu hết kết AUC liệu thực nghiệm ISIC 2016 đáng kể so với liệu thực nghiệm HAM10000 3.7.4 Phân tích kết theo đặc trưng Trong phần này, phân tích giá trị đặc trưng khác liên quan đến kết dự đoán cuối Các đặc trưng thử nghiệm bao gồm HSV, LBP, HOG, SIFT kết hợp HSV + LBP + HOG, HSV + LBP + HOG chuẩn hóa tuyến tính (HLH LN), HSV + LBP + HOG với phân tích thành phần (PCH HLH) 3.7.5 Phân tích kết theo kỹ thuật học máy Phân tích hiệu phương pháp phân tích khác để cung cấp kết dự đoán Các phân loại sử dụng bao gồm Máy vectơ hỗ trợ (SVM), Hồi quy logistic (LR), Rừng ngẫu nhiên (RF), AdaBoost (Tăng cường thích ứng), Đóng gói cân (BB) Rừng ngẫu nhiên cân (BRF) Nhìn chung, BRF đạt điểm dự đoán AUC tốt so sánh với phương pháp trích xuất đặc trưng khác Đáng ý, sử dụng với HSV, mang lại điểm số cao (81,46% AUC) tất kết hợp Trong số tất đánh giá nghiên cứu này, cấu hình cung cấp kết dự đốn Khối u ác tính tốt theo AUC sau: • Chuẩn hóa tuyến tính hình ảnh đầu vào dạng bước chuẩn bị liệu • HSV phương pháp trích xuất đặc trưng • Rừng ngẫu nhiên (BRF) đóng gói làm phân loại Kết dự đốn cấu 81,46% AUC, độ xác 74,75%, độ nhạy 90,09% độ đặc hiệu 72,84% 24 KẾT LUẬN VÀ KIẾN NGHỊ Kết luận Trong phạm vi mục tiêu đề tài, nội dung nghiên cứu kết thu đề tài đảm bảo nhiệm vụ mục tiêu đề ra: Nghiên cứu, xây dựng kiến trúc mạng neural nhân tạo học sâu dựa kiến trúc CNN kỹ thuật phân tích hình ảnh để nhận dạng, phân loại bệnh ngồi da từ mẫu ảnh vùng da bất thường Kết phân loại vùng bất thường liên quan đến u hắc tố sở quan trọng, có nhiều ý nghĩa hỗ trợ chẩn đoán bệnh, nâng cao chất lượng phát bệnh ung thư Bên cạnh đó, đề tài góp phấn tạo xu hướng việc nghiên cứu, ứng dụng khoa học kỹ thuật tiên tiến vào phục vụ dân sinh, y tế chăm sóc sức khỏe cộng đồng Kết nghiên cứu đề tài ứng dụng góp phần điều chỉnh, thay đổi hình thức khám chữa bệnh ứng dụng tiến khoa học, công nghệ thông tin vào lĩnh vực y tế, góp phần phát triển dịch vụ chăm sóc sức khỏe địa phương Tuy nhiên, mạng học sâu cần lượng liệu lớn để huấn luyện mơ hình nhận dạng hiệu Trong tốn nhận dạng phân loại bệnh da từ mẫu ảnh vùng da bất thường, liệu huấn luyện cho loại bệnh cân Do vậy, chúng tơi đề xuất giải pháp tăng cường hình ảnh liệu huấn luyện gốc để tạo mơ hình nhận dạng đủ mạnh, có độ xác cao Kết nghiên cứu cho thấy hướng nghiên cứu đề tài phát triển hồn thiện sản phẩm phần mềm phục vụ cộng đồng, người dùng cá nhân theo hình thức thương mại miễn phí thơng qua đặt phần mềm tiện ích máy tính, smartphone Kiến nghị Các cấp quản lý cần quan tâm, đầu tư dự án để mở rộng nghiên cứu, phối hợp nghiên cứu liên ngành nhằm giải toán thực tế lĩnh vực công nghệ thông tin, y tế, nông nghiệp, cơng nghiệp góp phần phát triển dịch vụ, kinh tế, xã hội Cần trang cấp hệ thống phần cứng đủ mạnh phục vụ công tác nghiên cứu, ứng dụng, đồng thời trang cấp hóa hệ thống sở hạ tầng nhằm phát huy vai trò khoa học cơng nghệ tăng cường dịch vụ khám chữa bệnh, chăm sóc sức khỏe cộng đồng ... việc chẩn đoán bệnh Mục tiêu nhiệm vụ a Mục tiêu: Nắm vững kỹ thuật học sâu toán chẩn đoán bệnh qua ảnh chụp qua da Đề xuất mơ hình chẩn đoán bệnh qua ảnh chụp qua da b Nhiệm vụ: Nghiên cứu kỹ thuật. .. cứu kỹ thuật trí tuệ nhân tạo, kỹ thuật mạng neural học sâu để ứng dụng phân tích hình ảnh chụp qua da b Phạm vi nghiên cứu: Nghiên cứu đề xuất mơ hình chẩn đốn bệnh qua ảnh chụp qua da để ứng dụng. .. khơng sắc nét… gây khó khăn cho việc chẩn đoán bệnh Để khắc phục vấn đề trên, luận văn sử dụng kỹ thuật học sâu để giải Kỹ thuật học sâu thể tính ưu việt kỹ thuật khác việc nhận diện hình ảnh nhiều