HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG KHOA CƠNG NGHỆ THÔNG TIN I - - BÁO CÁO CUỐI KỲ HỌC PHẦN: AN TOÀN MẠNG CHỦ ĐỀ: TÌM HIỂU CƠNG CỤ PARSERO Giảng viên: Sinh viên: Mã sinh viên: Lớp: Nhóm mơn học: TS Đặng Minh Tuấn Đặng Duy Phương B18DCAT187 D18CQAT03-B 02 Hà Nội, tháng 12 năm 2021 LỜI NÓI ĐẦU Đầu tiên, em xin gửi lời cảm ơn sâu sắc đến Học viện Công nghệ Bưu Viễn thơng đưa mơn học An tồn mạng vào chương trình giảng dạy Đặc biệt, em xin gửi lời cảm ơn sâu sắc đến giảng viên môn – TS Đặng Minh Tuấn dạy dỗ, rèn luyện truyền đạt kiến thức quý báu cho em suốt thời gian học tập kỳ vừa qua Trong thời gian tham dự lớp học thầy, em tiếp thu thêm nhiều kiến thức bổ ích, học tập tinh thần làm việc hiệu quả, nghiêm túc Đây thực điều cần thiết cho q trình học tập cơng tác sau em Bộ mơn An tồn mạng mơn học thú vị, vơ bổ ích gắn liền với nhu cầu thực tiễn sinh viên an tồn thơng tin Mặc dù cố gắng chắn hiểu biết kỹ mơn học em cịn nhiều hạn chế Do đó, Bài tiểu luận kết thúc học phần em khó tránh khỏi thiếu sót chỗ chưa chuẩn xác, kính mong thầy xem xét góp ý giúp Bài tiểu luận em hoàn thiện Em xin chân thành cảm ơn! MỤC LỤC LỜI NÓI ĐẦU MỤC LỤC DANH MỤC THUẬT NGỮ DANH MỤC HÌNH ẢNH I TỔNG QUAN robot.txt gì? Giới thiệu Parsero Lịch sử phát triển HƯỚNG DẪN CÀI ĐẶT 11 II Sử dụng tập lệnh setup.py 11 Sử dụng pip3 12 Cài đặt từ kho lưu trữ Kali Linux 13 III HƯỚNG DẪN SỬ DỤNG 16 IV SO SÁNH VÀ ĐÁNH GIÁ 23 So sánh với công cụ tương đương, lựa chọn thay cho Parsero 23 a Oscanner 23 b arp-scan 23 d Arachni 25 e Nikto 26 f Iniscan 27 Đánh giá 29 TÀI LIỆU THAM KHẢO 30 DANH MỤC THUẬT NGỮ Từ viết tắt URL HTTP NSA ARP NDP ICMP API JSON Thuật ngữ tiếng Anh Uniform Resource Locator Thuật ngữ tiếng Việt Định vị tài nguyên thống nhất, gọi cách thông thường địa web HyperText Transfer Protocol Giao thức truyền tải siêu văn National Security Agency Cơ quan An ninh Quốc gia Hoa Kỳ Address Resolution Protocol Giao thức phân giải địa Neighbor Discovery Protocol giao thức phát triển giao thức Internet để sử dụng với giao thức Internet phiên (IPv6) Internet Control Message Protocol giao thức gói Internet Protocol Application Programming giao diện lập trình ứng dụng Interface JavaScript Object Notation Kiểu liệu mở JavaScript Kiểu liệu bao gồm chủ yếu text, đọc theo dạng cặp "thuộc tính - giá trị" DANH MỤC HÌNH ẢNH Hình 1: Nội dung tệp robot.txt trang web Hình 2: Cơng cụ Parsero Hình 3: Javier Nieto Hình 4: Cài đặt tập lệnh setup.py 11 Hình 5: Cài đặt pip3 12 Hình 6: Gỡ cài đặt pip3 13 Hình 7: Cài đặt từ kho lưu trữ Kali Linux 14 Hình 8: Gỡ cài đặt parsero 15 Hình 9: parsero -h 16 Hình 10: parsero help 16 Hình 11: parsero -u URL 17 Hình 12: parsero -u URL -o 18 Hình 13: parsero -u URL -o -sb 19 Hình 14: File chứa domain 20 Hình 15: Quét File chứa domain 20 Hình 16: File chứa nhiều domain 21 Hình 17: Quét từ File chứa nhiều domain 22 Hình 18: Oscanner 23 Hình 19: arp-scan 24 Hình 20: arping 25 Hình 21: Arachni 26 Hình 22: Nikto 27 Hình 23: Iniscan 28 Hình 24: Parsero cập nhật lần cuối năm 29 I TỔNG QUAN robot.txt gì? Đơi cơng cụ tìm kiếm khơng đủ để có bạn muốn chúng khơng hiển thị thứ bạn muốn Cơng cụ tìm kiếm hiển thị phần nhỏ thơng tin có sẵn web nhiều người tận dụng nhược điểm để ngăn chặn thứ hiển thị cơng cụ tìm kiếm Một cách chỉnh sửa tệp gọi robots.txt Chủ sở hữu trang web sử dụng tệp robots.txt để cố gắng kiểm sốt nhìn thấy bên trang web Trên thực tế, tệp đặt thư mục gốc trang web có tác dụng robot bot truy cập trang web nỗ lực phân loại nội dung Một robot ghé thăm trang web chẳng hạn www.sample.com Tuy nhiên, trước kiểm tra tồn tệp robots.txt Nếu tệp tồn tại, đọc tệp để xem liệu có phép tiếp tục hay không, vậy, đâu Trong trường hợp này, giả sử robots.txt tìm thấy www.sample.com/robots.txt có nội dung sau: User-agent: * Disallow: / User-agent: * cho biết thông tin áp dụng cho tất robots Disallow: / nói với robots khơng truy cập trang trang web Trong thực tế, robots.txt phải đọc robot truy cập trang web để liệt kê nội dung Khi đọc tệp, xử lý thị phản ứng phù hợp, thực tế tình hình Trên thực tế, có hai điểm cần nhớ tệp này: • Mặc dù mục đích để robots.txt chấp nhận tồn cầu, thực tế,robots bỏ qua /robots.txt bạn Điều đặc biệt trường hợp cho trình thu thập liệu web độc hại quét trang web máy chủ web để bảo mật lỗ hổng bảo mật thu thập địa email kẻ gửi thư rác sử dụng Tất có xu hướng bỏ qua tệp • Bất kỳ xem tệp robots.txt thực tế truy cập cơng khai theo mặc định Ai tìm thấy tệp (ví dụ: cách sử dụng Google Hacking) xem phần trang web bị giới hạn sau duyệt cách Điểm mấu chốt robots.txt không hoạt động thiết kế Tất cần phần phần mềm độc hại tìm kiếm đơn giản Google để tìm hiểu cấu trúc trang web phần phần mềm độc hại không liên quan gây cố tiềm ẩn Điều có nghĩa bạn khơng nên sử dụng tệp để ẩn thơng tin đơn giản để xác định vị trí, đọc bỏ qua Chỉ tập tin phục vụ để đề xuất phần trang web không nên truy cập khơng thực thi chúng: Hình 1: Nội dung tệp robot.txt trang web Giới thiệu Parsero Về mặt Kali, thực có cơng cụ tìm kiếm tệp robots.txt trang web đọc nội dung Đó Parsero Hình 2: Cơng cụ Parsero Parsero tập lệnh miễn phí viết hồn toàn Python để đọc tệp robots.txt máy chủ web xem mục Disallow , sau kiểm tra xem vị trí truy cập hay không Parsero thu thập thông tin liên quan đến URL(Uniform Resource Link) có nghĩa cơng cụ qua mục tiêu tất URL tìm URL di chuyển vĩnh viễn, đồng thời tìm URL lỗi cuối tìm thấy URL hoạt động trang mục tiêu Parsero thực tìm kiếm HTTP HTTPS tảng tìm kiếm mà cơng cụ sử dụng Google, Yahoo cuối Bing Chủ yếu công cụ tập trung vào Bing Khi thực thi Parsero, ta thấy mã trạng thái HTTP Ví dụ, mã đây: 200 OK 403 Forbidden The request has succeeded The server understood the request, but is refusing to fulfill it 404 Not Found 302 Found The server hasn't found anything matching the Request-URI The requested resource resides temporarily under a different URI Lịch sử phát triển Parsero phát triển Javier Nieto, đặc vụ NSA người Tây Ba Nha, công khai github vào ngày tháng 12 năm 2013 Trải qua nhiều lần cập nhật đến phiên v0.75, Parsero đưa vào kho lưu trữ Kali Linux Hình 3: Javier Nieto Thời gian Sự kiện 03/12/2013 Javier Nieto công bố Parsero v0.1 github cập nhật v0.45 13/12/2013 Cập nhật v0.5 github 05/02/2014 Cập nhật v0.6, thêm tính năng: - Chỉ thị mục Disallow khả dụng - Tìm kiếm Bing Disallow 22/04/2014 Cập nhật v0.7 github 23/04/2014 Cập nhật v0.71 github 22/05/2014 Cập nhật v0.75, cải thiện thị terminal 01/09/2014 Parsero thêm vào kho lưu trữ Kali Linux 22/09/2014 Cập nhật v0.80 github 29/09/2014 Cập nhật v0.81 github 06/01/2021 Cập nhật lần gần kho lưu trữ 10 III HƯỚNG DẪN SỬ DỤNG Dùng câu lệnh: parsero [OPTIONS] Các options parsero: • -h, help : Hiển thị hướng dẫn sử dụng options Hình 9: parsero -h Hình 10: parsero help 16 • -u URL : phân tích URL vừa nhập Hình 11: parsero -u URL 17 • -o : Chỉ hiển thị trạng thái “HTTP 200” Nếu tệp robots.txt có vài mục nhập khơng nên sử dụng tùy chọn "-o" bạn tìm loại nội dung mà quản trị viên muốn ẩn bạn nhận tất kết Nhưng tệp lớn hơn, bạn có nhiều thơng tin để phân tích việc kiểm tra dễ dàng nhận liên kết phép truy cập Hình 12: parsero -u URL -o • -sb : Tìm kiếm mục Disallow Bing Thực tế quản trị viên viết tệp robots.txt để cố gắng ẩn phần trình thu thập thơng tin nội dung khơng có nghĩa cơng cụ tìm kiếm khơng lập mục mục Disallow Ví dụ, hình bên dưới, Parsero tìm thấy nội dung Bing lập mục mà nội dung hẳn chưa lập mục Parsero hiển thị cho bạn 10 kết Bing cho mục Disallow lập mục o Liên kết trắng: trang tìm kiếm Bing o Liên kết màu xanh cây: trực tiếp đến kết tìm thấy Bing (nội dung khơng phải lúc có sẵn đơi bạn gặp lỗi mã HTTP 404) 18 Hình 13: parsero -u URL -o -sb 19 • -f FILE : Quét danh sách domain từ FILE Hình 14: File chứa domain Hình 15: Quét File chứa domain 20 Hình 16: File chứa nhiều domain 21 Hình 17: Quét từ File chứa nhiều domain 22 IV SO SÁNH VÀ ĐÁNH GIÁ So sánh với công cụ tương đương, lựa chọn thay cho Parsero a Oscanner Hình 18: Oscanner Cơng cụ có kiến trúc dựa plugin cho mục đích liệt kê cài đặt Oracle • Sid enumeration • • • • • • Kiểm tra mật (thông dụng & từ điển) Liệt kê phiên Oracle Liệt kê vai trò tài khoản Liệt kê đặc quyền tài khoản Liệt kê băm tài khoản Liệt kê thơng tin kiểm tốn Liệt kê sách mật • Liệt kê liên kết sở liệu Mã nguồn Oscanner có sẵn viết Java b arp-scan Tiện ích arp-scan sử dụng để phát máy chủ mạng Vì sử dụng ARP nên áp dụng cho IPv4, IPv6 sử dụng giao thức NDP arp-scan thường sử dụng để phân tích mạng kiểm tra thâm nhập Người dùng mục tiêu cho công cụ chuyên gia bảo mật pentesters arp-scan viết ngơn ngữ C 23 Hình 19: arp-scan c arping arping tương tự tiện ích 'ping' để kiểm tra mạng khám phá hệ thống Trong trường hợp lệnh 'ping' thường sử dụng giao thức ICMP, arping sử dụng giao thức ARP 24 Hình 20: arping d Arachni Arachni framework viết Ruby, tập trung vào việc đánh giá tính bảo mật ứng dụng web Người dùng điển hình bao gồm chuyên gia bảo mật quản trị viên hệ thống Cơng cụ miễn phí mã nguồn mở Bên cạnh Linux, chạy macOS Microsoft Windows 25 Arachni thường sử dụng để kiểm tra thâm nhập, đánh giá bảo mật phân tích ứng dụng web Người dùng mục tiêu cho công cụ chuyên gia bảo mật pentesters • API có sẵn • Có gần 3000 star Github Hình 21: Arachni e Nikto Nikto giúp thực quét bảo mật chống lại máy chủ web tìm kiếm lỗ hổng ứng dụng web Nikto thường sử dụng để kiểm tra thâm nhập, đánh giá bảo mật phân tích ứng dụng web Người dùng mục tiêu cho công cụ nhà phát triển, chuyên gia bảo mật chuyên gia bảo mật • Mã nguồn có sẵn • Cơng cụ tiếng 26 Hình 22: Nikto f Iniscan Iniscan quét tệp php.ini định kiểm tra theo phương pháp bảo mật tốt Nó báo cáo lại kết cách hiển thị Đạt Không đạt cho kiểm tra liên quan Vì tiện ích dịng lệnh, sử dụng kiểm thử tự động Công cụ hoạt động cách kéo quy tắc kiểm tra từ tệp JSON Mỗi thử nghiệm bao gồm cài đặt liên quan điều kiện thử nghiệm Mỗi kiểm tra kiểm tra diện cài đặt, giá trị với phương pháp hay khác Dựa giá trị ưu tiên, hiển thị trạng thái Đạt Khơng đạt cho kiểm tra Iniscan viết ngôn ngữ PHP thường sử dụng để kiểm tra cấu hình đánh giá bảo mật Người dùng mục tiêu cho công cụ nhà phát triển chun gia bảo mật • Có 25 người đóng góp • Có 1000 star Github • Mã nguồn có sẵn 27 Hình 23: Iniscan 28 Đánh giá Đây công cụ tốt để xác định URL trang web mục tiêu tồn hay khơng cịn tồn Nhược điểm: v0.81 lâu chưa cập nhật lên phiên Hình 24: Parsero cập nhật lần cuối năm 29 TÀI LIỆU THAM KHẢO [1] Glen D Singh, Sean-Philip Oriyano, Hands-On Penetration Testing with Kali NetHunter, Birmingham: Packt Publishing Ltd, 2019 [2] JAVIER NIETO, "BehindTheFirewalls," , 24 12 2014 [Online] Available: https://github.com/behindthefirewalls/Parsero [Accessed 24 12 2021] [3] "Linux security," , [Online] Available: https://linuxsecurity.expert/tools/ [Accessed ] 30 ... sau em Bộ mơn An tồn mạng mơn học thú vị, vơ bổ ích gắn liền với nhu cầu thực tiễn sinh viên an toàn thông tin Mặc dù cố gắng chắn hiểu biết kỹ môn học em cịn nhiều hạn chế Do đó, Bài tiểu luận... nguồn Oscanner có sẵn viết Java b arp-scan Tiện ích arp-scan sử dụng để phát máy chủ mạng Vì sử dụng ARP nên áp dụng cho IPv4, IPv6 sử dụng giao thức NDP arp-scan thường sử dụng để phân tích mạng. .. học An tồn mạng vào chương trình giảng dạy Đặc biệt, em xin gửi lời cảm ơn sâu sắc đến giảng viên môn – TS Đặng Minh Tuấn dạy dỗ, rèn luyện truyền đạt kiến thức quý báu cho em suốt thời gian học