HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG KHOA CƠNG NGHỆ THÔNG TIN - HỌC PHẦN: AN TOÀN MẠNG BÀI BÁO CÁO TÌM HIỂU CƠNG CỤ DIRB Giảng viên hướng dẫn: Sinh viên thực hiện: Mã sinh viên: Nhóm mơn học: TS Đặng Minh Tuấn Trần Thị Hằng B18DCAT075 02 Hà Nội, tháng 12 năm 2021 Mục lục Mở đầu Công nghệ thông tin mang tới hướng phát triển giúp ích nhiều sống, với phát triển nhanh chóng cơng nghệ thơng tin, phần mềm đóng vai trị quan trọng nhiều khía cạnh sống kinh tế, quân sự, y tế, xã hội,… Cùng với gia tăng lớn số lượng ứng dụng web người dùng tăng lên đáng kể Do đó, nguy an tồn thơng tin cho phần mềm nói chung ứng web nói riêng tăng theo, gây thiệt hại không nhỏ cho người sử dụng nhà phát triển Một bước quy trình kiểm thử ứng dụng web quét phân tích nội dung máy chủ web (tìm kiếm đối tượng web) Về bản, cần khởi chạy công dựa từ điển chống lại máy chủ phân tích phản hồi Bạn nên quét máy chủ web để xem loại tệp thư mục nằm Điều quan trọng phải xem số tệp ẩn tệp chứa số tùy chọn cấu hình Bất kỳ lỗi cấu hình tệp có quyền truy cập đọc khơng nên có máy chủ sử dụng thơng tin để thực kiểm tra thêm có quyền truy cập trái phép vào liệu máy chủ Hiện có rât nhiều cơng cụ để qt nội dung web hiệu Trong báo cáo này, em xin giới thiệu công cụ Dirb, công cụ cụ quét nội dung web, công cụ Kali Linux tìm kiếm các đối tượng Web có (và / ẩn) Từ giảm thiểu nguy thiệt hại công mạng gây Do kiến thức em cịn nhiều hạn chế nên q trình tìm hiểu viết báo cáo có sai sót em mong thầy góp ý để giúp báo cáo em hoàn thiện Em xin chân thành cảm ơn Thầy ạ! I Giới thiệu Giới thiệu Dirb DIRB công cụ quét nội dung web Nó tìm kiếm các đối tượng Web có (và / ẩn) Về bản, hoạt động cách khởi chạy công dựa từ điển chống lại máy chủ web phân tích phản hồi DIRB kèm với danh sách từ cơng định cấu hình sẵn để dễ sử dụng bạn sử dụng danh sách từ tùy chỉnh Ngồi DIRB đơi sử dụng máy quét CGI cổ điển, nhớ trình qt nội dung khơng phải trình qt lỗ hổng bảo mật Mục đích DIRB giúp kiểm tra ứng dụng web chuyên nghiệp Đặc biệt thử nghiệm liên quan đến bảo mật Nó che số lỗ hổng khơng máy quét lỗ hổng web cổ điển che phủ DIRB tìm kiếm đối tượng web cụ thể mà máy qt CGI thơng thường khác khơng thể tìm kiếm Nó khơng tìm kiếm lỗ hổng khơng tìm kiếm nội dung web dễ bị cơng Cơng cụ DIRB tích hợp sẵn Kali Linux Tệp tin/ thư mục ẩn trang web (web hidden files/directories) Web server giống ổ cứng lưu trữ liệu máy tính Dữ liệu lưu trữ bao gồm files, directories, v.v Những liệu lưu trữ web server liệu cơng khai (public) ví dụ trang chủ website, đường link dẫn đến chuyên mục khác (catergories) viết khác website đó,…; liệu riêng tư (private) ví dụ trang đăng nhập, file robots, files hay directories chia sẻ thông tin nội bộ,… Những thông tin riêng tư cung cấp cho chìa khóa dẫn đến việc xâm nhập thành cơng Vì lẽ đó, đối tượng pentest web app, việc cần làm sau Nmap tìm xem web có files hay directories ẩn hay không? - Web URL Linux web server Để dễ hiểu hơn, thử phân tích URL (Uniform Resource Locator) cấp độ bản, sử dụng URL website sau: https://tuhocnetworksecurity.business.blog/2020/12/17/kali-linux-can-ban-bai-1nmap-va-netcat/ Chúng ta phân tích URL trên: • https: Giao thức dùng để truy cập website • tuhocnetworksecurity.business.blog: Tên miền website Khi bạn sử dụng trình duyệt web để truy cập vào tên miền tuhocnetworksecurity.business.blog, bạn truy cập vào directory web server Khi web server phát có yêu cầu truy cập, chạy vài tác vụ để tạo nên giao diện trang chủ website tìm nội dung website lưu directory để tải lên website File chứa nội dung website thường có tên index.html • 2020 directory directory chứa file index.html • 12 directory directory 2020 • kali-linux-can-ban-bai-1-nmap-va-netcat: Tên viết Tổng kết lại có URL mang ý nghĩa là: Bài viết kali-linux-can-ban-bai1-nmap-va-netcat nằm bên directory 17; directory 17 nằm bên directory 12; directory 12 nằm bên directory 2020 directory 2020 nằm bên directory chứa file index.html web server tuhocnetworksecurity.business.blog Nói cách dễ hiểu giống PATH (đường dẫn/địa chỉ) hệ thống Linux, xem lại 10 series Linux Căn Bản, mục tìm password cho account shiba4 Chúng ta tìm file shiba4 PATH sau: /otp/secret/shiba4 PATH có nghĩa file shiba4 nằm bên directory secret, directory secret lại nằm bên directory opt, directory opt, nằm bên directory root (/) Thì web server giống y thế, nghĩa để truy cập vào file (bài viết), bạn phải biết xách PATH file - Web hidden directories Giao diện web khác với giao diện dòng lệnh Trên giao diện dòng lệnh, tương tác với hệ thống câu lệnh, nhiên giao diện web, lại tương tác với hệ thống chủ yếu thông qua URL Thật vậy, thử bấm vào mục menu website thấy URL thay đổi theo Điều đồng nghĩa với việc, người dùng bình thường khơng hiểu cấu trúc URL, truy cập vào nội dung có sẵn trang chủ menu web Những nội dung (files directories) khơng đề cập khơng có đường dẫn đến trang chủ menu nội dung ẩn Nếu biết URL, thử làm điều sau website tuhocnetworksecurity.business.blog Nếu tinh ý thấy cụm /2020/12/17/ giống năm, tháng ngày viết Vậy thử vài ví dụ sau: • Ví dụ 1: thử thay đổi URL tí để show tất nội dung website vào năm 2020 https://tuhocnetworksecurity.business.blog/2020/ Chúng ta xem danh sách trang liệt kê tất nội dung xuất vào năm 2020 Đây trang nội dung khơng có trang chủ trang web • Ví dụ 2: Chúng ta sử dụng URL để kiểm tra viết viết vào năm 2019 có liệt kê khơng https://tuhocnetworksecurity.business.blog/2019/ Chúng ta thấy nội dung không tồn tại, website phát triển từ tháng 6/2020 • Ví dụ 3: tiếp tục thử nghiệm với URL bên để tìm trang liệt kê viết website tháng 11: https://tuhocnetworksecurity.business.blog/2020/11/ Các ví dụ ví dụ điển hình việc sử dụng URL để tìm nội dung khơng có trang chủ menu web Khi pentest, thay phải thay đổi URL để tìm files directories ẩn thủ cơng, có cơng cụ chun biệt để làm việc II Lịch sử hình thành DIRB DIRB trình quét nội dung web viết C cung cấp The Dark Raver từ năm 2005 Lần phát hành cuối công cụ vào năm 2014, với phiên 2.22 Gói cung cấp hầu hết phát hành Linux áp dụng Black Arch Kali Linux Công cụ cung cấp với nhiều danh sách từ, bao gồm big.txt common.txt (danh sách từ mặc định nó) Dirb cung cấp với hai tiện ích: html2dictương đương với cewl gendicttương đương với crunch, hai sử dụng để tạo danh sách từ III Hướng dẫn cài đặt DIRB,hướng dẫn sử dụng Cài đặt Dirb Công cụ DIRB tích hợp sẵn Kali Linux nên việc cài đặt đơn giản Có ba cách để cài đặt DIRB Kali Linux Chúng ta sử dụng apt-get, apt aptitude - Cài đặt DIRB apt-get • Cập nhật sở liệu apt apt-get lệnh sau: • - Cách cài đặt DIRB apt • Cập nhật sở liệu apt lệnh sau: • - Sau cập nhật sở liệu apt, ta cài đặt DIRB apt-get cách chạy lệnh sau: Sau cập nhật sở liệu apt, ta cài đặt DIRB apt cách chạy lệnh sau: Cài đặt dirb aptitude • Nếu bạn muốn làm theo phương pháp này, bạn cần phải cài đặt aptitude trước aptitude thường không cài đặt theo mặc định Kali Linux Cập nhật sở liệu apt aptitude lệnh sau • Sau cập nhật sở liệu apt, chúng tơi cài đặt dirb aptitude cách chạy lệnh sau: Cách hoạt động Dirb - Để sử dụng Dirb ta cần thực theo bước sau: Bước 1: Mở Terminal Bước 2: Khởi động Dirb Khi mở Terminal, tiếp tục nhập dirb đẻ nhận hình trợ giúp - Bước 3: Xác định mục tiêu bạn Để quét sử dụng lệnh: dirb URL Ví dụ: quét trang google.com Các option Dirb • a : Chỉ định USER_AGENT tùy chỉnh bạn • -c : Đặt cookie cho yêu cầu HTTP • -f: Phát NOT_FOUND (404) tinh vi • -H : Thêm tiêu đề tùy chỉnh vào yêu cầu HTTP • -i: Sử dụng tìm kiếm khơng phân biệt chữ hoa chữ thường • -l: In tiêu đề “Vị trí” tìm thấy • -N : Bỏ qua phản hồi với mã HTTP • -o : Lưu đầu vào đĩa • -p : Sử dụng proxy (Cổng mặc định 1080) • -P : Xác thực proxy • -r: Khơng tìm kiếm đệ quy • -R: Đệ quy tương tác (Yêu cầu cho thư mục) • -S: Chế độ im lặng Không hiển thị từ kiểm tra (Đối với thiết bị • • • • • • đầu cuối câm) -t: Không buộc phải kết thúc '/' URL -u : Xác thực HTTP -v: Cũng hiển thị trang NOT_FOUND -w: Không dừng lại tin nhắn CẢNH BÁO -X / -x : Nối từ với phần mở rộng -z: Thêm độ trễ mili giây để không gây Flood mức Sử dụng wordlist để duyệt qua thư mục 10 - Sử dụng lệnh sau để quét nội dung 16 Sử dụng wordlist để duyệt thư mục 17 - Liệt kê Thư mục với Danh sách mở rộng Extension (-X option) Có nhiều tình mà cần trích xuất thư mục tiện ích mở rộng cụ thể qua máy chủ đích sau sử dụng tham số -X trình quét dirb Tham số chấp nhận tên phần mở rộng tệp sau tìm kiếm tệp phần mở rộng cho máy chủ máy mục tiêu Thực câu lệnh sau: 18 dirb URL –X php Lệnh trích xuất tất đường dẫn thư mục liên quan đến phần mở rộng php hình sau - Extension file (-x option) 19 - Bỏ qua mã trạng thái không cần thiết Phần tử Mã trạng thái số nguyên có chữ số chữ số Mã trạng thái xác định loại phản hồi hai chữ số cuối vai trị phân loại Trong công này, sử dụng tham số –N mã 200 hình Ta thực câu lệnh dirb URL –N 200 20 - Không buộc kết thúc '/' URL (-t) Từ cơng sử dụng tình trước, để chạy công cụ dirb, phải thêm dấu gạch chéo (/) vào cuối URL để chấp nhận dirb Để kiểm tra xem cần thử công vào URL kết thúc mà khơng có dấu gạch chéo - Đệ quy tương tác khơng tìm kiếm đệ quy (-R or –r option) Quét dirb, theo mặc định, quét thư mục cách đệ quy Nó có nghĩa quét thư mục sau qua bên thư mục để quét thư mục khác Nhưng số trường hợp, thời gian không đủ, đặt dirb để không quét đệ quy Điều đạt cách sử dụng tham số -r 21 - Thông báo cảnh báo (-w parameter) Trong trình quét dirb bình thường hiển thị bên dưới, số trang tạo cảnh báo; trình quét dirb bỏ qua thư mục mà gặp cảnh báo Trong thực trình quét phải thực sâu dài, muốn q trình qt dirb khơng tránh cảnh báo thực qt chun sâu, chúng tơi sử dụng tham số -w trình quét dirb - Hiển thị trang không tồn chế độ im lặng (-v or –S option) 22 Lỗi 404 mã trạng thái HTTP có nghĩa khơng thể tìm thấy trang bạn cố truy cập trang web máy chủ họ Thông báo lỗi 404 Khơng tìm thấy thường tùy chỉnh trang web riêng lẻ Trong số trường hợp, chúng tơi cần tìm trang 404, trang bỏ qua theo mặc định Để tìm trang đó, sử dụng tham số -v 23 - Độ trễ tốc độ Trong làm việc tình khác nhau, có số mơi trường gặp phải xử lý lũ tạo q trình qt dirb, mơi trường đó, điều quan trọng chúng tơi phải trì hỗn q trình qt thời gian Điều thực dễ dàng với tham số -z trình quét dirb Trong tham số này, thời gian cung cấp quy mô mili giây Giống hiển thị ví dụ cho chúng tôi, đưa độ trễ 500 giây cho dirb - Lưu đầu vào đĩa Với mục đích trì hồ sơ, khả đọc tốt tài liệu tham khảo tương lai, lưu kết quét dirb vào tệp Đối với điều này, sử dụng tham số -o q trình qt dirb, chúng tơi lưu đầu trình quét dirb tệp văn 24 Lệnh tạo tệp output.txt hình thư mục liệt kê V So sánh, đánh giá, kết luận So sánh, đánh giá Dirb cơng cụ khám phá web lâu đời nhất, đề xuất hầu hết tùy chọn nâng cao tiêu đề tùy chỉnh, tiện ích mở rộng tùy chỉnh, proxy xác thực chí đệ quy tương tác Tuy nhiên, công cụ công cụ không cung cấp khả đa luồng Ưu điểm • Chỉ định nhiều danh sách từ (phân tách dấu phẩy) • Chế độ đệ quy (theo mặc định sử dụng –R tùy chọn cho chế độ tương tác) - Nhược điểm • Khơng có tùy chọn đa luồng • Chỉ phương thức GET • Khơng có lọc ưa thích • Chỉ tùy chọn đầu Các công cụ thay Dirb Hiện có nhiều cơng cụ qt web hiệu Dirb Một số công cụ sử dụng phổ biến như: Dirbuster, Dirsearch, FFUF, GoBuster, Wfuzz, Rustbuster, FinalRecon - Dirbuster DirBuster trình quét nội dung web viết Java OWASP Foundation cung cấp từ năm 2007 Dự án khơng cịn OWASP trì tính - 25 cung cấp phần OWASP ZAP Proxy Bản phát hành cuối công cụ phiên 1.0-RC1 vào năm 2008 DirBuster có đặc điểm cung cấp GUI - Cơng cụ đóng gói với wordlist bao gồm directory-list-1.0.txtvà apache-user-enum-2.0.txt • Ưu điểm Gỡ bỏ WebSite (trích xuất thư mục từ srcvà hrefcác thuộc tính) Hỗ trợ xác thực quyền truy cập thông báo Chỉ định điểm Fuzzing URL Báo cáo XML, CSV TXT • Nhược điểm Chỉ phương thức GET / HEAD Java GUI Dirsearch cơng cụ dịng lệnh thiết kế để xử lý thư mục tệp máy chủ web Công cụ viết Python3 từ năm 2015 thiết kế vào năm 2014 với Python2 Dirsearch trì phát hành cuối vào tháng 12 năm 2020 Là cơng cụ giàu tính năng, dirsearch mang đến cho người dùng hội thực khám phá nội dung web phức tạp, với nhiều vectơ cho danh sách từ, độ xác cao, hiệu suất ấn tượng, cài đặt kết nối / yêu cầu nâng cao, kỹ thuật brute-force đại đầu đẹp 26 - - Dirsearch cung cấp nhiều tùy chọn để thực chuyển đổi danh sách từ loại trừ phần mở rộng, hậu tố, loại bỏ phần mở rộng Dirsearch cung cấp danh sách từ mặc định có tên dicc.txt chứa %EXT%các thẻ thay phần mở rộng người dùng xác định • Ưu điểm: Nhiều URL hỗ trợ CIDR Kiểm tra nhiều tiện ích mở rộng Hỗ trợ nhiều wordlist với thao tác với wordlist Hỗ trợ nhiều yêu cầu thô với –raw tùy chọn phương thức HTTP với –m Đầu đầy màu sắc với nhiều định dạng xuất lọc regex • Nhược điểm Rất nhiều tùy chọn, q trình qt tùy chỉnh nhiều thời gian để định cấu hình Khơng có cách nhanh chóng để làm mờ phần cụ thể URL FFUF FFUF (Fuzz Faster U Fool) trình duyệt web viết Go Cơng cụ gần (phát hành lần vào năm 2018) cập nhật tích cực Khơng giống công cụ trước đây, FFUF hướng đến mục tiêu trở thành công cụ làm mờ HTTP sử dụng khơng để khám phá nội dung mà cho tham số mờ Nhờ thiết kế nó, FFUF có khả làm mờ tiêu đề VHOST FFUF cung cấp tùy chọn lọc “matcher”(bao gồm regex) để xếp kết quả, nhiều định dạng đầu (bao gồm JSON XML) FFUF công cụ cung cấp chế độ hoạt động nhiều danh sách từ, chẳng hạn kiểu công kẻ xâm nhập BurpSuite Chế độ sử dụng để công bạo lực khám phá phức tạp • Ưu điểm Tùy chọn "Replay-proxy" liên kết với công cụ khác BurpSuite Chế độ hoạt động danh sách nhiều từ Hiệu chuẩn lọc tùy chỉnh / tự động • Nhược điểm Rất nhiều tùy chọn, q trình qt tùy chỉnh nhiều thời gian để định cấu hình Gobuster Gobuster công cụ viết Go Bản phát hành gobuster vào năm 2015 lần cuối vào tháng 10 năm 2020 Gobuster cơng cụ mạnh mẽ với nhiều mục đích 27 - Gobuster công cụ sử dụng để brute-force: URI (thư mục tệp) trang web Tên miền phụ DNS (có hỗ trợ ký tự đại diện) Tên máy chủ ảo máy chủ web mục tiêu Mở nhóm Amazon S3 Gobuster ban đầu tạo để tránh Dirbuster Java GUI hỗ trợ khám phá nội dung với nhiều tiện ích mở rộng lúc • Ưu điểm Nhiều phần mở rộng -d tùy chọn để khám phá tệp lưu Tùy chọn DNS, VHOST S3 • Nhược điểm Khơng đệ quy Danh sách từ đơn Khơng có kết hợp regex Chỉ định dạng đầu (TXT) Wfuzz Wfuzz trình duyệt web viết Python3 cung cấp Xavi Mendez từ năm 2014 Wfuzz tạo để tạo điều kiện thuận lợi cho tác vụ đánh giá ứng dụng web dựa khái niệm đơn giản: thay tham chiếu đến từ khóa FUZZ giá trị trọng tải định Công cụ cung cấp với nhiều wordlists: chung ( big.txt, common.txt, medium.txt ), Webservices ( ws-dirs.txtvà ws-files.txt), Tiêm ( SQL.txt, XSS.txt, Traversal.txt ), căng thẳng ( alphanum_case.txt, char.txt ), Vulns ( cgis.txt, coldfusion.txt, iis.txt ) khác Wfuzz thay FUZZtừ khóa trọng tải từ danh sách từ định Wfuzz cung cấp nhiều lọc bao gồm lọc regex ( ss/hs) hỗ trợ nhiều đầu (JSON, CSV, ) Ngoài ra, Wfuzz công cụ hỗ trợ auth bản, auth NTLM xác thực thơng báo • Ưu điểm Bộ mã hóa (urlencode, base64, uri_double_hex ) tập lệnh Mã hóa chuỗi Xác thực / NTLM / Digest • Nhược điểm Danh sách từ đơn Kết luận DIRB cơng cụ qt nội dung web Nó tìm kiếm các đối tượng Web có (và / ẩn) Về bản, hoạt động cách khởi chạy công dựa từ điển chống lại máy chủ web phân tích phản hồi 28 Mục đích DIRB giúp kiểm tra ứng dụng web chuyên nghiệp Đặc biệt thử nghiệm liên quan đến bảo mật Nó che số lỗ hổng khơng máy quét lỗ hổng web cổ điển che phủ DIRB tìm kiếm đối tượng web cụ thể mà máy quét CGI thông thường khác tìm kiếm Nó khơng tìm kiếm lỗ hổng khơng tìm kiếm nội dung web dễ bị công Như vậy, báo cáo em trình bày lịch sử hình thành công cụ Dirb, hướng dẫn cách cài đặt sử dụng Dirb Kali Linux, option Dirb có ví dụ demo cách hoạt động Dirb thơng qua qt số web Bên cạnh đó, em số ưu nhược điểm Dirb đưa số cơng cụ có Kali Linux hiệu sử dụng phổ biến 29 Tài liệu tham khảo [1] [Online] Available: https://www.kali.org/tools/dirb/ [2] [Online] Available: https://www.owasp.org/index.php/Path_Traversal [3] "Blog Sec-IT," 16 02 2021 [Online] Available: https://blog.sec-it.fr/en/2021/02/16/fuzz-dir-tools/ [4] "Secuneus," [Online] Available: https://www.secuneus.com/dirb-tool/ [5] "Sourceforge.net," [Online] Available: http://dirb.sourceforge.net/about.html 30 ... index.html • 12 directory directory 2020 • kali-linux-can-ban-bai-1-nmap-va-netcat: Tên viết Tổng kết lại có URL mang ý nghĩa là: Bài viết kali-linux-can-ban-bai1-nmap-va-netcat nằm bên directory 17; directory... https://tuhocnetworksecurity.business.blog/2020/ Chúng ta xem danh sách trang liệt kê tất nội dung xuất vào năm 2020 Đây trang nội dung khơng có trang chủ trang web • Ví dụ 2: Chúng ta sử dụng URL để kiểm tra...Mục lục Mở đầu Công nghệ thông tin mang tới hướng phát triển giúp ích nhiều sống, với phát triển nhanh chóng cơng nghệ thơng tin, phần mềm đóng vai trị quan trọng nhiều khía cạnh sống kinh