Đang tải... (xem toàn văn)
MỤC MỤC Lời cảm ơn Lời mở đầu MỤC MỤC Chương 1. Phần mềm và kiểm thử phần mềm: 1 1. Phần mềm: 1 1.1. Khái niệm: 1 1.2. Thế nào là lỗi phần mềm: 1 2. Kiểm thử phần mềm: 1 2.1. Các định nghĩa : 1 2.2. Vòng đời của kiểm thử (testing life cycle) 2 2.3. Quy trình của kiểm thử 3 2.4. Phân loại kiểm nghiệm: 4 Chương 2. Kiểm thử ứng dụng WEB và kiểm thử tự động 8 2.1. Kiểm thử ứng dụng WEB: 8 2.1.1. Khái quát : 8 2.1.2.Những công việc khi kiểm thử 1 ứng dụng Web : 8 2.1.3.Các đặc điểm về chất lượng của một ứng dụng Web 9 2.1.4.Những phương pháp kĩ thuật khi kiểm thử một ứng dụng WEB 10 2.1.4.1.Thử nghiệm liên kết 12 2.1.4.2.Thử nghiệm trình duyệt 13 2.1.4.3.Thử nghiệm tính năng 14 2.1.4.4.Kiểm tra bảo mật 14 2.1.5.Giới thiệu sơ qua về một số công cụ hỗ trợ kiểm thử ứng dụng web 15 2.3.Kiểm thử tự động 15 2.3.1.Khái quát kiểm thử tự động 15 2.3.2.Kiểm thử tự động là gì? 16 2.3.3.Tại sao phải kiểm thử tự động? 16 2.3.4.Quy trình kiểm thử tự động 17 2.3.5.So sánh giữa kiểm thử tự động và kiểm thử thủ công 17 Chương 3: Test Web bằng công cụ kiểm thử tự động SELENIUM 19 3.1. Selenium là gì? 19 3.2. Selenium IDE 19 3.2.1.Cách cài đặt Selenium IDE 20 3.2.2.Các icon của Selenium 22 3.2.3.Các thao tác để kiểm thử tự động với Selenium IDE 24 3.2.3.1.Chế độ ghi 24 3.2.3.2.MởLưu một testcase có sẵn 27 3.2.3.3.Thực thi 27 3.2.3.4.Gỡ rối 28 3.2.3.5.Chèn 29 3.2.3.6.Sửa CommandComment 32 3.2.4.Các câu lệnh trông Selenium IDE 32 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 38 Tài liệu tham khảo 35
Lời cảm ơn Em xin chân thành cảm ơn thầy cô giáo Khoa Công Nghệ Thông Tin trường đại học Tài Nguyên Môi Trường Hà Nội cô KS.Lê Thị Vui tạo điều kiện thuận lợi cho em qua trình học tập năm qua trình thực báo cáo tốt nghiệp Và em xin cảm ơn bố mẹ anh chị công ty cổ phần VP9 giúp đỡ em nhiều trình thực tập Mặc dù cố gắng hoàn thiện báo cáo với tất lực thân tránh khỏi nhiều điểm thiếu sót Vì mong thầy cô thông cảm đóng góp thật nhiều ý kiến để em hoàn thiện kiến thức Một lần em chân thành cảm mong nhận ý kiến thầy cô! Lời mở đầu Hiện công nghệ thông tin, công nghệ phần mềm ngày có xu hướng phát triển mạnh xu hướng phát triển kinh tế công nghiệp hóa đại hóa Cùng với phát triển ngành gia công phần mềm; ngành gia công kiểm thử phần mềm Việt Nam có tiềm phát triển Từ năm 2010, số tập đoàn CNTT giới thuê công ty phần mềm Việt Nam gia công kiểm thử phần mềm cho họ Nhu cầu sử dụng dịch vụ kiểm thử phần mềm từ đối tác nước ngoài, đặc biệt kiểm thử phần mềm tự động Việt Nam gia tăng Số lượng kỹ sư kiểm thử phần mềm Việt Nam tương lai tăng đến 10.000 người Ngày tự động hóa nghiên cứu ứng dụng nhiều lĩnh vực công nghệ phần mền nói chung kiểm thử tự động nói riêng Khi mà kiểm thử phần mền tốn nhiều thời gian,tiền bạc nhân lực cho dự án kiểm thử tự động hỗ trợ tốt kiểm thử thủ công mọt số trường hợp Selenium loại kiểm thử tự động phát triển Nó công cụ kiểm thử ứng dụng web có nhiều ưu điểm kiểm thử nhiều trình duyệt,hỗ trợ nhiều ngôn ngữ lập trình đặc biệt mã nguồn mở, tổ chức không phí quền Với mong muốn tìm hiểu rõ kiểm thử phần mềm kiểm thử tự động với công cụ Selenium để sở cho ngành Tester mà em hướng đến tương lai, nên em chọn đề tài “ Kiểm thử ứng dụng WEB với công cụ Selenium” làm đồ án tốt nghiệp đại học Do thời gian, kinh nghiệm bị hạn chế ngành Tester nên có phần em tìm hiểu chưa tốt mong thầy cô bạn thông cảm MỤC MỤC Chương Phần mềm kiểm thử phần mềm: Phần mềm: 1.1 Khái niệm: Phần mềm (bộ) chương trình cài đặt máy tính nhằm thực nhiệm vụ tương đối độc lập,phục vụ cho ứng dụng cụ thể quản lý hoạt động máy tính hoạt động kinh tế, quốc phòng, văn hóa, xã hội, giáo dục, giải trí 1.2 Thế lỗi phần mềm: Có nhiều định nghĩ khác lỗi phần mềm, ta hiểu cách tổng quát sau:”lỗi phần mềm không khớp chương trình đặc tả nó” Dựa vào định nghĩa , thấy lỗi phần mềm xuất dạng sau: - Sai: Sản phẩm xây dựng khác với đặc tả - Thiếu: yêu cầu đặc tả sản phẩm lại - Thừa: yêu cầu đặc tả sản phẩm không yêu cầu Một số hình thức khác coi lỗi phần mềm khó hiểu, chậm hay phần mềm gây cho người sử dụng cảm giác không Kiểm thử phần mềm: 2.1 Các định nghĩa : Kiểm thử phần mềm qui trình chứng minh phần mềm lỗi Kiểm thử phần mềm qui trình thực hành phần mềm với ý định tìm kiếm lỗi Kiểm thử phần mềm trình sử dụng để xác định tính xác, đầy đủ, chất lượng phần mềm máy tính phát triển Kiểm thử phần mềm qui trình đánh giá phần mềm cuối chu kì phát triển để đảm bảo lòng sử dụng khách hàng ( ta có xây dựng phần mềm theo yêu cầu khách hàng không? Các hoạt động kiểm thử dùng để đánh giá xem tính chất thực phần mềm có thỏa mãn yêu cầu khách hàng theo dõi với yêu cầu khách hàng không?) Các mục tiêu kiểm thử phần mềm: Phát nhiều lỗi tốt thời gian kiểm thử xác định trước Chứng minh sản phẩm phần mềm phù hợp với đặc tả yêu cầu khách hàng Xác thực chất lượng kiểm thử phần mềm sử dụng chi phí tối thiểu Tạo testcase chất lượng cao, thực kiểm thử hiệu tạo báo cáo vấn đề hữu dụng 2.2 Vòng đời kiểm thử (testing life cycle) Lỗi xảy tất công đoạn từ “Mô tả yêu cầu”,”Thiết kế” đến “Lập trình” Từ công đoạn chuyển sang giai đoạn khác thường dễ nảy sinh lỗi (do dư thừa thiếu theo mô tả yêu cầu) đến công đoạn kiểm nghiệm phát hậu (các kết không theo mong muốn) Quá trình sửa lỗi bao gồm “Phân loại lỗi”, “Cô lập lỗi” (tìm nguyên nhân nơi gây lỗi) sau đề ra” phương pháp sửa lỗi” sửa lỗi Lỗi Sửa lỗi Mô tả yêu cầu Giải pháp sửa lỗi Sai sót Lỗi Thiết kế Cô lập lỗi Sai sót Lỗi Lập trình Phân loại lỗi Sai sót Hậu Kiểm nghiệm Vòng đời kiểm nghiệm 2.3 Quy trình kiểm thử Quy trình kiểm thử phần mềm bao gồm bước · Lập kế hoạch kiểm tra · Thiết kế test case · Phát triển test script - Thực test - Đánh giá kết test +) Lập kế hoạch : Nhằm định mô tả loại kiểm tra triển khai thực Kết bước lập kế hoạch tài liệu kế hoạch KTPM bao gồm nhiều chi tiết từ loại kiểm tra, chiến lược kiểm tra, thời gian phân định lực lượng kiểm tra viên +) Thiết kế test: Nhằm định test case bước kiểm tra chi tiết cho phiên PM Giai đoạn thiết kế test quan trọng, quan trọng , đảm bảo tất tình kiểm tra hết tất yêu cầu Các bước thiết kế test : · Xác định mô tả test · Mô tả bước chi tiết để kiếm tra · Xem xét khảo sát độ bao phủ việc kiểm tra · Xem xét test case bước kiểm tra +) Phát triển test Script: Bước thường không bắt buộc loại mức kiểm tra, yêu cầu trường hợp đặc thù cần thiết kế, tạo test script có khả chạy máy tính giúp tự động hoá việc thực thi bước kiểm tra định nghĩa bước thiết kế test +) Thực test:Mục đích thực bước kiểm tra thiết kế ghi nhận kết +) Đánh giá test: Mục đích: Đánh giá toàn trình kiểm tra bao gồm xem xét đánh giá kết kiểm tra lỗi, định yêu cầu thay đổi tính toán số liệu liên quan, đến trình kiểm tra 2.4 Phân loại kiểm nghiệm: • Một phân biệt vào kĩ thuật kiểm thử ( Testing Technique) - Kiểm thử tĩnh ( Static Testing): phương pháp kiểm thử phần mềm đòi hỏi phải duyệt lại yêu cầu đặc tả tay,thông qua việc sử dụng giấy bút để kiểm tra logic,chi tiết tí mà không cần chạy chương trình Kiểm thử thương sử dụng chuyên viên thiết kế_ người viết mã lệnh Kiểm thử tĩnh tự động hóa Nó thực kiểm tra toàn bao gồm chương trình phân tích thông dịch hay biên dịch mà xác nhận tính hợp lệ cú pháp chương trình - Kiểm thử động (Dynamic Testing): phương pháp kiểm thử thông qua việc dùng máy chạy chương trình để kiểm tra trạng thái tác động chương trình Kiểm thử động bao gồm làm việc với phần mềm , nhập giá trị đầu vào kiểm tra xem liệu đầu ( sản phẩm) có mong muốn theo yêu cầu đặc tả hay không • Hai phân biệt theo mức độ chi tiết phận hợp thành phần mềm - Mức kiểm tra đơn vị (Unit):kiểm thử thực chi tiết đơn vị nhỏ (hàm , class ) có hoạt động không? - Mức kiểm tra thành phần ( Module):kiểm thử dịch vụ module có phù hợp với đặc tả module hay không? - Mức kiểm tra tích hợp ( Integration): kiểm thử phân hệ phần mềm có đảm bảo đặc tả thiết kế phân hệ không? - Mức kiểm tra tích hợp hệ thống ( System): kiểm thử yêu cầu không chức phần mềm chức năng, hiệu suất, mức độ đáp ứng, cấu hình, ổn định,phục hồi, tải,chất lượng, cài đặt Với mục đích đảm bảo tòan hệ thống hoạt động ý mà khách hàng mong muốn Kiểm nghiệm chức năng( Function testing) Kiểm nghiệm hiệu suất(Perfomance testing) Kiểm nghiệm mức độ đáp ứng(Stress testing) Kiểm nghiệm cấu hình(Configuration testing) Kiểm nghiệm ổn định(Robustness testing) Kiểm nghiệm phục hồi(Recovery testing) Kiểm nghiệm tải(Overload testing) Kiểm nghiệm chất lượng(Quality testing) Kiểm nghiệm cài đặt (Installation testing) - Mức kiểm tra độ chấp nhận người dùng(Acceptence testing ): nhằm bảo đảm việc người dùng có hệ thống mà họ yêu cầu Việc kiểm nghiệm hoàn thành ngường dùng phụ thuộc vào hiểu biết họ yêu cầu Ngoài có: - Alpha Test: Là kiểm thử hoạt động chức thực tế giả lập người dùng/khách hàng nơi phát triền phần mềm, lập trình viên ghi nhận lại lỗi phản hồi lên kế hoạch sửa lỗi - Beta Test: phần mềm gửi đến cho người sử dụng để kiểm tra môi trường thực, lỗi,hoặc phản hồi gửi ngược lại cho lập trình viên để sửa • Các phân loại khác dựa phương pháp thử nghiệm (thường dùng mức kiểm ta đơn vị) - Kiểm nghiệm hộp đen (Black box testing) dùng để kiểm tra chức Các phương pháp kiểm thử hộp đen: Phân lớp tương đương- Equivalence partitioning Phân tích giá trị biên – Boundary value analysis Kiểm thử cặp – All-pairs testing Kiểm thử fuzz – Fuzz testing Kiểm thử dựa mô hình – Model-base testing Ma trận dấu vết-Traceability matrix Kiểm thử thăm dò – Exploratory testing Kiểm thử dựa đặc tả -Specification–base testing Ưu nhược điểm: Các tester kiểm thử theo phương pháp blackbox testing “mối ràng buộc” với code,và nhận thức tester đợn giản: source code nhiều lỗi Sử dụng nguyên tắc “hỏi bạn nhận” tester blackbox tìm nhiều bug nơi mà DEV không tìm thấy.Mặt khác, việc kiểm thử blackbox xem “là bước mê cung tối đen mà không mang đèn pin” tester phần mềm test xây dựng Vì vậy,black box testing có ưu điểm “an unaffiliated opinion” (một quan điểm độc lập) mặt khác có nhược điểm “blind exploring”(khám phá mù) - Kiểm nghiệm hộp trắng (White box testing) dùng đề kiểm tra cấu trúc Các phương pháp kiểm thử hộp trắng: Kiểm thử giao diện lập trình ứng dụng- API testing (Application programming interface):là phương pháp kiểm thử ứng dụng API công khai riêng tư Bao phủ mã lệnh – Code coverage: tạo kiểm tra để đáp ứng số tiêu chuẩn bao phủ mã lệnh Các phương pháp gán lỗi – Fault injection Các phương pháp kiểm thử hoán chuyển – Mutation testing methods Kiểm thử tĩnh –Static testing: kiểm thử hộp trắng bao gồm kiểm thử tĩnh Phương pháp kiểm thử hộp trắng sử dụng để đánh giá hoàn thành kiểm thử mà tạo với phương pháp kiểm thử hộp đen Sau ta thấy bảng sau 3.2.2 Các icon Selenium Hinh: kí hiệu SELENIUM 22 : điều chỉnh tốc độ nhanh chậm chạy testcase : nút chạy tất testcase : nút chạy testcase : nút cho phép dùng test lúc : bỏ qua testcase bị dừng : sử dụng để thu testcase qua thao tác bạn tác động đến trang web cần kiểm thử Textbox Command: dòng lệnh Testbox Target: Kết mong đợi dòng lệnh Texbox Value: Giá trị đầu vào dòng lệnh Bảng Selenium lưu lại lệnh ,kết mong đợi giá trị đầu vào lệnh Nếu kích vào tab Source , ta thấy Selenium IDE có dạng HTML 23 Khu vực Textbox Value hiển thị log Selenium tescase chạy Nếu có testcase bị thất bại Selenium IDE log lỗi Log: hiển thị thông báo lỗi bước thực thi Reference: thẻ tham chiếu UI-Element Rollup: tính nâng cao Selenium Note: Các test case có điểm bắt đầu Các test case không cần dựa test case khác để chạy 3.2.3 Các thao tác để kiểm thử tự động với Selenium IDE 3.2.3.1.Chế độ ghi Theo mặc định sau bất Selenium IDE lên chế độ ghi bật Để Tắt/Bật chế độ ta bấm vào nút đỏ tròn Record đây: 24 Như hình Hình : Khởi động chế độ ghi Ta lấy ví dụ sau: Đây kịch đơn giản , thực hành bằn cách ghi Scripts Selenium IDE Đầu tiên ta bật trình duyệt FireFox lên Tru cập vào trang http://www.google.com.vn Gõ khóa tìm kiếm :VP9tv Truy cập vào trang chủ VP9tv bảng kết trả Google 25 Kiểm tra xem Title trang chủ VP9tv có phải “VP9.TV| truyền hình internet cho người Việt nước ngoài” Chúng ta bật trình duyệt làm việc thường công việc chúng làm tay kết trả có nhìn toàn diện sau: 26 3.2.3.2 Mở/Lưu testcase có sẵn Chọn File/Open , chọn testcase thư mục để mở Có khác biệt testcase testsuite Testsuite tập testcase , để lưu lại bước kiểm thử người dùng lưu lại testcase riêng lẻ, lưu lại nhiều testcase dạng testsuite Chương trình nhắc nhở ta lưu chúng trước testcase testsuite chưa lưu 3.2.3.3 Thực thi IDE có nhiều lựa chọn để chạy testcase bạn Bạn chạy testcase hay toàn testcase (là testsuite) lúc, dừng lại hay tiếp tục chạy kịch đoạn , chạy lệnh mà bạn phát triển Run: (thực thi testcase) : Nhấp nút Run để chạy testcase mà bạn chọn Run : (thực thi tất testcse) : Nhấp nút Run All để chạy tất testcase mở Stop and Start: nút Pause dùng để tạm dừng testcase chạy Để tiếp tục chạy testcase bị tạm dừng, click nút Resume Chúng ta thiết lập điểm ngắt , điểm tiếp tuc dựa vào : Breakpoints /Startpoints( điểm ngắt / điểm tiếp tục) Breakpoints: Selenium IDE hỗ trợ thiết lập điểm ngắt, ngừng hoạt động testcase từ điểm trường hợp thử nghiệm Người ta chạy lệnh cụ thể testcase kiểm tra testcase hoạt động thời điểm Để làm điều này, thiết lập breakpoints trước lệnh mà bạn muốn kiểm tra 27 Để thiết lập breakpoints, chọn lệnh, nhấp chuột phải, từ trình đơn ngữ cảnh chọn Toggle Breakpoint Sau nhấp nút Run để chạy testcase bạn đến điểm dừng Startpoints: Việc đặt Startponit hữu ích để chạy testcase từ nới testcase đặt sau Breakpoint để tiếp tục vị trí Để thiết lập Startpoint , chọn lệnh, nhấp chuột phải, từ trình đơn ngữ cảnh chọn Set/Clear Starpoint sau nhấn nút Run để thực đầu testcase Startpoint 3.2.3.4.Gỡ rối Khi bạn chạy Testcase, thông báo lỗi thông báo thông tin hiển thị môt cách tự động cửa sổ , bạn không chọn Log Các thông báo thường hữu ích để gỡ rối Test Case Chú ý nút Clear để xóa Log cho lần chạy thử nghiệm Gỡ rối việc bạn tìm sửa lỗi xảy kịch Đây công việc bình thường bạn muốn phát triển thử nghiệm 28 3.2.3.5.Chèn Chèn dạng bảng Chọn điểm testcase bạn nơi bạn muốn chèn Để làm điều , nhấp chuột trái lệnh nơi bạn muốn chèn Nhấp chuột phải chọn Insert, IDE thêm dòng trống trước dòng bạn chọn Bây sử dụng lệnh chỉnh sửa văn để nhập lệnh bạn thông số Hình: Chèn dạng bảng • Chèn mã nguồn: 29 Chọn điểm Testcase bạn nơi bạn muốn chèn Để làm điều này, nhập vào thẻ HTML cần thiết để tạo bảng chứa dòng cột Cột ứng với tham số command (tên câu lệnh) Cột thứ hai ứng với tham Target (vị trí phần tử cử Web) Cột thứ ba ứng với tham số Value (giá trị) Hinh: Chèn lệnh mã nguồn • Chèn nhận xét Nhận xét (Comment) thêm vào đẻ làm testcase bạn dễ đọc Những comment bỏ qua Testcase chạy Khác với thêm command thêm comment trống không gây lỗi cho scripts bạn 30 • Chèn dạng bảng Chọn dòng testcase bạn nơi bạn muốn chèn Nhấp chuột phải vào chọn Insert Comment Comment bạn xuất văn với màu tím Hình: chèn nhận xét dạng bảng • Chèn mã nguồn : Chọn điểm testcase bạn , nơi muốn chèn Thêm bình luận dạng HTML 31 Hình: Chèn nhận xét mã nguồn 3.2.3.6.Sửa Command/Comment • Sửa dạng bảng: Đơn giản cần chọn dòng thay đổi chỉnh sửa cách sử dụng command, target hay lĩnh vực giá • Sửa dạng mã nguồn: Chỉ cần sửa đổi dòng mà bạn muốn lệnh,tham số, bình luận giống bạn chỉnh sửa văn trình soạn thảo 3.2.4 Các câu lệnh trông Selenium IDE 32 Selenium cung cấp tập đầy đủ lệnh để kiểm thử ứng dụng web, kiểm thử tình trạng yếu tố giao diện người dùng dựa vào thẻ HTML , kiểm thử nội dung xác định , kiểm thử link hỏng lỗi , trường đầu vào, lựa chọn danh sách Một lệnh mô tả thao tác phải làm Lệnh Selenium bao gồm yếu tố: Action, accessors,assertion • Action: thao tác chung ứng dụng VD: “Click this link” , “Select that option” Nếu thao tác thất bại có lỗi , việc thực thi kiểm thử bị dừng Một vài hành động sử dụng hậu tố “AndWait” , VD: “Click And Wait” Selenium sử dụng hậu tố trường hợp chờ trang web tải • Accessors: kiểm tra trạng thái ứng dụng lưu trữ kết vào biến VD: “StoreTitle” Chúng sử dụng để sinh tự động Assertion • Assertion: Giống Accessors , xác định trạng thái ứng dụng thích nghi với kết mong đợi Asserton Selenium chia thành dạng :”assert”, “ verify”, “waitFor” Khi “assert” thất bại việc kiểm thử dừng lại , “verify” thất bại việc kiểm thử tiếp tục hiển thị lỗi Lệnh “waitFox” chờ vài điều kiện thực thi , thành công điều kiện , thất bại tạm dừng điều kiện không • Một số lệnh thường sử dụng Selenium - Open: mở ứng dụng web sử dụng URL - Click/Click And Wait : thực thi click đợi tải trang web - VerifyTitle/AssertTitle:Xác nhận tiêu đề trang mong đợi - VeriffyTextPresent:Xác nhận văn mong đợi vị trí trang 33 - VerifyElementPresent: Xác nhận yếu tố mong đợi giao diện người sử dụng định nghĩa thẻ HTML - VerifyText:Xác nhận văn mong đợi thẻ HTML tương ứng - VerifyTable: Xác nhận nội dung mong đợi bảng - WaitForPageToLoad: Tạm dừng thực thi lệnh trang web mong đợi tải thành công , gọi tự động sử dụng lệnh ClickAndWait - WaitForElementPresent: Tạm dừng thực thi yếu tố giao diện người dùng xuất trang web KẾT LUẬN Kiểm thử phần mềm vấn đề quan trọng với tổ chức phát triển phần mềm Trong khuôn khổ luận án, thời gian kinh nghiệm hạn chế nên luận án nhiều sai xót Dưới hướng dẫn KS Lê Thị Vui luận án em thực tốt mục tiêu đề đạt kết sau: - Kết đạt được: Trình bày đầy đủ xác vấn đề tổng quan phần mềm, công nghệ phần mềm, lỗi phần mềm Giới thiệu công cụ kiểm thử phần mềm Selenium Selenium IDE - Hạn chế: Mặc dù cố gắng thời gian thực luận án, với kinh nghiệm tài liệu hạn chế nên luận án nhiều thiếu xót Mới nghiên cứu công cụ kiểm thử Selenium - Hướng phát triển: Trong thời gian tới em cố gắng tiếp tục nghiên cứu sâu vấn đề kiểm thử phần mềm đặc biệt công cụ kiểm thử Selenium để vận dụng vào kiểm thử ứng dụng lớn thực tế công việc tương lai 34 Tài liệu tham khảo Tiếng anh: [1] Hung Q.Nguyen,Bob Johson, Michael Hackell, Testing Applications on the Web [2] David Burn, Selenium.1.0.Testing.Tools.Beginners.Guide.Nov.2010 [3] The Selenium Documentation Team, Selenium,Selenium_Documentation [4] Software Engineering Terminology Trên Web: [5] http://forums.testervn.com [6] http://testingvn.com [7] http://seleniumhq.org [8] http://guru99.com [9] http://google.com [10] http://tech.blog.framgia.com 35 36