TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ──────── * ─────── ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NGÀNH CÔNG NGHỆ THÔNG TIN PHÁT TRIỂN DỊCH VỤ THÔNG TIN ĐỊA ĐIỂM DỄ MỞ RỘNG QUY MÔ LỚN Sinh viên thực hiện: Đặng Việt Hùng Lớp CNPM – K51 Giáo viên hướng dẫn: TS Nguyễn Khanh Văn HÀ NỘI 5-2011 Sinh viên thực hiện: Đặng Việt Hùng –20061444. Khóa K51 Lớp Công nghệ phần mềm 1 Sinh viên thực hiện: Đặng Việt Hùng –20061444. Khóa K51 Lớp Công nghệ phần mềm 2 LỜI CẢM ƠN Trước tiên em xin gửi lời cảm ơn chân thành đến các thầy cô giáo trong trường đại học Bách Khoa Hà Nội nói chung và các thầy cô giáo trong Viện Công Nghệ Thông Tin và Truyền Thông, bộ môn Công Nghệ Phần Mềm nói riêng đã tận tình giảng dạy, truyền đạt cho em những kiến thức, những kinh nghiệm quý báu trong suốt 5 năm qua. Đặc biệt em xin gửi lời cảm ơn đến thầy TS Nguyễn Khanh Văn, thầy đã tận tình giúp đỡ, trực tiếp chỉ bảo, hướng dẫn em trong suốt quá trình làm đồ án tốt nghiệp. Trong thời gian làm việc với thầy, em không chỉ tiếp thu thêm được nhiều kiến thức mới, bổ ích mà còn học hỏi được nhiều kinh nghiệm thực tiễn khi tham gia dự án Foloyu, đây là những điều rất cần thiết cho em trong quá trình học tập và công tác sau này. Em cũng xin gửi lời cảm ơn tới thầy Trịnh Tuấn Đạt và các bạn trong nhóm làm dự án Foloyu đã giúp đỡ em rất nhiều trong suốt thời gian làm đồ án tốt nghiệp. Cuối cùng con xin gửi lời cảm ơn chân thành tới gia đình đặc biệt là bố mẹ đã động viên, cổ vũ con trong suốt 5 năm qua. Hà Nội, ngày … tháng … năm 2011 Sinh viên : Đặng Việt Hùng Lớp : Công nghệ phần mềm – K51 Khoa : Viện Công nghệ Thông tin và truyền thông Đại học Bách Khoa Hà Nội LỜI CẢM ƠN Trước tiên em xin gửi lời cảm ơn chân thành đến các thầy cô giáo trong trường đại học Bách Khoa Hà Nội nói chung và các thầy cô giáo trong Viện Công Nghệ Thông Tin và Truyền Thông, bộ môn Công Nghệ Phần Mềm nói riêng đã tận tình giảng dạy, truyền đạt cho em những kiến thức, những kinh nghiệm quý báu trong suốt 5 năm qua. Đặc biệt em xin gửi lời cảm ơn đến thầy TS Nguyễn Khanh Văn, thầy đã tận tình giúp đỡ, trực tiếp chỉ bảo, hướng dẫn em trong suốt quá trình làm đồ án tốt nghiệp. Trong thời gian làm việc với thầy, em không chỉ tiếp thu thêm được nhiều kiến thức mới, bổ ích mà còn học hỏi được nhiều kinh nghiệm thực tiễn khi tham gia dự án Foloyu, đây là những điều rất cần thiết cho em trong quá trình học tập và công tác sau này. Em cũng xin gửi lời cảm ơn tới thầy Trịnh Tuấn Đạt và các bạn trong nhóm làm dự án Foloyu đã giúp đỡ em rất nhiều trong suốt thời gian làm đồ án tốt nghiệp. Cuối cùng con xin gửi lời cảm ơn chân thành tới gia đình đặc biệt là bố mẹ đã động viên, cổ vũ con trong suốt 5 năm qua. Hà Nội, ngày … tháng … năm 2011 Sinh viên : Đặng Việt Hùng Lớp : Công nghệ phần mềm – K51 Khoa : Viện Công nghệ Thông tin và truyền thông Đại học Bách Khoa Hà Nội PHIẾU GIAO NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP 1. Thông tin về sinh viên Họ và tên sinh viên: Đặng Việt Hùng Điện thoại liên lạc: 0984.562.829 Email: danghung1202@gmail.com Lớp: Công nghệ phần mềm K51 Hệ đào tạo: Đại học chính quy Đồ án tốt nghiệp được thực hiện tại: Bộ môn Công nghệ phần mềm Thời gian làm ĐATN: Từ ngày 21/02/2011 đến 27/05/2011 2. Mục đích nội dung của ĐATN Tìm hiểu, nghiên cứu các vấn đề lý thuyết và công nghệ xử lý dữ liệu lớn để xây dựng một dịch vụ mạng quản lý địa điểm đảm bảo tính dễ mở rộng quy mô (scalability) đáp ứng nhu cầu cá nhân, cũng như kết nối với các hệ thống dịch vụ khác, trước hết là tích hợp mạng địa xã hội Foloyu. Phân tích, đánh giá hiệu quả của các công nghệ xử lý dữ liệu lớn qua đó lựa chọn giải pháp hiệu quả để cài đặt vào dịch vụ mạng quản lý địa điểm. Tìm hiểu thuận toán tìm kiếm các địa điểm gần một đường đi cho trước thỏa mãn một số tiêu chí nhất định. Triển khai thuật toán trên dịch vụ của Google Map. 3. Các nhiệm vụ cụ thể của ĐATN  Tìm hiểu lý thuyết các công nghệ xử lý dữ liệu lớn MapReduce và Memcached.  Cài đặt thử nghiệm và đánh giá hiệu quả của các công nghệ MapReduce, Memcached qua đó lựa chọn giải pháp áp dụng vào dịch vụ mạng quản lý địa điểm.  Tìm hiểu công nghệ lập trình Java, Servlet, JSP, và xây dựng Web Service trên Java.  Tìm hiểu Google Map API, qua đó cài đặt thuật toán tìm kiếm các địa điểm gần một đường đi cho trước trên Google Map.  Xây dựng dịch vụ mạng quản lý địa điểm tích hợp vào mạng đia xã hội Foloyu và ứng dụng thử nghiệm. 4. Lời cam đoan của sinh viên Tôi – Đặng Việt Hùng - cam kết ĐATN là công trình nghiên cứu của bản thân tôi dưới sự hướng dẫn của TS.Nguyễn Khanh Văn. Các kết quả nêu trong ĐATN là trung thực, không phải là sao chép toàn văn của bất kỳ công trình nào khác. Hà Nội, ngày 27 tháng 05 năm 2011 Tác giả ĐATN Đặng Việt Hùng Sinh viên thực hiện: Đặng Việt Hùng –20061444. Khóa K51 Lớp Công nghệ phần mềm 3 5. Xác nhận của giáo viên hướng dẫn về mức độ hoàn thành của ĐATN và cho phép bảo vệ: ……………………………………………………………………………………….…….… ……………………………………………………………………………………….…….… ……………………………………………………………………………………….…….… ……………………………………………………………………………………….…….… ……………………………………………………………………………………….…….… Hà Nội, ngày 27 tháng 05 năm 2011 Giáo viên hướng dẫn TS Nguyễn Khanh Văn Sinh viên thực hiện: Đặng Việt Hùng –20061444. Khóa K51 Lớp Công nghệ phần mềm 4 TÓM TẮT NỘI DUNG ĐỒ ÁN TỐT NGHIỆP Những năm gần đây khi Internet ngày càng phát triển ở Việt Nam, các bản đồ số, các hệ thống tra cứu địa điểm ra đời đã đáp ứng nhu cầu tìm kiếm, tra cứu địa điểm của con người. Tuy nhiên đối với với một số tổ chức, doanh nghiệp, các cá nhân trong các ngành như du lịch, bất động sản, mua sắm trực tuyến, thì việc giới thiệu các địa điểm, vị trí đến với người dùng, những khách hàng của họ lại phụ thuộc vào các hệ thống xây dựng sẵn có như vậy. Do đó, nhu cầu về một dịch vụ mạng quản lý địa điểm là rất cần thiết. Đồ án này tập trung vào xây dựng một một giải pháp cho vấn đề trên, đó là dịch vụ mạng thông tin địa điểm đáp ứng nhu cầu sử dụng của cá nhân, các tổ chức cũng như tích hợp với các hệ thống khác. Dịch vụ mạng này phải có tính dễ mở rộng quy mô (scalability) và hỗ trợ tốt việc hiển thị trên bản đồ trực tuyến khi các hệ thống khác có nhu cầu. Để xây dựng được một dịch vụ như vậy, đồ án đã đề cập đến một số giải pháp công nghệ xử lý dữ liệu cực lớn được áp dụng thành công ở các hệ thống lớn của Google, Yahoo, hay Facebook như mô hình MapReduce, Memcached…Ngoài ra, nhằm đánh giá hiệu quả của dịch vụ mạng quản lý địa điểm, đồ án cũng xây dựng một hệ thống thử nghiệm có tích hợp dịch vụ này kết hợp hiển thị, tìm kiếm địa điểm trên bản đồ trực tuyến của Google. Từ khóa —Địa điểm, MapReduce, Memcached, Google Map, Design Application Scalability, Web Service. Sinh viên thực hiện: Đặng Việt Hùng –20061444. Khóa K51 Lớp Công nghệ phần mềm 5 ABSTRACT OF THESIS In recent years, Internet has been developing rapidly in Viet Nam. The appearance of digital Mapping Services and Location Searching Services has met the people’s need for searching and finding places. However, the locations of organizations, companies, individuals in tourist, real estate, shopping business showed and introduced to costumers depend a lot on such services mentioned above. Therefore, a location management service is very in need. My thesis focus on a location management service that meets the demands of individuals and organizations and it can be integrated into other systems. This service has to be scalable and provide the displays on online map when other systems request service. In order to build such a service, my thesis is based on some solutions to large data processing technology such as MapReduce, Memcached…In addition, to evaluate the effectiveness of location management service, I have built a system integrated with this service to display and search locations on Google Map. Keywords—Location Service, MapReduce, Memcached, Web Service, Design Application Scalability. Sinh viên thực hiện: Đặng Việt Hùng –20061444. Khóa K51 Lớp Công nghệ phần mềm 6 MỤC LỤC PHIẾU GIAO NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP 3 TÓM TẮT NỘI DUNG ĐỒ ÁN TỐT NGHIỆP 5 ABSTRACT OF THESIS 6 MỤC LỤC 7 DANH MỤC CÁC BẢNG 8 DANH MỤC CÁC HÌNH 9 DANH MỤC CÁC TỪ VIẾT TẮT VÀ THUẬT NGỮ 11 MỞ ĐẦU 12 PHẦN I: TỔNG QUAN VỀ ĐỀ TÀI 14 ĐẶT VẤN ĐỀ VÀ PHƯƠNG PHÁP THỰC HIỆN 14 CƠ SỞ LÝ THUYẾT VÀ CÔNG NGHỆ 18 PHẦN II: CÁC KẾT QUẢ ĐẠT ĐƯỢC 32 CÀI ĐẶT MEMCACHED TRONG HỆ THỐNG 33 PHÂN TÍCH HỆ THỐNG THỬ NGHIỆM TÍCH HỢP DỊCH VỤ THÔNG TIN ĐỊA ĐIỂM 38 KẾT QUẢ CÀI ĐẶT, TRIỂN KHAI VÀ CHẠY THỬ 72 KẾT LUẬN 81 TÀI LIỆU THAM KHẢO 82 PHỤ LỤC 84 Sinh viên thực hiện: Đặng Việt Hùng –20061444. Khóa K51 Lớp Công nghệ phần mềm 7 DANH MỤC CÁC BẢNG Bảng 1: Thay đổi key-value qua các quá trình 23 Bảng 2: Chiến lưu trữ key-value với memcacehd trong hệ thống 36 Bảng 3: Các tác nhân của hệ thống 39 Bảng 4: Bảng thông tin User 59 Bảng 5: Bảng thông tin địa điểm 59 Bảng 6: Bảng thông tin Hạ tầng mạng của địa điểm 60 Bảng 7: Bảng các địa điểm ưa thích của user 60 Bảng 8:Bảng thông tin loại địa điểm 60 Bảng 9: Bảng bài viết liên quan đến địa điểm 61 Bảng 10: Bảng bình luận của địa điểm 61 Bảng 11: Bảng kết nối giữa Địa điểm và Loại địa điểm 61 Bảng 12: Bảng Multimedia 62 Bảng 13: Bảng Block – Thông tin Phường Xã 62 Bảng 14: Bảng District-Thông tin Quận Huyện 62 Bảng 15: Bảng Province-Thông tỉn Tỉnh/Thành Phố 63 Bảng 16: Bảng đánh giá dịch vụ quản lý địa điểm và các hệ thống khác 79 Sinh viên thực hiện: Đặng Việt Hùng –20061444. Khóa K51 Lớp Công nghệ phần mềm 8 DANH MỤC CÁC HÌNH Hình 1: Mô hình mạng xã hội Foloyu 16 Hình 2: Kiến trúc client-server truyền thống 19 Hình 3: Kiến trúc phân tán thông thường 20 Hình 4: Kiến trúc client-server trong hệ thống sử dụng 20 Hình 5: Kiến trúc đặc trưng đầy đủ của hệ thống sử dụng memcached 21 Hình 6: Luồng dữ liệu xử lý bài toán 22 Hình 7: Luồn xử lý dữ liệu khi áp dụng mô hình MapReduce 24 Hình 8: Mô hình thực thi MapReduce 25 Hình 9: Kiến trúc Web Service 28 Hình 10: Minh họa một Request message 29 Hình 11: Minh họa một Response message 30 Hình 12: Minh họa một WSDL 30 Hình 13: Kiến trúc client-server khi áp dụng Memcached 34 Hình 14: Kiến trúc hệ thống 38 Hình 15: Usecase tổng quan hệ thống 40 Hình 16: Usecase Xem danh sách địa điểm 41 Hình 17: Usecase Xem bản đồ 43 Hình 18: Usecase Tìm kiếm địa điểm 43 Hình 19: Usecase Xem loại địa điểm 45 Hình 20: Usecase Xem thông tin chi tiết địa điểm 46 Hình 21: Usecase Tìm đường đi 47 Hình 22: Usecase Đăng địa điểm 48 Hình 23: Usecase Cập nhật địa điểm 49 Hình 24:Usecase Quản lý địa điểm 50 Hình 25:Usecase Quản lý tài nguyên liên quan đến địa điểm 50 Hình 26:Usecase Đánh giá địa điểm 51 Hình 27: Usecase Đăng ký làm chủ sở hữu 52 Hình 28: Usecase Thống kê địa điểm 52 Hình 29:Usecase Xem danh sách địa điểm của vùng 53 Hình 30: Usecase Quản lý tài nguyên của User đăng lên 53 Hình 31: Usecase Thêm user là chủ sở hữu vật tư 54 Hình 32: Thiết kế giao diện trang chủ 55 Hình 33: Thiết kế giao diện trang Xem địa điểm theo loại 56 Hình 34: Thiết kế giao diện trang Hiển thị thông tin chi tiết địa điểm 56 Hình 35: Sơ đồ thực thể liên kết 57 Hình 36: Biểu đồ dữ liệu quan hệ 58 Hình 37: Kiến trúc phân tầng 63 Sinh viên thực hiện: Đặng Việt Hùng –20061444. Khóa K51 Lớp Công nghệ phần mềm 9 Hình 38: Biểu đồ lớp 65 Hình 39: Package location.site 66 Hình 40: Package location.business.repositories 67 Hình 41: Sơ đồ thao tác thêm mới địa điểm 68 Hình 42: Sơ đồ thao tác Cập nhật thông tin địa điểm 69 Hình 43: Sơ đồ thao tác Tìm kiếm địa điểm 70 Hình 44: Sơ đồ thao tác xóa địa điểm 71 Hình 45: Sơ đồ kế hoạch triển khai thử nghiệm 72 Hình 46: Giao diện trang chủ 74 Hình 47: Giao diện trang Duyệt địa điểm theo loại 75 Hình 48: Giao diện của trang xem thông tin chi tiết địa điểm 76 Hình 49: Giao diện trang tìm kiếm địa điểm xung quang đường 77 Hình 50: Giao diện trang thêm địa điểm 78 Sinh viên thực hiện: Đặng Việt Hùng –20061444. Khóa K51 Lớp Công nghệ phần mềm 10 [...]... bố trên toàn quốc lại chưa có một dịch vụ tra cứu địa điểm lại để tích hợp vào hệ thống của mình Vì vậy trong đồ án này, tác giả hướng tới phát triển một dịch vụ thông tin địa điểm có khả năng đáp ứng nhu cầu cá nhân hay các tổ chức…cũng như tích hợp vào các hệ thống khác Dịch vụ này phải đảm bảo khả năng mở rộng quy mô (scalability) khi cơ sở dữ liệu địa điểm là rất lớn, đồng thời hỗ trợ tốt việc hiển... nhiều hệ thống  Dịch vụ cần đảm bảo tính mở rộng quy mô về dữ liệu khi cơ sở dữ liệu địa điểm là rất lớn  Dịch vụ phải sử dụng được cho các hệ thống sử dụng các nền tảng khác nhau  Xây dựng hệ thống thử nghiệm nhằm đánh giá hiệu quả của dịch vụ được phát triển Nhằm giải quy t nhưng vấn đề trên, tác giả đã xây dựng hệ thống thành 2 giai đoạn:  Giai đoạn 1: Xây dựng dịch vụ quản lý địa điểm dưới dạng... có liên quan đến địa điểm như hiển thị vị trí các đại lý, cửa hàng, các danh lam thắng cảnh hay đơn giản chỉ là chia sẻ các địa điểm ưa thích của mình thì dịch vụ thông tin địa điểm cũng có thể đáp ứng Với giải pháp trên, đồ án cần giải quy t được những vấn đề sau: Sinh viên thực hiện: Đặng Việt Hùng –20061444 Khóa K51 Lớp Công nghệ phần mềm 14  Phát triển được dịch vụ thông tin đia điểm đảm bảo các... lịch, bất động sản, quảng bá mua sắm, giải trí và mạng xã hội địa điểm- một mô hình mạng xã hội dựa địa điểm mới phát triển mạnh ở Việt Nam từ năm 2010-2011 Với mong muốn đưa đến người dùng các thông tin địa điểm chính xác và trực quan, các hệ thống trên đã phát triên các hệ thống thông tin địa điểm của riêng mình Tuy nhiên các hệ thống chỉ phát triển đáp ứng được nhu cầu đặc thù, chuyên biệt của tổ chức... các quan hệ khóa lỏng lẻo  Dịch vụ cần đảm bảo tính mở rộng quy mô về dữ liệu khi cơ sở dữ liệu địa điểm là rất lớn => Các công nghệ xử lý dữ liệu lớn đảm bảo tính mở rộng quy mô  Dịch vụ phải sử dụng được cho các hệ thống sử dụng các nền tảng khác nhau => Các chức năng được xây dựng dưới dạng web service Với những cách tiếp cận trên, một số công nghệ chuyên xử lý dữ liệu lớn như Memcached, MapReduce,... Google Map API Tuy công nghệ Google Map và các dịch vụ của Google không áp dụng nhiều trong việc phát triển phía server là dịch vụ thông tin địa điểm nhưng lại đặc biệt quan trọng khi xây dựng một ứng dụng hoàn chỉnh về địa điểm nhất là khi xây dựng phía client Một điều quan trọng nữa đó là dịch vụ quản lý địa điểm cung cấp một số API gắn liên với tọa độ vệ tinh của Google Google Maps Javascript API cho... dụng công nghệ Memcached và phân tích các chức năng của dịch vụ thông tin địa điểm Cuối phần II, tác giả cũng nêu rõ các kết quả đã đạt được trong quá trình thử nghiệm và tích hợp dịch vụ Những kết quả này sẽ là cơ sở để đánh giá những ưu điểm đạt được, những hạn chế, thiếu sót và phương hướng phát triển giai đoạn 2 của dịch vụ thông tin địa điểm trong tương lai gần Bố cục của phần II bao gồm ba chương... nghệ Memcached  Mô hình MapReduce  Kiến trúc Web Service  Giới thiệu về Google Map API Để phát triển được dịch thông tin địa điểm có tính dễ mở rộng quy mô (scalability), tác giả đã tập trung tìm hiểu các công nghệ xử lý dữ liệu cực lớn Các công nghệ này đã được áp dụng thành công ở các hệ thống lên đến hàng triệu người dùng với lượng dữ liệu cần xử lý hàng terabyte, petabyte như mô hình MapReduce... nghiệm, tác giả nhận thấy mô hình MapReduce thích hợp xử lý các bài toán mang tính thống kê dữ liệu nên hiện tại trong đồ án chưa thể áp dụng mô hình này Trong tương lai, tác giả sẽ tiếp tục tìm hiểu để thực thi mô hình cho dịch vụ thông tin địa điểm 1.5 Web Service Nhằm xây dựng một dịch vụ quản lý địa điểm có thể dùng cho nhiều hệ thống trên nhiều nền tảng, tác giả đã phát triển hệ thống với kiến trúc... 2010-2011 với sự ra đời của các mạng địa điểm như go.vn, kunkun.vn hay Yoo! Khi tham gia mạng xã hội địa điểm, người dùng ngoài việc tìm kiếm thông tin về địa điểm, có thể tạo ra một mạng kết nối với các người dùng khác thông qua việc họ hiển thị đăng nhập và chia sẻ với nhau các địa điểm mình quan tâm Foloyu cũng là một trong mạng xã hội địa điểm như vậy, được phát triển với nhiều thành phần và cơ sở . NỘI VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ──────── * ─────── ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NGÀNH CÔNG NGHỆ THÔNG TIN PHÁT TRIỂN DỊCH VỤ THÔNG TIN ĐỊA ĐIỂM DỄ MỞ RỘNG QUY MÔ LỚN Sinh viên thực. Bảng thông tin User 59 Bảng 5: Bảng thông tin địa điểm 59 Bảng 6: Bảng thông tin Hạ tầng mạng của địa điểm 60 Bảng 7: Bảng các địa điểm ưa thích của user 60 Bảng 8:Bảng thông tin loại địa điểm. khóa lỏng lẻo.  Dịch vụ cần đảm bảo tính mở rộng quy mô về dữ liệu khi cơ sở dữ liệu địa điểm là rất lớn => Các công nghệ xử lý dữ liệu lớn đảm bảo tính mở rộng quy mô.  Dịch vụ phải sử dụng