HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG - NGUYỄN THI ̣ THU HƯƠNG KỸ THUẬT RENDER VOLUME TRONG HIỂN THỊ DỮ LIỆU 3D TỪ HÌ NH CHIẾU Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: : 60.48.01 TÓM TẮT LUẬN VĂN THẠC SỸ KĨ THUẬT HÀ NỘI – NĂM 2012 Luận văn hoàn thành tại: HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Người hướng dẫn khoa học: PGS.TS ĐỖ NĂNG TOÀN Phản biện 1:…………………………… …………………… Phản biện 2: ………………………………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Công nghệ Bưu Viễn thông Vào lúc: ngày .tháng năm Có thể tìm hiểu luận văn tại: - Thư viện Học viện Công nghệ Bưu Viễn thông Vào lúc: ngày tháng năm 1 LỜI MỞ ĐẦU Lý chọn đề tài Cùng với phát triển Đồ họa máy tính Xử lý ảnh số máy tính làm thay đổi tương tác người máy, kỹ thuật ứng dụng đồ hoạ ngày cao nên nhiều người quan tâm nghiên cứu đến lĩnh vực Do mà ứng dụng đồ hoạ máy tính đời như: phim hoạt hình, Game với hệ thống thực ảo… đóng góp cho phát triển chung nghành Công nghệ thông tin Vì đồ hoạ máy tính trở thành lĩnh vực hấp dẫn có nhiều ứng dụng thực tế Hiển thị liệu chiều (3D) từ hình chiếu coi bước khởi đầu cho hệ thống mô thực ảo, góp phần tạo nên hệ thống mô hoàn chỉnh Một cách tiếp cận hiển thị liệu chiều phổ biến dựa kỹ thuật Render volume Trong trình hiển thị liệu chiều vấn đề hiển thị liệu đảm bảo chất lượng phải đáp ứng yêu cầu thời gian hiển thị cho bước mô Hiển thị hình ảnh ba chiều vật thể thực từ hình chiếu lĩnh vực thu hút quan tâm nhiều giới nghiên cứu lĩnh vực công nghệ thông tin chục năm qua Hình ảnh hiển thị từ máy tính sử dụng hiệu nhiều lĩnh vực khác giáo dục, giải trí, kiến trúc, đặc biệt chuẩn đoán hình ảnh y tế, Kỹ thuật Render volume hiển thị hình ảnh 3D từ hình chiếu đề tài mẻ có ứng dụng lớn trong lĩnh vực tái tạo phục dựng đối tượng Xuất phát từ thực tế luận văn lựa chọn đề tài: “Kỹ thuật render volume hiển thị liệu 3D từ hình chiếu” Mục đích đề tài - Nghiên cứu Kỹ thuật Render Volume hiển thị hình ảnh 3D từ hình chiếu - Trên sở kiến thức tìm hiểu được, cài đặt thử nghiệm chương trình hiển thị hình ảnh 3D từ ảnh chụp cắt lớp y tế Tổ chức luận văn Nội dung luận văn gồm có: Phần mở đầu: Trình bày lý chọn đề tài mục đích tổ chức luận văn 2 Chƣơng 1: Khái quát đồ họa chiều (3D) hiển thị liệu từ hình chiếu Trong chương trình bày khái quát đồ họa 3D, ứng dụng đồ họa ba chiều toán cách tiếp cận việc hiển thị liệu từ hình chiếu Chƣơng 2: Một số Kỹ thuật hiển thị ảnh chiều từ hình chiếu Trong chương giới thiệu số kỹ thuật hiển thị hình ảnh 3D từ hình ảnh hình chiếu 2D Chƣơng 3: Chương trình thử nghiệm Trình bày cài đặt thử nghiệm kỹ thuật hiển thị hình ảnh Render Volumme từ ảnh 2D ảnh y tế DICOM Và cuối kết luận đồ án việc làm hạn chế luận văn CHƢƠNG 1: TỔNG QUAN VỀ ĐỒ HOẠ CHIỀU VÀ HIỂN THỊ DỮ LIỆU TỪ HÌNH CHIẾU Trong chương trình bày khái quát đồ họa 3D, ứng dụng đồ họa ba chiều, tiêu chuẩn ảnh Dicom sử dụng ngành y tế toán cách tiếp cận việc hiển thị liệu từ hình chiếu 1.1 Khái quát đồ họa chiều 1.1.1 Đồ họa 3D + Phƣơng pháp biểu diễn 3D Có hai phương pháp biểu diễn đối tượng ba chiều phương pháp biểu diễn bề mặt (B-reps) biểu diễn theo phân hoạch không gian (space -partitioning representation) + Các phép biến đổi hình học : Các phép biến đổi thường sử dụng phép tịnh tiến, phép quay, phép biến dạng,…Các phép biến đổi mô tả ma trận Ma trận phép biến đổi có dạng khác + Vấn đề chiếu sáng (illumination) : Vật thể chiếu sáng nhờ vào ánh sáng đến từ nguồn sáng sau phản xạ nhiều lần qua vật thể xung quanh vật thể ta quan sát Do ánh sáng đến vật ánh sáng tổ hợp từ khắp hướng, ta gọi ánh sáng xung quanh (ambient light) hay ánh sáng (background light) + Trực quan hóa (Visualization) Trực quan hóa đồ họa máy tính sử dụng máy tính để tính toán liệu sau sử dụng đồ họa máy tính, đặc biệt đồ họa 3D để minh họa, biểu diễn liệu thành hình ảnh mà người hiểu dễ dàng giúp cho người tương tác với liệu[4] Dữ liệu liệu phát sinh mô đo đạc thực tế Kết biểu diễn phải biểu diễn xác tính chất tập liệu 1.1.1.1 Các kỹ thuật đồ họa 1.1.1.1.1 Kỹ thuật đồ hoạ điểm (Sample based-Graphics) - Các mô hình, hình ảnh đối tượng hiển thị thông qua pixel (từng mẫu rời rạc) - Đặc điểm: Có thể thay đổi thuộc tính + Xoá pixel mô hình hình ảnh đối tượng + Các mô hình hình ảnh hiển thị lưới điểm (grid) pixel rời rạc + Từng pixel có vị trí xác định, hiển thị với giá trị rời rạc (số nguyên) thông số hiển thị (màu sắc độ sáng) + Tập hợp tất pixel grid cho mô hình, hình ảnh đối tượng mà muốn hiển thị 1.1.1.1.2 Kỹ thuật đồ họa Vector - Mô hình hình học (geometrical model) cho mô hình hình ảnh đối tượng - Xác định thuộc tính mô hình hình học - Quá trình tô trát (rendering) để hiển thị điểm mô hình, hình ảnh thực đối tượng Có thể định nghĩa đồ hoạ vector: Đồ hoạ vector = geometrical model + rendering 1.1.1.2 Các chuẩn giao diện hệ đồ hoạ Mục tiêu phần mềm đồ hoạ chuẩn tính tương thích Khi công cụ thiết kế với hàm đồ hoạ chuẩn, phần mềm di chuyển cách dễ dàng từ hệ phần cứng sang hệ phần cứng khác dùng nhiều cài đặt ứng dụng khác 1.1.2 Các ứng dụng đồ hoạ 3D Những lĩnh vực nghiên cứu ứng dụng đồ hoạ 3D cách mạnh mẽ là: Y học, Giáo dục, Tin học, Thương mại, Giao thông, Hàng không, Xây dựng Thiết kế nội thất trang chí nhà cửa, Giải trí, Quân sự, Điện ảnh… Ý nghĩa việc ứng dụng đồ hoạ 3D Như thấy ý nghĩa to lớn việc ứng dụng đồ hoạ 3D, vấn đề khó khăn mà đồ hoạ 3D nói khó lòng mà giải quyết, hay giải hiệu không cao chi phí tốn Còn ứng dụng đồ hoạ 3D vào, vấn đề trở lên đơn giản, hiệu mang lại thực to lớn, kể vật chất lẫn tinh thần 1.2 Hiển thị liệu từ hình chiếu 1.2.1 Giới thiệu Đồ họa chiều (3D computer graphics) bao gồm việc bổ xung kích thước chiều sâu đối tượng, cho phép ta biểu diễn chúng giới thực cách xác sinh động 1.2.1.1 Đặc điểm kỹ thuật đồ hoạ 3D Có đối tượng phức tạp đối tượng không gian 2D - Bao mặt phẳng hay bề mặt - Có thành phần Các phép biến đổi hình học phức tạp Các phép biến đổi hệ toạ độ phức tạp Thường xuyên phải bổ sung thêm phép chiếu từ không gian 3D vào không gian 2D phải xác định bề mặt hiển thị 1.2.1.2 Các phƣơng pháp hiển thị 3D Với thiết bị hiển thị 2D có phương pháp sau để biểu diễn đối tượng 3D: - Kỹ thuật chiếu(projection):Trực giao (orthographic)/phối cảnh(perspective) - Kỹ thuật đánh dấu độ sâu (depth cueing) - Nét khuất (visible line/surface identification) - Tô chát bề mặt (surface rendering) - Cắt lát (exploded/cutaway scenes, cross-sections) Các thiết bị hiển thị 3D: - Kính stereo - Stereoscopic displays* - Màn hình 3D – Holograms 1.2.1.4 Tái tạo cấu trúc ba chiều từ hình chiếu Quá trình lấy mẫu thông thường dùng thiết bị để thu thông tin bên vật thể dạng lát cắt 2D Các tập ảnh 2D gồm số dạng: ảnh cắt lớp song song (parallel, serial, translation), ảnh cắt lớp xuyên tâm (oscillation, rotation), ảnh cắt lớp tự (freehand) Ảnh cắt lớp song song thường hệ thống máy CT, MRI, siêu âm…tạo ra, dạng thường gặp Ảnh cắt lớp xuyên tâm thường máy siêu âm tạo Ảnh cắt lớp theo kiểu tự thường gặp hệ thống siêu âm Các ảnh 2D tái tạo ảnh dạng khác, hình chiếu thu từ cảm biến camera đặt xung quanh vật thể a) b) c) e) a) Ảnh quét song song (translation), b)Ảnh quét oscillation c)Ảnh quét rotation, d)Ảnh quét tự (freehand) e) Ảnh (stereo) Hình 1.8 Các dạng ảnh 2D dùng để tái tạo ảnh 3D thƣờng gặp Nguyên tắc trình tái tạo ảnh ba chiều từ tập ảnh cắt lớp tìm cách xếp lại liệu từ lát cắt cho phù hợp với vị trí không gian thực tế chúng, sau dùng đồ họa máy tính để biểu diễn thành hình ảnh Ví dụ với lát cắt song song ta xếp lát cắt song song với xếp đĩa CD giá Với lát cắt tự việc xếp phức tạp, cần cảm biến vị trí không gian đầu dò để xác định xác vị trí lát cắt 1.2.2 Chuẩn Dicom Y tế 1.2.2.1 Giới thiệu Tiêu chuẩn DICOM cho phép việc tích hợp dễ dàng máy thu nhận hình ảnh, server, trạm làm việc (workstation), máy in thiết bị phần cứng khác có nối mạng từ nhà sản xuất khác vào hệ thống PACS (Hệ thống PACS ứng dụng trình thu thập, truyền tải, lưu trữ, lý, chẩn đoán, xử lý thông tin thiết bị trị liệu kĩ thuật số CT, MR, US, X quang, DSA, CR.) Các thiết bị khác kèm bảng đáp ứng tiêu chuẩn DICOM để làm rõ lớp dịch vụ mà thiết bị hỗ trợ DICOM chấp nhận rộng rãi bệnh viện phòng khám 1.2.2.2 Phần Header 1.2.2.3 Tập liệu - Data Set 1.3 Kết luận chƣơng Chương trình bày khái quát đồ họa 3D, kỹ thuật đồ họa đồ họa điểm, đồ họa vector đồng thời tìm hiểu chuẩn giao diện đồ họa, ứng dụng đồ họa ba chiều ứng dụng y học, quân đội, vũ trụ, dịch vụ giải trí, tìm hiểu cách tái tạo ảnh chiều từ hình chiếu giới thiệu tiêu chuẩn ảnh Dicom sử dụng ngành y tế toán cách tiếp cận việc hiển thị liệu từ hình chiếu Trong chương sau ta tìm hiểu số kỹ thuật hiển thị ảnh chiều từ hình chiếu CHƢƠNG 2: MỘT SỐ KỸ THUẬT HIỂN THỊ HÌNH ẢNH CHIỀU TỪ HÌNH CHIẾU Trong chương giới thiệu số kỹ thuật hiển thị hình ảnh 3D từ hình ảnh hình chiếu 2D ky thuật Render volume, kỹ thuật biểu diễn bề mặt 2.1 Kỹ thuật Render Volume Hình 2.1 Hình ảnh 3D biểu diễn theo kỹ thuật VR Volume Rendering kĩ thuật chuyển mẫu liệu (sampled data) vào ảnh Đây kiểu biểu diễn trực tiếp (direct display) tức chuyển trực tiếp liệu thể tích từ khối liệu xếp thành pixel hình 2.1.1 Quy trình (Rendering Process) Quy trình chuyển khối liệu thành hình ảnh gọi biểu diễn thể tích Thông thường biểu diễn thể tích có bước sau : - Tạo RGBA volume từ khối liệu - Xây dựng hàm liên tục từ giá trị rời rạc - Chiếu lên mặt phẳng ảnh (image plane) từ điểm nhìn đó: Có nhiều kĩ thuật chiếu đa số thuộc hai loại: object - order image – order Đối với kĩ thuật SR thuộc loại object – order, ta quét xuyên qua (tranverse) khối từ sau phía sau (back to front from 3D scene to 2D image), liệu chiếu lên mặt phẳng ảnh Kết mà voxel để lại mặt phẳng ảnh gọi footprint Một dạng phương pháp trải liệu lên mặt phẳng gọi Splatting (Lee Westover,1990) a) b) a) Texture mapping plane – by – plane; b)Splatting cell – by – cell Hình 2.2 Minh họa kỹ thuật object -order Đối với kĩ thuật VR thuộc loại image – order, ảnh quét pixel, tia chiếu (cast) từ pixel xuyên qua thể tích (from 2D image to 3D scene) để xác định giá trị màu sắc cuối cho pixel Biểu diễn thể tích kiểu image – order gọi phương pháp ray –casting Hình 2.3 Minh họa kỹ thuật image -order Tốc độ phương pháp image – order phụ thuộc vào kích thước ảnh tốc độ phương pháp object – order phụ thuộc vào kích thước khối 2.1.2 Các phƣơng pháp tạo bố cục ảnh (image composition) Các phương pháp tạo bố cục cho ảnh thường đuợc sử dụng X- ray, MIP (maximum intensity projection), MinIP (minimum intensity projection),alpha compositing NPVR ( non-photorealistic volume rendering),… - X-ray : Phương pháp tính tổng tất giá trị ghi nhận tia chiếu để tạo nên giá trị điểm ảnh Nội dung kỹ thuật Volume rendering với Ray casting nhƣ sau: Mục tiêu kỹ thuật Ray casting cho phép sử dụng cách tốt liệu ba chiều cấu trúc hình học Nó đặc biệt phù hợp với hình ảnh y tế Cơ sở lý thuyết Hiện nay, hầu hết kỹ thuật Volume rendering sử dụng Ray casting dựa mô hình Blinn / Kajiya Trong mô hình này, có hình bao có mật độ D(x,y,z), đường Ray lọt vào Hình 2.4 Mô hình Blinn / Kajiya Tại điểm dọc theo Ray có chiếu sáng I(x,y,z) đạt điểm (x,y,z) từ nguồn sáng Mắt nhìn phụ thuộc vào mật độ D(x,y,z) địa phương dọc theo Ray Hàm mật độ biểu diễn tham số dọc theo Ray sau: D (x (t), y (t), z (t)) = D (t) Và chiếu sáng từ nguồn sáng: I (x (t), y (t), z (t)) = I (t) Và chiêu sáng rải rác dọc theo Ray từ điểm có khoảng cách t dọc theo Ray là: I(t)D(t)P(cos Ø) Trong Ø góc R L Xác định I (t) đơn giản - liên quan đến việc tính toán từ nguồn xạ ánh sáng thông qua số lượng điểm quan tâm Tính toán giống với tính toán ánh sáng rải rác điểm (x, y, z) ảnh hưởng đến kết Ray điểm nhìn Trong hầu hết thuật toán, nhiên, tính toán bỏ qua I(x, y, z) thiết lập để thống hình bao Đối với hầu hết ứng dụng thực tế quan tâm đến ảnh kết quả, bao gồm dòng tách rời từ điểm (x, y, z) với nguồn ánh sáng thực tế không mong muốn Trong hình ảnh y tế, ví dụ, nhìn thấy vào khu vực bao quanh xương xương bị coi dày đặc Mặt khác, ứng dụng mà bóng nội mong muốn, tách rời phải tính toán Sự giảm hàm mật độ tính sau: Trong số thể giảm hàm mật độ Cường độ ánh sáng tới điểm nhìn theo hướng Ray cho bởi: Thực Khi nói đến “volume visualization”, Ray casting thường gọi Ray Tracing Nói không thật xác, phương pháp Ray tracing mà biết thường phức tạp so với Ray casting, nhiên ý tưởng hai phương pháp giống hệt Và tất nhiên kết giống hệt Thuật toán thực kỹ thuật Ray casting mô tả bao gồm trình 10 đơn giản hóa tính toán cường độ ánh sáng từ nguồn sáng tới điểm nhìn Phương pháp mà có thực việc đơn giản hóa gọi “additive reprojection” Nó thực chất phép chiếu Voxels dọc theo hướng nhìn cố định Cường độ Voxels song song dọc theo tia nhìn phép chiếu cung cấp cường độ lên mặt phẳng khung nhìn Voxels chiều sâu quy định định độ mờ tối đa, độ sâu mà hình bao hình tượng để kiểm soát Additive reprojection sử dụng mô hình chiếu sáng mà kết hợp phản ánh truyền ánh sáng từ voxel Tất phương pháp tiếp cận tập mô hình hình Hình 2.5 Minh họa kỹ thuật đơn giản hóa tính toán cƣờng độ ánh sáng Trong hình trên, ánh sáng tạo thành: - Ánh sáng phản chiếu theo hướng nhìn từ nguồn ánh sáng - Ánh sáng đến cách lọc voxel - Ánh sáng phát voxel Đối với điểm ảnh ảnh đầu ra, kết tia bắn vào khối liệu Tại số điểm giá trị màu sắc độ suốt tính toán cách nội suy Các giái trị sau kết hợp với để tính toán màu sác cho pixel ảnh đầu - Phương pháp MIP : Sử dụng giá trị lớn biến khối dọc theo tia vuông góc với mặt phẳng nhìn (view plane) để tạo giá trị (optical property) điểm ảnh Phương pháp MIP ban đầu có nhiều bất tiện phải truy cập nhiều voxel Tuy nhiên có nhiều cải tiến cho phương pháp 11 Hình 2.6 Sơ đồ tổng quan rendering MIP - Phương pháp MinIP : phương pháp trực quan liệu cho phép phát cấu trúc mật độ thấp khối lượng định Thuật toán sử dụng tất liệu khối lượng quan tâm để tạo hình ảnh hai chiều, nói cách khác bao gồm dự voxel với giá trị suy giảm thấp điểm suốt khối lượng lên hình ảnh 2D Phương pháp trái ngược với phương pháp MIP sử dụng giá trị nhỏ dọc theo tia để tạo giá trị điểm ảnh - Phương pháp alpha compositing : Còn có số tên khác (Translucency/opacity ) Đây phương pháp thường sử dụng phổ biến Trong phương pháp gia số (density value) đưa vào dọc theo tia để tạo màu sắc độ suốt cho ảnh Giá trị tia chiếu voxel tính theo công thức sau : Dạng “Back to Front” V(i) = V(i-1)(1 – a(i)) + c(i).a(i) Dạng “Front to Back” V(i) = V(i-1) +c(i).a(i).(1-a(i)) Trong : V(i) : giá trị tia chiếu khỏi voxel thứ i V(i-1) : giá trị tia chiếu sau khỏi voxel thứ i – a : giá trị chọn để điều khiển độ chắn sáng c : giá trị chọn để điều khiển độ chói (luminance) Volume Rendering kĩ thuật khó lí do: thứ bước shading (tính toán màu sắc cho điểm liệu thể tích) classification (tính toán độ chắn sáng cho điểm liệu thể tích), ta phải xác định màu sắc độ chắn sáng (hoặc độ suốt) cho toàn khối; thứ hai khâu chiếu sáng, ta phải phải xét tương tác ánh sáng khuếch tán bên vật thể không bề mặt, ta phải tạo vật thể có dạng bán suốt (semi – transparent) ; thứ ba hiệu quả, liệu thể tích lớn có 12 tính tương tác cao nên đòi hỏi phải tính toán nhiều liệu phát sinh trình tính toán lớn Để tăng tốc độ tính toán phương pháp VR ngư ời ta thường tìm cách xếp lại liệu để đạt hiệu tính toán cao Ví dụ xếp liệu lại dạng cho ta phương pháp Hierarchical Volume Rendering ,… Hiện người ta thực VR theo thời gian thực Phương pháp VR thường dùng để tạo ảnh 3D cho ảnh có độ tương phản thấp So với kĩ thuật SR kĩ thuật VR đòi hỏi phải tính toán nhiều cần phần cứng mạnh 2.2 Kỹ thuật biểu diễn bề mặt (surface rendering – SR) Trong kỹ thuật tạo bề mặt qua điểm có giá trị vô hướng, giá trị tiếng Anh isosurface value Điều có ý nghĩa ảnh y tế ảnh y tế thường ảnh đa mức xám Trên ảnh cắt lớp mô loại thể với độ xám (gray level) Dùng kĩ thuật tái tạo lại bề mặt mô Ví dụ tái tạo hình ảnh xương sọ hay hình ảnh mạch máu não từ ảnh cắt lớp đầu Các isosurface thường tô màu để dễ theo dõi Có nhiều thuật toán khác để tạo bề mặt từ điểm liệu rời rạc Trong chia làm hai loại tạo bề mặt từ đường viền tạo bề mặt từ liệu khối Hình 2.7 Hình ảnh 3D đƣợc biểu diễn theo phƣơng pháp SR - Tạo bề mặt từ đ ƣờng viền (contour based data): Để tạo bề mặt từ đường viền cần hai bước: trích biên tái tạo bề mặt + Trích biên: Dùng thuật toán trích biên để tạo đường biên lát cắt Việc trích biên thực tự động thực thủ công Nếu thực tự động người ta dùng số thuật toán trích biên LOG Marr Canny, thuật toán Snake 13 model Terzopoulos , thuật toán balloon model Cohen, thuật toán Level Set Leventon,…Với liệu có cấu trúc ảnh cắt lớp ta dùng thuật toán Marching Square + Marching Square: Sử dụng cho liệu dạng lưới chiều Ý tưởng phương pháp tạo đường cong mô tả cho giá trị vô hướng lưới liệu, giá trị gọi isovalue Hình 2.8 Minh họa thuật toán Marching square Đường cong mô tả giá trị l ưới liệu Đường nối hai cạnh ô lưới (cell) phương pháp đường thẳng Giao điểm đường nối với cạnh tính nội suy tuyến tính từ giá trị đỉnh nằm cạnh Ta giả sử đỉnh ô nằm đường nối giá trị lớn giá trị isovalue nằm nhỏ Có 24 = 16 cách tạo đường Hình 2.9 trƣờng hợp Marching Square Các bước thực Marching Square : + Chọn ô + Tính toán trạng thái trong,ngo ài đỉnh ô + Tìm “topological state” ô để định đường nối qua cạnh 14 “cell” + Tính toán giao ểm đường với cạnh ô + Chuyển (march) tới ô khác Phương pháp Marching Square có ưu điểm giúp tính toán nhanh nhược điểm số trường hợp ta có nhiều cách tạo đường qua “cell” v tạo lỗ +Tái tạo bề mặt: Sau xác định đường viền ta xây dựng mặt từ đường Các phương pháp sử dụng có phương pháp Keppel (1975); phương pháp Fush (1977): xây dựng mặt hai đường biên kề nhau; hay Ekoule,Peyrin, Odet (1991) Hình 2.10 Minh họa tạo bề mặt từ đ ƣờng viền - Tạo bề mặt từ liệu khối (volume data, voxel based reconstruction): Trước hết cần xếp lại liệu thành dạng khối Đối với ảnh cắt lớp song song ta xếp lát cắt liên tục nhau, xác định khoảng cách lát cắt, pixel ảnh cắt lớp biến thành voxel khối liệu Sau dùng thuật toán để tạo bề mặt từ khối liệu Các thuật toán sử dụng phổ biến là: + Marching Cube s (MC):Thuật toán phát minh William E Lorensen Harvey E Cline cấp quyền sở hữu vào Mỹ vào ngày 5/6/1985 Theo quy định chung tác giả bảo hộ quyền 20 năm Do đó, thời điểm giấy phép hết hiệu lực có quyền tự sử dụng thuật toán cho mục đích thương mại Thuật toán tương tự thuật toán Marching Square trình bày thực cho liệu chiều Nguyên tắc thuật toán chia khối liệu thành hình lập phương, hình lập phương tạo từ voxel nằm kề nhau.Sau xác 15 định mặt xuyên qua hình lập phương, tính toán véc tơ pháp tuyến, phát triển (march) đến hình lập phương Từ ta xấp xỉ isosurface lưới tam giác (triangle mesh) Ta xây dựng mặt phẳng với giả thiết giá trị đỉnh lớn giá trị isovalue đỉnh nằm bên mặt ngược lại Để xác định giao điểm mặt phẳng với cạnh hình lập phương ta cần nội suy tuyến tính từ giá trị hai đỉnh cạnh Hình 2.11 Xây dựng bề mặt theo giá trị đỉnh Hình lập phương có đỉnh nên ta có tổng cộng 28 = 256 trường hợp mặt qua khối lập phương Tuy nhiên tính chất đối xứng khối lập phương nên ta giản ước 15 trường hợp Hình 2.12 Các trƣờng hợp mặt qua khối lập phƣơng thuật toán Marching Cubes Thuật toán MC tạo ảnh có độ phân giải cao Tuy nhiên Marching Square, nhược điểm thuật toán tạo lỗ (hole) bề mặt Nguyên nhân xây dựng mặt khác cho trường hợp (ambiguous face ) 16 Hình 2.13 Một trƣờng hợp lỗi Marching Cubes Tuy nhiên, có số kỹ thuật đ ược đưa để khắc phục điều n ày, ví dụ kỹ thuật Asymptotic Decider G.M.Nielson v Bernd Hamann (Computer Science Arizona State University) đưa năm 1991 + Marching Tetr ahedra (Marching Tetrahedrons, MT) : thuật toán cải tiến từ thuật toán Marching Cubes Thuật toán Marching Cubes xây dựng mặt khối lập ph ương gồm voxel kế cận, đơn vị thể tích lớn Để giảm phép tính Doi, Guezie, Treece số tác giả khác chia khối lập phương thành đơn v ị thể tích nhỏ khối tứ diện Ví dụ Gauzie chia khối lập phương thành khối tứ diện Phương pháp giúp bề mặt tạo khép kín (tránh trường hợp ambiguity) định hướng (to be closed and oriented) Ngoài lí kĩ thuật, tác giả phát triển thuật toán Marching Tetrehedra lí thuật toán Marching Cubes bảo hộ quyền Mặt khác phương pháp tạo nhiều tam giác phương pháp Marching Cubes ta phải xác định cách chia khối lập phương thành tứ diện Hình 2.14 Chia khối lập phƣơng thành khối tứ diện 17 Hình 2.15 Hai trƣờng hợp mặt phẳng qua khối tứ diện thuật toán Marching Tetrahedra Cả hai thuật toán Marching Cubes Marching Tetrahedra có nhược điểm tạo nhiều đa giác (trong có nhiều đa giác không cần thiết) pooraspect ratio Trung bình thuật toán Marching Cubes khối lập phương tạo tam giác V ì tập liệu 32x32x16 tạo 3000 tam giác, tập liệu 256x256x128 sinh tới 820000 tam giác Có nhiều thuật toán đưa nhằm làm giảm số đa giác Các thuật toán gọi thuật toán đơn giản hóa lưới (mesh simplification algorithm) Các thuật toán MC, MT không hiệu tập liệu lớn Vì thực với máy tính ,phép tìm kiếm thuật toán phép tìm tuyến tính Với tập liệu lớn ta phải có kĩ thuật khác + Dividing Cubes: Thuật toán đưa để giải tình trạng thuật toán MC MT thường tạo số đa giác nhiều số pixel gây tình trạng “high rendering ov erhead” Dividing Cubes phát minh Cline vào năm 1988 đư ợc cấp quyền Ý tưởng Dividing Cubes không vẽ đa giác mà vẽ điểm Để vẽ đường ta tìm pixel có giao với đường đó, sau chia nhỏ pixel Hình 2.16 Minh họa thuật toán Dividing Cubes để vẽ đƣơng mặt phẳng Để vẽ mặt không gian chiều trước hết ta cần tìm voxel có giao với mặt, 18 sau chia nhỏ voxel Tiếp tục tìm kiếm chia nhỏ đạt đến độ phân giải cần thiết Tìm điểm (mid - points) voxel sau dùng phép chiếu để chuyển thành pixel Hình 2.17 Minh họa thuật toán Dividing Cubes không gian ba chiều Bề mặt tạo kỹ thuật Dividing Cubes trông mịn Tuy nhiên, mẫu chia lớn độ phân giải hình s ẽ nhìn thấy cấu trúc bề mặt Một số kĩ thuật tăng tốc cho SR: + Surface Decimation : T ối ưu hóa số đa giác dùng để biểu diễn bề mặt bỏ bớt đỉnh, cạnh Đây thuật toán đơn giản hóa lưới + Visibility Culling : Không biểu diễn đa giác mà mắt không nhìn thấy +Parallel Rendering : Thực công việc song song nhiều máy trạm Kĩ thuật SR thường dùng với ảnh có độ t ương phản cao CT hay MRI xác định biên dễ dàng, ảnh nhiễu.Với ảnh có độ t ương phản thấp có độ nhiễu cao siêu âm, PET, SPECT cần có thuật toán lọc nhiễu trích biên tốt 2.3 Kỹ thuật Render Volume tƣơng tác 2.3.1 Thăm dò tƣơng tác miền kép 2.2.2 Dữ liệu thăm dò vật dụng 2.2.3 Phân loại vật dụng ( Classifcation Widgets) 2.2.4 Bảng chọn màu sắc 2.4 Kết luận chƣơng Chương giới thiệu số kỹ thuật hiển thị hình ảnh 3D từ hình ảnh hình chiếu 2D kỹ thuật Render Volume, kỹ thuật biểu diễn bề mặt Ta chi tiết kỹ thuật kỹ thuật Render Volume ta tìm hiểu quy trình phương pháp bố cục ảnh, trích biên Trong chương ta thử nghiệm thực tế từ kỹ thuật Render Volume chương trình kết hợp lập trình số phần thư viện mở 19 CHƢƠNG - CHƢƠNG TRÌNH THỬ NGHIỆM Trong chương ta cài đặt thử nghiệm kỹ thuật hiển thị hình ảnh Render Volumme từ ảnh 2D ảnh y tế DICOM 3.1 Bài toán Bài toán đầu vào dãy ảnh 2D lát cắt đối tượng thu nhận máy chụp cắt lớp lưu dạng chuẩn Dicom Đầu hình ảnh 3D đối tượng góc độ khác Phương pháp hiển thị sử dụng kỹ thuật Render Volume 3.2 Phân tích thiết kế 3.2.1 Các công cụ Trên sở tìm hiểu nhiều công cụ hỗ trợ lập trình đồ họa người viết chọn hai công cụ VTK , ITK để xây dựng phần mềm lí do: + VTK,ITK hai công cụ đ ược sử dụng nhiều giới Hầu hết giảng xử lí ảnh, đồ họa 3D trực quan hóa trường đại học lớn tr ên giới lấy VTK v ITK làm ví dụ minh họa, giới có nhiều phần mềm hay phát triển từ VTK ITK + VTK, ITK đư ợc thiết kế chuyên nghiệp: hai toolkit viết C++ theo kiểu hướng đối tượng, sử dụng nhiều ngôn ngữ khác Java, Tcl, Python ,.NET ,…; hai toolkit có mã nguồn mở liên tục nâng cấp +VTK, ITK có nhi ều hỗ trợ cho xử lí ảnh y tế 3.2.2 Chƣơng trình cài đặt Pipeline Pipeline chuỗi bước xử lý liệu hiển thị thành hình ảnh Pipeline chương trình cài đặt sau 20 Hình 3.7 Pipeline chƣơng trình cài đặt Hình 3.8 Chu trình biểu diễn liệu thành hình ảnh 3.3 Một số kết chƣơng trình Chương trình viết theo kiểu dialog -based, thiết kế gồm có cửa sổ số trang (tab) Dữ liệu đầu vào chương trình tập hợp lát cắt lưu theo định dạng DICOM Chương trình cho phép người sử dụng xem kết ảnh ba chiều góc độ khác cách dùng chuột Người sử dụng copy hình vào clipboard để đưa vào chương trình khác, lưu hình dạng ảnh JPEG xuất thành trang HTML - Một số ảnh chạy chương trình Các hình ảnh sau kết thử nghiệm với liệu CT demo - Cửa sổ trang duyệt tập ảnh Dicom Hình 3.9 Giao diện hình - Trang Render volume : Kết biểu diễn theo bề mặt Trong trang người sử dụng lựa chọn biểu diễn góc cạnh hình ảnh 3D hiển thị 21 Hình 3.10 Hình ảnh 3D đƣợc hiển thị Hình 3.11 Các góc độ khác hình ảnh 3D đƣợc hiển thị Hình 3.12 Hiển thị thêm mô mềm - Nhận xét: 22 Chương trình xây dựng Visual C++ đóng gói, cài đặt sử dụng chương trình máy tính có hệ điều hành Windows 98/2000/XP mà không cần (platform) khác Chương trình phải làm việc với lượng liệu lớn nên cấu hình máy phải tương đối mạnh Tốc độ CPU nên từ 1,8GHz trở lên, RAM từ 256MB trở lên Giao diện chương trình thiết kế thân thiện với người sử dụng, phận bố trí tương tự phần mềm sử dụng thực tế Dữ liệu vào chương trình kiểu liệu th ường gặp thực tế: tập ảnh theo định dạng DICOM Chương trình chạy thử nghiệm với tập ảnh liệu DICOM bệnh viện Chương trình cài đặt minh họa kỹ thuật tái tạo ảnh ba chiều từ lát cắt song song Chất lượng hình ảnh tốt liệu CT 3.4 Kết luận chƣơng Trong chương ta cài đặt thử nghiệm kỹ thuật hiển thị hình ảnh Render Volumme từ ảnh 2D ảnh y tế DICOM đưa điểm đạt chưa đạt chương trình cài đặt KẾT LUẬN Những việc thực đƣợc : - Tìm hiểu vấn đề chung liên quan đến việc tái tạo hình ảnh ba chiều vật thể từ hình chiếu Tìm hiểu tình hình sử dụng phần mềm xử lý hình ảnh y tế Việt Nam - Tìm hiểu nguyên lý tái tạo ảnh ba chiều từ ảnh cắt lớp nói chung ảnh cắt lớp song song nói riêng - Tìm hiểu vấn đề liên quan đến kỹ thuật tái tạo ảnh Nắm kĩ thuật tương ứng theo cường độ - Tìm hiểu số lĩnh vực ứng dụng kỹ thuật tái tạo số đề tài nghiên cứu trên giới - Viết phần mềm mang tính minh họa, sử dụng phục vụ đào tạo, nghiên cứu phát triển phần mềm ứng dụng tương lai Những hạn chế : Những nghiên cứu tập trung v lý thuyết phần mềm, chưa tích hợp với phần cứng Do thời gian nghiên cứu có hạn nên người viết chưa nắm cách đầy đủ hệ thống sở lý thuyết kỹ thuật stereo matching, đặc biệt vấn đề hiệu chỉnh camera 23 (camera calibration ) để phát triển tối ưu cho phần mềm ứng dụng, vấn đề tích hợp hỗ trợ phần cứng Hƣớng phát triển - Đối với vấn đề tái tạo ảnh ba chiều từ lát cắt song song : Hướng phát triển bổ sung thêm chức năng, tiếp tục tìm hiểu toolkit VTK ITK Tiếp tục tìm hiểu thực tế để phát triển thành phần mềm có khả sử dụng Việt Nam Tiếp tục nghiên cứu phương pháp tái tạo ảnh ba chiều với dạng ảnh cắt lớp khác cắt xuyên tâm, cắt tự Nghiên cứu đặc tính loại ảnh cắt lớp siêu âm, MRI, hình ảnh y học hạt nhân từ có phương án tái tạo tốt cho loại