Tiêu chuẩn Quốc gia TCVN 7563-16:2009

9 20 0
Tiêu chuẩn Quốc gia TCVN 7563-16:2009

Đang tải... (xem toàn văn)

Thông tin tài liệu

Tiêu chuẩn Quốc gia TCVN 7563-16:2009 định nghĩa các khái niệm liên quan đến lý thuyết thông tin, thông điệp và truyền thông chúng các thuật ngữ đại lượng cơ bản và các thuật ngữ đại lượng dẫn xuất. Tiêu chuẩn này nhằm tạo thuận lợi cho việc truyền thông quốc tế trong lý thuyết thông tin.

TIÊU CHUẨN QUỐC GIA TCVN 7563-16:2009 ISO/IEC 2382-16:1996 CÔNG NGHỆ THÔNG TIN - TỪ VỰNG - PHẦN 16: LÝ THUYẾT THÔNG TIN Information technology - Vocabulary - Part 16: Information theory Lời nói đầu TCVN 7563-16:2009 hồn tồn tương đương với ISO/IEC 2382-16:1997 TCVN 7563-16:2009 Ban Kỹ thuật Tiêu chuẩn quốc gia TCVN/JTC “Công nghệ thông tin” biên soạn, Tổng cục Tiêu chuẩn Đo lường Chất lượng đề nghị, Bộ Khoa học Cơng nghệ cơng bố CƠNG NGHỆ THÔNG TIN - TỪ VỰNG - PHẦN 16: LÝ THUYẾT THÔNG TIN Information technology - Vocabulary - Part 16: Information theory Mục 1: Khái quát 1.1 Phạm vi áp dụng Tiêu chuẩn nhằm tạo thuận lợi cho việc truyền thông quốc tế lý thuyết thông tin Tiêu chuẩn trình bày hai ngơn ngữ Việt-Anh thuật ngữ định nghĩa khái niệm lựa chọn liên quan đến lĩnh vực công nghệ thông tin xác định quan hệ mục Để tạo thuận lợi cho việc dịch thuật sang ngôn ngữ khác, định nghĩa biên soạn cho chừng mực tránh khỏi dị biệt ngôn ngữ Tiêu chuẩn định nghĩa khái niệm liên quan đến lý thuyết thông tin, thông điệp truyền thông chúng thuật ngữ đại lượng thuật ngữ đại lượng dẫn xuất 1.2 Tài liệu viện dẫn ISO 31-0:1992, Đại lượng đơn vị - Phần 0: Nguyên tắc chung ISO 1087:1990, Thuật ngữ - Từ vựng TCVN 7217-1:2002, Mã thể tên nước vùng lãnh thổ ISO 3534-1:1993, Thống kê - Từ vựng ký hiệu - Phần 1: Xác suất thuật ngữ thống kê chung IEC 27-3:1989, Ký hiệu chữ sử dụng kỹ thuật điện - Phần 3: Đại lượng đơn vị lôga IEC 50 (702):1992, Từ vựng kỹ thuật điện quốc tế - Chương 702: Dao động, tín hiệu thiết bị liên quan 1.3 Nguyên lý quy tắc 1.3.1 Định nghĩa mục Mục gồm số mục Mỗi mục gồm có tập phần tử bao hàm số hiệu mục, thuật ngữ vài thuật ngữ đồng nghĩa, mệnh đề định nghĩa khái niệm Thêm vào đó, mục bao hàm ví dụ, thích minh họa nhằm tạo thuận lợi cho việc thông hiểu khái niệm Đôi khi, thuật ngữ định nghĩa mục khác nhau, hai nhiều hai khái niệm định nghĩa mục, mô tả tương ứng 1.3.5 1.3.8 Các thuật ngữ khác từ vựng, khái niệm, thuật ngữ, định nghĩa sử dụng tiêu chuẩn định nghĩa ISO 1087 1.3.2 Tổ chức mục Mỗi mục bao gồm phần tử định nghĩa 1.3.1 phần tử bổ sung cần thiết Mục bao gồm phần tử theo thứ tự sau: a) Số hiệu mục (chung cho ngôn ngữ sử dụng công bố phần tiêu chuẩn); b) Thuật ngữ thuật ngữ ưu tiên chung ngôn ngữ Sự vắng mặt thuật ngữ ưu tiên chung cho khái niệm ngơn ngữ sử dụng ký hiệu chấm (… ); dòng chấm dùng để báo từ cần chọn cho trường hợp cụ thể thuật ngữ; c) Thuật ngữ ưu tiên quốc gia cụ thể (được xác định theo quy tắc TCVN 7217); d) Viết tắt thuật ngữ; e) (Các) thuật ngữ đồng nghĩa phép dùng; f) Văn định nghĩa (xem 1.3.4); g) Một số ví dụ với tiêu đề “VÍ DỤ”; h) Một số thích đặc tả trường hợp riêng lĩnh vực ứng dụng khái niệm với tiêu đề “CHÚ THÍCH”; i) Một hình ảnh, biểu đồ, bảng dùng chung cho vài mục 1.3.3 Phân loại mục Một chuỗi số gồm hai chữ số ấn định cho phần tiêu chuẩn này, bắt đầu 01 cho “Các thuật ngữ bản” Các mục phân loại theo nhóm, nhóm ấn định chuỗi số gồm chữ số, hai chữ số dùng để phần tiêu chuẩn Mỗi mục ấn định số mục gồm chữ số, chữ số dùng để phần tiêu chuẩn nhóm mục Những số ấn định cho hợp phần, nhóm mục cách giống để phiên tiêu chuẩn quán ngôn ngữ sử dụng 1.3.4 Lựa chọn thuật ngữ cách diễn đạt định nghĩa Việc lựa chọn thuật ngữ cách diễn đạt định nghĩa, mức độ có thể, tuân theo cách sử dụng thiết lập Những nơi có mâu thuẫn giải thỏa thuận theo đa số phiếu bầu 1.3.5 Đa nghĩa Khi thuật ngữ cho trước có nhiều nghĩa ngơn ngữ làm việc, nghĩa đưa vào mục riêng nhằm tạo thuận lợi cho việc dịch thuật sang ngôn ngữ khác 1.3.6 Các viết tắt Như nêu 1.3.2, viết tắt sử dụng đặt cho số thuật ngữ Các viết tắt không sử dụng văn định nghĩa, ví dụ thích 1.3.7 Sử dụng dấu ngoặc đơn Trong số thuật ngữ, nhiều từ in kiểu chữ đậm đặt dấu ngoặc đơn Những từ phận thuật ngữ đầy đủ, lược bỏ chúng sử dụng thuật ngữ rút gọn ngữ cảnh kỹ thuật rõ ràng Trong văn định nghĩa, ví dụ thích khác tiêu chuẩn này, thuật ngữ sử dụng dạng đầy đủ Trong số mục, thuật ngữ theo sau từ ngoặc đơn in với kiểu chữ thường Những từ phận thuật ngữ nêu hướng dẫn để sử dụng thuật ngữ đó, lĩnh vực áp dụng cụ thể dạng ngữ pháp thuật ngữ 1.3.8 Sử dụng dấu ngoặc vng Khi nhiều thuật ngữ có quan hệ mật thiết xác định văn khác vài từ, thuật ngữ định nghĩa chúng nhóm thành mục đơn Những từ cần thay để có ý nghĩa khác đặt dấu ngoặc vuông, tức [ ], thứ tự thuật ngữ định nghĩa Để xác định rõ ràng từ cần thay thế, từ cuối mà theo quy tắc nói đặt trước dấu ngoặc vuông mở, đặt dấu ngoặc chỗ có thể, lặp lại từ khác 1.3.9 Sử dụng thuật ngữ in theo kiểu chữ nghiêng định nghĩa việc sử dụng dấu hoa thị Một thuật ngữ in kiểu chữ nghiêng định nghĩa, ví dụ, thích, định nghĩa mục khác thuộc tiêu chuẩn này, mà hợp phần khác Tuy nhiên, thuật ngữ in kiểu chữ nghiêng xuất lần đầu mục Kiểu chữ nghiêng sử dụng cho dạng ngữ pháp khác thuật ngữ, ví dụ danh từ số nhiều động tính từ Các dạng sở tất thuật ngữ in kiểu chữ nghiêng tiêu chuẩn liệt kê bảng mục cuối tiêu chuẩn (xem 1.3.11) Dấu hoa thị dùng để tách thuật ngữ in kiểu chữ nghiêng có hai thuật ngữ tham chiếu mục riêng theo sát (hoặc tách dấu ngữ pháp) Các từ thuật ngữ in kiểu chữ thường hiểu xác định từ điển hành từ vựng kỹ thuật thức 1.3.10 Chính tả Trong phiên tiếng Anh tiêu chuẩn này, thuật ngữ, định nghĩa, ví dụ thích đánh vần theo kiểu tả ưu tiên Mỹ Các kiểu tả khác sử dụng mà khơng trái với tiêu chuẩn 1.3.11 Tổ chức mục theo thứ tự ABC Trong ngơn ngữ sử dụng có mục xếp theo thứ tự ABC cuối hợp phần Chỉ mục gồm thuật ngữ định nghĩa hợp phần Những thuật ngữ đa từ xuất theo thứ tự ABC từ khóa chúng Mục 2: Thuật ngữ định nghĩa 16 Lý thuyết thông tin 16.01 Thuật ngữ chung 16.01.01 Lý thuyết thông tin Ngành học liên quan tới đơn vị đo định lượng thông tin 16.01.02 Lý thuyết truyền thơng Ngun tắc tốn học đề cập đến đặc tính xác suất việc truyền thơng điệp mơi trường có tạp nhiễu tạp âm khác 16.01.03 Thơng tin (trong lý thuyết thông tin) Tri thức dùng để giảm bớt loại bỏ tính bất định việc xuất kiện cụ thể tập kiện cho CHÚ THÍCH - Trong lý thuyết thông tin, khái niệm “sự kiện” hiểu giống lý thuyết xác suất Ví dụ, kiện là: - Sự có mặt phần tử cụ thể tập phần tử cho; - Sự xuất ký tự từ cụ thể thông điệp cho vị trí xác định thơng điệp; - Bất kì kết sai khác số kết xảy thí nghiệm 16.02 Thơng điệp truyền thơng điệp 16.02.01 Thông điệp (trong lý thuyết thông tin lý thuyết truyền thơng) Trình tự có thứ tự ký tự để truyền đạt thông tin 16.02.02 Nguồn thông điệp nguồn thông tin Một phần hệ thống truyền thông mà từ thơng điệp tạo 16.02.03 Đích thơng điệp đích thơng tin Một phần hệ thống truyền thơng mà nhận thơng điệp 16.02.04 Kênh (trong lý thuyết truyền thông) Một phần hệ thống truyền thơng để kết nối nguồn thơng điệp đích thơng điệp CHÚ THÍCH 1: Có thể chèn thiết bị mã hóa (encoder) vào nguồn thơng điệp đầu vào kênh, thiết bị giải mã (decoder) vào đầu kênh đích thơng điệp Thơng thường, hai thiết bị không xem thành phần kênh Tuy nhiên, trường hợp cụ thể, chúng xem thành phần nguồn thông điệp đích thơng điệp CHÚ THÍCH - Trong lý thuyết thơng tin, theo Shannon, kênh định dạng tập xác suất có điều kiện việc tất thông điệp phát từ nguồn thơng điệp nhận đích thơng điệp 16.02.05 Kênh nhị phân đối xứng Kênh thiết kế để truyền thông điệp bao gồm ký tự nhị phân có thuộc tính xác suất có điều kiện việc chuyển đổi ký tự thành ký tự khác 16.02.06 Nguồn thông điệp ổn định nguồn thông tin ổn định Nguồn thông điệp mà xác suất xảy thơng điệp phát từ khơng phụ thuộc vào thời gian xảy kiện 16.03 Thuật ngữ định lượng 16.03.01 Lượng định Loga số lượng kiện tập hữu hạn kiện loại trừ lẫn có ký hiệu tốn học là: Ho = log n n số lượng kiện CHÚ THÍCH 1: CHÚ THÍCH điều 16.01.03 phù hợp với định nghĩa CHÚ THÍCH 2: Cơ số loga định đơn vị sử dụng Thông thường đơn vị sử dụng là: shannon (ký hiệu: Sh) cho loga số 2, đơn vị tự nhiên (ký hiệu: nat) cho loga số e, hartley (ký hiệu: Hart) cho loga số 10 Bảng chuyển đổi Sh = 0,693 nat = 0,301 Hart nat = 0,434 Hart = 2,303 nat CHÚ THÍCH 3: Lượng định khơng phụ thuộc vào xác suất xảy kiện CHÚ THÍCH 4: Số lượng định cấp b cần lựa chọn kiện cụ thể khỏi tập hữu hạn kiện loại trừ lẫn có giá trị với số nguyên nhỏ nhất, thỏa mãn lớn lượng định xác định loga số b Điều b số nguyên VÍ DỤ: Cho {a,b,c} tập gồm kiện Lượng định là: Ho = (Ib 3) Sh = 1,580 Sh = (ln 3) nat = 1,098 nat = (Ig 3) Hart = 0,477 Hart 16.03.02 Lượng thông tin Đơn vị đo định lượng thông tin xuất kiện có xác suất xác định tính loga giá trị nghịch đảo xác suất này, ký hiệu toán học là: l(x) = log= - log p(x) p(x) xác suất kiện xảy x CHÚ THÍCH 1: CHÚ THÍCH thứ điều 16.01.03 phù hợp với định nghĩa CHÚ THÍCH 2: Trong tập kiện có xác suất ngang nhau, lượng thơng tin kiện với lượng định tập VÍ DỤ: Cho {a,b,c} tập gồm kiện cho xác suất xảy kiện p(a) = 0,5, p(b) = 0,25 p(c) = 0,25 Lưựng thông tin kiện là: l(a) = lbSh = Sh l(b) = lbSh = Sh l(c) = lbSh = Sh 16.03.03 Entrôpi lượng thơng tin trung bình negentropy (khơng dùng) Giá trị lượng thơng tin trung bình kiện tập hữu hạn kiện loại trừ lẫn kiện đầy đủ, ký hiệu toán học là: H (X ) n i p ( xi )l ( xi ) n i p( xi ) log p( xi ) X = {x1 xn} tập kiện xi (i = n), l(xi) lượng thông tin kiện xi p(xi) xác suất xảy kiện này, với giả thuyết n p ( xi ) i VÍ DỤ: Cho X = {a,b,c} tập gồm kiện cho xác suất xảy kiện p(a) = 0,5, p(b) = 0,25 p(c) = 0,25 Entrôpi tập là: H(X) = p(a) l(a) + p(b) l(b) + p(c) l(c)= 1,5 Sh 16.03.04 Entrôpi tương đối Tỉ lệ Hr entrôpi H lượng định Ho ký hiệu toán học là: Hr = H/Ho VÍ DỤ: Cho {a,b,c} tập gồm kiện cho xác suất xảy kiện p(a) = 0,5, p(b) = 0,25 p(c) = 0,25 Entrôpy tương đối tập là: Hr = (1,5 Sh) / (1,580 Sh) = 0,95 16.03.05 Độ dôi (trong lý thuyết thông tin) Giá trị thực R lượng định Ho trừ entrôpi H; ký hiệu là: R = Ho - H CHÚ THÍCH: Thường thường việc sử dụng mã thích hợp tạo thơng điệp với số ký tự hơn; độ dơi coi đơn vị đo mức độ giảm độ dài trung bình thơng điệp thực mã thích hợp VÍ DỤ: Cho {a,b,c} tập gồm kiện cho xác suất xảy kiện p(a) = 0,5, p(b) = 0,25 p(c) = 0,25 Độ dôi tập là: R = 1,58 Sh - 1,50 Sh = 0,08 Sh 16.04 Các thuật ngữ định lượng dẫn xuất 16.04.01 Độ dôi tương đối Tỉ lệ r độ dôi R với lượng định Ho ký hiệu tốn học là: r = R/Ho CHÚ THÍCH: Độ dôi tương đối phần bù entrôpi tương đối Hr: r = - Hr 16.04.02 Lượng thơng tin có điều kiện Một đơn vị đo định lượng thông tin liên quan tới xuất kiện x với điều kiện xảy kiện y tính loga giá trị nghịch đảo xác suất có điều kiện p(x/y) kiện x với điều kiện xảy kiện y, ký hiệu tốn học là: l(x/y) = log CHÚ THÍCH: Lượng thơng tin có điều kiện giá trị thực lượng thông tin chung hai kiện trừ lượng thông tin kiện thứ 2: l(x/y) = l(x,y) - l(y) 16.04.03 Lượng thông tin chung Đơn vị đo định lượng thông tin liên quan tới xuất hai kiện x y tính loga giá trị nghịch đảo xác suất chung p(x,y) hai kiện xảy ra: l(x/y) = loga 16.04.04 Entrơpy có điều kiện lượng thơng tin có điều kiện trung bình Giá trị lượng thơng tin trung bình có điều kiện kiện tập hữu hạn kiện loại trừ lẫn kiện đầy đủ với điều kiện xảy kiện trong tập kiện loại trừ lẫn kiện đầy đủ khác có ký hiệu tốn học là: H (X /Y ) n m p( xi , y j )l ( xi / y j ) i j X = {x1… xn} tập kiện xi (i = n), Y= {y1 ym} tập kiện yj (i = m), l(xi/yi) lượng thông tin chung kiện xi với điều kiện kiện yi cho, p(xi,yj) xác suất chung hai kiện xảy 16.04.05 Sự mập mờ Các entropy có điều kiện tập cụ thể thông điệp nguồn thông điệp cho tập cụ thể thơng điệp thơng điệp đích, nơi mà kết nối với nguồn thơng điệp kênh cụ thể CHÚ THÍCH - Sự mập mờ có nghĩa nội dung thơng tin bổ sung mà phải cung cấp cho thơng điệp đích thông điệp để sửa thông điệp nhận tác động kênh nhiễu 16.04.06 Tính khơng thích hợp trước biến thiên (prevarication) phổ biến Entrơpy có điều kiện tập thông điệp cụ thể đích thơng điệp với điều kiện tập thông điệp cụ thể nguồn thông điệp liên kết với đích thơng điệp thơng qua kênh cụ thể 16.04.07 Thông tin y; lượng truyền thông tin phát thông tin thông tin tương hỗ Khác biệt lượng thông tin l(x) truyền xuất kiện x, lượng thơng tin có điều kiện l(x,y) truyền xuất kiện x với điều kiện xảy kiện y có ký hiệu tốn học là: T(x,y) = l(x) - I(x,y) CHÚ THÍCH 1: Ở đây, hai kiện x y hai thông điệp nguồn thơng điệp kênh đích thơng điệp kênh CHÚ THÍCH 2: Chuyển lượng thơng tin biểu diễn sau: T(x,y) = l(x) + l(y) - I(x/y) l(y) lượng thông tin kiện y Từ điều suy ra, x y đối xứng với nhau: T(x,y) = T(y,x) 16.04.08 Lượng thơng tin trung bình Giá trị lượng thơng tin trung bình hai kiện lấy từ hai tập hữu hạn kiện loại trừ lẫn kiện đầy đủ, tính cơng thức: n T ( X ,Y ) m p( xi , y j )T ( xi , y j ) i j X = {x1…xn} tập kiện xi (i = n), Y = {y1 ym} tập kiện yj (j = m), T(xi,yi) lượng thông tin hai kiện xi yi, p(xi,yj) xác suất chung hai kiện xảy CHÚ THÍCH 1: Lượng thơng tin trung bình đối xứng theo X Y Nó độ lệch entrôpy hai tập kiện với entrơpy có điều kiện tập với điều kiện có tập kia: T(X,Y) = H(X) - H(X/Y) = H(Y) - H(Y/X) = T(Y,X) CHÚ THÍCH - Lượng thơng tin trung bình đơn vị đo định lượng thông tin truyền phát thông qua kênh X tập thông điệp cụ thể nguồn thông điệp Y tập thơng điệp cụ thể đích thơng điệp Nó độ lệch entrơpy nguồn thơng điệp mức độ biểu thị đồng thời, độ lệch entrơpy đích thơng điệp tính khơng thích hợp 16.04.09 Lượng thơng tin trung bình ký tự tỉ số thơng tin ký tự Trung bình cho đặc điểm entropy tất thông điệp có từ nguồn thơng điệp ổn định, định nghĩa toán học giới hạn: H’ = limm-> Trong Hm entrơpy tập tất dãy gồm m kí tự lấy từ nguồn CHÚ THÍCH 1: Đơn vị đặc điểm entrơpy trung bình biểu diễn shannon/kí tự CHÚ THÍCH 2: Giới hạn khơng tồn nguồn khơng ổn định 16.04.10 Tốc độ thơng tin trung bình Thương số đặc trưng entropy trung bình H’ với khoảng thời gian trung bình đặc trưng ký hiệu toán học là: H* = H’ / I(X) X = {x1 xn} tập ký tự xi (i = n) t( X ) n p ( xi )t ( xi ) i giá trị trung bình khoảng thời gian t(xi) ký tự xi với xác suất xảy p(xi) CHÚ THÍCH: Đơn vị tốc độ thơng tin trung bình biểu diễn shannon/giây 16.04.11 Lượng thơng tin trung bình ký tự Trung bình ký tự lượng thơng tin trung bình cho tất thơng điệp có từ nguồn thông điệp ổn định ký hiệu tốn học giới hạn: T’ = limm-> Tm lượng thơng tin trung bình cho tất cặp dãy có m ký tự tương ứng đầu vào đầu CHÚ THÍCH: Đơn vị lượng thơng tin trung bình ký tự biểu diễn shannon/ký tự 16.04.12 Tốc độ thơng tin trung bình Thương số lượng thơng tin trung bình ký tự T’ tính khoảng thời gian trung bình cặp ký tự đầu vào đầu ra, thương số ký hiệu toán học là: T* = T’/t(X, Y) X = {x1 xn} tập ký tự đầu vào xi (i = n), Y = {y1 ym} tập ký tự đầu yj (j = m) n t( X ,Y ) m p ( xi , y j )t ( xi , y j ) i j giá trị trung bình khoảng thời gian t(xi,yj) cặp ký tự (xi,yj) với xác suất chung p(xi,yj) CHÚ THÍCH: Đơn vị tốc độ thơng tin trung bình biểu diễn shannon/giây 16.04.13 Dung lượng kênh Đo lường khả kênh tùy thuộc vào quy định cụ thể truyền thông điệp từ nguồn thông điệp quy định thể lượng thơng tin trung bình ký tự lớn có tốc độ thơng tin trung bình lớn có, đạt xác suất sai số nhỏ việc sử dụng mã thích hợp MỤC LỤC Lời nói đầu Mục 1: Khái quát 1.1 Phạm vi áp dụng 1.2 Tài liệu viện dẫn 1.3 Nguyên lý quy tắc Mục 2: Thuật ngữ định nghĩa 16 Lý thuyết thông tin 16.01 Thuật ngữ chung 16.02 Thông điệp truyền thông điệp 16.03 Thuật ngữ định lượng 16.04 Các thuật ngữ định lượng dẫn xuất ... chữ số dùng để phần tiêu chuẩn Mỗi mục ấn định số mục gồm chữ số, chữ số dùng để phần tiêu chuẩn nhóm mục Những số ấn định cho hợp phần, nhóm mục cách giống để phiên tiêu chuẩn quán ngôn ngữ... ngữ ưu tiên quốc gia cụ thể (được xác định theo quy tắc TCVN 7217); d) Viết tắt thuật ngữ; e) (Các) thuật ngữ đồng nghĩa phép dùng; f) Văn định nghĩa (xem 1.3.4); g) Một số ví dụ với tiêu đề “VÍ... danh từ số nhiều động tính từ Các dạng sở tất thuật ngữ in kiểu chữ nghiêng tiêu chuẩn liệt kê bảng mục cuối tiêu chuẩn (xem 1.3.11) Dấu hoa thị dùng để tách thuật ngữ in kiểu chữ nghiêng có

Ngày đăng: 07/02/2020, 22:06

Tài liệu cùng người dùng

  • Đang cập nhật ...

Tài liệu liên quan