Đang tải... (xem toàn văn)
Giáo trình : Lý thuyết, ngôn ngữ hình thức và Otômat
Bộ giáo dục đào tạo đại học huế trờng đại học khoa học nguyễn gia định Lý THUYếT NGÔN NGữ HìNH THứC Và ÔTÔMAT q1 q0 0 0 q2 q3 huÕ − 2004 LỜI NÓI ĐẦU Mấy chục năm gần đây, chứng kiến phát triển mãnh liệt lĩnh vực nghiên cứu toán học liên quan đến máy tính tin học Sự phát triển phi thường máy tính thay đổi sâu sắc phương pháp luận khoa học mở chân trời cho tốn học với tốc độ khơng thể sánh suốt lịch sử lâu dài toán học Những phát triển đa dạng toán học trực tiếp tạo “thuở ban đầu” máy tính tin học tiến tin học dẫn đến phát triển mạnh mẽ số ngành tốn học Vì vậy, tốn học đóng vai trò trung tâm sở tin học Có thể kể số lĩnh vực nghiên cứu đáng ý mối quan hệ Thật thú vị nhận thấy lĩnh vực phản ánh phát triển lịch sử tin học Lý thuyết kinh điển tính tốn bắt đầu cơng trình Gưdel, Tarski, Church, Post, Turing Kleene chiếm vị trí trung tâm Trong lý thuyết ơtơmat ngơn ngữ hình thức kinh điển, khái niệm ôtômat, văn phạm ngơn ngữ, với cơng trình sáng giá Axel Thue, Chomsky, Post Ngoài hai lĩnh vực trên, nhiều lĩnh vực quan trọng khác thuộc sở toán học tin học; chẳng hạn, lý thuyết độ phức tạp, ngữ nghĩa lý thuyết tính đắn ngơn ngữ lập trình, lý thuyết mật mã, lý thuyết cấu trúc liệu lý thuyết sở liệu Lý thuyết ngơn ngữ hình thức ơtơmat đóng vai trị quan trọng sở tốn học tin học Ngơn ngữ hình thức sử dụng việc xây dựng ngơn ngữ lập trình, lý thuyết chương trình dịch Các ngơn ngữ hình thức tạo thành cơng cụ mơ tả mơ hình tính tốn cho dạng thơng tin vào-ra lẫn kiểu thao tác Lý thuyết ngơn ngữ hình thức, thực chất lĩnh vực khoa học liên ngành; nhu cầu mơ tả hình thức văn phạm phát sinh nhiều ngành khoa học khác từ ngơn ngữ học đến sinh vật học Do khía cạnh thích hợp lý thuyết ngơn ngữ hình thức có tầm quan trọng định giáo trình Lý thuyết ngơn ngữ hình thức ôtômat Ngoài ra, vấn đề lý thuyết tính tốn tốn có thuật tốn để giải Sự phát triển có tính chất tảng lơgic tốn năm 30 kỷ 20 việc tồn tốn khơng giải được, tốn mà khơng thể có thuật tốn giải chúng Cần phải có mơ hình tính tốn để thiết lập tính khơng giải Mơ hình tính tốn máy Turing, đưa từ trước máy tính điện tử đời lâu Các máy Turing lập thành mô hình tính tốn tổng qt dùng rộng rãi Giáo trình nhằm trình bày văn phạm hình thức ôtômat máy Turing, công cụ sinh ngôn ngữ, đồng thời đề cập đến tính chất ngơn ngữ quy, ngơn ngữ phi ngữ cảnh, ngôn ngữ đệ quy ngôn ngữ đệ quy đếm Ngồi ra, giáo trình giới thiệu sơ lược trình biên dịch, phần quan trọng học phần Chương trình dịch, học phần gắn bó chặt chẽ với Lý thuyết ngơn ngữ hình thức ôtômat Một phần quan trọng lý thuyết thuật tốn lớp ngơn ngữ (hay tốn) P NP lớp ngôn ngữ NP-đầy đủ giới thiệu phần phụ lục Nội dung tài liệu bố trí chương, khơng kể lời nói đầu, mục lục, tài liệu tham khảo phần phụ lục: Chương I: Trình bày khái niệm ngôn ngữ, cấu trúc văn phạm sinh ngôn ngữ phân cấp Chomsky ngơn ngữ Chương II: Trình bày ngơn ngữ quy, có cơng cụ sinh ngơn ngữ quy văn phạm quy, ôtômat hữu hạn (đơn định không đơn định) biểu thức quy Chương III: Đi sâu ngôn ngữ phi ngữ cảnh ôtômat đẩy xuống cơng cụ đốn nhận ngơn ngữ phi ngữ cảnh Chương IV: Giới thiệu máy Turing vấn đề không giải thuật tốn Chương V: Trình bày sơ lược trình biên dịch ngơn ngữ, đặc biệt ngơn ngữ lập trình Đây tài liệu tham khảo, học tập cho sinh viên, học viên cao học nghiên cứu sinh chun ngành Tốn-Tin, Cơng nghệ thơng tin, Tin học quan tâm văn phạm, ngôn ngữ hình thức ơtơmat Chúng tơi xin chân thành cám ơn đồng nghiệp động viên góp ý cho cơng việc viết giáo trình Lý thuyết ngơn ngữ hình thức ơtơmat lời cám ơn đặc biệt xin dành cho Thầy Lê Mạnh Thạnh đồng nghiệp Nguyễn Hoàng Sơn cung cấp số tài liệu quan trọng động viên kịp thời tạo niềm hưng phấn để tác giả giảng dạy viết giáo trình cho học phần Lý thuyết ngơn ngữ hình thức ôtômat Tác giả mong nhận giáo đồng nghiệp độc giả thiếu sót khó tránh khỏi sách Trọng Đơng năm Giáp Thân (2004) Nguyễn Gia Định MỤC LỤC Lời nói đầu Mục lục Chương I: Nhập môn văn phạm ngơn ngữ hình thức… 1.1 Khái niệm ngôn ngữ 1.2 Văn phạm ngôn ngữ sinh văn phạm 1.3 Một số tính chất ngôn ngữ 15 Bài tập Chương I 19 Chương II: Ơtơmat hữu hạn ngơn ngữ quy 20 2.1 Ơtơmat hữu hạn 20 2.2 Quan hệ ôtômat hữu hạn ngơn ngữ quy 28 2.3 Biểu thức quy 32 2.4 Cực tiểu hố ơtơmat hữu hạn 34 Bài tập Chương II 41 Chương III: Ơtơmat đẩy xuống ngơn ngữ phi ngữ cảnh 43 3.1 Văn phạm phi ngữ cảnh suy dẫn 43 3.2 Ơtơmat đẩy xuống 51 Bài tập Chương III 59 Chương IV: Máy Turing 60 4.1 Máy Turing lớp hàm tính 61 4.2 Máy Turing phổ dụng 68 4.3 Vấn đề khơng giải thuật tốn 72 Bài tập Chương IV 75 Chương V: Giới thiệu trình biên dịch 76 5.1 Ngơn ngữ lập trình 76 5.2 Trình biên dịch 80 5.3 Các mối liên quan với trình biên dịch 87 5.4 Nhóm giai đoạn trình biên dịch 91 Phụ lục: Các lớp P NP lớp toán NP-đầy đủ 93 Tài liệu tham khảo 105 CHƯƠNG I: NHẬP MÔN VỀ VĂN PHẠM VÀ NGƠN NGỮ HÌNH THỨC 1.1 KHÁI NIỆM NGÔN NGỮ 1.1.1 Mở đầu: Từ ngàn xưa người muốn giao tiếp với phải dùng ngôn ngữ Ngơn ngữ để người giao tiếp với gọi ngôn ngữ tự nhiên, chẳng hạn tiếng Anh, tiếng Nga, tiếng Việt ngôn ngữ tự nhiên Con người muốn giao tiếp với máy tính tất nhiên thơng qua ngơn ngữ Con người muốn máy tính thực cơng việc, phải viết yêu cầu đưa cho máy ngôn ngữ máy hiểu Việc viết yêu cầu ta gọi lập trình Ngơn ngữ dùng để lập trình gọi ngơn ngữ lập trình Cả ngơn ngữ lập trình lẫn ngơn ngữ tự nhiên xem tập từ, tức xâu hữu hạn phần tử chữ sở Khái niệm ngơn ngữ đưa vào mục tổng quát Chắc chắn bao hàm ngôn ngữ lập trình lẫn tự nhiên, ngơn ngữ vơ nghĩa mà ta nghĩ đến Về mặt truyền thống, lý thuyết ngơn ngữ hình thức liên quan đến đặc tả cú pháp ngôn ngữ nhiều đến vấn đề ngữ nghĩa Một đặc tả cú pháp ngơn ngữ có hữu hạn từ, ngun tắc, cho cách liệt kê từ Điều khơng thể áp dụng ngơn ngữ có vơ hạn từ Nhiệm vụ lý thuyết ngơn ngữ hình thức nghiên cứu cách đặc tả hữu hạn ngôn ngữ vô hạn Lý thuyết sở tính tốn nhiều ngành khác nó, chẳng hạn mật mã học, có liên quan mật thiết với lý thuyết ngôn ngữ Các tập vào thiết bị tính tốn xem ngơn ngữ nói sâu sắc mơ hình tính tốn đồng với lớp đặc tả ngôn ngữ theo nghĩa mà sau nêu xác Chẳng hạn, máy Turing đồng với văn phạm cấu trúc câu ơtơmat hữu hạn đồng với văn phạm quy 1.1.2 Định nghĩa: Một bảng chữ tập hữu hạn khác rỗng Các phần tử bảng chữ Σ gọi chữ hay ký hiệu Thí dụ 1: Dưới bảng chữ cái: Σ = {a, b, c, …, z}, U = {α, β, γ, δ, ε, η, ϕ, κ, µ, χ, ν, π, θ, ρ, σ, τ, ω,ξ, ψ}, V = {0, 1}, W = {if, then, else, a, b, c, d, e, f, +, −, ∗, /, =, ≠} 1.1.3 Định nghĩa: Một từ bảng chữ Σ xâu hữu hạn gồm số lớn hay không chữ Σ, chữ xuất vài lần Xâu khơng có chữ gọi từ rỗng ký hiệu ε Như vậy, theo định nghĩa, hai từ α=a1a2…an β=b1b2…bm nhau, α=β, n=m ai=bi với i=1, 2, …, n Tập từ (t.ư từ khác rỗng) bảng chữ Σ ký hiệu Σ* (t.ư Σ+) Các tập Σ* Σ+ vô hạn với Σ (thật ra, Σ* Σ+ vô hạn đếm Mệnh đề 1.1.5 đây) Về mặt đại số, Σ* vị nhóm tự với đơn vị từ rỗng ε sinh Σ Σ+ nửa nhóm tự sinh Σ Đối với từ α∈Σ* α’∈Σ’*, việc đặt α α’cạnh để có từ αα’∈(Σ∪Σ’)* gọi phép ghép α với α’ Từ rỗng phần tử đơn vị phép ghép: ωε = εω = ω với từ ω Vì phép ghép có tính kết hợp, nghĩa với từ α, β, γ, ta có (αβ)γ = α(βγ), nên ký hiệu ωn, với n số tự nhiên, dùng theo nghĩa quen thuộc: ⎧ε n = 0, ⎪ ω n = ⎨ω n = 1, ⎪ n−1 ⎩ω ω n > Thí dụ 2: ε, 0, 01, 101, 1010, 110011 từ bảng chữ V = {0,1} beautiful từ bảng chữ Σ = {a, b, c, …, z} Trên bảng chữ W = {if, then, else, a, b, c, d, e, f, +, −, ∗, /, =, ≠}, α từ if a+b=c then c∗d=e β từ else c/d=f αβ từ: if a + b = c then c ∗ d = e else c / d = f 1.1.4 Định nghĩa: Độ dài từ ω, ký hiệu |ω| hay d(ω), số chữ có mặt ω Theo định nghĩa, |ε|=0 Hàm độ dài có số tính chất hình thức lơgarit: với từ α, β số tự nhiên n, |αβ| = |α| + |β|, |αn| = n|α| Đảo từ có cách viết chữ theo thứ tự ngược lại; ω=a1a2…an từ bảng chữ Σ đảo ωR từ bảng chữ Σ: ωR = an… a2a1 Từ α gọi từ hay nhân tử từ β có từ u v cho β=uαv Ngoài ra, u=ε (t.ư v=ε) α gọi từ đầu hay tiền tố (t.ư từ cuối hay hậu tố) β Thí dụ 3: Từ ω=010111001 bảng chữ {0, 1} có độ dài 9, 0101 tiền tố 11001 hậu tố ω Từ if a + b = c then c ∗ d = e else c / d = f bảng chữ W có độ dài 18, then c ∗ d = e từ 1.1.5 Mệnh đề: Nếu Σ bảng chữ Σ* tập (vơ hạn) đếm Chứng minh: Do số tự nhiên n tồn từ Σ có độ dài n nên Σ* tập vô hạn Giả sử Σ={a1, a2, …, an} Xét ánh xạ f từ Σ* vào tập hợp N số tự nhiên xác định bởi: f(ε) = 0, f(ai) = i, f(αai) = (n+1)f(α)+i, ∀α∈Σ* Với α = ai0 ai1 aik , β = b j0 b j1 b jh f(α) = f(β) Khi đó, (n+1)ki0+(n+1)k-1i1+ … +(n+1)ik-1+ik = (n+1)hj0+(n+1)h-1j1+ … +(n+1)jh-1+jh, vế hai khai triển số nguyên theo số n+1 Do đó, k=h iu=ju với ≤ u ≤ k hay α=β Vì vậy, f đơn ánh Từ suy Σ* đếm 1.1.6 Định nghĩa: Mỗi tập Σ* gọi ngơn ngữ hình thức hay ngắn gọn ngôn ngữ Σ Đặc biệt, tập ∅ ngôn ngữ Σ, gọi ngôn ngữ rỗng; tập {ε} ngôn ngữ Σ, ngôn ngữ chứa từ rỗng Σ* ngôn ngữ gồm tất từ Σ Thí dụ 4: L1 = {ε, a, b, abb, aab, aaa, bbb, abab}, L2 = {anbn | n∈ N} hai ngôn ngữ bảng chữ Σ = {a, b}, L1 ngôn ngữ hữu hạn L2 ngôn ngữ vô hạn Mỗi từ thuộc ngôn ngữ L2 có số chữ a số chữ b với a b không xen kẻ, a nằm phía trái b phía phải Các họ ngơn ngữ cụ thể thường đặc trưng cách tiện lợi qua phép toán xác định ngơn ngữ, họ gồm ngơn ngữ nhận việc tổ hợp từ số ngôn ngữ cho trước số phép tốn Vì ngơn ngữ tập hợp nên ta có phép toán Boole phép giao, phép hợp, phép hiệu, phép lấy bù Chẳng hạn, với L1 L2 hai ngơn ngữ bảng chữ Σ ta có ngơn ngữ sau bảng chữ Σ: L1 ∪ L2, L1 ∩ L2, L1 \ L2, Σ* \ L1 Ngồi ra, ta cịn có phép toán khác “phép ghép” “phép cấu xạ” 1.1.7 Định nghĩa: Cho hai ngôn ngữ L1 bảng chữ Σ1 L2 bảng chữ Σ2 Ghép hay tích hai ngơn ngữ L1 L2 ngôn ngữ bảng chữ Σ1 ∪ Σ2, ký hiệu L1L2, đuợc xác định bởi: L1L2 = {αβ | α∈L1 β∈L2} Dễ dàng thấy phép ghép có tính kết hợp, nghĩa với ngơn ngữ L1, L2 L3, ta ln có: (L1L2)L3 = L1(L2L3) Ngồi ra, với ngơn ngữ L, ta có: ∅L = L∅ = ∅, {ε}L = L{ε} = L, phép ghép có tính phân phối phép hợp, nghĩa L1(L2 ∪ L3) = L1L2 ∪ L1L3, (L2 ∪ L3)L1 = L2L1 ∪ L3L1 Vì phép ghép ngơn ngữ có tính kết hợp nên ký hiệu Ln dùng với ngôn ngữ L số tự nhiên n theo nghĩa quen thuộc sau: ⎧{ε } n = 0, ⎪ Ln = ⎨ L n = 1, ⎪ n -1 ⎩ L L n > Lặp hay bao đóng ghép ngơn ngữ L, ký hiệu L*, định nghĩa hợp luỹ thừa L: L* = ∞ U Ln n =0 Lặp khơng-ε hay bao đóng ghép khơng-ε L, ký hiệu L+, định nghĩa hợp luỹ thừa dương L: + L = ∞ U Ln n =1 Thí dụ 5: 1) Xét ngôn ngữ bảng chữ Σ = {0, 1}: L1 = {0, 01}, L2 = {01, 10}, L3 = {0} L2L3 = {010, 100}, L1 ∪ (L2L3) = {0, 01, 010, 100}, L1 ∪ L2 = {0, 01, 10}, L1 ∪ L3 = {0, 01}, (L1 ∪ L2)(L1 ∪ L3) = {00, 001, 010, 0101, 100, 1010} Do L1 ∪ (L2L3) ≠ (L1 ∪ L2)(L1 ∪ L3) tức phép hợp khơng có tính phân phối phép ghép L2 ∩ L3 = ∅, L1(L2 ∩ L3) = ∅, L1L2 = {001, 010, 0101, 0110}, L1L3 = {00, 010}, (L1L2) ∩ (L1L3) = {010} Do L1(L2 ∩ L3) ≠ (L1L2) ∩ (L1L3) tức phép ghép khơng có tính phân phối phép giao L1 ∩ (L2L3) = ∅, L1 ∩ L2 = {01}, L1 ∩ L3 = {0}, (L1 ∩ L2)(L1 ∩ L3) = {010} Do L1 ∩ (L2L3) ≠ (L1 ∩ L2)(L1 ∩ L3) tức phép giao khơng có tính phân phối phép ghép 2) Xét ngôn ngữ L = {0, 1} bảng chữ Σ = {0, 1} Ta có: L2 = {00, 01, 10, 11}, tập hợp xâu nhị phân độ dài 2; L3 = {000, 001, 010, 011, 100, 101, 110, 111}, tập hợp xâu nhị phân độ dài 3; Tương tự, Ln tập hợp xâu nhị phân độ dài n Vì vậy, L* tập hợp tất xâu nhị phân 3) Xét hai ngôn ngữ bảng chữ Σ = {a}: L1 = {a2n | n ≥ 1}, L2 = {a5n+3 | n ≥ 0} + Khi đó, ta có L1 = {a2} , L2 = {a5}*{a3} Một phép tốn có tầm quan trọng cốt yếu lý thuyết ngôn ngữ phép cấu xạ, định nghĩa 1.1.8 Định nghĩa: Cho hai bảng chữ Σ Σ’ Ánh xạ f: Σ* ⎯ ⎯→ Σ’* thoả mãn điều kiện f(αβ) = f(α)f(β) với từ α, β ∈ Σ* (1) gọi cấu xạ Đối với ngôn ngữ L Σ, f(L) = {f(α) | α ∈ L} ngôn ngữ Σ’ Theo điều kiện (1), để xác định cấu xạ f, cần liệt kê từ f(a) Σ’ với a chạy chữ Σ Cấu xạ f gọi khơng xố (t.ư chữ - thành - chữ) f(a) ≠ε (t.ư f(a) ∈ Σ’) với a ∈ Σ Thí dụ 6: Xét bảng chữ tiếng Anh Σ = {A, B, C, …, Z} Mỗi cấu xạ chữ thành - chữ fi: Σ* ⎯ ⎯→ Σ*, ≤ i ≤ 25 ánh xạ chữ thành chữ đứng sau i vị trí bảng chữ cái, phần cuối bảng chữ nối tiếp vòng tròn lên phần đầu Chẳng hạn, f3(A) = D, f7(Y) = F, f25(Z) = Y Trong mật mã học, cấu xạ fi thường đề cập đến cách mã hoá Caesar Chẳng hạn, f25(IBM) = HAL, f3(HELP) = KHOS Dễ dàng thấy cấu xạ fi có tính giao hốn: fi o fj = fj o fi với i, j Ngoài ra, f26-i o fi = f0 với i ≥ Như vậy, rõ mã hố cách dùng fi, rõ tìm lại cách dùng f26-i để giải mã 1.2 VĂN PHẠM VÀ NGÔN NGỮ SINH BỞI VĂN PHẠM 1.2.1 Mở đầu: Ta hình dung văn phạm “thiết bị tự động” mà có khả sinh tập hợp từ bảng chữ cho trước Mỗi từ sinh sau số hữu hạn bước thực quy tắc văn phạm Việc xác định ngơn ngữ bảng chữ cho trước thực cách thức sau: Cách 1: Đối với từ thuộc ngôn ngữ cho, ta chọn quy cách hoạt động “thiết bị tự động” để sau số hữu hạn bước làm việc dừng sinh từ Cách 2: “Thiết bị tự động” có khả sinh tất từ ngôn ngữ cho Cách 3: Với từ ω cho trước, “thiết bị tự động” cho biết từ có thuộc ngơn ngữ cho hay không Trong lý thuyết văn phạm, người ta chứng minh ba cách thức tương đương hay văn phạm làm việc theo cách tương đương Vì vậy, ta quan tâm đến cách thứ nhất, tức ta xét văn phạm “thiết bị tự động” sinh từ Vì lẽ mà người ta cịn gọi “thiết bị tự động” văn phạm sinh Việc sinh từ thực nhiều cách khác Các từ sinh văn phạm, Ơtơmat, máy hình thức máy Turing, …Ở ta đề cập đến cách CHOMSKY đưa vào năm 1956-1957 1.2.2 Định nghĩa: Văn phạm G thứ tự gồm thành phần: G = < Σ, ∆, S, P >, đó: a) Σ bảng chữ, gọi bảng chữ kết thúc hay từ điển bản, phần tử gọi ký hiệu kết thúc hay ký hiệu bản; b) ∆ bảng chữ, ∆ ∩ Σ=∅, gọi bảng chữ không kết thúc hay từ điển hỗ trợ, phần tử gọi ký hiệu không kết thúc hay ký hiệu hỗ trợ c) S ∈ ∆ gọi ký hiệu đầu; d) P tập hợp cặp thứ tự , α, β ∈ (Σ ∪ ∆)* α chứa ký hiệu không kết thúc; P gọi tập quy tắc thay thế, gọi quy tắc hay sản suất thường viết cho thuận tiện α→β, α gọi vế trái β gọi vế phải quy tắc Thí dụ 7: Các bốn sau văn phạm: G1 = , G2 = , G3 = G4 = , Σ={tơi, anh, chị, ăn, uống, cơm, phở, sữa, café}, ∆={, , , , , ,}, S=, P={→, →tôi,→anh,→chị, →, →, →ăn, →uống, →cơm, →phở, →sữa, →café} ... nghĩa: Mỗi tập Σ* gọi ngơn ngữ hình thức hay ngắn gọn ngôn ngữ Σ Đặc biệt, tập ∅ ngôn ngữ Σ, gọi ngôn ngữ rỗng; tập {ε} ngôn ngữ Σ, ngôn ngữ chứa từ rỗng Σ* ngôn ngữ gồm tất từ Σ Thí dụ 4: L1... cảnh, phi ngữ cảnh, quy) sinh Vì vậy, lớp ngơn ngữ, ta có bao hàm thức: 13 {ngơn ngữ quy} ⊂ {ngôn ngữ phi ngữ cảnh} ⊂ {ngôn ngữ cảm ngữ cảnh} ⊂ {ngôn ngữ tổng quát} Ta thấy mặt cấu trúc ngữ pháp... dựng ngơn ngữ lập trình, lý thuyết chương trình dịch Các ngơn ngữ hình thức tạo thành cơng cụ mơ tả mơ hình tính tốn cho dạng thơng tin vào-ra lẫn kiểu thao tác Lý thuyết ngơn ngữ hình thức, thực
