5 syntacticparse

29 17 0
  • Loading ...
1/29 trang

Thông tin tài liệu

Ngày đăng: 31/12/2018, 14:51

Bài tốn PTCP PTCP mẫu Phân tích cú pháp P Lê Thanh Hương Bộ môn Hệ thống Thông tin Viện CNTT &TT – Trường ĐHBKHN Email: huonglt@soict.hust.edu.vn câu T tính C điểm P độ xác Các PTCP có độ xác cao cú pháp Văn phạm (Eisner, Collins, Charniak, etc.) Các ứng dụng PTCP  Dịch máy tiếng Anh  Các ứng dụng PTCP (Alshawi 1996, Wu 1997, ) thao tác với tiếng Việt Nhận dạng tiếng nói sử dụng PTCP (Chelba et al 1998) Put the file in the folder Put the file and the folder  Kiểm tra ngữ pháp  Trích rút thơng tin (Hobbs 1996) (Microsoft) CSDL Kho văn NY Times câu truy vấn Khái niệm văn phạm Văn phạm Phân tích câu “Bò vàng gặm cỏ non”  Cây cú pháp: C  Tập luật CN VN       C  CN VN CN  DN VN  ĐgN ĐgN  ĐgT DN DN  DT TT DN DT Bò Một văn phạm sản sinh hệ thống G = ( T, N, S, R ),   ĐgN TT vàng ĐgT gặm DT cỏ   DN  TT non T (terminal) – tập ký hiệu kết thúc N (non terminal) – tập ký hiệu không kết thúc S (start) – ký hiệu khởi đầu R (rule) – tập luật R = {    | ,   (TN) }    gọi luật sản xuất Ví dụ  G1 = ({a,b}, {X}, X, {X, XaXb}) Xác định L(G1)  G2 = ({a,b}, {X}, X, {X, XaXb, XXX}) Xác định L(G2) Dạng chuẩn Chomsky   Mọi NNPNC khơng chứa  sinh từ văn phạm sản xuất có dạng A  BC A  a, với A,B,CN a T Ví dụ: Tìm dạng chuẩn Chomsky cho văn phạm G với T = {a,b}, N ={S,A,B}, R sau:    S  bA|aB A bAA|aS|a B  aBB|bS|b Ví dụ văn phạm Định nghĩa      Văn phạm (grammar) dạng biểu diễn hình thức cấu trúc chấp nhận ngơn ngữ Thuật tốn PTCP (parsing algorithm) phương pháp xác định cấu trúc câu sở ngữ pháp có Chương trình PTCP (parser) chương trình xác định cấu trúc ngữ pháp câu   Văn phạm: tập luật viết lại Ký hiệu kết thúc: ký hiệu phân rã Ký hiệu không kết thúc: ký hiệu phân rã Xét văn phạm G: S  NP VP NP  John, garbage VP  laughed, walks G sinh câu sau: John laughed John walks Garbage laughed Garbage walks Văn phạm phi ngữ cảnh (Context-Free Grammar) Cấu trúc ngữ pháp Cây cú pháp biểu diễn cấu trúc ngữ pháp câu Bò vàng gặm cỏ non C DT Bò CN VN DN ĐgN TT vàng 10 ĐgT gặm DT cỏ DN TT non … gọi văn phạm cấu trúc đoạn  G =  T – tập ký hiệu kết thúc (terminals)  N - tập ký hiệu không kết thúc (non-terminals)  P – ký hiệu tiền kết thúc (preterminals), viết lại trở thành ký hiệu kết thúc, P Nphạm cảm ngữ cảnh So với văn  S – ký hiệu bắt đầu R: A    R: X   , X ký hiệu không kết thúc;  chuỗi ký hiệu kết thúc không kết thúc (có thể rỗng)  Văn phạm G sinh ngôn ngữ L  Bộ nhận dạng: trả yes no  Bộ PTCP: trả tập cú pháp 11 12  Văn phạm ngữ cấu:    r = , với   V+ ,   V* ,  1A21’2 với ’ Văn phạm phi ngữ cảnh:    Văn phạm phi ngữ cảnh Văn phạm cảm ngữ cảnh:   , với   V+ ,   V* A  , A  N, với   V*= ( T  N )* Văn phạm qui:     A  aB, A  Ba, A  a, với A, B  N, a  T VPCQ VPPNC VPCNC VPNC 13 Cấu trúc đoạn đệ qui Áp dụng tập luật ngữ pháp  14 S  NP VP  DT NNS VBD  The children slept  S  NP VP  DT NNS VBD NP  DT NNS VBD DT NN  The children ate the cake 15 16 Văn phạm cho ngôn ngữ tự nhiên có nhập nhằng S PTCP kiểu xuống John saw snow on the campus S NP John  Nhập nhằng - PP gắn điểm (với VP với NP)   VP ……   PP on NP  VP Hướng đích Khởi đầu với danh sách ký hiệu cần triển khai (S, NP,VP,…) Viết lại đích tập đích cách:  saw NP snow NP tìm luật có vế trái trùng với đích cần triển khai triểu khai với vế phải luật, tìm cách khớp với câu đầu vào Nếu đích có nhiều cách viết lại  chọn luật để áp dụng (bài toán tìm kiếm) Có thể sử dụng tìm kiếm rộng (breadth-first search) tìm kiếm sâu (depth-first search) the campus 17 Khó khăn với PTCP xuống  Các luật đệ qui trái  PTCP xuống bất lợi có nhiều luật có vế trái 18 PTCP lên  SNP X2 …… SNP X600 NP VP ……  SNP X1 S  SVP Y1   Nhiều thao tác thừa: triển khai tất nút phân tích xuống   PTCP xuống làm việc tốt có chiến lược điều khiển ngữ pháp phù hợp   PTCP xuống triển khai ký hiệu tiền kết thúc thành ký hiệu kết thúc Trên thực tế, người ta thường sử dụng phương pháp lên để làm việc  Lặp lại công việc: chỗ có cấu trúc giống 19 Hướng liệu Khởi tạo với xâu cần phân tích Nếu chuỗi tập đích phù hợp với vế phải luật  thay vế trái luật Kết thúc tập đích = {S} Nếu vế phải luật khớp với nhiều luật tập đích, cần lựa chọn luật áp dụng (bài tốn tìm kiếm) Có thể sử dụng tìm kiếm rộng (breadth-first search) tìm kiếm sâu (depth-first search) 20 Thuật tốn CKY (bộ nhận dạng) Khó khăn với PTCP lên    Khơng hiệu có nhiều nhập nhằng mức từ vựng Lặp lại công việc: có cấu trúc chung Cả PTCP TD (LL) BU (LR) có độ phức tạp hàm mũ độ dài câu    Vào: xâu n từ Ra: yes/no Cấu trúc ngữ pháp: bảng n x n (chart table)    hàng đánh số đến n-1 cột đánh số đến n cell [i,j] liệt kê tất nhãn cú pháp i j 21 Thuật toán CKY (bottom-up)   22 Ví dụ for i := to n  Thêm tất từ loại từ thứ i vào ô [i-1,i] for width := to n  for start := to n-width  end := start + width  for mid := start+1 to end-1  for nhãn cú pháp X [start,mid]  for nhãn cú pháp Y [mid,end]  for cách kết hợp X Y (nếu có)  Thêm nhãn kết vào [start,end] chưa có nhãn C  CN VN CN  DN VN  ĐgN ĐgN  ĐgT DN DN  DT TT Bò vàng gặm DT cỏ non CN DN C TT VN ĐgN ĐgT DT DN TT 23 24 Văn phạm phi ngữ cảnh Start S S NP VP NP Det Noun NP  Name NP NN PP PP Prep NP VP  V NP VP  V NP PP 10 11 12 13 14 15 Luật kết hợp V  ate Name  John Name  ice-cream, snow Noun  ice-cream, pizza Noun  table, guy, campus Det the Prep on Ô Cell[i,j] chứa nhãn X     Có luật XYZ; Cell[i,k] chứa nhãn Y ô Cell[k,j] chứa nhãn Z, với k nằm i j; VD: NP DT [0,1] NN[1,2] 25 26 CKY phải sử dụng luật nhị phân “ The  Chuyển VPV NP PP thành: 8.a VPV Arguments 8.b Arguments NP PP 27 NP NN PP PP Prep NP VP  V NP 8.a VPV Arguments 8.b Arguments NP PP Start S S NP VP NP DT NN NP  Name guy ate the ice-cream on the table” DT NN VBD DT NN Prep DT NN 28 Nhập nhằng! Áp dụng thao tác ‘dán’ 1 NP NN PP 8.a VPV Arguments 8.b Arguments NP PP DT NP NN VBD DT NP NN VBD DT S S VP NP VP DT NN IN DT NN 29 NN IN DT Args NP PP NP NN 30 Thuật toán Earley (top-down)     C DN ĐgN DN  LT DT DN  DN TT ĐgN  ĐgT DN  Tìm nhãn nhãn thiếu (partial constituents) từ đầu vào  A  B C D E nhãn thiếu: A B    Phân tích câu sau sử dụng CKY Con ngựa đá ngựa đá LT DT ĐgT LT DT TT C + D D A = E ABC.DE B C D E ABCD.E 32  Tiến hành dần từ trái sang phải Ví dụ Papa ate the caviar with a spoon Recursive Descent (Đệ quy) ROOT  S S  NP VP NP  Det N NP  NP PP VP  VP PP VP  V NP PP  P NP ROOT S NP NP NP  Papa N  caviar N  spoon V  ate P  with Det  the Det a  S  NP VP  Det N  NP PP ROOT S Recursive Descent ROOT S NP NP  S  NP VP  Det N  NP PP 0S   VP  VP PP VP  V NP PP  P NP NP  Papa N  caviar N  spoon V  ate P  with Det  the Det  a  S PP S  NP VP  Det N  NP PP VP VP 34 VP  V NP VP  VP PP PP  P NP NP  Papa N  caviar N  spoon V  ate P  with Det  the Det  a  NP  Papa  S  NP VP stack overflowed VP  VP VP PP  VP Papa VP  NP  Papa   VP PP PP NP Papa  S  NP VP VP VP PP VP VP PP VP VP PP VP NP  Papa ROOT  S VP  VP PP 1 VP  VP PP S  NP VP Papa ate the caviar with a spoon ROOT S NP NP NP VP 1 VP  VP PP V  ate P  with Det  the Det  a Recursive Descent VP  VP PP  NP  Papa N  caviar N  spoon Goal stack 33 Papa ate the caviar with a spoon VP  VP PP VP  V NP PP  P NP ROOT  S  S  NP VP  NP  Papa  NP  Papa  S  NP VP Root VP PP PP PP PP PP PP   35  V  ate VP   V NP 2 NP  2 NP   V NP NP VP VP 0S  V NP 1 V  ate sau = nonterminal, lặp lặp lại việc tìm ký hiệu (“predict”) sau = terminal, tìm đầu vào (“scan”) sau = rỗng, đích cha hồn chỉnh (“attach”) predict (đích tiếp theo) phân tích tiếp cuối … hồn thành đích NP cha  attach attach attach 36 Papa ate the caviar with a spoon Recursive Descent ROOT S NP NP  S  NP VP  Det N  NP PP ROOT     S0 NP VP  NP  Papa  NP  Papa S  NP VP  VP  V NP  V  ate  V  ate  VP  V NP  NP   NP   VP  V NP S  NP VP 0S VP  V NP VP  VP PP PP  P NP NP  Papa N  caviar N  spoon ROOT S NP NP V  ate P  with Det  the Det  a  thực lời gọi hàm: S() gọi NP() VP(), VP triển khai cách đệ qui  V  ate P  with Det  the Det  a  NP  Papa  S  NP VP  VP  VP PP 1 VP  V NP    V  ate  chỗ cần quay lại V  ate VP  V NP  37 NP  2 NP  phân tích tiếp cuối cùng… đoạn NP từ đến 38 Thuật toán Earley V  ate P  with Det  the Det  a   ROOT  S  S  NP VP   NP  Papa  S  NP VP  VP  VP PP  VP  VP PP 1 VP  VP PP 1 VP  VP PP 1 VP  VP PP stack overflowed khơng giải – cần thay đổi tập luật để loại trừ đệ qui trái Thuật toán Earley giống thuật tốn đệ qui nói trên, giải vấn đề đệ qui trái Sử dụng bảng phân tích giống thuật tốn CKY, nhằm lưu lại thơng tin tìm thấy  lập trình động “Dynamic programming.” Các thao tác thuật toán  NP  Papa  NP  Papa N  caviar N  spoon  NP  Papa  NP  Papa N  caviar N  spoon VP  V NP VP  VP PP PP  P NP  S  NP VP cần quay lại để thử luật VP khác VP  V NP VP  VP PP PP  P NP S  NP VP  Det N  NP PP ROOT  S Recursive Descent S  NP VP  Det N  NP PP Recursive Descent Papa ate the caviar with a spoon ROOT S NP NP Papa ate the caviar with a spoon 39 Xử lý phần sau dấu theo kiểu đệ qui :  Nếu từ, qt (scan) đầu vào để xem có phù hợp khơng  Nếu ký hiệu khơng kết thúc, đốn (predict) khả để khớp (giảm số phép tiên đốn cách nhìn trước k ký hiệu từ đầu vào sử dụng luật phù hợp với k ký hiệu đó)  Nếu rỗng, ta hồn thành thành phần ngữ pháp, gắn (attach) vào chỗ liên quan 40 Papa ate ROOT S NP Papa V ate S NP VP S NP VP VP V NP NP Det N NP NP PP attach Papa ate ROOT S NP Papa V ate S NP VP S NP VP VP V NP NP Det N NP NP PP NP Det N NP NP PP VP V NP NP NP PP VP V NP NP Papa VP VP PP NP Papa VP VP PP NP Papa Det the PP P NP Det the PP P NP Det a V ate Det a V ate P with predict NP NP PP P with 57 Papa ate ROOT S NP Papa V ate S NP VP S NP VP VP V NP NP Det N NP NP PP NP Det N NP NP PP VP V NP NP NP PP 58 predict (các bước sau tương tự) Papa ate ROOT S NP Papa V ate S NP VP S NP VP VP V NP NP Det N NP NP PP NP Det N NP NP PP VP V NP NP NP PP NP Papa VP VP PP NP Papa NP Papa VP VP PP NP Papa Det the PP P NP Det the Det the PP P NP Det the Det a V ate Det a Det a V ate Det a P with predict P with 59 60 Papa ate Papa ate the ROOT S NP Papa V ate ROOT S NP Papa V ate S NP VP S NP VP VP V NP S NP VP S NP VP VP V NP NP Det N NP NP PP NP Det N NP Det N NP NP PP NP Det N NP NP PP VP V NP NP NP PP NP Papa VP VP PP NP Papa Det the PP P NP Det the Det a V ate Det a P with NP NP PP VP V NP scan (lúc thất bại Papa khơng phải từ tiếp theo) Det the NP NP PP NP Papa VP VP PP NP Papa Det the PP P NP Det the Det a V ate Det a scan: thành công! P with 61 Papa ate ROOT S NP Papa V ate S NP VP S NP VP NP Det N the 62 Papa ate the ROOT S NP Papa V ate Det the VP V NP S NP VP S NP VP VP V NP NP Det N NP NP PP NP Det N NP Det N NP NP PP NP Det N NP NP PP VP V NP Det the NP NP PP NP NP PP VP V NP NP NP PP NP Papa VP VP PP NP Papa NP Papa VP VP PP NP Papa Det the PP P NP Det the Det the PP P NP Det the Det a V ate Det a Det a V ate Det a P with P with 63 64 Papa ate the Papa ate the caviar ROOT S NP Papa V ate Det the ROOT S NP Papa V ate Det the S NP VP S NP VP VP V NP NP Det N S NP VP S NP VP VP V NP NP Det N NP Det N NP NP PP NP Det N N caviar NP Det N NP NP PP NP Det N NP NP PP VP V NP NP NP PP N spoon NP NP PP VP V NP N caviar NP NP PP N spoon NP Papa VP VP PP NP Papa NP Papa VP VP PP NP Papa Det the PP P NP Det the Det the PP P NP Det the Det a V ate Det a Det a V ate Det a P with N caviar P with 65 Papa ate the N caviar ROOT S NP Papa V ate Det the N caviar NP Det N S NP VP S NP VP VP V NP NP Det N NP Det N N caviar NP Det N NP NP PP NP Det N ROOT S NP Papa V ate Det the S NP VP S NP VP VP V NP NP Det N NP NP PP NP Det N NP NP PP VP V NP caviar 66 NP NP PP N spoon Papa ate NP NP PP VP V NP the caviar attach N caviar NP NP PP N spoon NP Papa VP VP PP NP Papa NP Papa VP VP PP NP Papa Det the PP P NP Det the Det the PP P NP Det the Det a V ate Det a Det a V ate Det a P with P with 67 68 0 ROOT S Papa NP Papa ate V ate Det the N caviar ROOT S NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N NP NP PP NP Det N N caviar VP V NP NP Det N NP NP PP NP Det N N caviar VP V NP NP NP PP VP V NP the caviar NP NP PP N spoon attach NP NP PP Papa ate NP NP PP VP V NP the caviar NP NP PP N spoon NP NP PP NP Papa VP VP PP NP Papa NP Papa VP VP PP NP Papa S NP VP Det the PP P NP Det the Det the PP P NP Det the VP VP PP Det a V ate Det a Det a V ate Det a P with P with 69 Papa attach ate 0 ROOT S NP Papa V ate Det the N caviar ROOT S NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N NP NP PP NP Det N N caviar VP V NP NP Det N NP NP PP NP Det N N caviar VP V NP NP NP PP NP NP PP VP V NP NP NP PP VP V NP the caviar 70 NP NP PP N spoon Papa ate the caviar NP NP PP N spoon NP NP PP NP Papa VP VP PP NP Papa S NP VP NP Papa VP VP PP NP Papa S NP VP Det the PP P NP Det the VP VP PP Det the PP P NP Det the VP VP PP Det a V ate Det a PP P NP Det a V ate Det a PP P NP P with P with 71 attach ROOT S 72 0 ROOT S Papa NP Papa ate V ate Det the N caviar ROOT S NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N NP NP PP NP Det N N caviar VP V NP NP Det N NP NP PP NP Det N N caviar VP V NP NP NP PP NP NP PP VP V NP NP NP PP VP V NP the caviar NP NP PP N spoon Papa ate the caviar NP NP PP N spoon NP NP PP NP Papa VP VP PP NP Papa S NP VP NP Papa VP VP PP NP Papa S NP VP Det the PP P NP Det the VP VP PP Det the PP P NP Det the VP VP PP Det a V ate Det a PP P NP Det a V ate Det a PP P NP P with ROOT S P with ROOT S P with 73 Papa ate 0 ROOT S NP Papa V ate Det the N caviar ROOT S NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N NP NP PP NP Det N N caviar VP V NP NP Det N NP NP PP NP Det N N caviar VP V NP NP NP PP NP NP PP VP V NP NP NP PP VP V NP the caviar 74 NP NP PP N spoon Papa ate the caviar NP NP PP N spoon with NP NP PP NP Papa VP VP PP NP Papa S NP VP NP Papa VP VP PP NP Papa S NP VP Det the PP P NP Det the VP VP PP Det the PP P NP Det the VP VP PP Det a V ate Det a PP P NP Det a V ate Det a PP P NP P with ROOT S P with P with P with ROOT S P with 75 76 Papa ate the caviar with Papa ate the caviar with ROOT S NP Papa V ate Det the N caviar P with ROOT S NP Papa V ate Det the N caviar P with S NP VP S NP VP VP V NP NP Det N NP Det N PP P NP S NP VP S NP VP VP V NP NP Det N NP Det N PP P NP NP Det N NP NP PP NP Det N N caviar VP V NP NP Det N NP NP PP NP Det N N caviar VP V NP NP Det N NP NP PP NP NP PP VP V NP NP NP PP VP V NP NP NP PP N spoon NP NP PP N spoon NP NP PP NP NP PP NP Papa VP VP PP NP Papa S NP VP NP Papa VP VP PP NP Papa S NP VP Det the PP P NP Det the VP VP PP Det the PP P NP Det the VP VP PP Det a V ate Det a PP P NP Det a V ate Det a PP P NP P with ROOT S P with NP Papa ROOT S P with P with 77 Papa ate the caviar with 78 Papa ate the caviar with ROOT S NP Papa V ate Det the N caviar P with ROOT S NP Papa V ate Det the N caviar P with S NP VP S NP VP VP V NP NP Det N NP Det N PP P NP S NP VP S NP VP VP V NP NP Det N NP Det N PP P NP NP Det N NP NP PP NP Det N N caviar VP V NP NP Det N NP Det N NP NP PP NP Det N N caviar VP V NP NP Det N NP NP PP VP V NP NP NP PP N spoon NP NP PP NP NP PP NP NP PP VP V NP NP NP PP NP NP PP NP Papa VP VP PP NP Papa S NP VP NP Papa VP VP PP NP Papa S NP VP Det the PP P NP Det the VP VP PP Det the Det the PP P NP VP VP PP Det the Det a V ate Det a PP P NP Det a V ate Det a 0Bò1 vàng2 gặm3 cỏ4 non5 trên6 cánh đồng7 P with C  CN VN CN  DN CN  ĐgN VN  ĐgN DN  DT TT DN  DN TT ĐgN  ĐgT DN P with NP Papa NP NP PP N spoon Det a ROOT S P with 79 Det the NP Papa PP P NP Det a ĐgN  ĐgN GN ROOT S GN  GT DT P with DT  bò, cỏ, cánh đồng ĐgT  gặm TT  vàng, non GT  80 GN = giới ngữ GT = giới từ Papa ate the caviar with Papa ate the caviar with ROOT S NP Papa V ate Det the N caviar P with ROOT S NP Papa V ate Det the N caviar P with S NP VP S NP VP VP V NP NP Det N NP Det N PP P NP S NP VP S NP VP VP V NP NP Det N NP Det N PP P NP NP Det N NP NP PP NP Det N N caviar VP V NP NP Det N NP Det N NP NP PP NP Det N N caviar VP V NP NP Det N NP NP PP VP V NP NP NP PP N spoon NP NP PP NP NP PP NP NP PP VP V NP NP NP PP NP NP PP NP Papa VP VP PP NP Papa S NP VP NP Papa VP VP PP NP Papa S NP VP Det the PP P NP Det the VP VP PP Det the Det the PP P NP Det the VP VP PP Det the Det a V ate Det a PP P NP Det a V ate Det a PP P NP P with NP Papa NP NP PP N spoon Det a ROOT S P with P with NP Papa Det a ROOT S P with 81 82 Bò vàng gặm cỏ non C  CN VN CN  DN CN  ĐgN VN  ĐgN DN  DT TT DN  DN TT ĐgN  ĐgT DN 83 ĐgN  ĐgN GN GN  GT DN DT  bò, cỏ ĐgT  gặm TT  vàng, non GN = giới ngữ GT = giới từ 84 Papa ate the caviar with NP Papa V ate Det the N caviar P with S NP VP VP V NP NP Det N NP Det N N caviar VP V NP NP NP PP NP Det N VP V NP NP NP PP N spoon a Det a Papa ate the caviar with a NP Papa V ate Det the N caviar P with Det a PP P NP S NP VP VP V NP NP Det N NP Det N PP P NP NP Det N NP Det N NP NP PP NP Det N N caviar VP V NP NP Det N NP NP PP NP NP PP VP V NP VP VP PP NP Papa S NP VP VP VP PP NP Papa S NP VP PP P NP Det the VP VP PP Det the PP P NP Det the VP VP PP Det the Det a PP P NP Det a PP P NP NP Papa Det a NP NP PP N spoon NP NP PP NP NP PP ROOT S ROOT S P with P with NP Papa Det a 85 Papa ate the caviar with a 86 Papa ate the caviar with a NP Papa V ate Det the N caviar P with Det a NP Papa V ate Det the N caviar P with Det a S NP VP VP V NP NP Det N NP Det N PP P NP NP Det N S NP VP VP V NP NP Det N NP Det N PP P NP NP Det N N caviar VP V NP NP Det N N caviar NP NP PP NP Det N N caviar VP V NP NP Det N N caviar NP NP PP NP Det N VP V NP NP NP PP N spoon NP NP PP NP NP PP N spoon VP V NP VP VP PP NP Papa S NP VP VP VP PP NP Papa S NP VP PP P NP Det the VP VP PP Det the PP P NP Det the VP VP PP Det the Det a PP P NP Det a PP P NP NP Papa Det a NP NP PP N spoon NP NP PP NP NP PP N spoon ROOT S ROOT S P with P with 87 NP Papa Det a 88 Papa ate the caviar with a NP Papa V ate Det the N caviar P with Det a S NP VP VP V NP NP Det N NP Det N PP P NP N caviar VP V NP NP Det N NP NP PP NP Det N VP V NP NP NP PP N spoon spoon N spoon Papa ate the caviar with a spoon NP Papa V ate Det the N caviar P with Det a N spoon NP Det N S NP VP VP V NP NP Det N NP Det N PP P NP NP Det N NP Det N N caviar NP NP PP NP Det N N caviar VP V NP NP Det N N caviar NP NP PP NP NP PP N spoon VP V NP VP VP PP NP Papa S NP VP VP VP PP NP Papa S NP VP PP P NP Det the VP VP PP Det the PP P NP Det the VP VP PP Det the Det a PP P NP Det a PP P NP NP Papa Det a NP NP PP N spoon NP NP PP NP NP PP N spoon ROOT S ROOT S P with P with NP Papa Det a 89 Papa ate the caviar with a spoon 90 Papa ate the caviar with a spoon … N spoon NP Papa V ate Det the N caviar P with Det a N spoon ROOT S NP Papa V ate Det the N caviar S NP VP VP V NP NP Det N NP Det N PP P NP NP Det N NP Det N S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N N caviar VP V NP NP Det N N caviar PP P NP NP Det N NP NP PP NP Det N N caviar VP V NP PP P NP NP NP PP NP NP PP VP V NP NP NP PP NP NP PP NP NP PP NP Det N VP V NP NP NP PP N spoon NP NP PP NP NP PP N spoon VP VP PP NP Papa S NP VP PP P NP Det the Det a NP Papa NP NP PP N spoon NP Papa VP VP PP NP Papa S NP VP NP NP PP VP VP PP Det the Det the PP P NP Det the VP VP PP VP VP PP PP P NP Det a V ate Det a PP P NP Det a ROOT S P with P with ROOT S P with 91 92 Papa ate the caviar with a spoon ROOT S NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N NP NP PP NP Det N N caviar NP NP PP VP V NP NP NP PP N spoon … N spoon Papa ate the caviar with a spoon … N spoon ROOT S NP Papa V ate Det the N caviar NP Det N S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N VP V NP PP P NP NP Det N NP NP PP NP Det N N caviar VP V NP PP P NP NP NP PP NP NP PP NP NP PP VP V NP NP NP PP NP NP PP NP NP PP N spoon NP Papa VP VP PP NP Papa S NP VP NP NP PP NP Papa VP VP PP NP Papa S NP VP NP NP PP Det the PP P NP Det the VP VP PP VP VP PP Det the PP P NP Det the VP VP PP VP VP PP Det a V ate Det a PP P NP PP P NP Det a V ate Det a PP P NP PP P NP ROOT S VP V NP P with NP NP PP P with ROOT S P with P with 93 Papa ate the caviar with a spoon ROOT S NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N NP NP PP NP Det N N caviar VP V NP NP NP PP VP V NP NP NP PP N spoon 94 … N spoon Papa ate the caviar with a spoon … N spoon ROOT S NP Papa V ate Det the N caviar NP Det N S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N PP P NP NP Det N NP NP PP NP Det N N caviar VP V NP PP P NP NP NP PP NP NP PP NP NP PP VP V NP NP NP PP NP NP PP NP NP PP N spoon NP Papa VP VP PP NP Papa S NP VP NP NP PP NP Papa VP VP PP NP Papa S NP VP NP NP PP Det the PP P NP Det the VP VP PP VP VP PP Det the PP P NP Det the VP VP PP VP VP PP Det a V ate Det a PP P NP PP P NP Det a V ate Det a PP P NP PP P NP ROOT S VP V NP ROOT S VP V NP P with NP NP PP P with NP NP PP P with P with S NP VP S NP VP VP VP PP VP VP PP P with 95 96 Papa ate the caviar with a spoon ROOT S NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N NP NP PP NP Det N N caviar NP NP PP VP V NP NP NP PP N spoon … N spoon Papa ate the caviar with a spoon … N spoon ROOT S NP Papa V ate Det the N caviar NP Det N S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N VP V NP PP P NP NP Det N NP NP PP NP Det N N caviar VP V NP PP P NP NP NP PP NP NP PP NP NP PP VP V NP NP NP PP NP NP PP NP NP PP N spoon NP Papa VP VP PP NP Papa S NP VP NP NP PP NP Papa VP VP PP NP Papa S NP VP NP NP PP Det the PP P NP Det the VP VP PP VP VP PP Det the PP P NP Det the VP VP PP VP VP PP Det a V ate Det a PP P NP PP P NP Det a V ate Det a PP P NP PP P NP ROOT S VP V NP ROOT S VP V NP P with NP NP PP P with NP NP PP P with Papa ate the caviar NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N NP NP PP NP Det N N caviar VP V NP NP NP PP VP V NP NP NP PP N spoon S NP VP S NP VP VP VP PP VP VP PP P with P with 97 98 with a spoon ROOT S P with … N spoon Papa ate the caviar with a spoon … N spoon ROOT S NP Papa V ate Det the N caviar NP Det N S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N PP P NP NP Det N NP NP PP NP Det N N caviar VP V NP PP P NP NP NP PP NP NP PP NP NP PP VP V NP NP NP PP NP NP PP NP NP PP N spoon NP Papa VP VP PP NP Papa S NP VP NP NP PP NP Papa VP VP PP NP Papa S NP VP NP NP PP Det the PP P NP Det the VP VP PP VP VP PP Det the PP P NP Det the VP VP PP VP VP PP Det a V ate Det a PP P NP PP P NP Det a V ate Det a PP P NP PP P NP ROOT S VP V NP ROOT S VP V NP P with NP NP PP P with NP NP PP P with P with S NP VP S NP VP VP VP PP VP VP PP P with P with ROOT99S ROOT 100 S Papa ate the caviar with a spoon ROOT S NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N NP NP PP NP Det N N caviar NP NP PP VP V NP NP NP PP N spoon … N spoon Papa ate the caviar with a spoon … N spoon ROOT S NP Papa V ate Det the N caviar NP Det N S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N VP V NP PP P NP NP Det N NP NP PP NP Det N N caviar VP V NP PP P NP NP NP PP NP NP PP NP NP PP VP V NP NP NP PP NP NP PP NP NP PP N spoon NP Papa VP VP PP NP Papa S NP VP NP NP PP NP Papa VP VP PP NP Papa S NP VP NP NP PP Det the PP P NP Det the VP VP PP VP VP PP Det the PP P NP Det the VP VP PP VP VP PP Det a V ate Det a PP P NP PP P NP Det a V ate Det a PP P NP PP P NP ROOT S VP V NP ROOT S VP V NP P with NP NP PP P with NP NP PP P with Papa ate the caviar S NP VP S NP VP VP VP PP VP VP PP P with P with ROOT 101 S ROOT 102 S with a spoon NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N NP Det N NP NP PP NP Det N N caviar VP V NP PP P NP NP NP PP NP NP PP NP NP PP N spoon NP Papa VP VP PP NP Papa S NP VP NP NP PP Det the PP P NP Det the VP VP PP VP VP PP Det a V ate Det a PP P NP PP P NP ROOT S VP V NP P with NP NP PP P with Vấn đề với PTCP xuống: đệ qui trái … N spoon ROOT S NP NP PP VP V NP P with VP VP VP VP PP PP PP gắn liên tục luật vào trước thấy PPs  cần đoán trước số PP cần đầu vào S NP VP VP VP PP P with ROOT 103 S 104 … thuật toán Earley Ok! VP VP … thuật toán Earley Ok! VP VP  VP PP PP PP VP (cột 1) VP  VP PP dùng lại (cột1) attach VP attach VP VP VP  VP PP VP  VP PP PP VP PP with a spoon VP PP NP V ate the caviar NP V ate the caviar (cột 4) (cột 7) 105 … thuật toán Earley Ok! VP VP PP 106 … thuật toán Earley Ok! VP VP  VP PP dùng lại VP (cột1) (cột1) VP VP PP VP  VP PP dùng lại VP attach VP VP  VP PP PP in his bed VP VP PP with a spoon VP  VP PP PP PP in his bed VP PP with a spoon NP V ate the caviar NP V ate the caviar (cột 10) (cột10) 107 108 Phục hồi cú pháp [s,i] tập trạng thái j Sử dụng thuật toán dùng queue đơn giản, dựa thành phần có ích • thành phần trạng thái kết thúc có ích q r • If s=[A i] tập đích k & có ích γ α • then q=[A k] & item r= [B j] có ích i k j Ưu điểm  [s,i] : thành phần với luật s & trả trỏ i Đánh dấu tất thành phần tập trạng thái Sn dạng RootS for j=n downto for i=0 to j for đánh dấu [s,i] tập trạng thái j for k=i to j if [q,i]Sk & [r,k] Sj & s= qr then 109 đánh dấu [q,i] [r,k] Thuật toán Earley thực vài phép lọc top-down: thành phần (state, or triple) đưa vào tập trạng thái cần tương thích với phần sinh bên trái Ví * dụ: Sw i wi phần câu duyệt qua S wi 110 Các phương pháp khác Nhược điểm  Biểu diễn luật: Cần cách biểu diễn luật tường minh: thời gian xây dựng  Thực phép lọc bên trái không lọc bên phải Phép lọc nhìn trước cho ký hiệu khơng kết thúc A:  Các phương pháp khác ứng với cách khác để tìm đoạn  Đoạn X[i, j] đoạn có nhãn X phủ đầu vào từ I đến j Example: John ate ice-cream on the table PP[3,6]; S[0,6]; … Biểu diễn không gian tìm kiếm and-or  Disjuncts (or) = đường phân tích khác  Conjuncts (and) = vế phải luật, ví dụ vế phải S NP VP  FIRST(A)= {x|A xd}, x= token v.d., FIRST(S)= who, did, the, etc 111 112 PTCP việc tìm kiếm PTCP góc trái (Left-corner parsing) the guy saw ice-cream on the hill S(0, 7) S Nhìn từ lên để tìm ký hiệu (left-corner) đoạn, sau phân tích phần NP lại theo kiểu xuống  Tìm cách kết hợp predict đặc trưng tốt phân tích xuống the lên Noun tìm SNP VP  NP(0, 1)VP(1, 8)NP(0, 2) VP(2, 7) Name (0, 1)V(1, 2) Det(0,1) Noun(1, 2) V(2, 3) the NP(3,7) NP(3, 4) guy saw Name(3, 4) ice-cream PP(4, 7) Prep(4, 5) on NP(5,7) Name(5,6) NP(5, 7) Det(5,6) Noun(6,7) the 113 hill NPthe Noun VP VPate NP ate Phương pháp làm việc tốt với ngôn ngữ với thành phần quan trọng đặt đầu tiếng Anh Các tiếng Đức, 114 Hà Lan, Nhật ngơn ngữ có phần quan trọng đặt cuối
- Xem thêm -

Xem thêm: 5 syntacticparse , 5 syntacticparse

Gợi ý tài liệu liên quan cho bạn

Nhận lời giải ngay chưa đến 10 phút Đăng bài tập ngay