Mục đích môn học Xử lý ngôn ngữ tự nhiên z (Natural Language Processing) z z Hiểu nguyên tắc cách tiếp cận XLNNTN Học ọc kỹ ỹ thuật uậ cô công g cụ ể dù dùng g để p phát triển ể hệ ệ thống ố g hiểu văn nói chuyện với người Thu số ý tưởng vấn đề mở XLNN Tài liệu tham khảo Lê Thanh Hương Bộ môn Hệ thống Thông tin Viện CNTT &TT – Trường ĐHBKHN Email: huonglt huonglt-fit@mail fit@mail.hut.edu.vn hut edu z z z Christopher Manning and Hinrich Schütze 1999 Foundations of Statistical Natural Language Processing The MIT Press Dan Jurafsky and James Martin Martin 2000 2000 Speech and Language Processing PrenticeHall James Allen 1994 Natural Language Understanding The Benjamins/Cummings Publishing Company Inc Thông tin chung z Giữa kỳ: 30% z z z z z Điểm danh:10% Đóng góp học:10% BTL: 10% Cuối kỳ: thi viết 70% Điều kiện thi cuối kỳ: z z Âm Ý nghĩa Vắng mặt 30% số lần điểm danh Có tất loại điểm kỳ z Bài tập lớn: z Viết tiểu luận cài đặt chương trình theo nhóm ( toyz ; add z z Book+s -> books ; add s z Church+s -> churchiz ; add iz z Box+s-> boxiz ; add iz Singing → Sing+ing; Bringing → bring+ing Duckling → ?? Duckl +ing Cần phải biết duckl từ z z Ngoài nhớ, ta cần gì? Một số nhớ được: z I understand these students z These students I understand z I want these students to solve the problem z These students I want [x] to solve the problem ¾ Cần có hệ thống luật để sinh/xử lý trường hợp 31 32 Phân tích câu hỏi LSAT / (former) GRE “Phân tích” = gắn bề với cách biểu diễn z z z Vì XLNNTN khó: What makes NLP hard: tương ứng 1-1 với cách biểu diễn Ta cần biết cấu trúc liệu thuật toán để thực ự hiện, ệ , mặc ặ dù xảyy bùng g nổ tổ hợp công đoạn xử lý 33 Giải đồng tham chiếu Tại XLNNTN lại khó? U: A Bug’s Life chiếu chỗ Mountain View? S: A Bug’s Life chiếu rạp Summit U: Khi chiếu đó? S: Nó chiếu lúc 2pm, 5pm, 8pm U: Tôi muốn người lớn, trẻ cho buổi chiếu Nó giá bao nhiêu? z z Sáu tượng điêu khắc – C, D, E, F, G, H – triển lãm phòng 1, 2, triển lãm z T Tượng C E có ó thể không khô ttrong ù phòng hò z Tượng D G phỉa phòng z Nếu tượng E F phòng tượng khác phòng z Có íta tượng triển lãm phòng, nhiều tượng phòng Nếu tượng D triển lãm phòng tượng E, F phòng 1, phát biểu đây, phát biểu đúng: A Tượng C phòng B Tượng H phòng C Tượng G phòng D Tượng C H phòng 34 E Tượng G F phòng NNTN: NNTN z z z Nhập nhằng mức Phức tạp mờ Liên quan lập luận giới Các nguồn tri thức: z Tri thức miền (Domain knowledge) z Tri thức diễn ngôn (Discourse knowledge) z Tri thức giới (World knowledge) 35 36 Nhắc lại toán XLNNTN Giải pháp z z Ta cần công cụ nào? z Tri thức ngôn ngữ z Tri thức giới z Cách kết hợp tri thức z z z z Giải pháp tiềm năng: z z Các mô hình xác suất xây dựng từ liệu z P(“maison” → “house”) cao z P(“L’avocat general” → “the general avocado”) thấp Vào: chuỗi ký tự Ra: cặp (gốc từ, thẻ hình thái từ ) Các vấn đề: z Kết hợp thành phần cấu tạo nên từ Loại hình thái từ (từ biến tố, từ phái sinh, từ ghép) Ví dụ: quotations ~ quote/V + -ation(der.V->N) -ation(der V->N) + NNS 37 Phân tích cú pháp z z z Ngữ nghĩa Vào: chuỗi cặp (từ/từ loại) Ra: cấu trúc ngữ pháp câu với nút gán nhãn (từ, từ loại, vai trò ngữ pháp) Vấn đề: z z z 38 Quan hệ từ, từ loại, cấu trúc câu Sử dụng nhãn cú pháp (Chủ ngữ ngữ, vị ngữ ngữ, bổ ngữ ngữ, ….) Ví dụ: Tôi/ĐaT nhìn thấy/ĐgT Mai/DT Æ ((Tôi/ĐaT)CN ((nhìn thấy/ĐgT) (Mai/DT)OBJ)VN)C 39 z z z Vào: cấu trúc ngữ pháp câu Ra: cấu trúc ngữ nghĩa câu Vấn đề: z Quan hệ đối tượng chủ thể (Subject), đối tượng (Object), tác nhân (Agent), ((Effect)) loại khác hậu q ((Học sinh/DT)CN ((học/ĐgT sinh học/DT)ĐgN)VN)C (Học sinh/DT)Sbj (học/ĐgT)action (sinh học/DT)Obj 40 10 Các ứng dụng XLNNTN z z Khó: xử lý tiếng nói (speech processing), dịch máy (machine translation) translation), trích rút thông tin (information extraction), giao diện hội thoại = NNTN (dialog interface), hỏi đáp (question answering) Ứng dụng nay: sửa lỗi tả, phân loại văn bản, … 41 11 Trích rút thông tin Martin Baker, a person Genomics job Employers job posting form 46 46 Newsinessence [Radev & al 01] Trích rút thông tin October 14, 14 2002, 2002 4:00 a.m a m PT For years, Microsoft Corporation CEO Bill Gates railed against the economic philosophy of opensource software with Orwellian fervor, denouncing its communal licensing as a "cancer" that stifled technological innovation Today, Microsoft claims to "love" the open-source concept, by which software code is made public to encourage improvement and development by outside programmers Gates himself says Microsoft will gladly disclose its crown jewels the coveted code behind the Windows operating system to select customers IE NAME Bill Gates Bill Veghte Richard Stallman TITLE ORGANIZATION CEO Microsoft VP Microsoft founder Free Soft "We can be open source We love the concept of shared source," said Bill Veghte, a Microsoft VP "That's a super-important shift for us in terms of code access.“ Richard Stallman, founder of the Free Software Foundation, countered saying… 47 12 Google News [02] 49 13 [...]... z z Khó: xử lý tiếng nói (speech processing), dịch máy (machine translation) translation), trích rút thông tin (information extraction), giao diện hội thoại = NNTN (dialog interface), hỏi đáp (question answering) Ứng dụng hiện nay: sửa lỗi chính tả, phân loại văn bản, … 41 11 Trích rút thông tin Martin Baker, a person Genomics job Employers job posting form 46 46 Newsinessence [Radev & al 01] Trích... to select customers IE NAME Bill Gates Bill Veghte Richard Stallman TITLE ORGANIZATION CEO Microsoft VP Microsoft founder Free Soft "We can be open source We love the concept of shared source," said Bill Veghte, a Microsoft VP "That's a super-important shift for us in terms of code access.“ Richard Stallman, founder of the Free Software Foundation, countered saying… 47 12 Google News [02] 49 13 ... Employers job posting form 46 46 Newsinessence [Radev & al 01] Trích rút thông tin October 14 , 14 2002, 2002 4:00 a.m a m PT For years, Microsoft Corporation CEO Bill Gates railed against the economic philosophy of opensource software with Orwellian fervor, denouncing its communal licensing as a "cancer" that stifled technological innovation Today, Microsoft claims to "love" the open-source concept, by .. .Xử lý NNTN = chuyển đổi âm thành ngữ nghĩa Xử lý NNTN gì? z z NNTN trung tâm trí tuệ người ELIZA z Mục đích: hiểu nhiều ngôn ngữ Không đơn giản xử lý xâu so khớp từ khoá... z 10 Các chủ đề XLNNTN Nghiên cứu cách người xác định từ Nghiên cứu cách người phân tích câu Nghiên cứu cách người học ngôn ngữ Nghiên cứu cách ngôn ngữ tiến hóa 11 z Mức phân tích: cú pháp, ngữ. .. hiểu ngôn ngữ tự nhiên, … 12 Các mức phân tích z z z z z z Hình thái học Morphology (hình thái học): cách từ xây dựng, tiền tố hậu tố từ Syntax (cú pháp): mối liên hệ cấu trúc ngữ pháp từ ngữ