ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Bùi Thanh Xuân CHUỖI ĐẶC TRƯNG ÂM THANH VÀ ỨNG DỤNG TRONG TÌM KIẾM NHẠC SỐ KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin HÀ NỘI – 2009 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Bùi Thanh Xuân CHUỖI ĐẶC TRƯNG ÂM THANH VÀ ỨNG DỤNG TRONG TÌM KIẾM NHẠC SỐ KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin Cán bộ hướng dẫn: TS. Nguyễn Hải Châu HÀ NỘI – 2009 LỜI CẢM ƠN Trong thời gian qua, để tìm hiểu và hoàn thành khóa luận tốt nghiệp này tôi đã nhận được nhiều sự giúp đỡ từ gia đình, thầy cô và bạn bè. Tôi xin được bày tỏ lòng biết ơn chân thành đến các thầy cô giáo trường Đại Học Công Nghệ đã dậy dỗ tôi trong suốt bốn năm học vừa qua. Đặc biệt, tôi xin được gửi lời cảm ơn chân thành đến TS. Nguyễn Hải Châu, người đã giúp tôi lựa chọn đề tài, hướng dẫn tìm tài liệu, đưa ra những nhận xét quan trọng và sửa chữa sai sót giúp tôi trong quá trình tôi thực hiện đề tài. Tôi cũng xin được gửi lời cảm ơn đến những người bạn đã luôn quan tâm giúp đỡ tôi, chia sẻ nhiều kinh nghiệm hay với tôi trong quá trình học tập và làm việc. Cuối cùng, tôi xin được gửi lời cảm ơn sâu sắc đến gia đình tôi, những người đã luôn bên cạnh cổ vũ, động viên tôi, tạ o mọi điều kiện tốt nhất giúp tôi hoàn thành tốt khóa luận này. TÓM TẮT NỘI DUNG Những năm gần đây đã chứng kiến sự phát triển mạnh mẽ của khoa học và ngành công nghiệp tính toán các đặc trưng của các đối tượng đa phương tiện. Khái niệm chuỗi đặc trưng âm thanh ra đời có ý nghĩa quan trọng trong việc phát triển các ứng dụng liên quan đến âm thanh nhờ đó mang lại rất nhiều tiện ích cho cuộc sống hiện đại của con người. Một trong những ứ ng dụng của chuỗi đặc trưng âm thanh đang rất được quan tâm hiện nay là nhận dạng nhạc số. Trên thế giới đã có rất nhiều ứng dụng về nhận dạng nhạc được phát triển với các phương pháp khác nhau và thu được những kết quả khác nhau, song không phải tất cả các trong số chúng đều trả về kết quả chính xác. Trên cơ sở nghiên cứu về chuỗi đặc trưng âm thanh và những ứ ng dụng của nó, khóa luận này hướng đến việc xây dựng một hệ thống nhận dạng nhạc rất tiện ích với người dùng cho phép trả về thông tin chính xác của một bản nhạc được chơi qua một thiết bị di động chỉ với vài giây âm thanh. Khóa luận tốt nghiệp này được thực hiện trong khuôn khổ đề tài nghiên cứu mang mã số QC.08.01 Đại học Quốc gia Hà Nội. MỤC LỤC LỜI MỞ ĐẦU 1 CHƯƠNG 1: TỔNG QUAN VỀ CHUỖI ĐẶC TRƯNG ÂM THANH VÀ CÁC ỨNG DỤNG 3 1.1 Giới thiệu 3 1.2 Các khái niệm chuỗi đặc trưng âm thanh 3 1.2.1 . Định nghĩa chuỗi đặc trưng âm thanh 3 1.2.2 . Các tham số của hệ thống chuỗi đặc trưng âm thanh 5 1.3 Các ứng dụng 6 1.3.1 . Broadcast Monitoring (BM) 6 1.3.2 . Ứng dụng liên thông âm thanh 6 1.3.3 . Công nghệ lọc chia sẻ file 7 1.3.4 . Tổ chức thư viện âm nhạc tự động 8 CHƯƠ NG 2: CÁC PHƯƠNG PHÁP XÂY DỰNG VÀ TÌM KIẾM CHUỖI ĐẶC TRƯNG ÂM THANH 9 2.1. Nguyên tắc cơ bản xây dựng hệ thống chuỗi đặc trưng âm thanh 9 2.2. Các phương pháp xây dựng và tìm kiếm chuỗi đặc trưng trong ứng dụng nhận dạng nhạc 10 2.2.1. Phương pháp xây dựng hệ thống chuỗi đặc trưng mạnh 10 2.2.1.1. Trích rút chuỗi đặc trưng 10 2.2.1.2. Tìm kiếm chuỗi đặc trưng trong cơ sở dữ liệu 16 2.2.2. Phương pháp xây d ựng và tìm kiếm chuỗi đặc trưng dựa trên waveprint 21 2.2.2.1. Trích rút chuỗi đặc trưng 21 2.2.2.2. Tìm kiếm chuỗi đặc trưng 25 CHƯƠNG 3: ỨNG DỤNG THỬ NGHIỆM 27 3.1. Phát biểu bài toán 27 3.2. Tổng quan hệ thống 27 3.2.1. Mô tả âm thanh và trích rút chuỗi đặc trưng 28 3.2.2. Tìm kiếm chuỗi đặc trưng phù hợp 29 3.3. Thực thi chương trình 31 3.4. Đánh giá hiệu quả của ứng dụng thử nghiệm 32 3.4.1. Cài đặt thử nghiệm 32 3.4.2. Hiệu quả của hệ thống 33 KẾT LUẬN 36 TÀI LIỆU THAM KHẢO 37 1 LỜI MỞ ĐẦU Trong thực tế có khi chúng ta sẽ gặp phải một tình huống thế này: bạn đang ngồi trong xe ô tô nghe radio, đang trên xe bus hoặc trong quán cà phê nghe nhạc và bỗng nhiên bạn nghe được một bài hát rất thu vị. Đó là bài hát mới rất hay mà bạn từng được nghe sau một khoảng thời gian dài, nhưng bạn đã bỏ lỡ mất phần thông tin về bài hát và không nhận ra nghệ sĩ đang biểu diễn bài hát đó. Mặc dù vậy bạn vẫn muốn biết một số thông tin về bản nhạc này. Khi đó bạn nên làm gì? Bạn có thể gọi đến đài phát thanh để hỏi hay hỏi những người xung quanh nhưng đôi khi điều đó hơi bất tiện. Nếu bạn có thể nhấn một vài phím trên điện thoại di động và vài giây sau điện thoại sẽ trả lời cho bạn tên của nghệ sĩ và tên của bản nhạc mà b ạn đang nghe thì có phải tốt hơn không? Thậm chí có thể có một email sẽ được gửi đến hòm thư của bạn với một vài thông tin được bổ sung thêm. Xuất phát từ nhu cầu thiết thực đó, nhiều phần mềm nhận dạng nhạc kiểu này dựa trên các công nghệ khác nhau đã ra đời tuy nhiên không nhiều trong số đó đáp ứng tốt mong muốn của người dùng và trở nên phổ biến. Trong khóa lu ận này sẽ thảo luận về hệ thống chuỗi đặc trưng âm thanh – một nền tảng quan trọng có thể giúp tạo ra viễn cảnh như chúng ta vừa đề cập bên trên. Bằng cách sử dụng chuỗi đặc trưng (fingerprint) của một đoạn âm thanh chưa biết như một truy vấn trong cơ sở dữ liệu chuỗi đặc trưng, cơ sở dữ liệu này ch ứa các chuỗi đặc trưng của một thư viện rất nhiều bài hát, và khi đó đoạn âm thanh có thể được xác định. Điểm cốt lõi của vấn đề được trình bày là phương pháp trích rút chuỗi đặc trưng và chiến lược tìm kiếm chuỗi đặc trưng rất hiệu quả, nó cho phép tìm kiếm một cơ sở dữ liệu chuỗi đặc trưng lớn chỉ với những tài nguyên tính toán gớ i hạn. Khóa luận gồm ba chương: Chương 1: Tổng quan về chuỗi đặc trưng âm thanh và các ứng dụng. Chương này trình bày một cách tổng quan nhất những khái niệm cơ bản liên quan đến chuỗi đặc trưng âm thanh và những ứng dụng phổ biến của chuỗi đặc trưng âm thanh. Chương 2: Các phương pháp xây dựng và tìm kiếm chuỗi đặc trưng âm thanh. Trình bày hai phương phát trích rút và tìm kiếm chuỗi đặc trưng âm thanh phổ biến hi ện nay trong các ứng dụng nhận dạng nhạc là phương pháp xây dựng chuôi đặc trưng mạnh và phương pháp xây dựng chuỗi đặc trưng dựa trên wavelet 2 Chương 3: Ứng dụng thử nghiệm. Chương này trình bày một ứng dụng cụ thể của chuỗi đặc trưng âm thanh trong một lĩnh vực đang rất được quan tâm hiện nay đó là nhận dạng nhạc số. Trong này sẽ mô tả khái quát về chương trình thử nghiệm của ứng dụng nhận dạng nhạc và những kết quả đạt được 3 CHƯƠNG 1: TỔNG QUAN VỀ CHUỖI ĐẶC TRƯNG ÂM THANH VÀ CÁC ỨNG DỤNG 1.1 Giới thiệu Chuỗi đặc trưng âm thanh là một tập các thuộc tính của âm thanh được dùng để xác định các dạng khác nhau của âm thanh bao gồm âm nhạc, phát thanh radio và các tác động khác tới âm thanh. Mục tiêu đầu tiên của chuỗi đặc trưng âm thanh là thiết lập trạng thái bằng nhau của hai đối tượng âm thanh: không phải bằng cách so sánh chính hai đối tượng đó mà bằng cách so sánh những chuỗi đặc trưng liên kết của nó. Trong hầu hết các h ệ thống sử dụng công nghệ chuỗi đặc trưng, các chuỗi đặc trưng của một số lượng lớn các đối tượng âm thanh cùng với siêu dữ liệu (ví dụ tên của nghệ sĩ, tên album) được lưu trữ trong một cơ sở dữ liệu. Các chuỗi đặc trưng đáp ứng như một chỉ mục đến siêu dữ liệu. Siêu dữ liệu của nội dung âm thanh chư a được xác định sau đó sẽ được phục hồi lại bằng cách tính toán một chuỗi đặc trưng và sử dụng nó như truy vấn trong cơ sở dữ liệu chuỗi đặc trưng/siêu dữ liệu. Ưu điểm của việc sử dụng chuỗi đặc trưng thay cho chính đối tượng âm thanh là: 1. Giảm bớt yêu cầu bộ nhớ lưu trữ vì các chuỗi đặc trư ng tương đối nhỏ. 2. So sánh hiệu quả vì sự không đồng đều được loại bỏ bởi chuỗi đặc trưng. 3. Tìm kiếm hiệu quả vì tập dữ liệu (dataset) để tìm kiếm là nhỏ hơn. Vì những kết luận trên một hệ thống chuỗi đặc trưng nói chung bao gồm hai thành phần: một phương pháp để trích ra chuỗi đặc trưng và một phương pháp để tìm kiếm hiệu quả những chuỗi đặc trưng phù hợp trong cơ sở dữ liệu chuỗi đặc trưng. 1.2 Các khái niệm chuỗi đặc trưng âm thanh 1.2.1 . Định nghĩa chuỗi đặc trưng âm thanh Độ hồi tưởng (recall) một chuỗi đặc trưng âm thanh có thể được xem như một tóm tắt ngắn của một đối tượng âm thanh. Vì thế một hàm chuỗi đặ c trưng F ánh xạ (map) một đối tượng âm thanh X – bao gồm một số lượng lớn các bit – đến chuỗi đặc trưng chỉ gồm một số lượng bit giới hạn. Ở đây chúng ta có thể thấy sự tương tự với các hàm băm đã được biết đến trong công nghệ mã hóa. Một hàm băm mật mã H rút ra từ một đối tượng X (thường là 4 lớn) thành giá trị băm (thường là nhỏ). Một hàm băm mật mã cho phép so sánh hai đối tượng X và Y bằng cách so sánh các giá trị băm tương ứng là H(X) và H(Y). Sự bằng nhau chính xác về mặt toán học của cặp H(X), H(Y) đưa đến sự bằng nhau của cặp X và Y với xác xuất xẩy ra lỗi rất thấp. Đối với hàm băm mật mã được xây dựng hợp lệ thì xác xuất này là 2 -n , trong đó n bằng số bit của giá trị băm. Sử dụng các hàm băm mật mã là một phương pháp hiệu quả hiện có để kiểm tra các dữ liệu cụ thể của mục X có chứa trong tập dữ liệu lớn được đưa ra là }{ i Y Y = hay không. Thay vì lưu trữ và so sánh với tất cả dữ liệu trong Y thì chỉ cần lưu trữ thành tập các giá trị băm { )( ii YHh = } và so sánh H(X) với tập các giá trị băm. Nếu như thế có thể ta nghĩ rằng các hàm băm mật mã là một ứng cử tốt cho các hàm chuỗi đặc trưng. Tuy nhiên với độ hồi tưởng được giới thiệu bên trên, thay vì sự bằng nhau chính xác về mặt toán học, chúng ta quan tâm đến đặc điểm tương tự nhau. Ví dụ, chất lượng của bản CD gốc của Rolling Stones-Angie và bản MP3 ở tốc độ 128Kb/s giống nhau với cơ quan thính giác của con người nhưng sóng của chúng có thể khá là khác nhau. Mặc dù hai bản nhạc đó có cảm giác là giống nhau nhưng về mặt toán học chúng khác nhau. Vì thế các hàm băm mật mã không thể đưa ra quyết định dựa trên sự bằng nhau trực giác của hai bản đó. Một câu hỏi khác được đặt ra là: “Có thể tạo ra một hàm chuỗi đặc trưng mà cung cấp các chuỗi đặc trưng bằng nhau cho những đối tượng giống nhau về mặt cảm giác không?” Câu hỏi là rất hợp lý nhưng câu trả lời là mô hình cho sự giống nhau cảm giác về cơ bản là không thực hiện được. Sự giống nhau cảm giác của cặp đối tượng X và Y và cặp đối tượng khác Y và Z không nhất thiết bao hàm sự giống nhau của cặp đối tượng X và Z. Việc đưa ra những lý lẽ trên mục đích là đề xuất cách xây dựng mộ t hàm chuỗi đặc trưng theo cách mà các đối tượng âm thanh giống nhau về mặt cảm giác đưa đến kết quả là những chuỗi đặc trưng giống nhau. Hơn nữa, để có thể phân biệt giữa những đối tượng âm thanh khác nhau, phải có xác xuất mà các đối tượng âm thanh không giống nhau đưa đến những chuỗi đặc trưng không giống nhau là rất cao. Chính xác hơn, cho hàm chuỗi đặc trưng F đã được xây dựng, đi ểm bắt đầu T với xác xuất lớn ||F(X)-F(Y)|| ≤ T nếu các đối tượng X và Y là giống nhau và ||F(X)- F(Y)|| > T khi chúng khác nhau. 5 1.2.2 . Các tham số của hệ thống chuỗi đặc trưng âm thanh Bên trên ta đã có một định nghĩa thích hợp của chuỗi đặc trưng âm thanh, phần này trình bày về các tham số khác nhau của một hệ thống chuỗi đặc trưng âm thanh. Các tham số chính là: • Độ mạnh (Robustness): Liệu một đoạn âm thanh vẫn có thể được xác định sau khi tín hiệu bị suy biến mạnh không? Để đạt được độ mạ nh cao chuỗi đặc trưng nên dựa trên cơ sở những đặc điểm thuộc tri giác không đổi (ít nhất là đến một mức độ nào đó) với sự suy biến của tín hiệu. Tốt nhất là âm thanh bị suy biến vẫn đưa đến những chuỗi đặc trưng rất giống nhau. Tỷ lệ phủ định sai (false negative rate) nói chung được dùng để diễn đạt độ mạnh. • Độ tin cậy (Reliability): Bao lâu một lần thì một bài hát bị nhận dạng sai? Ví dụ “Rolling Stones – Angie” bị nhận dạng là “Beatles – Yesterday”. Tỷ lệ mà tại đó tham số này được chỉ ra thường được tham chiếu đến như là tỷ lệ khẳng định sai. • Cỡ chuỗi đặc trưng (Fingerprint size): một chuỗi đặc trưng cần dung lượng lưu trữ là bao nhiêu? Để có thể tìm kiếm nhanh, các chuỗi đặc trưng th ường được lưu trong bộ nhớ RAM. Vì thế cỡ của chuỗi đặc trưng, thường được biểu diễn bằng bit/giây hoặc bit/bài hát, xác định độ lớn của tài nguyên bộ nhớ cần cho server cơ sở dữ liệu chuỗi đặc trưng. • Granularity: Cần bao nhiêu giây âm thanh để nhận ra một đoạn âm thanh? Granularity là một tham số có thể phụ thuộc vào từng ứng dụng cụ thể. Trong m ột vài ứng dụng thì toàn bộ bài hát có thể được dùng để nhận dạng, trong những ứng dụng khác thì chỉ một đoạn trích ngắn của âm thanh được dùng để xác định. • Tốc độ tìm kiếm và khả năng mở rộng (Search speed and scalability): Mất bao lâu để tìm ra một chuỗi đặc trưng trong cơ sở dữ liệu chuỗi đặc trưng? Phải làm gì nếu cơ sở dữ li ệu chứa hàng trăm nghìn bài hát? Đối với sự triển khai về mặt thương mại của các hệ thống chuỗi đặc trưng âm thanh, tốc độ tìm kiếm và khả năng mở rộng của hệ thống là yếu tố then chốt. Tốc độ tìm kiếm nên là khoảng mili giây cho cơ sở dữ liệu chứa khoảng 100000 bài hát và chỉ sử dụng nguồn tài nguyên tính toán giới hạn Năm tham số c ơ bản này có ảnh hưởng lẫn nhau. Ví dụ, nếu một ứng dụng muốn granularity thấp hơn thì nó cần trích ra một chuỗi đặc trưng lớn hơn để thu [...]... đặc trưng trong cơ sở dữ liệu Tìm kiếm các chuỗi đặc trưng đã được trích rút trong cơ sở dữ liệu chuỗi đặc trưng là công việc không đơn giản Thay vào đó việc tìm kiếm chuỗi đặc trưng dạng bit dễ dàng hơn, chuỗi đặc trưng gần giống nhất sẽ được tìm ra Chúng ta trình bày quá trình tìm kiếm này với các số liệu dựa trên những chuỗi đặc trưng được trích rút như bên trên Giả sử cơ sở dữ liệu chuỗi đặc trưng. .. dạng chắc chắn và mạnh mẽ 2.2 Các phương pháp xây dựng và tìm kiếm chuỗi đặc trưng trong ứng dụng nhận dạng nhạc Phần này chúng ta sẽ tìm hiểu hai phương pháp xây dựng và tìm kiếm chuỗi đặc trưng dùng trong nhận dạng nhạc tiêu biểu hiện nay 2.2.1 Phương pháp xây dựng hệ thống chuỗi đặc trưng mạnh Phương pháp này được phát triển bởi Jaap Haitsma và Ton Kalker 2.2.1.1 Trích rút chuỗi đặc trưng a) Thuật... Nguyên tắc cơ bản xây dựng hệ thống chuỗi đặc trưng âm thanh Các chuỗi đặc trưng âm thanh có khuynh hướng giữ lấy những đặc điểm có liên quan đến tri giác của âm thanh Việc rút ra và tìm kiếm các chuỗi đặc trưng cùng một lúc nên được thực hiện nhanh chóng và dễ dàng, tốt nhất là với một granularity (độ dài của đoạn âm thanh truy vấn) nhỏ để cho phép sử dụng trong các ứng dụng đòi hỏi cao (ví dụ việc nhận... quan đến cỡ chuỗi đặc trưng Một ví dụ khác: tốc độ tìm kiếm nói chung sẽ tăng lên khi một ứng dụng được xây dựng với chuỗi đặc trưng mạnh (robust) hơn Điều này là vì tìm kiếm chuỗi đặc trưng là phép tìm kiếm xấp xỉ Giả sử một chuỗi đặc trưng tương tự vừa được tìm thấy, nếu các thuộc tính càng mạnh hơn thì độ xấp xỉ càng nhỏ hơn Vì thế tốc độ tìm kiếm có thể được tăng lên đáng kể 1.3 Các ứng dụng 1.3.1... những vị trí mà một trong 256 chuỗi đặc trưng con của truy vấn khối chuỗi đặc trưng phù hợp hoàn toàn Để kiểm tra tính hợp lệ của giả thiết này, đồ thị trong hình 4 thể hiện số bit lỗi trên chuỗi đặc trưng con cho những chuỗi đặc trưng được mô tả trong hình 2 Nó thể hiện rằng quả thật là có một chuỗi đặc trưng con không chứa bất kỳ lỗi nào Trên thực tế 17 trong số 256 chuỗi đặc trưng con không có lỗi... triệu chuỗi đặc trưng con Để xác định một khối chuỗi đặc trưng có nguồn gốc từ đoạn âm thanh chưa biết chúng ta phải tìm ra khối chuỗi đặc trưng giống nhất trong cơ sở dữ liệu Nói theo cách khác chúng ta phải tìm ra vị trí trong 250 triệu chuỗi đặc trưng con mà ở đó tỷ lệ bít lỗi là tối thiểu Đây là quá trình của cách tìm kiếm brute force Tuy nhiên phải làm phép so sánh với 250 triệu khối chuỗi đặc trưng. .. server chuỗi đặc trưng – chứa một cơ sở dữ liệu chuỗi đặc trưng khổng lồ - cung cấp các playlist cho tất cả các kênh truyền thanh và truyền hình đó 1.3.2 Ứng dụng liên thông âm thanh Ứng dụng liên thông âm thanh là thuật ngữ chung cho những ứng dụng tiêu dùng mà ở đó âm nhạc được kết nối theo cách này hay cách khác để đưa ra và hỗ trợ thông tin Một ví dụ đã được đưa ra trong phần trên là sử dụng một... lượng thu âm kém và có tiếng ồn xung quanh 3.2.1 Mô tả âm thanh và trích rút chuỗi đặc trưng Hệ thống này sử dụng kiến trúc cơ bản là kỹ thuật chuỗi đặc trưng âm thanh để mô tả xúc tích các tín hiệu âm thanh Nó sử dụng các cửa sổ chồng của âm thanh đơn sắc từ đó rút ra những thuộc tính đáng quan tâm Các cửa sổ chồng phải được sử dụng để duy trì sự bất biến về thời gian cho cho các trường hợp trong đó... là 0x00000001 Đầu tiên khối chuỗi đặc trưng được so sánh với các vị trí trong cơ sở dữ liệu nơi mà chuỗi đặc trưng con 0x00000001 được định vị LUT chỉ đến chỉ một vị trí cho chuỗi đặc trưng con 0x00000001, một vị trí p nào đó trong bài hát 1 Bây giờ chúng ta tính toán tỷ lệ bit lỗi giữa 256 chuỗi đặc trưng con được rút ra (khối chuỗi đặc trưng) và các giá trị chuỗi đặc trưng con của bài hát 1 từ vị... 1 trong 2 frame bị suy biến bởi tiếng ồn) và khi chúng khác nhau 3.2.2 Tìm kiếm chuỗi đặc trưng phù hợp Sau khi xây dựng các tín hiệu (là các chuỗi đặc trưng) cho tất cả các bài hát trong cơ sở dữ liệu chúng ta tiến hành tìm kiếm Trong thời gian tìm kiếm, ta thực thi một sự tìm kiếm giống nhau cho các kí hiệu mô tả của đoạn truy vấn dựa vào cơ sở dữ liệu tín hiệu này Cỡ của cơ sở dữ liệu lớn và số . XÂY DỰNG VÀ TÌM KIẾM CHUỖI ĐẶC TRƯNG ÂM THANH 2.1. Nguyên tắc cơ bản xây dựng hệ thống chuỗi đặc trưng âm thanh Các chuỗi đặc trưng âm thanh có. trưng âm thanh và những ứng dụng phổ biến của chuỗi đặc trưng âm thanh. Chương 2: Các phương pháp xây dựng và tìm kiếm chuỗi đặc trưng âm thanh. Trình