Xây dựng kho liệu lĩnh vực truyền thông xã hội cách sử dụng công cụ khai phá văn SPSS Giới thiệu Tiền thân mạng xã hội biết lên vào cuối năm 1960, bảng tin tảng chia sẻ-thông điệp tương tác Chỉ đến gần đây—vào năm 1990, Craigslist (N.D.: mạng truyền thông trực tuyến dành cho quảng cáo) AOL xuất hiện—cuộc cách mạng xã hội phát triển nhanh chóng Các mạng xã hội cất cánh vào năm 2000, với Friendster, LinkedIn, MySpace, Flickr, Vimeo, YouTube, Facebook vào năm 2004 Twitter vào năm 2006 gần Google+ Pinterest Các xu hướng kỹ thuật số, kèm với việc chọn dùng rộng rãi mơi trường truyền thơng xã hội, có tác động trực tiếp đến doanh nghiệp chúng phát triển chiến lược số dễ thay đổi cho môi trường có nhiều thành phần di động Trào lưu mạng xã hội thực kéo dài mối quan hệ doanh nghiệp khách hàng Trước có thương mại điện tử môi trường truyền thông xã hội, người tiêu dùng tiến hành số nghiên cứu sản phẩm mua hàng có chọn lọc mối quan hệ kết thúc sau mua hàng, đến khách hàng mua sản phẩm mối quan hệ tiếp tục trì Trong cách mua hàng truyền thống này, xu hướng truyền miệng khách hàng bị hạn chế Giờ đây, khách hàng dễ dàng bày tỏ quan điểm sản phẩm thơng qua mạng xã hội, qua giúp cho doanh nghiệp có thêm lượng khách hàng Các doanh nghiệp biết người tiêu dùng ngày tích cực thu thập thơng tin trước mua hàng, họ xem xét ý kiến tán thành hay không tán thành khác dễ dàng thực so sánh giá vài thao tác thiết bị di động Các doanh nghiệp biết người tiêu dùng nhạy cảm ảnh hưởng từ người khác mạng xã hội họ, dẫn đến phát triển kiểu chương trình tạo ảnh hưởng trung thành khách hàng nhằm vào việc khuyến khích khen thưởng cá nhân, người có ảnh hưởng mạnh đến thương hiệu doanh nghiệp Các khách hàng trở thành người đại diện cho thương hiệu, cách góp phần điều chỉnh sắc thương hiệu, giúp làm nên sống cho thương hiệu Vậy thương hiệu quản lý lượng thơng tin tương tác kỹ thuật số nào? Công nghệ chạy đua để bắt kịp với gia tăng người tiêu dùng xã hội Chính mạng xã hội cung cấp công cụ thống kê luồng liệu đặc trưng trang web, chẳng hạn Facebook Insights, YouTube Insights quản lý môi trường truyền thông xã hội HootSuite cổng thông tin đo lường ảnh hưởng Klout cung cấp tùy chọn bên thứ ba số liệu thống kê theo dõi gắn bó với thương hiệu Một loạt công cụ thương mại để lắng nghe xã hội Radian6, SM2, Viralheat Sysomos, cung cấp báo cáo, phân tích văn bản, gắn bó với thương hiệu, phân tích tâm lý người tiêu dùng, thông tin khách đến thăm trang web luồng công việc hứa hẹn với thương hiệu Những công cụ cải thiện theo phạm vi tính hữu ích, nhiều cơng cụ số cịn giai đoạn đầu q trình tiến hóa Ví dụ, việc phân tích tâm lý tiêu dùng, cịn lâu xác liệu xã hội cung cấp thông qua dịch vụ firehose Twitter cung cấp công ty đối tác Gnip DataSift, đắt bị hạn chế chất liệu có sẵn Do đó, có lý mạnh mẽ để tăng cường thêm cho công cụ thương mại việc khai phá văn chỗ xây dựng kho liệu từ môi trường truyền thông xã hội sở hữu độc quyền Các kho liệu từ môi trường truyền thông xã hội lưu trữ thông tin mức người tiêu dùng, bắt nguồn từ tương tác môi trường truyền thông xã hội tất thơng tin số có liên quan đến địa điểm, thiết bị, hành vi di động, toán di động, tảng tốc độ liên quan đến liệu bình luận Về đầu trang Khai phá văn phương pháp ngữ nghĩa Các mạng truyền thông xã hội tạo vô số liệu từ người dùng, làm để doanh nghiệp chuyển liệu bình luận thô mạng xã hội Twitter, Facebook, blog diễn đàn thành hiểu biết kinh doanh? Câu trả lời nằm việc áp dụng công nghệ ngữ nghĩa khai phá văn cho nguồn liệu khơng có cấu trúc Khai phá văn đề cập đến kỹ thuật sử dụng việc trích thơng tin từ nguồn văn viết khác Tại điều lại quan trọng đến vậy? Người ta ước tính 80% thông tin liên quan đến kinh doanh nằm liệu văn khơng có cấu trúc nửa cấu trúc Nói cách khác, thiếu ứng dụng cho việc phân tích văn để tìm nội dung phong phú liệu biểu diễn 80% đó, lãng phí tất liệu hành vi người tiêu dùng thông tin kinh doanh nhúng Thuật ngữ khai phá văn bản, thường coi phân tích văn bản, có nhiều mục đích thực tế, chẳng hạn ứng dụng lọc thư rác, trích thơng tin từ đề xuất khuyến nghị trang web thương mại điện tử, lắng nghe xã hội khai phá dư luận từ blog trang web phê bình, nâng cao dịch vụ khách hàng hỗ trợ thư điện tử (email), xử lý tự động tài liệu kinh doanh, khám phá điện tử (e-discovery) lĩnh vực pháp lý, đo lường sở thích người tiêu dùng, phân tích tổn thất, phát gian lận, tội phạm mạng ứng dụng an ninh quốc gia Khai phá văn tương tự khai phá liệu chỗ nhằm vào việc xác định mẫu liệu đáng ý Mặc dù việc khai phá văn thủ công (cần nhiều người làm) lên năm 1980 Lĩnh vực khai phá văn trở nên quan trọng năm gần để tinh chỉnh thuật toán kết cơng cụ tìm kiếm chọn lọc thơng qua nguồn liệu để khám phá thông tin chưa biết Tất kỹ thuật máy học, thống kê, ngơn ngữ học máy tính khai phá liệu sử dụng trình Mục tiêu việc khám phá tri thức từ văn bản, ví dụ, để phát mối quan hệ ngữ nghĩa nằm bên văn nội dung bối cảnh ngụ ý với NLP (Natural Language Processing - Xử lý ngôn ngữ tự nhiên) Các trình nhằm vào việc sử dụng NLP để chép lại, điều chỉnh quy mô cho hợp với kiểu phân biệt ngôn ngữ, nhận dạng mẫu hiểu kết quả, diễn người đọc xử lý văn Các phương pháp khác tồn lĩnh vực khai phá văn Dưới giới thiệu danh sách bước phổ biến liên quan đến việc khai phá văn Bước nỗ lực khai phá văn xác định nguồn dựa trên-văn cần phân tích thu thập tư liệu thông qua việc lấy thông tin chọn kho văn chuyên đề (corpus) gồm tập hợp tệp văn nội dung quan tâm Sau triển khai NLP mở rộng, gọi "thành phần gắn thẻ tiếng nói" xếp thứ tự văn để phân tích cú pháp (đó là, biểu tượng hóa (tokenizing) văn bản) áp dụng nhận dạng thực thể có tên (Named Entity Recognition) (đó là, nhận biết việc nêu nhãn hàng, tên người, địa điểm, chữ viết tắt phổ biến v.v) Một bước Lọc từ phổ biến (Filter Stopwords) hay dùng liên quan đến việc loại bỏ từ phổ biến để tinh lọc nội dung chủ đề mong muốn Các thực thể xác định mẫu (Pattern Identified Entities) nhận biết địa email số điện thoại Tài liệu tham khảo (Coreference) xác định cụm danh từ đối tượng liên quan văn bản, Trích mối quan hệ, vật kiện (Relationship, Fact and Event Extraction) Các N-Gram thường sinh để tạo điều kiện dạng loạt từ liên tiếp Cuối cùng, cách tiếp cận công cụ lắng nghe phân loại môi trường truyền thông xã hội sử dụng rộng rãi phân tích tâm lý tiêu dùng, để trích thông tin thái độ theo đối tượng chủ đề Thơng thường, chức lập đồ vẽ đồ thị khác cung cấp hiển thị trực quan để kiểm tra xác Về đầu trang Các công cụ khai phá văn Có số tùy chọn nguồn mở thương mại cho phần mềm ứng dụng khai phá văn IBM cung cấp loạt giải pháp khai phá văn rộng lớn mạnh mẽ Một sản phẩm mạnh, sử dụng khả Big Data IBM® InfoSphere® BigInsights™, cung cấp mơ đun phân tích văn bổ sung, thực trích phân tích văn từ cụm BigInsights InfoSphere Các sản phẩm IBM SPSS® trải rộng theo quy mơ phạm vi Một cơng cụ, hoạt động tốt để tìm kiếm tài liệu gán cho chủ đề hay chuyên đề IBM SPSS Modeler (Trình mơ hình hóa SPSS IBM), cung cấp giao diện đồ họa để thực phân loại phân tích tài liệu văn tổng quát Một sản phẩm khác IBM SPSS Text Analytics for Surveys (Phân tích văn SPSS IBM dành cho khảo sát điều tra) sử dụng NLP để phân tích câu hỏi khảo sát mở tài liệu IBM SPSS Modeler Premium chạy công cụ SPSS Text Analytics dành cho khảo sát, có khả mở rộng quy mơ cao để xử lý toàn kho liệu gồm nhiều loại tài liệu (PDF, trang web, blog, email, nguồn cấp liệu Twitter nhiều nữa) nhánh công việc, để tạo điều kiện thuận lợi cho việc tích hợp liệu có cấu trúc khơng có cấu trúc Một nút mã nguồn tùy chỉnh liên quan dành cho Facebook mở rộng khả SPSS Modeler Premium để đọc liệu trực tiếp từ trang Facebook tích hợp với nguồn cấp liệu Twitter SPSS Modeler để có phối cảnh nhiều kênh truyền thơng xã hội Trong số công cụ khai phá văn nguồn mở, RapidMiner R dường hai công cụ phổ biến R có sở người dùng rộng hơn; ngơn ngữ lập trình u cầu có mã nguồn đó, có lựa chọn lớn thuật toán Tuy nhiên, khả điều chỉnh quy mô vấn đề với R nên khơng phải lý tưởng cho tập liệu lớn (big data) khơng có cách giải RapidMiner có sở người dùng nhỏ hơn, khơng địi hỏi mã nguồn có giao diện người dùng (UI) mạnh mẽ Nó có khả điều chỉnh quy mơ cao xử lý cụm lập trình sở liệu IBM cung cấp mô đun Jaql R có tích hợp dự án R truy vấn, cịn phần dự án R lại cho phép tác vụ MapReduce chạy tính tốn R song song Về đầu trang Các kho liệu môi trường truyền thông xã hội Big Data Các tùy chọn NoSQL SQL Vài lời ngắn gọn tùy chọn NoSQL SQL (Structured Query Language – Ngôn ngữ truy vấn có cấu trúc) q trình lựa chồng cơng nghệ Khi nguồn liệu trở nên khó xử lý, thường thấy làm việc với liệu mơi trường truyền thơng xã hội, cần đến kết hợp tùy chọn NoSQL thương mại (như IBM BigInsights InfoSphere), để tích hợp có hiệu với Hadoop cơng cụ nguồn mở có khả mở rộng khác Các sở liệu đồ thị kho lưu trữ tài liệu cặp khóa-giá trị có sẵn lựa chọn tối ưu dựa trường hợp sử dụng công ty Các công ty quan tâm đến việc khai phá phân tích văn thường chọn Hadoop tích hợp với cơng cụ nguồn mở khác Apache Mahout, công cụ máy học cung cấp việc phân loại, phân cụm lọc cộng tác Các liệu luồng liệu Storm quản lý phân tích thời gian thực để kiểm soát độ trễ cao Hadoop Khi bắt đầu áp dụng khai phá văn bản, có thách thức đặc biệt riêng liệu môi trường truyền thông xã hội Dữ liệu, trang web mạng xã hội, blog diễn đàn tạo ra, rơi vào thể loại thứ thường gọi big data Dữ liệu thường khơng có cấu trúc nửa cấu trúc, tạo nhiều petabyte liệu hàng ngày xung quanh nhãn hàng lớn sở liệu quan hệ truyền thống mở rộng quy mơ có hiệu để hỗ trợ phân tích thời gian thực dựa liệu Vì cần giải pháp sở liệu NoSQL big data Dữ liệu môi trường truyền thông xã hội, không thu thập lưu trữ thích hợp theo định kỳ đặn, dễ Hầu hết công cụ nguồn mở lắng nghe mạng xã hội lưu lịch sử bình luận mơi trường truyền thơng xã hội vài ngày Chỉ có Twitter thơng báo tồn lịch sử liệu có sẵn, giới hạn với bình luận chủ tài khoản đăng lên Dữ liệu có sẵn từ số nhà cung cấp liệu xã hội lớn nói trên, chẳng hạn Gnip DataSift thông qua nhiều giao diện lập trình ứng dụng (các API) giao diện lập trình ứng dụng dựa gọi thông qua công cụ khác Tuy nhiên, nơi liệu có sẵn (đối với Twitter), đắt với tất người, trừ doanh nghiệp lớn Mỗi trang web môi trường truyền thông xã hội xử lý vấn đề cách khác Mỗi trang sử dụng u cầu tìm kiếm có đáp ứng theo định dạng JavaScript Object Notation (JSON), có liệu chưa phân tích cú pháp để đưa vào sở liệu MySQL sở liệu NoSQL, tùy thuộc vào khối lượng tính chất liệu Về đầu trang Các trường hợp sử dụng nghiệp vụ khai phá văn Các doanh nghiệp có mục tiêu khác áp dụng khai phá văn bản:    Một công ty Sears, Ví dụ 1, quan tâm đến việc theo dõi tâm lý tiêu dùng khách hàng thơng qua bình luận mơi trường truyền thông xã hội tương tác trực tiếp người hâm mộ trang Facebook sau mắt dịng sản phẩm Bằng cách này, hiểu tâm lý tiêu dùng qua hình ảnh, sản phẩm, nhóm trị chuyện xảy xung quanh việc mắt sản phẩm Thông tin phản hồi thời gian thực cho phép cập nhật thơng báo nhanh chóng loại bỏ nội dung khơng ưa chuộng người hâm mộ Facebook trở thành nhóm tiêu điểm thời gian thực, cung cấp thơng tin phản hồi tính sản phẩm Một cơng ty giải trí JACT kinh doanh xây dựng mối quan hệ doanh nghiệp game thủ Nó có lớp phủ trò chơi cho phép game thủ chơi trị chơi thường xun hiển thị loạt nội dung có mục tiêu lên lịch tới người chơi Các game thủ kiếm tiền ảo JACT họ đổi lại BUX JACT để lấy phần thưởng, bao gồm hàng ảo tải Nhưng người chơi tương tác với JACT trang Facebook hay Twitter đề cập đến BUX JACT thường xuyên diễn đàn trò chơi Có thể thu liệu bình luận thơ từ nguồn khác lưu ý kiến sở thích mức cá nhân Ví dụ, người chơi phấn khích trò chơi video cụ thể tin ngắn tweet nói phần thưởng người chơi, mục đích trị chơi dựa trị chơi kiểu phần thưởng cụ thể có nhiều khả hướng tới làm tăng lòng trung thành với thương hiệu so với lời chào hàng ngẫu nhiên Các siêu thị sử dụng liệu mơi trường truyền thông xã hội để xác định người mua hàng có giá trị hơn, ấn tượng dịch vụ khách hàng, mơi trường cửa hàng, sở thích sản phẩm, sở thích đóng gói giá Việc hợp kiểu thông tin với liệu vị trí Twitter thiết bị di động cung cấp, siêu thị tùy chỉnh phù hợp với trải nghiệm mua hàng theo quan điểm địa phương hóa Điều có ảnh hưởng đến hàng tồn kho, giá cả, quảng cáo, tặng phiếu mua hàng trực tuyến trực tiếp qua bưu điện cho cá nhân nhiều Ví dụ 1: Dữ liệu môi trường truyền thông xã hội khai phá văn SPSS Modeler Premium Ví dụ cho thấy trường hợp sử dụng SPSS Modeler Premium Trong kịch này, công ty cho mắt dòng sản phẩm quan tâm theo dõi phản ứng người tiêu dùng liệu môi trường truyền thông xã hội Nút Facebook SPSS Modeler Premium sử dụng để theo dõi dòng sản phẩm Kardashian trang Facebook Sears, thể Hình Hình Nhà bán lẻ mắt dòng sản phẩm Facebook Bước việc theo dõi phân tích liệu bình luận địi hỏi người sử dụng ghi rõ tên người dùng số trang tải chủ đề cần xem xét nút Facebook SPSS Modeler Premium, Hình Hình Sử dụng SPSS Modeler để trích bình luận tường Facebook để nhận phân tích thơng tin bình luận phản hồi sau mắt dòng sản phẩm Sau trích liệu bình luận từ trang Facebook Sears tạo sẵn liệu để sử dụng SPSS Modeler, Hình Hình Có thể xem liệu bình luận thơ trực tiếp thông qua nút Facebook SPSS Modeler (Xem ảnh lớn Hình 3.) Bước địi hỏi thêm lọc tiến hành trích khái niệm, dẫn đến hiển thị trực quan nhằm mô tả thể loại nội dung xung quanh nhãn hàng Giao diện người dùng đồ họa thân thiện với người dùng hướng dẫn người dùng qua trình khơng cần sử dụng API để trích liệu xã hội từ Twitter hay Facebook Kết đồ khái niệm dễ hiểu độ dày đường nối biểu diễn độ nhạy cho cụm khái niệm, Hình Hình Bản đồ khái niệm cung cấp hiển thị trực quan thể loại sức mạnh khái niệm với nhãn hàng (Xem ảnh lớn Hình 4.) Ví dụ 2: Ví dụ sở thích sản phẩm siêu thị sử dụng việc trích xuất từ phổ biến SPSS Statistics Base Quá trình lắp ráp quầy liệu môi trường truyền thông xã hội mơ tả q trình khai phá văn thủ cơng đơn giản Trong ví dụ này, quan tâm đến việc sử dụng khai phá văn thông qua SPSS Statistics Base (Cơ sở thống kê SPSS) để lấy lưu trữ sở thích sản phẩm cá nhân từ liệu mơi trường truyền thơng xã hội Ví dụ bao gồm hướng dẫn bước để trích liệu nhãn hàng siêu thị từ Twitter Facebook Kiến trúc trình thể Hình Hình Kiến trúc quầy liệu môi trường truyền thông xã hội BrandMeter (Xem ảnh lớn Hình 5.) Bước xác định nhãn hàng quan tâm Một routine (thủ tục) thiết lập để thu thập bình luận liên quan đến nhãn hàng thông qua việc xử lý API Điều thực yêu cầu tìm kiếm u cầu mơ tả Hình kết trả dạng JSON Một thư viện JSON phân tích cú pháp liệu chia ghi thành nhiều trường có chứa thơng tin ID (mã định danh) người dùng, liệu bình luận thơng báo dạng văn chưa qua xử lý Sau lưu trữ liệu sở liệu tạo sẵn cho việc khai phá văn Hình API ví dụ mẫu để truy cập liệu bình luận thơ Twitter Facebook (Xem ảnh lớn Hình 6.) Mục tiêu tập khai phá văn đơn giản hóa xác định sở thích sản phẩm người tiêu dùng mẫu tiêu dùng cụ thể Sau lưu trữ thông tin quầy liệu môi trường truyền thơng xã hội Đối với ví dụ cụ thể này, giả sử bạn muốn xác định tất khách hàng người tiêu dùng ngơ Hình cho thấy việc sử dụng chức Character Index (Chỉ mục ký tự) để xác định tất cá thể từ ngơ liệu bình luận thơ Hình Trích văn chức SPSS Base Character Index (Xem ảnh lớn Hình 7.) Các kết cần phải tiếp tục lọc cần áp dụng từ phổ biến qua nhiều vịng lặp khác để cải thiện độ xác phân loại Bằng cách áp dụng từ phổ biến popcorn (bỏng ngô), candy corn (kẹo ngô), corndog (bánh ngơ kẹp xúc xích nướng) corn syrup (si rô từ bột ngô) lấy cá thể tổ hợp có bốn ký tự, ta xác định kết người tiêu dùng sản phẩm ngơ xác nhiều Sau tên người dùng gắn cờ 'corn_consumer_flag'=1 sở liệu chọn với chào hàng công thức nấu ăn riêng ngô chiến dịch tiếp thị tương lai (Xem Hình 8.) Hình Quá trình phân loại bình luận thô sử dụng từ phổ biến (Xem ảnh lớn Hình 8.) Khi bạn qua danh sách đầy đủ, bạn thực gộp chung theo ID người dùng điền liệu vào bảng để nắm bắt việc mua sản phẩm, bình luận xung quanh việc đóng gói biến khác lưu trữ hành vi tiêu dùng mức cá nhân Trong ví dụ này, liệu thô môi trường truyền thông xã hội lưu trữ sở liệu NoSQL cờ (flag) sở thích sản phẩm có nguồn gốc lưu trữ khu liệu MySQL, ID người dùng khóa so khớp (xem Hình 9) Hình Gộp chung liệu bình luận mức ID người dùng với chức SPSS Base Aggregate (Gộp chung sở SPSS) ... chế chất liệu có sẵn Do đó, có lý mạnh mẽ để tăng cường thêm cho công cụ thương mại việc khai phá văn chỗ xây dựng kho liệu từ môi trường truyền thông xã hội sở hữu độc quyền Các kho liệu từ môi... áp dụng khai phá văn bản, có thách thức đặc biệt riêng liệu môi trường truyền thông xã hội Dữ liệu, trang web mạng xã hội, blog diễn đàn tạo ra, rơi vào thể loại thứ thường gọi big data Dữ liệu. .. đầu trang Các cơng cụ khai phá văn Có số tùy chọn nguồn mở thương mại cho phần mềm ứng dụng khai phá văn IBM cung cấp loạt giải pháp khai phá văn rộng lớn mạnh mẽ Một sản phẩm mạnh, sử dụng khả