Đang tải... (xem toàn văn)
BẮT ĐẦU HỌC DATA SCIENCE ÔNG XUÂN HỒNG – DATA ANALYST KNOREX BẮT ĐẦU HỌC DATA SCIENCE ÔNG XUÂN HỒNG – DATA ANALYST KNOREX NỘI DUNG Data science 101 Làm sao để trở thành Data Scientist Rèn luyện th.BẮT ĐẦU HỌC DATA SCIENCE ÔNG XUÂN HỒNG – DATA ANALYST KNOREX BẮT ĐẦU HỌC DATA SCIENCE ÔNG XUÂN HỒNG – DATA ANALYST KNOREX NỘI DUNG Data science 101 Làm sao để trở thành Data Scientist Rèn luyện th.
BẮT ĐẦU HỌC DATA SCIENCE ÔN G XU ÂN HỒNG – DATA ANALYST @ KNOREX NỘI DU NG Data science 101 Làm để trở thành Data Scientist Rèn luyện Sự nghiệp GIỚI THIỆU BẢNTHÂN Full-stack web developer (PHP, Java) Master @ JAIST (NLP) Blogger (Machine Learning) Working @ Knorex (Advertising analysis) Để biết hợp với phải thử… TÌM KHỐ HỌC ONLINE • • • • • Nắm kiến thức Có thể vừa học vừa làm Thích học giáo trình học Chi phí thấp Học nhanh học chậm bạn HỌC LẬP TRÌNH CẤU TRÚC DỮ LIỆUVÀ GIẢI THUẬT Kiểu liệu Vòng lặp, phân luồng Hà m Hướn g đối tượng HỌC TOÁN HỌC TOÁN ¡ Giải tích (Analytics): tìm độ lỗi cực tiểu cho mơ hình, cực đại hố khả ¡ Đại số tuyến tính (Linear algebra):nhân ma trận xử lý ảnh, biểu diễn thao tác liệu bảng ¡ Toán rời rạc (Discrete mathematics):hỗ trợ phép đếm xác suất ¡ Lý thuyết đồ thị (Graph theory): phân tích mạng xã hội ¡ Xác suất thống kê (Statistics and probability): xây dựng mơ hình dự đốn dựa vào liệu q khứ“educated guess” SỰ NGHIỆP Học Đi làm Start up thuậ t HỌC THUẬT Đại học • • • • • • • năm Mast er • năm Ph D Tầm sư học đạo 10 năm Ít rủi ro Được nghiên cứu lĩnh vực thích Thường làm việc nhóm nhỏ Áp lực xuất báo khoa học Làm giảng viên, nghiên cứu sinh, nhà tư vấn • năm Postd oc • năm ĐI LÀM ¡ Data engineer ¡ Data analyst ¡ Data scientist ¡ Project management ¡ Business owner of a Start-up REAL-TIME BIDDING Bidding O ptimiz er D emandSide Platform Advertiser Knorex User Information (Male, 25, Student, Ad science, Longdon, … ) Bid Request Bid (user, Response context) (ad, bid) 4.Win Notice (paying price) Data Managem ent Platform Ad Exchan ge 3.Ad auction Google 0.Ad Request 5.Ad (with tracking) Webpag e DATA ENGINEER ¡ Vai trò: thiết kế, xây dựng, bảo trì, giám sát hệ thống Big Data cho hệ thống có khả co giãn hợp lý, tiết kiệm chi phí ¡ Thách thức: mang lại trải nghiệm tốt Big Data cho người dùng ¡ Công nghệ: Docker, Zookeeper, Mesos, Chronos, Marathon, Spark, Redis, Kafka,Amazon Web Service… ¡ Nhiệm vụ ngày: ¡ Setup hệ thống server ¡ Tracking liệu đến từ nhiều nguồn ¡ Xây dựng hệ thống monitoring ¡ Đảm bảo hệ thống trì ổn định LOGSTASH – ELASTICSEARCH - KIBANA ¡ Làm lấy access log cách ngày khoảng thời gian 11:03 AM đến 08:16 PM? ¡ Logstash: ghi liệu log từ nhiều nguồn ¡ Elasticsearch:lưu trữ, tìm kiếm phân tích liệu log ¡ Kibana: biểu diễn liệu log, quan sát nhiều tác vụ thời điểm DATA ANALYST ¡ Vai trị: thực phân tích, theo dõi hệ thống Big Data ¡ Thách thức: đảm bảo tính tồn vẹn liệu, xây dựng kế hoạch xử lý nhanh biến cố hệ thống ¡ Công nghệ: MongoDB, MySQL, PostgreSQL,Excel, … ¡ Nhiệm vụ ngày: ¡ Hỗ trợ Extract Transform Load liệu ¡ Điều tra phân tích cố liệu ¡ Tổng hợp Big Data từ nhiều nguồn để phân tích LÀMVIỆCVỚI DỮ LIỆU ¡ Tổng hợp liệu thành Data warehouse theo giờ, ngày, tháng ¡ Biểu diễn liệu thành bảng biểu đồ thị để quan sát trực quan ¡ Tích hợp liệu từ Facebook, Google theo dạng chuẩn ¡ Xuất file report Excel Big Data (> 100 MB) DATA SCIENTIST ¡ Vai trò: xác định vấn đề đưa giải pháp AI cho tổ chức ¡ Thách thức: xây dựng hệ thống có độ xác cao, hỗ trợ lãnh đạo định tốt ¡ Công nghệ: Docker, Spark,Amazon Web Service, Google cloud computing, MongoDB, PostgreSQL,Jupyter, … DATA SCIENTIST Brainstor m Khảo sát tài liệu Cài đặt Giải pháp Vấn đề Thực Phân tích thất bại nghiệ m Thất bại BIDDING OPTIMIZER ¡ Có nên bid hay khơng? ¡ Nếu có bid với giá để thắng? ¡ Dự đoán xem đăng quảng cáo user có khả click bao nhiêu? ¡ Mục tiêu: maximize số lượng win với điều kiện Budget CPM cho trước user PROJECT MANAGEMENT ¡ Vai trò: xây dựng áp dụng quy trình giúp hồn thành dự án thời hạn ¡ Nhiệm vụ: phân công công việc tài nguyên cho người việc ¡ Công cụ: quản lý thời gian, quản lý quy trình ¡ Thách thức: ¡ Làm hài lòng sếp ¡ Làm hài lòng anh em ¡ Làm hài lòng khách hàng BUSINESS OWNER ¡ Vai trò: nắm bắt tạo xu hướng, truyền lửa, truyền cảm hứng, gửi gắm tầm nhìn vào sản phẩm ¡ Nhiệm vụ: tìm mặt gửi vàng, phân phối tài nguyên nguồn lực hợp lý ¡ Công cụ: kĩ giao tiếp, đam mê, tiền bạc, nhân cách ¡ Thách thức: ¡ Làm hài lòng khách hàng ¡ Chiêu dụ giữ chân nhân tài ¡ Chấp nhận rủi ro bị phá sản ¡ Cập nhật kịp thời xu hướng nhanh so với đối thủ cạnh tranh NỘI DU NG Data science 101 Làm để trở thành Data Scientist Rèn luyện Sự nghiệp THAM KHẢO THÊM ¡ http://www.datatau.com/ ¡ https://metacademy.org/ ¡ http://datasciencemasters.org/ ¡ http://machinelearningcoban.com/ ¡ How To Become A Data Scientist ¡ Ultimate Skills Checklist for Your First Data Analyst Job ... analysis) Để biết hợp với phải thử… TÌM KHỐ HỌC ONLINE • • • • • Nắm kiến thức Có thể vừa học vừa làm Thích học giáo trình học Chi phí thấp Học nhanh học chậm bạn HỌC LẬP TRÌNH CẤU TRÚC DỮ LIỆUVÀ GIẢI... khoa học Làm giảng viên, nghiên cứu sinh, nhà tư vấn • năm Postd oc • năm ĐI LÀM ¡ Data engineer ¡ Data analyst ¡ Data scientist ¡ Project management ¡ Business owner of a Start-up REAL-TIME... cạnh tranh NỘI DU NG Data science 101 Làm để trở thành Data Scientist Rèn luyện Sự nghiệp THAM KHẢO THÊM ¡ http://www.datatau.com/ ¡ https://metacademy.org/ ¡ http://datasciencemasters.org/ ¡