Bài viết này cung cấp cho bạn một số thông tin về Big Data và lịch sử của Big Data.
Chúng ta cũng sẽ thảo luận về các công nghệ sử dụng trong Big Data như:
-
Hadoop
-
Apache Spark
-
Flink
Và các trường hợp sử dụng, ứng dụng thực tế khác nhau của Big Data cũng được thảo luận trong bài viết này.
Lịch sử - Công nghệ - Các trường hợp sử dụng của Big Data
1. Lịch sử của Big Data
Ngày qua ngày, thế giới internet lớn đang tạo ra 2,5 triệu triệu byte dữ liệu, theo thống kê tỷ lệ phần trăm dữ liệu được tạo ra so với 2 năm trước là 90%.
Dữ liệu này đến từ nhiều ngành công nghiệp như thông tin khí hậu được thu thập bởi cảm biến, các nội dung khác nhau từ các trang truyền thông xã hội, hình ảnh kỹ thuật số và video, các hồ sơ khác nhau về giao dịch mua hàng. Đây chính là Big Data.
Nói về sự lịch sử của Big Data thì chắc chắn cần phải gắn với sự phát triển của Hadoop. Bởi hệ sinh thái ngày càng phát triển của công nghệ này.
Hai cột mốc quan trọng trong sự phát triển của Hadoop cũng đã tạo thêm niềm tin vào Sức mạnh của nguồn mở và Công nghệ Big Data.
Chỉ hai năm sau khi phát hành lần đầu tiên, vào năm 2008, Hadoop đã chiến thắng trong Terabyte Sort Benchmark.
Và đây cũng là lần đầu tiên Java hoặc chương trình nguồn mở giành chiến thắng.
Vào năm 2010, Facebook cũng đã tuyên bố rằng họ có Hadoop cluster lớn nhất thế giới với 21 PB dung lượng lưu trữ cho nền tảng nhắn tin của họ.
2. Các sự kiện và số liệu về Big Data
-
91% các nhà lãnh đạo tiếp thị tin rằng các thương hiệu thành công sử dụng dữ liệu khách hàng để thúc đẩy các quyết định kinh doanh.
-
Tỷ lệ phần trăm tổng số dữ liệu trên toàn thế giới đã được tạo ra chỉ trong vòng hai năm qua là 90%.
-
87% công ty đồng ý nắm bắt và chia sẻ dữ liệu phù hợp là rất quan trọng để đo lường hiệu quả ROI trong chính công ty của họ.
-
Kỷ lục 500 triệu cuộc gọi được phân tích hàng ngày bởi IBM để dự đoán số lượt truy cập của khách hàng.
-
350 tỷ lần đọc hàng năm được IBM chuyển đổi thông qua Dữ liệu lớn để dự đoán mức tiêu thụ năng lượng tốt hơn.
-
Trên Facebook, 30 tỷ mẩu nội dung được người dùng chia sẻ mỗi tháng.
3. Các công nghệ Big Data
Mặc dù chủ đề về Big Data rất rộng và bao gồm nhiều xu hướng và sự phát triển công nghệ mới.
Nhưng các công nghệ mới nổi hàng đầu được đưa ra dưới đây đang giúp người dùng xử lý Big Data một cách hiệu quả.
3.1. Apache Hadoop
Đây là Xương sống của mọi giải pháp Big Data. Dự đoán rằng 75% dữ liệu trên thế giới sẽ được lưu trữ trong Hadoop trong vài năm tiếp theo.
-
Tham khảo danh sách các công ty đang sử dụng Apache Hadoop tại đây
3.2. Apache Spark
Apache Spark được coi là công cụ Big Data thế hệ tiếp theo. Nó đang làm cluster computing engine trở nên nhanh hơn, nhanh hơn 100 lần so với Hadoop-MapReduce
3.3. Apache Flink
Apache Flink được gọi là 4G của Big Data. Nó là một Framework nguồn mở có thể xử lý truyền phát dữ liệu hàng loạt.
4. Cùng xem một số thông số của các thương hiệu lớn
4.1. Facebook
Vì có hơn Tỷ người dùng, Facebook đang thu thập một lượng dữ liệu khổng lồ.
Mỗi khi bạn nhấp vào thông báo, truy cập trang, tải lên ảnh hoặc kiểm tra liên kết của một người bạn, bạn đang tạo dữ liệu, tạo ra hành vi số cho facebook lưu lại để theo dõi và phân tích.
Người dùng đã chia sẻ 2,5 tỷ nội dung hàng ngày (cập nhật trạng thái + bài đăng trên tường + ảnh + video + bình luận).
300 triệu ảnh được người dùng tải lên mỗi ngày.
105 terabyte dữ liệu được quét qua Hive, ngôn ngữ truy vấn Hadoop của Facebook trong mỗi 30 phút.
70.000 truy vấn được thực hiện trên các cơ sở dữ liệu này mỗi ngày.
500 + terabyte dữ liệu mới được nhập vào cơ sở dữ liệu mỗi ngày
4.2. Twitter
Twitter - mạng xã hội lớn thứ hai tạo ra ít dữ liệu xã hội hơn so với ứng dụng hẹn hò, Tinder.
Người dùng Tinder vuốt 290.278 lần mỗi phút - đó là khoảng 35 triệu người yêu thích mỗi giờ!
Mặt khác, người dùng twitter tạo ra 347.222 Tweets mỗi phút - hoặc 21 triệu Tweets mỗi giờ.
4.3. Youtube
Video chiếm một phần lớn trong cuộc sống hàng ngày của chúng ta trên internet và mặc dù Facebook cũng đang rất cố gắng để cạnh tranh ở mảng video, nhưng với hơn 3 tỷ lượt xem video mỗi ngày YouTube vẫn là vua.
Mỗi phút người dùng đang tải lên hơn 300 giờ video mới trên YouTube.
5. Các trường hợp sử dụng, ứng dụng thực tế của Big Data trong các lĩnh vực
5.1. Ứng dụng Big Data Các dịch vụ tài chính
-
Nhận định 360 độ về khách hàng
-
Giám sát và quản lý rủi ro và gian lận
-
Theo dõi và phân tích giao dịch thời gian thực
5.2. Khoa học chăm sóc sức khỏe và đời sống
-
Phân tích chẩn đoán bệnh
-
Phân tích hồ sơ bệnh án
-
Phân tích bộ gen
5.3. Ứng dụng Big Data trong lĩnh vực Viễn thông
-
Ghi lại chi tiết cuộc gọi thời gian thực Xử lý và phân tích CDR
-
Hồ sơ khách hàng kiếm tiền và phân tích
-
Giám sát yếu tố mạng thời gian thực
-
Phân tích lỗi mạng thời gian thực
5.4. Ứng dụng Big Data trong Digital Media
-
Kết hợp, phân tích và nhắm mục tiêu quảng cáo theo thời gian thực
-
Phân tích trang web và theo dõi chuyển đổi trên website
5.5. Ứng dụng Big Data trong Bán lẻ
-
Phân cụm và phân khúc khách hàng
-
Phân tích dung lượng thị trường
-
Khuyến nghị thời gian thực
5.6. Ứng dụng trong lĩnh vực thực thi pháp luật
-
Phát hiện lỗ hổng an ninh mạng thời gian thực
-
Năng lượng và tính tiện ích
-
Phân tích đồng hồ thông minh
Lời kết
Trên đây là sơ lược về Lịch sử của Big Data và các con số thực tế, các công nghệ sử dụng để phân tích Big Data cũng như một số trường hợp có thể sử dụng, ứng dụng Big Data.
Hi vọng bạn thích những chia sẻ của chúng tôi.
Big Data đã và đang được các doanh nghiệp lớn, các doanh nghiệp tạo ra nhiều dữ liệu sử dụng để tìm kiếm lợi thế cạnh tranh cho mình.
Và thực tế, các công nghệ Big Data rất mạnh trong việc phân tích và xử lý dữ liệu trong tình huống phức tạp. Các doanh nghiệp nhỏ cũng có thể tận dụng sức mạnh của các công nghệ Big Data để tối ưu hóa việc xử lý dữ dạng này trước khi tiến tới xử lý Big Data.
Vì vậy, cho dù là để xử lý bài toán thực tế hay là chuẩn bị cho tương lai...
> Bạn cũng nên Học Big Data ngay hôm nay!
---
HỌC VIỆN ĐÀO TẠO CNTT NIIT - ICT HÀ NỘI
Dạy học Lập trình chất lượng cao (Since 2002). Học làm Lập trình viên. Hành động ngay!
Đc: Tầng 3, 25T2, N05, Nguyễn Thị Thập, Cầu Giấy, Hà Nội
SĐT: 02435574074 - 0914939543 - 0353655150
Email: hello@niithanoi.edu.vn
Fanpage: https://facebook.com/NIIT.ICT/
#niit #niithanoi #niiticthanoi #hoclaptrinh #khoahoclaptrinh #hoclaptrinhjava #hoclaptrinhphp #java #python #php #bigdata