Lịch sử Big Data, Công nghệ và Trường hợp sử dụng Big Data

Ngày đăng: 27/09/2019   -    Cập nhật: 06/03/2020
Bài viết này cung cấp cho bạn một số thông tin về Big Datalịch sử của Big Data.


Chúng ta cũng sẽ thảo luận về các công nghệ sử dụng trong 
Big Data như:


  • Hadoop
  • Apache Spark
  • Flink


các trường hợp sử dụng, ứng dụng thực tế khác nhau của Big Data cũng được thảo luận trong bài viết này.


Lịch sử - Công nghệ - Các trường hợp sử dụng của Big Data

Lịch sử - Công nghệ - Các trường hợp sử dụng của Big Data
 

1. Lịch sử của Big Data



Ngày qua ngày, thế giới internet lớn đang tạo ra 2,5 triệu triệu byte dữ liệu, theo thống kê tỷ lệ phần trăm dữ liệu được tạo ra so với 2 năm trước là 90%.


Dữ liệu này đến từ nhiều ngành công nghiệp như thông tin khí hậu được thu thập bởi cảm biến, các nội dung khác nhau từ các trang truyền thông xã hội, hình ảnh kỹ thuật số và video, các hồ sơ khác nhau về giao dịch mua hàng. Đây chính là Big Data.


Nói về sự lịch sử của Big Data thì chắc chắn cần phải gắn với sự phát triển của Hadoop. Bởi hệ sinh thái ngày càng phát triển của công nghệ này.


Hai cột mốc quan trọng trong sự phát triển của Hadoop cũng đã tạo thêm niềm tin vào Sức mạnh của nguồn mở và Công nghệ Big Data.


Chỉ hai năm sau khi phát hành lần đầu tiên, vào năm 2008, Hadoop đã chiến thắng trong Terabyte Sort Benchmark.


Và đây cũng là lần đầu tiên Java hoặc chương trình nguồn mở giành chiến thắng.





Vào năm 2010, Facebook cũng đã tuyên bố rằng họ có Hadoop cluster lớn nhất thế giới với 21 PB dung lượng lưu trữ cho nền tảng nhắn tin của họ.


2. Các sự kiện và số liệu về Big Data



  • 91% các nhà lãnh đạo tiếp thị tin rằng các thương hiệu thành công sử dụng dữ liệu khách hàng để thúc đẩy các quyết định kinh doanh.

  • Tỷ lệ phần trăm tổng số dữ liệu trên toàn thế giới đã được tạo ra chỉ trong vòng hai năm qua là 90%.

  • 87% công ty đồng ý nắm bắt và chia sẻ dữ liệu phù hợp là rất quan trọng để đo lường hiệu quả ROI trong chính công ty của họ.

  • Kỷ lục 500 triệu cuộc gọi được phân tích hàng ngày bởi IBM để dự đoán số lượt truy cập của khách hàng.

  • 350 tỷ lần đọc hàng năm được IBM chuyển đổi thông qua Dữ liệu lớn để dự đoán mức tiêu thụ năng lượng tốt hơn.

  • Trên Facebook, 30 tỷ mẩu nội dung được người dùng chia sẻ mỗi tháng.


3. Các công nghệ Big Data



Mặc dù chủ đề về Big Data rất rộng và bao gồm nhiều xu hướng và sự phát triển công nghệ mới.


Nhưng các công nghệ mới nổi hàng đầu được đưa ra dưới đây đang giúp người dùng xử lý Big Data một cách hiệu quả.



3.1. Apache Hadoop



Đây là Xương sống của mọi giải pháp Big Data. Dự đoán rằng 75% dữ liệu trên thế giới sẽ được lưu trữ trong Hadoop trong vài năm tiếp theo.


  • Tham khảo danh sách các công ty đang sử dụng Apache Hadoop tại đây


3.2. Apache Spark



Apache Spark được coi là công cụ Big Data thế hệ tiếp theo. Nó đang làm cluster computing engine trở nên nhanh hơn, nhanh hơn 100 lần so với Hadoop-MapReduce


3.3. Apache Flink



Apache Flink được gọi là 4G của Big Data. Nó là một Framework nguồn mở có thể xử lý truyền phát dữ liệu hàng loạt.


4. Cùng xem một số thông số của các thương hiệu lớn



4.1. Facebook



Vì có hơn Tỷ người dùng, Facebook đang thu thập một lượng dữ liệu khổng lồ.


Mỗi khi bạn nhấp vào thông báo, truy cập trang, tải lên ảnh hoặc kiểm tra liên kết của một người bạn, bạn đang tạo dữ liệu, tạo ra hành vi số cho facebook lưu lại để theo dõi và phân tích.

 


Người dùng đã chia sẻ 2,5 tỷ nội dung hàng ngày (cập nhật trạng thái + bài đăng trên tường + ảnh + video + bình luận).


300 triệu ảnh được người dùng tải lên mỗi ngày.


105 terabyte dữ liệu được quét qua Hive, ngôn ngữ truy vấn Hadoop của Facebook trong mỗi 30 phút.


70.000 truy vấn được thực hiện trên các cơ sở dữ liệu này mỗi ngày.


500 + terabyte dữ liệu mới được nhập vào cơ sở dữ liệu mỗi ngày


 

4.2. Twitter



Twitter - mạng xã hội lớn thứ hai tạo ra ít dữ liệu xã hội hơn so với ứng dụng hẹn hò, Tinder.


Người dùng Tinder vuốt 290.278 lần mỗi phút - đó là khoảng 35 triệu người yêu thích mỗi giờ!


Mặt khác, người dùng twitter tạo ra 347.222 Tweets mỗi phút - hoặc 21 triệu Tweets mỗi giờ.


 

4.3. Youtube



Video chiếm một phần lớn trong cuộc sống hàng ngày của chúng ta trên internet và mặc dù Facebook cũng đang rất cố gắng để cạnh tranh ở mảng video, nhưng với hơn 3 tỷ lượt xem video mỗi ngày YouTube vẫn là vua.


Mỗi phút người dùng đang tải lên hơn 300 giờ video mới trên YouTube.


 

5. Các trường hợp sử dụng, ứng dụng thực tế của Big Data trong các lĩnh vực


 

5.1. Ứng dụng Big Data Các dịch vụ tài chính



  • Nhận định 360 độ về khách hàng
  • Giám sát và quản lý rủi ro và gian lận
  • Theo dõi và phân tích giao dịch thời gian thực


5.2. Khoa học chăm sóc sức khỏe và đời sống



  • Phân tích chẩn đoán bệnh
  • Phân tích hồ sơ bệnh án
  • Phân tích bộ gen


5.3. Ứng dụng Big Data trong lĩnh vực Viễn thông



  • Ghi lại chi tiết cuộc gọi thời gian thực Xử lý và phân tích CDR
  • Hồ sơ khách hàng kiếm tiền và phân tích
  • Giám sát yếu tố mạng thời gian thực
  • Phân tích lỗi mạng thời gian thực
  • IVR gọi phân tích


5.4. Ứng dụng Big Data trong Digital Media



  • Kết hợp, phân tích và nhắm mục tiêu quảng cáo theo thời gian thực
  • Phân tích trang web và theo dõi chuyển đổi trên website


5.5. Ứng dụng Big Data trong Bán lẻ
 


  • Tiếp thị chéo
  • Phân cụm và phân khúc khách hàng
  • Phân tích nhấp chuột
  • Phân tích dung lượng thị trường
  • Khuyến nghị thời gian thực
  • Phân tích cảm xúc


 

5.6. Ứng dụng trong lĩnh vực thực thi pháp luật



  • Giám sát đa phương thức
  • Phát hiện lỗ hổng an ninh mạng thời gian thực
  • Năng lượng và tính tiện ích
  • Phân tích đồng hồ thông minh
  • Quản lý tài sản


Lời kết



Trên đây là sơ lược về Lịch sử của Big Data và các con số thực tế, các công nghệ sử dụng để phân tích Big Data cũng như một số trường hợp có thể sử dụng, ứng dụng Big Data.


Hi vọng bạn thích những chia sẻ của chúng tôi.


Big Data đã và đang được các doanh nghiệp lớn, các doanh nghiệp tạo ra nhiều dữ liệu sử dụng để tìm kiếm lợi thế cạnh tranh cho mình.


Và thực tế, các công nghệ Big Data rất mạnh trong việc phân tích và xử lý dữ liệu trong tình huống phức tạp. Các doanh nghiệp nhỏ cũng có thể tận dụng sức mạnh của các công nghệ Big Data để tối ưu hóa việc xử lý dữ dạng này trước khi tiến tới xử lý Big Data.


Vì vậy, cho dù là để xử lý bài toán thực tế hay là chuẩn bị cho tương lai...


> Bạn cũng nên Học Big Data ngay hôm nay!


---
HỌC VIỆN ĐÀO TẠO CNTT NIIT - ICT HÀ NỘI
Dạy học Lập trình chất lượng cao (Since 2002). Học làm Lập trình viên. Hành động ngay!
Đc: Tầng 3, 25T2, N05, Nguyễn Thị Thập, Cầu Giấy, Hà Nội
SĐT: 02435574074 - 0914939543 - 0353655150 
Email: hello@niithanoi.edu.vn
Fanpage: https://facebook.com/NIIT.ICT/
 
#niit #niithanoi #niiticthanoi #hoclaptrinh #khoahoclaptrinh #hoclaptrinhjava #hoclaptrinhphp #java #python #php #bigdata
Bình luận Facebook
Mục lục
Đăng ký tư vấn
Nhân viên gọi điện tư vấn miễn phí sau khi đăng ký
Được cập nhật các ưu đãi sớm nhất
Hotline: 0383180086
Tên không được để trống
Số điện thoại không được để trống
Email không được để trống
Hãy đăng ký để nhận những thông tin mới nhất về học bổng mới nhất tại NIIT - ICT Hà Nội
top
Đóng lại Đăng ký học tại NIIT - ICT Hà Nội
6260+ học viên đã theo học tại NIIT - ICT Hà Nội và có việc làm tốt trong ngành lập trình. Nắm lấy cơ hội ngay hôm nay!
Chọn khóa học
  • KHÓA HỌC LẬP TRÌNH FRONT END VỚI REACT.JS
  • KHÓA HỌC LẬP TRÌNH PHP WEB
  • Khóa học PHP Full stack [2023] cho người mới bắt đầu
  • Khóa học BIG DATA với Hadoop và Spark
  • Khóa học Lập trình Android tại Hà Nội
  • [Tuyển sinh 2023] Lập trình viên Quốc tế DigiNxt
  • Khóa học Tiền lương & Phúc lợi (C&B Excel) tại Hà Nội
  • LẬP TRÌNH GAME
    • Khóa học Lập trình Game Unity
  • LẬP TRÌNH WEB FRONT END
    • KHÓA HỌC PYTHON HƯỚNG ĐỐI TƯỢNG
    • KHÓA HỌC ANGULAR & TYPESCRIPT (FRONT END)
  • LẬP TRÌNH WEB BACK END
    • LẬP TRÌNH JAVA WEB VỚI FRAME WORK
    • Lập trình Web với Django
    • Lập trình PHP với Laravel Framework
  • CHƯƠNG TRÌNH ĐÀO TẠO ỨNG DỤNG CÔNG NGHỆ
    • Khóa học Tiền lương & Phúc lợi (C&B Excel) tại TP HCM
  • LẬP TRÌNH WEB FULL STACK
    • Khóa học Java Full stack (IJFD)
  • LẬP TRÌNH MOBILE
    • FRONT-END VỚI REACTJS VÀ REACT NATIVE
    • Lập trình Android Nâng cao
  • ĐÀO TẠO CHO DOANH NGHIỆP
    • KHÓA HỌC BUSINESS ANALYSIC TỪ CƠ BẢN ĐẾN NÂNG CAO 2023
    • Khóa học Magento: Làm chủ CMS TMĐT lớn nhất
    • Khóa học IOT: Xây dựng Sản phẩm IOT với Raspberry Pi
    • Khóa học Automation Testing Chuyên nghiệp
  • KHÓA HỌC DỰ ÁN
    • Học sử dụng bộ Office: Word, Excel, Power Point, Mail chuyên nghiệp
  • KHÓA HỌC KHÁC
    • VBA Excel Toàn Tập (Cơ Bản - Nâng Cao)
    • VBA Excel Nâng cao
    • Khóa học JMeter: Performance Testing
    • Khóa học Tester đạt chuẩn Quốc tế ISTQB Foundation Level
    • Khoá Học Tester đạt chuẩn quốc tế ISTQB Advanced Level
Bạn chưa chọn khóa học cần đăng ký
Tên không được để trống
Số điện thoại không được để trống
Email không được để trống
Đăng ký học thành công!
Cảm ơn bạn đã đăng ký học tại NIIT - ICT HÀ NỘI!