Người quản trị muốn thực hiện các truy cấn SQL trên một tập dự liệu lớn, đó chính là lý do mà BigQuery được tạo ra.
BigQuery là một dịch vụ hay còn có thể gọi là Google's serverless, BigQuery như một data warehouse có khả năng mở rộng cao,chúng được Google thiết kế để giúp các nhà phân tích dữ liệu làm việc hiệu quả hơn với giá cả hợp lý. Nếu không có cơ sở hạ tầng có sẵn ở doanh nghiệp thì việc sử dụng BigQuery là một giả pháp không thể hợp lý hơn
BigQuery có thể phân tích dữ liệu theo 2 hình thức batch và streaming. Bạn có thể đọc thêm về Cloud Pub/sub và Dataflow để hiểu thêm về cách thức truyền dữ liệu từ nhiều nơi về google cloud. Ngoài ra để clear dữ liệu thì google cũng cung cấp Dataprep để giả quyết vấn đề này
Hình 1: Sơ đồ cấu trúc data warehouse
Bạn có thể tham khảo sơ đồ cấu trúc được các chuyên gia Google khuyên sử dụng BigQuery vào trong bài toán data warehouse
Bạn có thể sử dụng BigQuery thông qua giao diện trên trình duyệt, Việc đưa dữ liêu vào BigQuery cũng hoàn toàn đơn giản. Bạn có thể lấy dữ liệu từ cloud storage, cloud datastore, stream với tốc độ 100,000 rows trên 1 giây. Ngoài các truy vấn SQL, bạn có thể dễ dàng đọc và ghi dữ liệu trong BigQuery thông qua Dataflow, Hadoop và Spark. Tính sẵn sàng của BigQuery lên tới 99,9%
BigQuery cho phép người sử dụng chỉ định vùng nơi dữ liệu của bạn sẽ được lưu trữ.Vì vậy , ví dụ: nếu bạn muốn giữ dữ liệu ở châu Âu, bạn chỉ cần xác định vị trú EU nơi bạn tạo dữ liệu của mình.
Bạn chỉ phải chi phí khi các truy vấn được thực hiện, bạn có toàn quyền kiểm soát những ai có quyền truy cập vào dữ liệu được lưu trữ trong BigQuery, bao gồm chia chia sẻ bộ dữ liệu với mọi người trong cùng 1 dự án. Giá lưu trữ sẽ được giảm tự động khi bạn lưu trữ dữ liệu trong thời gian dài. Khi dữ liệu của bạn lưu trữ ngoài 90 ngày trong BigQuery, google sẽ tự động giảm giá lưu trữ
0 Nhận xét