Ngày nay, các tổ chức lớn có nhiều văn phòng ở các thành phố khác nhau, hoặc thậm chí quốc gia, cũng như nhiều nhân viên, khách hàng, khách hàng, người dùng doanh nghiệp và nhà đầu tư. Mọi người đều cần tài liệu, báo cáo hoặc bảng cho công việc của họ, có thể được lưu trữ trong công ty ở các nguồn khác nhau.
Quá trình này sẽ mất nhiều thời gian, vì trước tiên bạn cần biết chính xác nơi dữ liệu được lưu trữ. Tiếp theo, bạn cần tìm hiểu xem người dùng có quyền truy cập vào dữ liệu được yêu cầu hay không, vì có dữ liệu bí mật của công ty bị hạn chế quyền truy cập. Để làm được điều này, cần phải phối hợp quyền truy cập với một số lượng lớn các nhà quản lý, và chỉ sau đó mới có được dữ liệu cần thiết.
Nhưng định dạng dữ liệu trong các nguồn khác nhau có thể khác nhau. Ví dụ: có một số tùy chọn DBMS để lưu trữ dữ liệu và để sử dụng chúng trong các hệ thống khác, trước tiên bạn sẽ cần chuyển đổi dữ liệu sang định dạng cần thiết, sau đó làm việc với nó. Do đó, tổ chức gặp khó khăn trong việc làm việc với dữ liệu, mất nhiều thời gian để có được và do đó, công việc của toàn bộ công ty có thể chậm lại.
Mức độ liên quan của việc giải quyết vấn đề này là giúp người dùng trong các tổ chức dễ dàng làm việc với một lượng lớn dữ liệu, lưu trữ nó ở một nơi và ở một định dạng duy nhất. Công nghệ này sẽ giúp sử dụng tiết kiệm nguồn lực tiền bạc và thời gian của công ty và người dùng, cũng như tối ưu hóa yêu cầu dữ liệu.
Mục tiêu:
- Khám phá các cách thu thập và xử lý dữ liệu.
- Khám phá các sản phẩm phần mềm để trực quan hóa dữ liệu.
- Làm nổi bật những thiếu sót của các công nghệ hiện có.
Phương thức thu thập thông tin:
Thu thập thông tin liên quan đến việc thu thập thông tin ban đầu đã được xác minh nhất và là một trong những giai đoạn quan trọng nhất trong quá trình làm việc với thông tin. Công nghệ thu thập ngụ ý việc sử dụng một số phương pháp thu thập thông tin và phương tiện kỹ thuật được lựa chọn tùy thuộc vào loại thông tin và phương pháp được sử dụng để thu thập thông tin đó. Giai đoạn cuối cùng của việc thu thập là chuyển đổi nó thành dữ liệu, nói cách khác, thành thông tin phù hợp để xử lý bằng công nghệ máy tính.
Nói chung, quy trình công nghệ xử lý thông tin bao gồm các thủ tục:
- Thu thập và đăng ký thông tin;
- Xử lý thông tin;
- Lưu trữ, tra cứu thông tin;
- Chuyển giao thông tin;
- Trình bày thông tin để phân tích và ra quyết định.
Phương pháp xử lý thông tin:
Phương pháp tập trung liên quan đến việc tập trung dữ liệu trong một trung tâm thông tin và máy tính thực hiện tất cả các hành động chính của quá trình xử lý thông tin công nghệ. Ưu điểm của phương pháp xử lý thông tin này là rẻ trong việc xử lý một lượng lớn thông tin do tải trọng của các cơ sở máy tính.
Phương pháp phi tập trung được đặc trưng bởi sự phân tán tài nguyên thông tin và máy tính và phân phối quy trình công nghệ xử lý thông tin đến nơi xuất xứ và tiêu thụ thông tin. Ưu điểm của phương pháp này là tăng hiệu quả xử lý và giải quyết thông tin các nhiệm vụ, sử dụng các phương tiện truyền tải thông tin đáng tin cậy.
Sản phẩm phần mềm trực quan hóa dữ liệu:
Gần đây, các hệ thống quản lý cơ sở dữ liệu phân tích đã trở nên rất phổ biến. Điều này là do thực tế là nhiều tổ chức đã tích lũy được lượng thông tin khổng lồ, từ đó các chuyên gia dữ liệu đã học cách trích xuất giá trị [12, trang 91-93]. Trong khi các DBMS truyền thống với kiểu lưu trữ hàng không cho phép bạn đối phó hiệu quả với việc xử lý các truy vấn OLAP “nặng”, các DBMS phân tích, với khả năng lưu trữ dữ liệu trong cột, đặc biệt tập trung vào việc làm việc với loại tải này.
EMC Greenplum là một hệ thống quản lý cơ sở dữ liệu song song dựa trên PostgreSQL dựa trên PostgreSQL.
Hai tính năng phân biệt chính của sản phẩm này là khả năng mở rộng theo chiều ngang (khả năng thêm các nút vào cụm) và lưu trữ dữ liệu trong các cột (mang lại hiệu quả thực tế của việc nén dữ liệu và giảm lưu lượng I/O cho các truy vấn lớn).
Teradata là một cơ sở dữ liệu quan hệ song song chạy trên nhiều hệ điều hành khác nhau. Trên thực tế, Teradata là một máy chủ cơ sở dữ liệu lớn giao tiếp với nhiều máy khách thông qua TCP/IP hoặc thông qua kết nối với kênh máy tính lớn của IBM. Sự đa dạng của các hệ điều hành được hỗ trợ là một trong những lý do tại sao Teradata có kiến trúc mở. Teradata cung cấp khả năng truy cập dữ liệu tốc độ cao thông qua MPP. Teradata cung cấp các máy chủ Intel được kết nối với BYNET riêng để nhắn tin. Hệ thống Teradata có sẵn với các mảng đĩa độc quyền để lưu trữ cơ sở dữ liệu.
Apache Hadoop là một môi trường lập trình phần mềm lưu trữ một lượng lớn dữ liệu được sử dụng để thực hiện các phép tính. Một dự án của Apache Software Foundation, một bộ tiện ích, thư viện và khung miễn phí để phát triển và thực thi các chương trình phân tán chạy trên các cụm của nhiều nút.
Teradata DBMS so với các công nghệ khác là chi phí mua lại cao, cả toàn bộ hệ thống và chi phí lưu trữ dữ liệu [5, tr. 54]. Nhược điểm thứ hai là một bộ công cụ nhỏ để làm việc với DBMS. Hạn chế thứ ba, chúng ta có thể nói, là Teradata đã trở nên ít phổ biến hơn, ví dụ, Hadoop. Và chính vì nhược điểm này mà có vấn đề với việc triển khai và bảo trì DBMS này.
Hadoop
- Tham gia cơ sở dữ liệu (so sánh bất kỳ cơ sở dữ liệu SQL nào);
- OLTP (so sánh VoltDB);
- Phân tích thời gian thực (so sánh Cloudscale);
- Siêu máy tính, ví dụ: mô hình hóa, mô phỏng, động lực học chất lỏng;
- Tính toán đồ thị (so sánh Pregel);
- Phân tích tương tác dữ liệu lớn (so sánh Dremel);
- Phân tích gia tăng dữ liệu lớn.
Việc phân tích các công nghệ góp phần trực quan hóa một lượng lớn dữ liệu từ một kho lưu trữ duy nhất đến người tiêu dùng được thực hiện. Các cách để tối ưu hóa hơn nữa công nghệ hiện có để thu thập và xử lý dữ liệu được phác thảo.
Giảng viên Chu Thị Ngân
Bộ môn Ứng dụng phần mềm
FPT Polytechnic Hà Nội
