Giải pháp quản trị log tập trung ELK stack

2
958

ELK Stack là một giải pháp thu gom, phân loại, phân tích, lưu trữ và tìm kiếm log tập trung rất hiệu quả và được dùng trong nhiều công ty lớn, điển hình là Linkedin.

ELK stack có các thành phần cơ bản như sau:

1. Shipper: Thu gom và gửi log từ client lên server tập trung

2. Broker: Có thể có hoặc không. Mục đích là queue (hàng đợi) tránh nghẽn cổ chai và xung đột

3. Indexer: phân loại, đánh chỉ mục cho log để tiện filter, tìm kiếm về sau

4. Search và Storage: lưu trữ và cung cấp bộ máy tìm kiếm log.

5. Web interface: giao diện để người dùng, người quản trị thao tác với log đã được thu gom.

ELK là tên viết tắt của 3 thành phần chính và bắt buộc của mô hình là:

Elasticsearch (search and storage): Đây là bộ máy lưu trữ, tìm kiếm log siêu mạnh (được sử dụng làm bộ máy tìm kiếm của Facebook – khủng chưa) Nó không phải là Database (như mysql, redis…)

Logstash (indexer): đánh index cho log để filter

Kibana: (web Interface) để giao tiếp với Elasticsearch dễ dàng.

Ngoài ra, một thành phần khá quan trọng nhưng không bắt buộc đó là Broker. Đây là phần mềm queue, nôm na là xếp hàng cho dữ liệu. Thường sử dụng redis hoặc kafka, hoặc có thể là rabbitmq.

Trong các bài sau, mình sẽ viết về cách cài đặt, cấu hình và một số vấn đề cơ bản của ELK stack.

2 COMMENTS

  1. Bài viết rất hay, tuy nhiên nếu Ad có thời gian viết thêm các bài liên quan đến:

    Tích hợp log như thế nào ? (tích hợp dạng file trên các nền tảng OS khác nhau, cơ chế Restful, Socket ra sao )
    Việc bóc tách parse log như thế nào ? cách cấu hình hướng dẫn chi tiết
    Việc xử lý log tạo các báo cáo ? cảnh báo ra sao ?
    Triển khai mở rộng với hệ thống lớn, cơ chế High Availability cách thức hoạt động … ? …. Thì thật là hoàn thiện và bổ ích.
    PS: Phạm Đức Tú 0979 576 260

LEAVE A REPLY

Please enter your comment!
Please enter your name here