Cách SPLUNK lưu liệu http://docs.splunk.com/Documentation/Splunk/5.0.1/Indexer/HowSplunkstoresindexes http://docs.splunk.com/Documentation/Splunk/5.0.1/Indexer/Configureindexstorage Khi Splunk đánh dấu mục liệu bạn, tạo "bó" tập tin Các tệp chứa hai loại liệu: • Dữ liệu thơ dạng nén (rawdata) • Chỉ mục trỏ đến liệu thơ, cộng với số tệp tin siêu liệu (tệp mục) Các tệp nằm thư mục xếp theo độ tuổi How Splunk ages data Mỗi thư mục mục gọi bucket Tóm tắt sau: • Một mục Splunk (Splunk index) chứa liệu nén thô tệp mục có liên quan • Một mục Splunk nằm nhiều thư mục mục định theo độ tuổi (many agedesignated index directories) • Một thư mục mục (index directory) bucket Một bucket trải qua giai đoạn khác dựa vào độ tuổi: • hot • warm • cold • frozen Độ tuổi bucket "lăn" từ giai đoạn sang giai đoạn khác Dữ liệu lập mục đưa vào nhóm "hot bucket", nhóm tìm kiếm chủ được ghi Tiếp đó, "hot bucket" đạt đến kích thước định, trở thành "warm bucket", "hot bucket" tạo "Warm bucket" tìm kiếm được, khơng thể chủ động ghi Có nhiều "warm bucket" Một Splunk tạo số lượng "warm bucket" tối đa, bắt đầu "lăn" "warm bucket" đến giai đoạn "cold" "Warm bucket" có tuổi lâu đời bị "lăn" tới giai đoạn cold Sau thời gian định, "cold bucket" chuyển sang giai đoạn "frozen" (đơng lạnh) Tại thời điểm chúng lưu trữ bị xóa Bằng cách chỉnh sửa thuộc tính file indexes.conf bạn định sách tuổi già, xác định thời điểm bucket di chuyển từ giai đoạn sang giai đoạn Tóm tắt trạng thái sau: Bucket stage Description Searchable? Hot Contains newly indexed data Open for writing One or more hot buckets for each index Yes Warm Data rolled from hot There are many warm buckets Yes Cold Data rolled from warm There are many cold buckets Yes Frozen Data rolled from cold Splunk deletes frozen data by default, but you can also archive it Archived data can later be thawed No Bộ sưu tập bucket giai đoạn cụ thể gọi database "db": "hot db", "warm db", "cold db", v.v Lưu ý: Hot bucket luôn bị chuyển giai đoạn Splunk khởi động lại What the index directories look like Mỗi bucket chiếm thư mục riêng thư mục database lớn Splunk tổ chức thư mục để phân biệt hot/ warm/ cold buckets Ngoài ra, tên thư mục bucket dựa độ tuổi liệu Đây cấu trúc thư mục cho mục mặc định (defaultdb): Bucket type Default location Notes Hot $SPLUNK_HOME/var/lib/splunk/defaultdb/db/* There can be multiple hot subdirectories Each hot bucket occupies its own subdirectory, which uses this naming convention: hot_v1_ Warm $SPLUNK_HOME/var/lib/splunk/defaultdb/db/* There are separate subdirectories for each warm bucket These are named as described below in "Warm/cold bucket naming convention" Cold $SPLUNK_HOME/var/lib/splunk/defaultdb/colddb/* There are multiple cold subdirectories When warm buckets roll to cold, they get moved into this directory, but are not renamed Note: In a cluster, all replicated copies of buckets reside in the colddb directory It doesn't matter whether they're hot, warm, or cold The original copies of cluster buckets, however, reside in their normal locations, as described in this table For example, if clusterpeer1 creates a new hot bucket and then replicates it to clusterpeer2, the original copy of the hot bucket on clusterpeer1 will reside in the db directory, while the replicated copy of the hot bucket on clusterpeer2 will reside in the colddb directory For detailed information on clusters and buckets, read "Buckets and clusters"in the cluster section of this manual Frozen N/A: Frozen data gets deleted or archived into a directory location you specify Deletion is the default; see "Archive indexed data" for information on how to archive the data instead Thawe d $SPLUNK_HOME/var/lib/splunk/defaultdb/thaweddb/* Location for data that has been archived and later thawed See "Restore archived data" for information on restoring archived data to a thawed state  ... db", "cold db", v.v Lưu ý: Hot bucket luôn bị chuyển giai đoạn Splunk khởi động lại What the index directories look like Mỗi bucket chiếm thư mục riêng thư mục database lớn Splunk tổ chức thư... Ngồi ra, tên thư mục bucket dựa độ tuổi liệu Đây cấu trúc thư mục cho mục mặc định (defaultdb): Bucket type Default location Notes Hot $SPLUNK_ HOME/var/lib /splunk/ defaultdb/db/* There can be multiple... Warm $SPLUNK_ HOME/var/lib /splunk/ defaultdb/db/* There are separate subdirectories for each warm bucket These are named as described below in "Warm/cold bucket naming convention" Cold $SPLUNK_ HOME/var/lib /splunk/ defaultdb/colddb/*