Splunk - Data lyfe Cycle

Comment sont stockés les événements :

Cheminement des événements :

Options des buckets :

La configuration des buckets en sortie de boîte :

Déplacement du bucket dans les différents états :

Infos sur les types de buckets :

Configuration d'un index :

Hot & Warm buckets :

Fichier : indexes.conf

1 [<index name>]
2 homePath = $SPLUNK_DB/$_index_name/db
3 maxHotBuckets = 3
4 maxHotSpanSecs = 7776000  #(90 days)
5 maxHotIdleSecs = 0  #(disabled)
6 maxMetaEntries = 1000000  #(1M lines)

I/O :

• min: 800+
• recommandé: 1200+

Des SSD ou du SAN à défaut, mais pas de NAS et NFS.

D'autres options peuvent être mise en place comme :
maxDataSize : - taille en Mo - auto : 750 Mo - auto_high_volume : 10Go pour une architecture 64b et 1Go pour du 32b.

Cet attribut indique la taille max du hit bucket avant de le passer en Warm.

Cold buckets :

Fichier : indexes.conf

1 [<index name>]
2 coldPath = $SPLUNK_DB/$_index_name/colddb
3 maxWarmDBCount = 300

I/O : il est recommandé de ne pas descendre en dessous des 350 IOPS.

Frozen buckets :

Fichier : indexes.conf

1 [<index name>]
2 maxTotalDataSizeMB =
3 frozenTimePeriodInSecs =
4 coldToFrozenDir =
5 coldToFrozenScript =
6 thawedPath =

Par défaut les buckets frozen sont supprimés, il est necessaire de mettre en place une configuration pour les garder.

Thawed bucket :

Copier les buckets à récupérer dans le thawedPath, cela va lancer la réindéxation (non compté dans la licence).

Options de rotation de buckets dans indexes.conf :

Indexes.conf :

La définition des indexes peut être mise/trouvée :

• $SPLUNK_HOME/etc/system/local/
• $SPLUNK_HOME/etc/apps/<app_name>/local/
• $SPLUNK_HOME/etc/slave-apps/<app_name>/local/

On retrouve par défaut les buckets dans :

• $SPLUNK_HOME/var/lib/splunk/<index_name>/db/
• $SPLUNK_HOME/var/lib/splunk/<index_name>/colddb/
• $SPLUNK_HOME/var/lib/splunk/<index_name>/thaweddb/

Note : $SPLUNK_DB = $SPLUNK_HOME/var/lib/splunk

Annexes :

.conf 2017 - Splunk Data Lifecycle
Doc officielle - indexes.conf
Doc officielle - Manging Indexers and Clusters of Indexers Bucket Rotation And Retention