Fluentd+Nginx+S3でアクセスログを自動バックアップ

今回はFluentd(フルエントディー)を使って、NginxのログをS3に自動送信するのを試してみたのでその共有

環境

OS Ubuntu18.04

Fluentdとは

いろんなサービスのログを監視して、収集して別のサービスに転送したりすることができるソフトウェアです

インストール

確認

~/.bashrcに追記

s3のプラグインをインストール

主な設定ファイル

/etc/init.d/td-agent

/etc/td-agent/td-agent.conf

設定

/etc/td-agent/td-agent.conf

nginxのaccess.logを監視してそれを一分単位でS3に送るっていう設定をしている

timekeyでS3に送る頻度を指定している(今回は一分ごとなので1m

td-agentがnginxのログにアクセスできるようにする

nginxのログファイルをroot権限で読み取れるようにして

/etc/init.d/td-agentを修正

再起動

検証

一分くらい経ってからS3を覗いてみると

ちゃんとUpされてる

まあ、今回はこれぐらいで勘弁してやろう

まとめ

  • Fluentdはログを監視、収集を得意とするソフトフェア
  • Fluentdに記述するだけで、ログにS3をアップできる

返信を残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です