Fluentd インフラ

Fluentd+Nginx+S3でアクセスログを自動バックアップ

今回はFluentd(フルエントディー)を使って、NginxのログをS3に自動送信するのを試してみたのでその共有

環境

OS Ubuntu18.04

Fluentdとは

いろんなサービスのログを監視して、収集して別のサービスに転送したりすることができるソフトウェアです

インストール

確認

~/.bashrcに追記

s3のプラグインをインストール

主な設定ファイル

/etc/init.d/td-agent

/etc/td-agent/td-agent.conf

設定

/etc/td-agent/td-agent.conf

nginxのaccess.logを監視してそれを一分単位でS3に送るっていう設定をしている

timekeyでS3に送る頻度を指定している(今回は一分ごとなので1m

td-agentがnginxのログにアクセスできるようにする

nginxのログファイルをroot権限で読み取れるようにして

/etc/init.d/td-agentを修正

再起動

検証

一分くらい経ってからS3を覗いてみると

ちゃんとUpされてる

まあ、今回はこれぐらいで勘弁してやろう

まとめ

  • Fluentdはログを監視、収集を得意とするソフトフェア
  • Fluentdに記述するだけで、ログにS3をアップできる
nginx実践入門
nginxを現場で活用するための知識を、実践的なノウハウを交えて解説した書籍です。
nginxのインストール方法や基本的な設定方法からはじめ、nginxを利用した「静的コンテンツ配信サーバ」「HTTPSサーバ」「Webアプリケーションサーバ」「大規模コンテンツ配信システム」の構築方法をそれぞれ詳しく紹介しています。後半ではnginxサーバのモニタリングやログの収集、そして軽量スクリプト言語Luaでnginxを拡張する方法について解説しているので、nginxをこれから使う方はもちろん、さらに活用したい方にもお勧めです。

-Fluentd, インフラ

© 2024 Shiro's secret base