チラシの裏の書き置き

技術的な話をするブログのタイトルじゃない気がする

ハニーポットのログをRedashで可視化

前回書いたとおり、ハニーポットのログはBigQueryに蓄積しています。

tech.taiko19xx.net

ログを確認する際はBigQueryでクエリを叩いていましたが、可視化大好きっこなので表でしか見られなく、正直今一つな感じでした。
可視化の手段は色々ありますが、Redashを使う事で比較的楽に実現できました。

Redashは公式ページを見ると一見有料サービスに見えますが、実際はOSSです。
マネージド(Hosted Redash)にすると$29~かかります。
用途としてはKibanaのような感じですが、大きく違うのは多くのデータソースに対応しているところですね。BigQueryやらMySQLやら、Elasticsearchにも対応しています。

今回はDockerを使い、ローカルで起動しています。入れ方はこの辺

ダッシュボードは24時間データと30日データの2種類組んでいて、24時間のものはこんな感じです。

f:id:taiko19xx:20180520214152p:plain

  • 近々のリクエス
  • 24時間以内に多かったパス
  • 1時間ごとのリクエスト数棒グラフ
  • 地域毎のリクエスト数

を可視化しています。う~ん、眺めているだけで楽しい...。

一方、30日はこんな感じです。

f:id:taiko19xx:20180520214655p:plain

  • 30日以内に多かったパス
  • パスランキングの棒グラフ
  • 地域別のリクエスト数
  • 1日ごとのリクエスト数

です。こっちはもう少し色々増やしたいですね。

Redashの他にも可視化できる手段はありますが、ほぼほぼこれを使っていく事で決まりそうです。
Googleデータスタジオも良さそうだったのですが、複数クエリの使い分けがめんどくさかったです。

使い始めたばかりなので、BigQueryのクエリの書き方も色々覚えつつ自分のモノにしていければと思います。