DWH系のツールで監視するときに新規に入ったログだけ監視対象にするの、どうしてるのかな。

APIからログを取得する系、結局いまもみんな取得する君を書いている？Google CloudWorkflow系のツールでもいい感じに取得できる？
(僕はまだ書いている)

Storageに置いたログからカラム削除したりフィルタリングするの、どういい感じにやれるかな。GCSのPub/Sub通知をトリガーに使うとすると、いい感じのツールが見当たらない気がするのでなんか書くのが早そうかな

SnowflakeのVARIANT型、BigQueryのjson型みたいな半構造化データ型は両プロダクトとも内部的に列指向な形に変換されるぽい？
であればスキーマ管理はほぼ頑張らないで、時刻みたいな標準カラム+ログカラムみたいなだけ用意する方針もいけるかな

waiwai!