DuckDBやPolarsのようなシングルノードでも大規模データを簡単に高速に処理できる技術の登場により、分散処理からシングルノード処理へ。コードやMLパイプラインの品質をユニットテストで担保できるように。データエンジニアリングの世界でも技術の螺旋が回っている。

"DWHにSQLでクエリする際にはあまり複雑なロジックを入れず、whereで指定できるフィルタや、ちょっとしたメタデータのjoinに留める"

"集約特徴量などの複雑になりがちな計算はPolarsで書いてユニットテストをちゃんとつける"

テーブルデータの前処理を何でやるか
yng87.page/blog/2025/ho...

すごい大粒の雪

ネコ、すぐ膝に乗ってくるようになったなあ

無印だからな…さわりごこち良いよな…

猫が布団に脱いだパジャマの上で寝てるから「パパのニオイ好きなのかな〜☺️」とか思ってたけど、さっき出した洗い立てのやつでも寝てるから生地が良いだけだったっぽい

printf("Hello, Bluesky.\n");