INTP型のブログ

苦味があるな?

いっぱいかけるぜBigQuery..

すさまじい速度で容量が増えてく(ヽ''ω`)

 

どっかで1行当たり最低でも1KBにはなるよみたいなドキュメントを見た気がしていて震えてたんですが、見た感じそんなことなさそう。

 

雑な概算だけど100万行で200MBだとしたら、orderbookの書き込みは1銘柄当たり100ms頻度なので、*250で秒間2500行。時間で900万行。1.8GB換算だと日当たり30GBぐらい。一か月で1TB行くのはさすがにやばい

 

秒間1になるようにデルタデータを合算すると10分の1なので、これも概算だけど約定履歴全力で書き込んだのと同じぐらいになりそう。

 

1TBの保存費用は約20$。ただし長期保存テーブルになると半額になったりするので、単純計算1年で板データと合わせて40$/月ぐらいの保存費用が掛かるようになる感じか。。

 

「1分足のkline保存したら凄い金額になりそー」とかやる前何も考えずに思ってたりしたけど、れべちすぎた

 

流石に銘柄厳選したほうがいいだろうなぁと思いつつも、全銘柄を網羅的にやることが優位性につながるような気もするしでちょっと悩み中です