这是一个创建于 2793 天前的主题，其中的信息可能已经有所发展或是发生改变。
用于一个自己做着玩儿的小项目，数据格式是这样的：
ID TYPE YEAR MONTH DAY HOUR DATETIME V1 V2 V3 ... Vn
其中 ID 只有几千个， 且自带空间信息（ LAT LON HEIGHT ）， TYPE 有几十个，DATETIME 是采样时间打算存成字符串， Vi 都是浮点数据，数据量以大约 2 千万条 /年的速度递增。 需要的操作主要就是“获取满足一定约束条件的全部数据”和一些简单的加减乘除取平均之类的运算。
由于只是科学计算，不是业务性质的项目，所以调用频率不是很频繁， 对运算时间也不敏感，响应时间从数秒到数分钟都无所谓。 比较重要的一点是为了能方便地调用，所以不打算分表。
目前的话只在本地处理，根据 ID 用 CSV 存储，而后用 Python 的 Pandas 计算，搭配上 SSD 倒也不是不能忍受。但因个人原因（写循环读数据太烦人了），所以打算弄成数据库并丢到 Linode 上面（ 2GB 丐版），所以特地来万能的 V 站请教解决方案 Orz
目前尚无回复
Select Language