亿级数据处理思路

亿级数据处理思路,将上亿数据处理成集群,水平分割数据库,分割为100个数据库, 对常用查询字段进行索引,

水平分割数据

垂直分割数据,将不常用于检索的字段进行垂直分割,

假设有如下case:从该数据库查出湖北的前十的会员,则对100个数据库进行top10 where area=“湖北”的操作,之后组合查询的数据再进行一次select top10