亿级数据处理思路
亿级数据处理思路,将上亿数据处理成集群,水平分割数据库,分割为100个数据库, 对常用查询字段进行索引,
水平分割数据
垂直分割数据,将不常用于检索的字段进行垂直分割,
假设有如下case:从该数据库查出湖北的前十的会员,则对100个数据库进行top10 where area=“湖北”的操作,之后组合查询的数据再进行一次select top10
亿级数据处理思路,将上亿数据处理成集群,水平分割数据库,分割为100个数据库, 对常用查询字段进行索引,
水平分割数据
垂直分割数据,将不常用于检索的字段进行垂直分割,
假设有如下case:从该数据库查出湖北的前十的会员,则对100个数据库进行top10 where area=“湖北”的操作,之后组合查询的数据再进行一次select top10