现有一个系统,数据库为MySQL,记录了商家的成交订单记录,有数千商家,每个商家订单记录数百万
怎么快速计算出每个商家需要的统计量
初步想法是做一个计算单元,用一个调度中心来管理这些计算单元,每个计算单元一般为单独的服务器,所以可以并行处理多个商家
每个计算单元每次都会从远程数据库中读取某一个商家的订单数据,写入内存数据库中,然后借助内存数据库高性能的特性来完成统计分析
想问问大家有没有什么好的想法?
怎么实现远程MySQL数据库到本机内存数据库的快速拷贝?
3 回复
@wendal mq我知道,生成task让订阅者来消费也好,主动分配也好,问题都还在,就是远程mysql的数据怎么快速传输到本机,难道数据都放在task里?
添加回复
请先登陆