NutzCN Logo
问答 怎么读取远程数据库的部分数据到本机内存中做统计分析
发布于 2794天前 作者 LuoYY 2294 次浏览 复制 上一个帖子 下一个帖子
标签:

现有一个系统,数据库为MySQL,记录了商家的成交订单记录,有数千商家,每个商家订单记录数百万
怎么快速计算出每个商家需要的统计量
初步想法是做一个计算单元,用一个调度中心来管理这些计算单元,每个计算单元一般为单独的服务器,所以可以并行处理多个商家
每个计算单元每次都会从远程数据库中读取某一个商家的订单数据,写入内存数据库中,然后借助内存数据库高性能的特性来完成统计分析
想问问大家有没有什么好的想法?
怎么实现远程MySQL数据库到本机内存数据库的快速拷贝?

3 回复

你需要的是mq, 而非"快速拷贝".

在mysql数据库所在服务器或某个专属服务器生成task, 压入mq的queue, 其他服务器作为work消费这个queue.

@wendal mq我知道,生成task让订阅者来消费也好,主动分配也好,问题都还在,就是远程mysql的数据怎么快速传输到本机,难道数据都放在task里?

添加回复
请先登陆
回到顶部