如何实现交易数据到大数据平台的实时同步

如何实现交易数据到大数据平台的实时同步

这个要用具有实时计算的软件，比如spark是可以实时处理大数据，如果数据量非常大，可以用集群来分解数据量。

在企业级大数据平台的建设中，从传统关系型数据库（如oracle）向hadoop平台汇聚数据是一个重要的课题。目前主流的工具有sqoop、datax、oracle goldengate for big data等几种。sqoop使用sql语句获取关系型数据库中的数据后，通过hadoop的mapreduce把数据从关系型数据库中导入数据到hdfs，其通过指定递增列或者根据时间戳达到增量导入的目的，从原理上来说是一种离线批量导入技术；datax 直接在运行datax的机器上进行数据的抽取及加载，其主要原理为：通过reader插件读取源数据，writer插件写入数据到目标 ，使用job来控制同步作业，也是一种离线批量导入技术；oracle goldengate for big data抽取在线日志中的数据变化，转换为ggs自定义的数据格式存放在本地队列或远端队列中，并利用tcp/ip传输数据变化，集成数据压缩，提供理论可达到9：1压缩比的数据压缩特性，它简化了向常用大数据解决方案的实时数据交付，可以在不影响源系统性能的情况下将交易数据实时传入大数据系统。对比以上工具及方法，结合数据处理的准确性及实时性要求，我们评估oracle goldengate for big data基本可以满足当前大数据平台数据抽取的需求。