永发信息网

jstorm 依赖于hadoop吗

答案:1  悬赏:30  手机版
解决时间 2021-03-04 06:44
jstorm 依赖于hadoop吗
最佳答案
Storm 是一个类似Hadoop MapReduce的系统, 用户按照指定的接口实现一个任务,然后将这个任务递交给JStorm系统,Jstorm将这个任务跑起来,并且按7 * 24小时运行起来,一旦中间一个worker 发生意外故障, 调度器立即分配一个新的worker替换这个失效的worker。因此,从应用的角度,JStorm 应用是一种遵守某种编程规范的分布式应用。从系统角度, JStorm一套类似MapReduce的调度系统。 从数据的角度, 是一套基于流水线的消息处理机制。实时计算现在是大数据领域中最火爆的一个方向,因为人们对数据的要求越来越高,实时性要求也越来越快,传统的 Hadoop Map Reduce,逐渐满足不了需求,因此在这个领域需求不断。

特点:
在Storm和JStorm出现以前,市面上出现很多实时计算引擎,但自storm和JStorm出现后,基本上可以说一统江湖,其优点:
开发非常迅速: 接口简单,容易上手,只要遵守Topology,Spout, Bolt的编程规范即可开发出一个扩展性极好的应用,底层rpc,worker之间冗余,数据分流之类的动作完全不用考虑。
扩展性极好:当一级处理单元速度,直接配置一下并发数,即可线性扩展性能
健壮:当worker失效或机器出现故障时, 自动分配新的worker替换失效worker
数据准确性: 可以采用Acker机制,保证数据不丢失。 如果对精度有更多一步要求,采用事务机制,保证数据准确。
应用场景:
JStorm处理数据的方式是基于消息的流水线处理, 因此特别适合无状态计算,也就是计算单元的依赖的数据全部在接受的消息中可以找到, 并且最好一个数据流不依赖另外一个数据流。
日志分析:从日志中分析出特定的数据,并将分析的结果存入外部存储器如数据库。目前,主流日志分析技术就使用JStorm或Storm
管道系统: 将一个数据从一个系统传输到另外一个系统, 比如将数据库同步到Hadoop
消息转化器: 将接受到的消息按照某种格式进行转化,存储到另外一个系统如消息中间件
统计分析器: 从日志或消息中,提炼出某个字段,然后做count或sum计算,最后将统计值存入外部存储器。中间处理过程可能更复杂。
我要举报
如以上问答信息为低俗、色情、不良、暴力、侵权、涉及违法等信息,可以点下面链接进行举报!
大家都在看
在基金合同约定的时间和场所投资人可随时向基
疯狂猜成语2一匹马和一个瞻字的答案
人人数码西安路体验中心怎么去啊,有知道地址
自尊是立身之本。
水分测试仪的原理是什么?
车子换方向盘后气囊会不会也要换或者是有没有
婴儿肠套叠的三大典型临床表现是A.腹痛、血便
华盛建材店在哪里啊,我有事要去这个地方
网络公司有哪些部门、各部门的工作业务是什么
矛盾的特殊性是指
DNC-100-200-PPV-A-KP(FESTO)气缸的各项是什
初二数学频率问题
广州为什么是发财地?
桂林市区有什么好吃的东西?
小慧化妆品地址有知道的么?有点事想过去
推荐资讯
生产橡胶密封件、骨油封架求找外贸公司合作,
我朋友的朋友借银行钱不还然后现在银行要上诉
求几个经常在ins上发美图的欧美的大神的号,
芒果数码地址在什么地方,想过去办事
不欲其所无,穷尽其所有的意思
国家一年向我们忠信镇补贴多少?人民得到多少
鲜花放冰柜里四周用什么围着才不怕花被冻坏
大主宰手游方毅怎么样?
防火墙一般可以提供4种服务。它们是()。
腰骨痛挂什么科
急!我想在烟台开发区买一套20万左右的房子有
长沙高校大学生可以参加长沙居民医保吗?如何
正方形一边上任一点到这个正方形两条对角线的
阴历怎么看 ?