>最数码论坛 >最数码科技 > 千锋老师追忆Hadoop大数据
返回列表

查看: 回复:0

千锋老师追忆Hadoop大数据

芡粉大浪

芡粉大浪

用户名: 芡粉大浪 头  衔: 最数码小弟 积  分: 12 贡  献: 12

0关注 0粉丝 2帖子

最数码小弟 贡献12, 距离下一级还需188贡献

头衔:最数码小弟
注册:2017-03-03
关注TA 发消息
  现在提起大数据,你最先想起的是什么?有75%会说Hadoop,这就是大数据慢慢被大众熟知的变现,但是许多人都再说Hadoop可能会被替代,这都是技术的变迁,可能新的技术会更加便利、快捷。就让千锋老师带我们回顾一下大数据Hadoop数据处理吧。
  Hadoop是目前大数据分析领域中应用最广泛的一种分布式架构,而经过相当长时间的发展,Hadoop在功能上也越来越成熟。
  作为处理海量数据最常用的方法,Hadoop的核心是MapReduce,也就是将一个庞大的任务进行分解,然后再将结果进行汇总。但经过10年发展,Hadoop的功能早已不是MapReduce这么简单。今天的Hadoop是分布式计算所涉及的计算、存储、文件系统、网络、安全、负载均衡、管理等一系列软件方法的合集。也正是由于其完整性和成熟度,今天的Hadoop虽然面临Spark等新兴技术的竞争,却仍是分布式计算领域不可或缺的基础和前提。
  作为一个开源项目,Hadoop目前仍在告诉发展、快速更新;作为开源软件服务的成功践行者,ClouderaHadoop发行版本正在成为越来越多企业在部署分布式计算系统时的首选。
  Hadoop成功的基础
  Hadoop定义了分布式计算的方方面面,因此日常的代码提交量也非常巨大。而在海量的代码见决定Hadoop未来走向的则是一个接近百人的评审委员会。
  评审委员会的成员来自各个领域,他们有IT企业中的技术达人、有相关学科的大学教授、有应用专家、更有单纯的技术爱好者。而在这个庞大的评审委员会中,所有成员均拥有一票否决权。虽然委员们各自有不同的背景甚至公司利益,但在委员会中,所有人的投票都是相当慎重的。投票所考虑的核心因素只有一个,那就是Hadoop未来的发展。而任何否决票的出现也必须给出技术上的合理解释。
  总结Hadoop过去的成功:从技术上开创了分布式计算时代。
  Hadoop如何保持成功
  任何一项技术都有其自身的发展路径。而作为一项非常有潜力的技术,Hadoop的未来发展的根基仍然要依靠广泛的应用基础。
  大数据技术能够进入更多企业和行业;另一方面也为Hadoop项目在未来能够持续发展创造条件,毕竟对于一向技术来说,有人用才有未来。
  
  面对竞争,Hadoop的未来是怎样的?
  与商业领域一样,技术同样面临竞争。在很多人看来,Hadoop目前最大的竞争对手正是非常火爆的Spark
  Spark的确在MapReduce方面相比Hadoop拥有更大的性能优势。但Hadoop本身还包括分布式文件系统和任务调度、规划等众多功能;而这些则是Spark所没有的。
  作为开源技术,HadoopSpark都是模块化开发的。这也就意味着他们是可以相互融合,一起使用的。
  在未来,我们很可能看到Spark取代了Hadoop中的MapReduce模块,但分布式计算系统中的存储和调度等功能仍需要Hadoop来实现。
  换句话说,HadoopSpark之争实际是个伪命题,同样是大数据分析技术,他们的未来应该是融合和协作。
  千锋大数据老师认为从行业整体的发展来看,人类只是刚刚意识到了大数据的重要性,而大数据技术本身的发展和完善仍需要相当长的时间。无论是大数据还是开源技术,故事才知是刚刚开始,未来仍旧不可估量。
 
返回列表

您需要登录后才可以发帖   登录立即注册   QQ登录   微博登录 淘宝登录