快捷导航

大数据Lambda架构概念及应用

     大数据Lambda架构概念及应用,Lambda Architecture 概念Mathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介绍了Lambda Architecture的概念,用于在大数据架构中,如何让real-time与batch job更好地结合起来,以达成对大数据的实时处理。

     

    大数据Lambda架构
      大数据平台中包括批量计算的Batch Layer和实时计算的Speed Layer,通过在一套平台中将批计算和流计算整合在一起。


      例如使用HadoopMapReduce、Spark进行批量数据的处理,使用ApacheStorm、Spark Streaming 进行实时数据的处理。

     

    Lambda Architecture
      这种架构在一定程度上解决了不同计算类型的问题,但是带来的问题是框架太多,会导致平台复杂度过高、运维成功高等。


      Lambda架构的主要思想就是将大数据系统构建为多个层次,如下图所示:

    Lambda架构
      我们来梳理一下他们是如何分工协助的:


      首先new data作为整个数据系统的数据源头,Batch Layer作为数据的批处理层次对原始数据进行加工与处理,并且将处理的数据结果的Batch View输入到Serving Layer。(这里对应的是全量数据)


      Speed Layer对于实时增加的数据进行处理,生成对增量数据计算结果的Real-time View。(这里对应的是增量数据)


      最终用户查询是通过Batch View与Real-time View相结合的形式将最终结果呈现出来。


      基于Lambda架构,一旦数据通过Batch layer进入到Serving layer,在Real-time view中的相应结果就不再需要了。

     

    Lambda总结


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

本文作者2020-9-12 05:11 PM
人工智能
粉丝1 阅读36 回复0

精彩阅读

排行榜

人工智能公众号

扫码微信公众号
我陪你畅想未来

最智能的人工智能网!
QQ:162057003
周一至周五 9:00-18:00
意见反馈:162057003@qq.com

扫一扫关注我们

Powered by Discuz! X3.4   © 2020 ( 鲁ICP备18055727号 )  |  |网站地图