|
|
51CTO旗下网站
|
|
移步端
  • 【大咖来了 先后10为期】京门槛构建弹性大数量云分析平台

    每期《大咖来了》特邀了阿里云智能高级解决方案架构师鲍远松,分享主题为《京门槛构建弹性大数量云分析平台》,经过中对大数据分析平台建设进展阶段划分,并对每阶段进行了详细的论述。

    笔者:鲍远松 来源:51CTO| 2020-01-13 21:18

    【51CTO.com原创稿件】大数量和大数据分析成为目前集团关注的要害,大数据分析平台正在下集团之高配成为标配,是集团实现“任何工作数据化,任何数据业务化”目标的根基平台。每期《大咖来了》特邀了阿里云智能高级解决方案架构师鲍远松,分享主题为《京门槛构建弹性大数量云分析平台》,经过中对大数据分析平台建设进展阶段划分,并对每阶段进行了详细的论述。

    如下图,为大数据分析平台建设之四个级次,离别是自建、云托管、云服务和云原生。

    大数据分析平台建设的自建

    为什么要自建大数据分析平台呢?重点原因有三:这个、风大数据分析技术已经不能满足大数据分析,要求通过引入新技术进行提升;那个、最初大数量技术相对不成熟、不可靠,要求专门的技艺人才去研究;其三、市场上缺乏有效的大数据分析的成功实例和实行,集团必须摸着石头过江。

    自建大数据分析平台属于重资产模式,生活多地方不足,重点有如下几线:

    首期长:任何建设周期特别长,涉及机房选择、硬件采购、集群部署、高考调优、数量服务、运维管理等很多环节。

    本高:本分为两类,一类是服务器、存储、网络、运维、IDC等显性成本,另一类是工作影响、能源闲置、服务性扩容、一次性资金投入等隐性成本。该署资金的涌入是确认的,但产出却是未知的。

    门槛高:最近大数量技术蓬勃发展,数量集成、数量存储、剖析计算及数据作业每个维度都有许多细分的技艺,其它一个艺术都要求投入专人进行深入研究,对于一般企业来说人才门槛很高。

    见效慢:大数据分析平台需要自始至终不断地展开迭代和修正,直至数据质量符合预期,数据分析结果可信,才能真正达到极致弹性性能、高可靠、多场景应用的功力。

    大数据分析平台建设的云托管

    自建大数据分析平台种种不足的全景下,云托管应需而生,原因有三:这个、集团甩掉重资产的担子;那个、大数量技术趋于成熟,集团不再聚焦于大数量技术本身,而是需要一股具有大数量技能的人数来做大数量的支出;其三、云厂商结合自己的劣势,提供了云上大数据托管平台。

    自建大数据分析平台通常是基于开源Hadoop平台,而云托管是把自建开源Hadoop平台转化为企业级、专业型大数据分析平台,具备统一集群管理、完备的监察报警、计算与存储分离、服务性扩容、按需构建、数据安全、低门槛运维、增长云生态对接等优势。

    EMR提供了基础资源、平台管理、数量存储、数量集成、计算引擎、数量使用和作业管理等平台能力,对于所有组件都提供了完备的监察报警,其它组件异常都得以第一时间做报警并且通知到他家,同时基于平台提供了智能的运维管理、安排等效果。

    然后我们从基础设施、运维管理、云生态等角度,详细询问下云托管的一部分优势。

    云托管之基础设施

    第一,云上有增长的产品规格族,阿里云整整虚拟机分为通用计算、异构计算、裸金属&高性能计算三大类,每一类满足不同之面貌,可以快捷构建不同景象下的大数据分析平台;从,采取云的超前性,计算和存储资源得以拓展独立扩充,满足业务过渡或业务对极致性能的追求的同时,还可以灵活的按需构建;说到底,云上构建大数据分析平台在财力上得以做大量优化,可以根据工作特性灵活选择购买方式,如通过Spot Instance 大幅下挫计算节点的资金。

    云托管之运维管理

    运维整个大数据分析平台非常复杂,要求规范的人才和大量之涌入。副基础运维到管理运维,再到组件运维,云厂商提供了多维度运维能力。

    基础运维:云厂商借助自身大规模服务器运维经验构建AlOps系统,可以提前对软件做检测分析、意识故障后火速进行积极运维,调减对工作的影响。

    管理运维:EMR贯彻一键部署、开馆即用,还提供统一的配置管理、平台状态监控和故障报警等效果。

    组件运维:组件运维是大数据分析平台最复杂的一部分,顶进行版本升级时,出于组件之间存在着千丝万缕的关系,合同兼容是根本。组件运维还有一个很重大的线就是性能优化,云厂商会结合自己必发娱乐登入优势对底层基础设施进行规范化,对水源引擎进行规范化,赞助开源组件提升性能。

    云托管之云生态

    云上有增长的自然环境,避免后来者重复造轮子或从零开始,如下图。

    底层存储在云上得以提供OSS目标存储、HDFS存储,HDFS存储可以直接去无缝访问OSS目标存储,与访问HDFS文件没有其他差别,也就是说,就足以灵活的开展数据归档和财力调优。

    在数据源方面, 支持OSS、SLS、RDS、信息队列等服务作为数据源;在计算引擎方面,云上EMR平台可与MaxCompute、Flink、Tensorflow引擎进行打通;在融合方面,云上提供DataWorks劳务,穿过DataWorks可以把Hadoop任何上层元数据的治本、数量质量管理进行合并。除此之外,云上还提供DataV、QuickBI等分析展示力量。

    除以上概述内容外,持续还有云服务和云原生等方面更多干货,请戳视频进行观看: http://aix.surowce-wtorne.com/activity/10020.html

    【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

    【编纂推荐】

    1. 【大咖来了 先后1为期】新零售时代之明白中台
    2. 【大咖来了 先后3为期】海量日志分析与智能运维
    3. 【大咖来了 先后2为期】快狗打车智能化演进的路
    4. 【大咖来了 先后4为期】数量驱动的产品决策和现代化
    5. 【大咖来了 先后5为期】如何建设大数量中台
    6. 【大咖来了 先后6为期】面向交互的必发娱乐手机版
    7. 【大咖来了 先后7为期】智能导购对话机器人实践
    8. 【大咖来了 先后8为期】电商风控利器—移步设备可信ID
    9. 【大咖来了 先后9为期】数据安全之必发娱乐登录安全黄金法则
    【义务编辑: 王雪燕 TEL:(010)68476606】

    点赞 0
  • 大咖来了  大数量  云分析平台
  • 分享:
    大家都在看
    猜你喜欢
  • 24H热文
    一周话题
    每月获赞
  • 面识别背下:可怕的不是艺术性能超过人类炼丹师,AutoGluon 低调开源2020年及事后的必发娱乐手机版和数量趋势关于2020年必发娱乐手机版行业之七则预言与AI共舞,是下一代工人的必修课网络安全领域的必发娱乐手机版炒作泡沫正在缩小吗?2020年10大电信物联网解决方案必发娱乐手机版ML & NLP天地的十大研究热点
  • 神操作!只需5列代码,就能做出一番图像识别AI51CTO先后十四届中国企业年终大选结果出炉!妇女车祸后开始“改建”和谐:左侧芯片开门、两侧可刷NFC,“生物黑客”有多疯狂?2019深度学习框架排行榜 (副TOP 10到TOP 3)必发娱乐手机版,成功者们都在“AI+春风化雨”圈内干了些什么?转业数据科学工作要求掌握哪些技能?未来学家预测2099年内的时尚名将发生之转移阿里达摩院发布2020十大科技趋势!必发娱乐手机版、区块链、芯片成焦点
  • 2019深度学习框架排行榜 (副TOP 10到TOP 3)舟谱数据的顽固与克制:有效是数量智能的金标准面识别技术总结:副传统艺术到深度学习未来学家预测2099年内的时尚名将发生之转移用10列Python代码进行图像识别必发娱乐手机版时代,我用Python写了一番智能机器人来聊天,异常正确!诸多大数量科学家都已经离职?原因我来告诉你AIOps实行三板斧:副可视化、电气化到形象化
  • 订阅专栏+更多

    Python使用场景实战手册

    Python使用场景实战手册

    Python使用场景实战手册
    共3章 | KaliArch

    115人口订阅学习

    一步到位玩儿透Ansible

    一步到位玩儿透Ansible

    Ansible
    共17章 | 骏马金龙1

    182人口订阅学习

    云架构师修炼手册

    云架构师修炼手册

    云架构师之必不可少技能
    共3章 | Allen在路上

    131人口订阅学习

    读 书 +更多

    严密的Web计划

    一度网站,不论是视觉上多美丽或者内容多丰富,如果它不能适应各种浏览情况并能面向尽可能广泛的客户群,那他就不算是真正成功之图书站。该书提...

    订阅51CTO邮刊

    点击这里查看样刊

    订阅51CTO邮刊

    51CTO劳务号

    51CTO官微

    
       
        
       
       
       
  • <blockquote id="b4bcdd13"></blockquote>