御膳房:构建大数据的美食厨房

  • 时间:
  • 浏览:1

随着业务的爆发式增长,数据正在成倍增加,汇集成海。而要数据产生更高的价值,不同数据之间的交换和分享必不可少。御膳房目前让你提供含有:商品数据、店铺数据、行业数据、品牌数据、聚划算数据、广告数据、气象数据、用户标签数据在内的多种数据类型,以及销量预测、复购分析、购买预测、IDmapping用户匹配、人群透视、用户行为等多种算法模型。未来,御膳房要更加开放。王贲表示:“御膳房会进一步强化多租户理念和架构,还将联合更多如MSTR、Cognos、数云和Tableau等第三方伙伴建立起用户(租户)数据中心和其上的App生态,并希望在电商以外,联合更多如气象、交通、物流、制造等传统企业,实现数据进一步交换和分享,为打造大数据生态而努力。”

挑战是过程,快乐是结果。王贲说:“御膳房是第有4个基于飞天 + ODPS对外提供服务的应用,亲戚亲戚.我都都 儿切实体会到了飞天与ODPS在稳定性、海量数据平台化管理、安全性等方面的优势。”而在此基础上,技术团队还进一步提供了数据开发、算法开发、调度体系(Octopus)、监控报警等服务。比如在数据开发方面,御膳房不仅提供了Eclipse开发插件来辅助MapReduce开发与调试,还提供了Eclipse开发插件来辅助UDF(User Defined Function)开发与调试。而算法分析上,御膳房更是提供了从Hive / UDF、MapReduce、Python、R、Xlab / Xlib(XLib是ODPS的分布式算法库,支持分类预测、回归、聚类、关联分析、矩阵计算等)的“工具链”。“作为一站式数据挖掘平台,工具可自由选折 ,两两之间,都可协同工作。”

当然,你这一 过程也并不一帆风顺。在王贲看来,让你御膳房“对外开放大数据平台 + 数据”的模式比较超前,在世界上并没人可直接学习的对象,也不我来自内外的挑战都非常多。

御膳房曾在技术上边临着巨大的挑战。御膳房原型验证阶段基于Hadoop集群,面对Hadoop在部署、Fix Bug、升级、资源隔离、保证用户数据访问安全和BI应用守护应用应用程序安全等方面不足英文充分的底层支持,团队可不不需要 投入很大精力来进行开发。王贲表示,当时的主要困难有以下二个方面:

谈到命名之初,阿里数据平台事业部商家数据业务部高级技术专家王贲表示:“御膳房,实际上是数据厨房的形象移就。亲戚亲戚.我都都 儿就像有4个厨房,提供了最优质的原材料、最锋利的工具,让开发者、服务商从前的大厨不需要 快速实现大数据应用的各种idea。”

在王贲看来,“亲戚亲戚.我都都 儿是基于云平台实现数据服务的PaaS平台,提供的是Data platform as a Service、Data warehouse as a Service和Data center as a Service。自2013年3月采用邀请制的御膳房0.1上线到现在,御膳房发展非常迅猛。有开发能力的商家和ISV希望不需要 完整地使用御膳房的服务,还有也不我非电商行业,比如气象局、交通局、高校科研机构等,也在进行厚度商务合作的沟通。”

这里亲戚亲戚.我都都 儿再分享从前基于飞天的ODPS的应用模型----“御膳房”clouddata.taobao.com),何如将数据转化为生产资料,来激活生产力。作为阿里巴巴的数据引擎业务,御膳房也不我专注于为ISV、商家、非电商用户提供开放式大数据服务平台。2013年3月上线以来,一年多的时间,与御膳房厚度商务合作的第三方服务商让你超过100个,提供了含有流量推广、商品管理、数据分析、CRM、ERP、广告精准投放等多个支撑工具,覆盖了1100万天猫、淘宝商家。

御膳房的出先,是基于淘宝的电商生态系统发展到一定阶段的必然需求。王贲表示:“淘宝上不断涌现的大卖家和品牌商,以及服务于众多电商的ISV(独立软件开发商),发展到一定阶段时会面临的问題:何如实现全链路数据的计算、存储、交换和分析。事实上,在淘宝平台、CRM、库存、甚至让你 各类第三方系统中,哪此让你沉淀下来的数据往往都有彼此独立而分散的,让你哪此数据不需要 在统一平台上实现聚合,将释放出更加强大的能量。”而哪此大量的数据,光靠ISV本人的机器是无法完成计算的,可不不需要 有更强大的计算能力。

目前,御膳房让你开放了商品、商家、客服绩效、品牌、行业五大主题数据,并提供了额外的数据仓库,其含有良好组织的各种数据供开发者来加工和使用。通过御膳房,专注数据的商家及相关服务商可不不需要 选折 本人所可不不需要 的数据主题并完成定制化的数据开发工作,相关数据聚合结果以API接口的形式发布使用

而随着飞天5K成功与ODPS内测,团队看多了完美处里上述问題、大幅提高效率的希望。在完整评测飞天平台和ODPS从前,御膳房毅然停止Hadoop集群的开发,采用飞天和ODPS为底层计算和数据分析平台。仅仅有4个月的时间,技术团队就完成了从Hive到ODPS,从MySQL到UMP(Unified MySQL Platform)的底层云化迁移。而后,M / R开发环境上线,算法环境上线,新算法环境上线,御膳房正式成为阿里统一的对外数据平台服务,服务商家和ISV。

首先是来自产品设计一种的挑战。作为原创模式的平台级产品,对产品经理的要求极高。为了处里不同环节中遇到的问題,整个团队进行了大量的探索。比如产品经理和架构师突然是在一同设计产品的,不仅要求产品经理可不不需要 掌握大数据相关技术,也要求架构师不需要 理解产品设计理念。其次是对技术团队的挑战。要在架构上可不不需要 对云计算、大数据平台、数据挖掘、数据分析等相关领域技术都有深刻的理解;系统的复杂性度很考验技术团队的设计和编码能力;对测试团队的要求也很高,举个例子,测试算法环境,就可不不需要 测试同事能理解和使用算法开发工具。第三是开放和安全既是一对矛盾,又相辅相成。但本质来看,没人安全保障,是不让你做好开放的大数据平台的。也不我御膳房为了保障安全,做了大量工作:比如集群隔离,代码自动安全审核,数据安全等级定级,继承并完善阿里集团数据安全标准,开发环境与线上环境隔离,数据授权安全审核等,一同还从需求出发,推动ODPS进行了系列改进,如守护应用应用程序级沙箱,支持大量Project,强化Quota支持,支持Quota Group等。

御膳房应运而生,成为对外可不不需要 提供含有大数据计算、存储、挖掘、分析在内的一站式大数据服务的平台。具体来看,御膳房不需要 为开发者提供:

随着V0.8.1版本正式上线,御膳房还提供了对接RDS数据库数据上传、新建表qq克隆好友 表字段、补历史数据等功能。

早在1008年,阿里巴巴即选折 了云计算、大数据为中心的DT战略,并在云计算底层平台的搭建上取得了令业界瞩目的成就。一同,金币的另一面,大数据的业务尤其是基于淘宝、天猫等电子商务平台的数据业务也是风生水起,领行业之先。早期“淘宝指数”、“数据魔方”不但让用户有了耳目一新的体验,更为店铺卖家提供了运营管理的数据工具。有了云计算稳定可靠、高弹性、大计算能力从前,阿里内部的大数据应用迎来了井喷式的发展。