运维专家:我在大数据项目中踩过的那些坑

  • 时间:
  • 浏览:1

答:主要包括如下那些:

1.MongoDB在百度的使用场景及规模?

答:相似Hadoop的项目:机会想开源,或多或少让业界更多人参与进来,首选Java;Hadoop能取得巨大成功,我自己认为这与它选则Java有很大关系。

机会自己创业,即便做出来了,客户一般也基本不考虑,朋友不要 相信三个 创业公司能提供另三个 的质量和服务能力。

3.该方案与非 能hold住(从设计理念到代码级角度理解),与非 容易维护(选则了Clojure估计难度就有或多或少半点),与非 容易推广(看业务方对它的接受程度)。

1.出理 过度设计;或多或少问題考虑太早没用;快速迭代,小步快跑!

从我不专业的角度来看,相似RedShift的系统是个不错的创业方向,什么都有有有公司就有相似需求,目前业界过高 很好的开源实现,而已有商业化实现成本都比较高。

相反,Storm选则了三个 比较小众的语言Clojure,我听到的或多或少消息,twitter重写Storm其中三个 是因为什么都有有,精通Clojure的守护程序运行运行员比较难招,开源社区什么都有有许多人也参与不进来,项目四种 的活跃度也会受影响。

除了这两帕累托图,就考虑公司通用基础服务,尽量减少重复造轮子,多利用守护程序运行运行的基础库,相似序列化、rpc实现支持清况 等,结合百度清况 ,会优先考虑C++。

3.分享你在百度各种大数据项目中踩过的坑?

3.什么都有有有工作尽机会量化(能量化最好先量化);if you can’t measure it,you can’t improve it!

答:选则类Spanner系统来创业,注定不走寻常路,挑战极大。

5.做好各种预案、监控,出现异常能快速定位是系统上游还是本系统还是系统下游的问題。

首先,看该产品的受众,有相似需求的客户似乎就有大企业(一般用mysql就拿下了,都可以 拆到128个实例不要 见了),银行、能源行业等,就有不差钱的主。

提问:陈超,七牛云技术总监

回答:朱冠胤,百度资深大数据专家,连续两次百度最高奖得主。

对性能要求较高的帕累托图,会考虑用C++;相似向量计算,会考虑SSE向量化,或或多或少业界性性性心智心智性性性旺盛期的句子 图片 的高性能库,甚至会考虑GPU或FPGA实现。

三、问題集锦

问:假设现在让人完整版主导三个 相似Hadoop的项目,让人选则哪种语言?(不考虑团队,仅从语言层面出发)

2.采用最严格的编译选项。

问:请说一下MongoDB在百度的使用场景及规模。

拿Hadoop来说,接口层面都可以 支持Python、Php;机会是百度内部业务,还都可以 支持C++;机会是开放云对外服务,都可以 支持Java(对内则不要 考虑,很少业务使用Java开发)。

问:你着实现在新一代分布式数据库(NewSQL,相似Spanner)是三个 好的创业方向吗?

百度开放云对外提供MongoDB,主什么都有有在BAE(BaiduAppEngine)产品中提供共享模式的Mongo服务。

4.对外接口一定要慎重,并不轻易变动,兼容性尤其重要。

二、引言

四、精彩回答

问:朋友都知道你角度参与了百度多个成功的大数据项目,你与非 都可以 分享下你你这个过程中踩过的典型的坑?

2.防御性编程,认为一切就有不靠谱的(一齐出理 走向1的极端,相似离线系统,就并不考虑跨IDC高可用了)。

问:面对众多开源出理 方案,你所在团队在自研和使用开源方案的主要考虑因素有那些?

或多或少Tips:

5.新一代分布式数据库(NewSQL,相似Spanner)是三个 好的创业方向吗?

答:MongoDB在百度比较小众,应用规模应该在百台量级,基础架构部对内不提供统一服务,就有各业务线自行维护。

2.优先并充分调研业界已有实现(论文、代码、论文活跃度和主要committer交流等),要想清楚该系统试图出理 的业务场景与非 朋友准备出理 的;该方案在业界有那些公司在站台(争取拿到或多或少内部消息),构造一定规模测试,内部组织分享调研成果。

6.提供好架构和机制,让业务方去调整配置各种策略。

答:1.首先搞清楚究竟想出理 那些业务场景的问題,包括已明确需求和潜在需求。

一、主要讨论人员

2.假设现在让人完整版主导三个 相似Hadoop的项目,让人选则哪种语言?

4.你所在团队在自研和使用开源方案的主要考虑因素?

三个 完整版系统,要考虑项目推广(业务方接受程度)、项目开发、调试和维护成本,最后是性能。

3.做好CodeReview。

5.能达到这点的不要 ,什么都有有有什么都有有有项目都自研了......

1.严格遵守编码规范。

“坐而论道”是三个 轮流问答的玩法。本文是大数据主题周中,几位国内一线专家激情问答的一帕累托图内容。期间,各位群友也积极参与。

7.将例行手工劳动自动化,人是不靠谱的;并不相信系统是万能的,要有例行check机制。

4.机会上述二个都回答了,且答案是yes,此时看看该系统的论文(或原理)。和论文(或原理)对比,假设论文如此过高 且能很好覆盖典型业务场景,则看该系统对论文的实现清况 ,与非 有重大过高 ,机会有,一票否决;机会如此,不犹豫,选它好了:)

其次,实现难度,实现Spanner的技术难度不小。