1、Load Balancer
该模式中,一个分发器基于某种策略确定由哪个worker实例处理请求。应用最好是无状态的,以使任何一个worker实例都能同等处理请求。大量的网站都会用到负载均衡器这个模式的。

银河里的星星
1、Load Balancer
该模式中,一个分发器基于某种策略确定由哪个worker实例处理请求。应用最好是无状态的,以使任何一个worker实例都能同等处理请求。大量的网站都会用到负载均衡器这个模式的。

from:http://www.infoq.com/cn/articles/scalability-principles
作者 Simon Brown 译者 王丽娟 发布于 2008年7月25日 下午8时25分
从最简单的水平来看,可伸缩性就是做更多的事情。更多的事情可以是响应更多的用户请求,执行更多的工作,或处理更多的数据。设计软件这件事本身是复杂的,而让软件做更多的工作也有其特有的问题。这篇文章针对构建可伸缩软件系统提出了一些原则和方针。 read more
看多了正面文章,今天看一篇负面批评吧,在MapReduce几乎已经成为大中型NoSQL产品标配的今天,如果有人说MapReduce完全是个垃圾,估计有很多人要受不了了。下面的一篇文章是一些RDBMS系统的大牛人从多个方面对MapReduce的批评,不妨一看。 read more
zz from:http://pt.alibaba-inc.com/wp/dev_related_728/brewers-cap-theorem.html
英文版:http://www.julianbrowne.com/article/viewer/brewers-cap-theorem
Amazon和EBay一直在喝的酷爱(kool aid)饮料。
by Julian Browne on 2009.1.11 (经Julian授权翻译此文,原文参见)
1976年6月4号,周5,在远离音乐会大厅的一个楼上的房间内,在位于Manchester的Lesser Free Trade Hall,Sex Pistols乐队(注:Sex Pistols的经理人Malcolm McLaren 2010.4.8去世)开始了他们的第一次演出(gig,注:规模太小称不上演唱会)。关于当晚谁出席了那场演出有些混乱,部分是因为6周后的另一场音乐会,但最主要的还是因为,这场演出被认为是永久改变西方音乐文化的一场演出。这场演出是如此的重要且富有象征意义,以至于David Nolan写了一本书:《我发誓我在那里:那场改变了世界的演出》,对那些声称自己看过那场演出的人做出判断。因为6月4号被认为是punk摇滚的开始。 read more
Werner Vogels on December 23, 2008
http://www.allthingsdistributed.com/2008/12/eventually_consistent.html
这篇文章是Werner Vogel在2008年发布在ACM Queue上的一篇数据库方面的重要文章,阐述了NoSQL数据库的理论基石--最终一致性,对传统的关系型数据库(ACID,Transaction)做了较好的补充。国内已有很多相关方面的介绍,比如InfoQ在2009年的介绍,但基本没有完整翻译的版本。在这里做一个完整的翻译,供初学者参考。 read more
zz from:http://www.oschina.net/news/15813/hadoop-mapreduce?from=rss
最近雅虎开发者博客发了一篇介绍Hadoop重构计划的文章。因为他们发现当集群的规模达到4000台机器的时候,Hadoop遭遇到扩展性的瓶颈,目前他们正准备开始对Hadoop进行重构。 read more
作者:LESLIE LAMPORT 2001 译者:phylips@bmy 2011-4-30
出处:http://duanple.blog.163.com/blog/static/709717672011440267333/
[
序:在PODC2001会议上,我总是听到人们在抱怨paxos算法是那么的难以理解。人们总是被那些古希腊的名称弄得晕头转向,而使得他们觉得论文难以理解,实际上算法本身是很简单的。于是在会议期间我就找了几个人聚在一起,试着直接向他们口头解释该算法。回家之后,我将这些内容整理了下来,后来又基于Fred Schneider 和 Butler Lampson的建议做了修改。就形成了现在的这个版本,虽然已经有13页长了,但是其中仍未包含任何一个比n1>n2更复杂的公式。{!本部分摘自Lamport的my writings,my writings是Lamport本人对自己以往发表的论文的一些总结,其中很多文字涉及到这些论文的创作来源。可以看出该论文的产生经历,与拜占庭将军问题有着截然相反的历程,在发表The Byzantine General Problem的时候,作者是用拜占庭将军这一场景引入到原来的算法中,而Paxos则是作者最初就是用古希腊的故事情节来描述,我想当时作者之所以采用一个故事性的背景,也是因为拜占庭将军这一写作方法带来的成功而受到的影响。只是事与愿违,人们觉得那篇The Part-Time Parliament太难理解了,而且通篇没有数学化的公式证明。根据Lamport的说法,当时的三个审稿人认为这篇文章虽然重要性不够但还有点意思,只是还应该把所有有关Paxos(Lamport在论文中虚构出的一个岛屿的名称)这一描述的地方全部删掉,但是Lamport觉得这些人太没幽默感了,也就没有按照他们要求的去做。以至于作者虽然在1990年就将它提交给了TOCS,但直到1998年才被发表。但是发表之后,很多人还是觉得原来那篇太难理解了,于是才产生了这一篇。不过现在回头再看,虽然当时Lamport的写作方式令文章被埋没了数年,但是也正因此才产生了如此有趣的一则轶闻,Paxos也成为该算法无可争议的名称,虽然另一篇文章<<Viewstamped Replication: A New Primary Copy Method to Support Highly-Available Distributed Systems>>在1988年就独立地提出了类paxos的一致性算法。} read more
作者:phylips@bmy 时间:2011-3-27
出处:http://duanple.blog.163.com/blog/static/70971767201133011171419/
作为这个星球上最大的互联网公司,毫无疑问google正在引领着海量数据处理实践的潮流。虽然Google经常发表一些对于自己来说已经过时甚至不再使用的技术的论文,但是发表之后总会有类似的系统被业界实现出来,也足以说明google的技术至少领先业界数年。 read more
你好。
其实到现在为止距离淘宝双十一事件已经过去蛮多天了,但在整个技术圈里面大家还是津津乐道。我这次在采访之前在和一些网友做沟通的时候,他们也提出了非常多非常有意思的问题,包括一些高并发的,一些压力测试的等等,那我希望也代表这些网友和你做一个交流。那第一个问题就是,在那么大的访问量,淘宝的技术团队是如何做到一个高并发处理的?
read more
作者:phylips@bmy 时间:2011-2-26
出处:http://duanple.blog.163.com/blog/static/70971767201133011171419/
还在上研的时候,由于当时在做并行计算相关的方向,老师推荐阅读下google的MapReduce以做参考,当时并没有仔细的去看论文只是大概看了些中文的介绍。第一次真正阅读google关于分布式系统的论文大概是2009年,临近毕业,当我向未来公司的老大询问需要提前看下哪些资料的时候,老大告诉我只需要看google的三篇论文就可以了。那时才知道google的三篇经典论文:GFS MapReduce BigTable。于是便去网上搜索了下,并根据网上的推荐额外加了几篇将它们打印成册,其中增加的比较重要的两篇就是关于google cluster和chubby的论文,然后寒假的时候便把它们带回了家,阅读的时候发现,基本就cluster这篇还能理解,其他的都比较困难,尤其是Chubby,基本没有明白其中的内容,尽管如此还是把它们都通读了一遍。 read more
继成功举办首期TUP活动后,日前在北京丽亭华苑酒店鸿运二厅,由CSDN和《程序员》杂志联合策划组织的TUP第二次活动如期而至,本次活动以Web 2.0技术为主题,聚焦当下火热的社交网、微博架构与实时搜索领域。就相关领域及产品研发背后的技术、产品设计及用户体验话题为与会者提供全开放式的交流平台。即使是付费沙龙,参会报名人数仍在不断上升,本次活动有超过300人来到现场。 read more
from:http://tech.sina.com.cn/i/2010-11-16/17574872122.shtml
新浪科技讯 11月16日下午消息,由新浪微博(http://t.sina.com.cn)主办的中国首届微博开发者大会在北京举行,这是国内微博行业的首场技术盛宴。作为国内微博市场的绝对领军者,新浪微博将在此次大会上公布一系列针对开发者的扶持政策,以期与第三方开发者联手推动微博行业的整体发展。图为微博平台首席架构师杨卫华演讲。 read more
作者:Michael J. Fischer , Nancy A. Lynch , Michael S. Paterson 1983
转载请注明译者:phylips@bmy 2011-3-12
出处:http://duanple.blog.163.com/blog/static/70971767201122011858775/
[序:这篇论文虽然只有短短的6页不到,但却包含了一个分布式系统领域最重要的结论。同时因为该结论的重要性和影响力,该论文获得了2001年度的Edsger W. Dijkstra Prize。这个著名的结论被称为FLP结论或者FLP不可能性,”FLP”即该论文的三位作者Fischer Lynch Paterson的首字母。这三位都是分布式领域非常重要的科学家,尤其是Nancy A. Lynch,她的研究成果几乎遍及所有重要的分布式算法。] read more
作者:LESLIE LAMPORT, ROBERT SHOSTAK, and MARSHALL 1982
译者:phylips@bmy
出处:http://duanple.blog.163.com/blog/static/7097176720112643946178/
[序:我一直觉得正是因为通过用一组围坐在圆桌旁的哲学家来表述,Dijkstra 的哲学家就餐问题才变得如此让人关注。(比如在理论界,它可能比读者/写者问题都引人注目,尽管读者/写者问题可能更具实际意义),我认为<<Reaching Agreement in the Presence of Faults >>所描述的问题十分重要,值得计算机科学家们去关注。哲学家就餐问题使我认识到,把问题以讲故事的形式表达出来更能引起人们的关注。 read more
作者:phylips@bmy 时间:2011-5-3
出处:http://duanple.blog.163.com/blog/static/70971767201133011171419/
关于分布式理论的研究已经有数十年的历史。
本系列论文的选择主要是参照文章<<a brief history of consensus,2pc and transaction commit>>中涉及的那些。同时也会参考该领域的重要的计算机科学家的重要著作,比如Lesslie Lamport。Lesslie Lamport就是著名软件Latex的作者,他在分布式领域的很多研究工作奠定了分布式系统的理论基础。其最重要的论文主要是如下几篇:“Time, Clocks, and the Ordering of Events in a Distributed System”,该论文获得了2000年度 the PODC最具影响力论文奖;“The Byzantine Generals Problem”;“Distributed Snapshots: Determining Global States of a Distributed System”;“Reaching agreement in the presence of faults“,该论文获得2005年度 Edsger W. Dijkstra奖;“The Part-Time Parliament”,该论文中描述了解决分布式一致性的Paxos算法。 同时分布式计算领域还有一个重要的奖项,Edsger W. Dijkstra奖,该奖项每年选择一些对分布式计算理论和实践重要意义的经典论文,它们通常都经过了至少十年的检验。 read more
by Mark Mc Keown
http://betathoughts.blogspot.com/2007/06/brief-history-of-consensus-2pc-and.html
转载请注明译者:phylips@bmy
出处:http://duanple.blog.163.com/blog/static/70971767201103051639551/
这是一段关于一致性,事务以及两阶段提交的历史的描述。阅读关于一致性的文献可能会有些困难,因为:各种用语在不断的演化着(比如一致性<consensus>最初叫做协商<agreement>);各种研究成果并不是以一种逻辑性的顺序产生出来;同时描述整个分布式算法的框架与这些研究工作又是平行地演化着;此外除了Lynch的《分布式算法》外,很少有书籍涉及到这个主题。 read more
转载请注明作者:phylips@bmy
出处:http://duanple.blog.163.com/blog/static/70971767201102944512890/
1961年,通用电气公司(General Electric Co.)的Charles Bachman成功地开发出世界上第一个网状DBMS也是第一个数据库管理系统——集成数据存储(Integrated DataStore IDS),奠定了网状数据库的基础,并在当时得到了广泛的发行和应用。后来Charles Bachman因在数据库方面的贡献获得图灵奖。 read more
本文翻译自The SMAQ stack for big data
英文原文:http://radar.oreilly.com/2010/09/the-smaq-stack-for-big-data.html
SMAQ代表了存储,MapReduce和查询。
转载请注明译者:phylips@bmy
出处:http://duanple.blog.163.com/blog/static/709717672011016103028473/ read more