银河里的星星
Werner Vogels on December 23, 2008
http://www.allthingsdistributed.com/2008/12/eventually_consistent.html
这篇文章是Werner Vogel在2008年发布在ACM Queue上的一篇数据库方面的重要文章，阐述了NoSQL数据库的理论基石－－最终一致性，对传统的关系型数据库（ACID，Transaction）做了较好的补充。国内已有很多相关方面的介绍，比如InfoQ在2009年的介绍，但基本没有完整翻译的版本。在这里做一个完整的翻译，供初学者参考。
zz from：http://www.oschina.net/news/15813/hadoop-mapreduce?from=rss
最近雅虎开发者博客发了一篇介绍Hadoop重构计划的文章。因为他们发现当集群的规模达到4000台机器的时候，Hadoop遭遇到扩展性的瓶颈，目前他们正准备开始对Hadoop进行重构。
作者：LESLIE LAMPORT 2001 译者：phylips@bmy 2011-4-30
出处：http://duanple.blog.163.com/blog/static/709717672011440267333/
[
序：在PODC2001会议上，我总是听到人们在抱怨paxos算法是那么的难以理解。人们总是被那些古希腊的名称弄得晕头转向，而使得他们觉得论文难以理解，实际上算法本身是很简单的。于是在会议期间我就找了几个人聚在一起，试着直接向他们口头解释该算法。回家之后，我将这些内容整理了下来，后来又基于Fred Schneider 和 Butler Lampson的建议做了修改。就形成了现在的这个版本，虽然已经有13页长了，但是其中仍未包含任何一个比n1>n2更复杂的公式。{!本部分摘自Lamport的my writings，my writings是Lamport本人对自己以往发表的论文的一些总结，其中很多文字涉及到这些论文的创作来源。可以看出该论文的产生经历，与拜占庭将军问题有着截然相反的历程，在发表The Byzantine General Problem的时候，作者是用拜占庭将军这一场景引入到原来的算法中，而Paxos则是作者最初就是用古希腊的故事情节来描述，我想当时作者之所以采用一个故事性的背景，也是因为拜占庭将军这一写作方法带来的成功而受到的影响。只是事与愿违，人们觉得那篇The Part-Time Parliament太难理解了，而且通篇没有数学化的公式证明。根据Lamport的说法，当时的三个审稿人认为这篇文章虽然重要性不够但还有点意思，只是还应该把所有有关Paxos(Lamport在论文中虚构出的一个岛屿的名称)这一描述的地方全部删掉，但是Lamport觉得这些人太没幽默感了，也就没有按照他们要求的去做。以至于作者虽然在1990年就将它提交给了TOCS，但直到1998年才被发表。但是发表之后，很多人还是觉得原来那篇太难理解了，于是才产生了这一篇。不过现在回头再看，虽然当时Lamport的写作方式令文章被埋没了数年，但是也正因此才产生了如此有趣的一则轶闻，Paxos也成为该算法无可争议的名称，虽然另一篇文章<<Viewstamped Replication: A New Primary Copy Method to Support Highly-Available Distributed Systems>>在1988年就独立地提出了类paxos的一致性算法。}
作者：phylips@bmy 时间：2011-3-27
出处：http://duanple.blog.163.com/blog/static/70971767201133011171419/
作为这个星球上最大的互联网公司，毫无疑问google正在引领着海量数据处理实践的潮流。虽然Google经常发表一些对于自己来说已经过时甚至不再使用的技术的论文，但是发表之后总会有类似的系统被业界实现出来，也足以说明google的技术至少领先业界数年。
你好。 
其实到现在为止距离淘宝双十一事件已经过去蛮多天了，但在整个技术圈里面大家还是津津乐道。我这次在采访之前在和一些网友做沟通的时候，他们也提出了非常多非常有意思的问题，包括一些高并发的，一些压力测试的等等，那我希望也代表这些网友和你做一个交流。那第一个问题就是，在那么大的访问量，淘宝的技术团队是如何做到一个高并发处理的？ 
作者：phylips@bmy 时间：2011-2-26
出处：http://duanple.blog.163.com/blog/static/70971767201133011171419/
还在上研的时候，由于当时在做并行计算相关的方向，老师推荐阅读下google的MapReduce以做参考，当时并没有仔细的去看论文只是大概看了些中文的介绍。第一次真正阅读google关于分布式系统的论文大概是2009年，临近毕业，当我向未来公司的老大询问需要提前看下哪些资料的时候，老大告诉我只需要看google的三篇论文就可以了。那时才知道google的三篇经典论文：GFS MapReduce BigTable。于是便去网上搜索了下，并根据网上的推荐额外加了几篇将它们打印成册，其中增加的比较重要的两篇就是关于google cluster和chubby的论文，然后寒假的时候便把它们带回了家，阅读的时候发现，基本就cluster这篇还能理解，其他的都比较困难，尤其是Chubby，基本没有明白其中的内容，尽管如此还是把它们都通读了一遍。
继成功举办首期TUP活动后，日前在北京丽亭华苑酒店鸿运二厅，由CSDN和《程序员》杂志联合策划组织的TUP第二次活动如期而至，本次活动以Web 2.0技术为主题，聚焦当下火热的社交网、微博架构与实时搜索领域。就相关领域及产品研发背后的技术、产品设计及用户体验话题为与会者提供全开放式的交流平台。即使是付费沙龙，参会报名人数仍在不断上升，本次活动有超过300人来到现场。
from:http://tech.sina.com.cn/i/2010-11-16/17574872122.shtml
新浪科技讯 11月16日下午消息，由新浪微博(http://t.sina.com.cn)主办的中国首届微博开发者大会在北京举行，这是国内微博行业的首场技术盛宴。作为国内微博市场的绝对领军者，新浪微博将在此次大会上公布一系列针对开发者的扶持政策，以期与第三方开发者联手推动微博行业的整体发展。图为微博平台首席架构师杨卫华演讲。
作者：Michael J. Fischer , Nancy A. Lynch , Michael S. Paterson 1983
转载请注明译者：phylips@bmy 2011-3-12
出处：http://duanple.blog.163.com/blog/static/70971767201122011858775/
[序：这篇论文虽然只有短短的6页不到，但却包含了一个分布式系统领域最重要的结论。同时因为该结论的重要性和影响力，该论文获得了2001年度的Edsger W. Dijkstra Prize。这个著名的结论被称为FLP结论或者FLP不可能性，”FLP”即该论文的三位作者Fischer Lynch Paterson的首字母。这三位都是分布式领域非常重要的科学家，尤其是Nancy A. Lynch，她的研究成果几乎遍及所有重要的分布式算法。]
作者：LESLIE LAMPORT, ROBERT SHOSTAK, and MARSHALL 1982
译者：phylips@bmy
出处：http://duanple.blog.163.com/blog/static/7097176720112643946178/
[序：我一直觉得正是因为通过用一组围坐在圆桌旁的哲学家来表述，Dijkstra 的哲学家就餐问题才变得如此让人关注。(比如在理论界，它可能比读者/写者问题都引人注目，尽管读者/写者问题可能更具实际意义)，我认为<<Reaching Agreement in the Presence of Faults >>所描述的问题十分重要，值得计算机科学家们去关注。哲学家就餐问题使我认识到，把问题以讲故事的形式表达出来更能引起人们的关注。
作者：phylips@bmy 时间：2011-5-3
出处：http://duanple.blog.163.com/blog/static/70971767201133011171419/
关于分布式理论的研究已经有数十年的历史。
本系列论文的选择主要是参照文章<<a brief history of consensus,2pc and transaction commit>>中涉及的那些。同时也会参考该领域的重要的计算机科学家的重要著作，比如Lesslie Lamport。Lesslie Lamport就是著名软件Latex的作者，他在分布式领域的很多研究工作奠定了分布式系统的理论基础。其最重要的论文主要是如下几篇：“Time, Clocks, and the Ordering of Events in a Distributed System”,该论文获得了2000年度 the PODC最具影响力论文奖；“The Byzantine Generals Problem”；“Distributed Snapshots: Determining Global States of a Distributed System”；“Reaching agreement in the presence of faults“，该论文获得2005年度 Edsger W. Dijkstra奖；“The Part-Time Parliament”，该论文中描述了解决分布式一致性的Paxos算法。 同时分布式计算领域还有一个重要的奖项，Edsger W. Dijkstra奖，该奖项每年选择一些对分布式计算理论和实践重要意义的经典论文，它们通常都经过了至少十年的检验。
by Mark Mc Keown
http://betathoughts.blogspot.com/2007/06/brief-history-of-consensus-2pc-and.html
转载请注明译者：phylips@bmy
出处：http://duanple.blog.163.com/blog/static/70971767201103051639551/
这是一段关于一致性，事务以及两阶段提交的历史的描述。阅读关于一致性的文献可能会有些困难，因为：各种用语在不断的演化着(比如一致性<consensus>最初叫做协商<agreement>)；各种研究成果并不是以一种逻辑性的顺序产生出来；同时描述整个分布式算法的框架与这些研究工作又是平行地演化着；此外除了Lynch的《分布式算法》外，很少有书籍涉及到这个主题。
转载请注明作者：phylips@bmy
出处：http://duanple.blog.163.com/blog/static/70971767201102944512890/
1961年，通用电气公司(General Electric Co.)的Charles Bachman成功地开发出世界上第一个网状DBMS也是第一个数据库管理系统——集成数据存储(Integrated DataStore IDS)，奠定了网状数据库的基础，并在当时得到了广泛的发行和应用。后来Charles Bachman因在数据库方面的贡献获得图灵奖。
本文翻译自The SMAQ stack for big data
英文原文：http://radar.oreilly.com/2010/09/the-smaq-stack-for-big-data.html
SMAQ代表了存储，MapReduce和查询。
转载请注明译者：phylips@bmy
出处：http://duanple.blog.163.com/blog/static/709717672011016103028473/
云计算平台是非常巨大的分布式系统，需要处理庞大的处理请求，因此任何小概率事件在此平台中都必然发生。
DBMS强调ACID：原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性 (Durability)。其中的一致性强调当程序员定义的事务完成时，数据库处于一致的状态，如对于转帐来说，事务完成时必须是A少了多少钱B就多了多少钱。而对于很多互联网应用来说，对于一致性和隔离性的要求可以降低，而可用性(Availability)的要求则更为明显。从而产生了两种弱一致性的理论：BASE和CAP。
继续研究几篇论文
The Chubby lock service for loosely-coupled distributed systems
Paxos算法
Google咖啡因系统
Pregel计算模型
亚马逊dynamo系统
Facebook Cassandra
数据收集和存储的速度正在惊人地发展，对Google而言，数以万计的服务器中存储的PB级数据，以及每天在服务器中处理的数以亿计的图片文件，都对其未来的系统架构提出了新的挑战。重新设计系统架构以此优化搜索引擎的增量处理能力已是Google当务之急。
Updated As its custom-built file system strains under the weight of an online empire it was never designed to support, Google is brewing a replacement.
Apparently, this overhaul of the Google File System is already under test as part of the "Caffeine" infrastructure the company announced earlier this week.