• About

duanple

银河里的星星

  • 待读文章

    2012年11月15日 阅读(366)

    Java正则引发的思考

    通过blktrace, debugfs分析磁盘IO

    Segmentation Fault in Linux

    Linux Shell常用技巧

    Linux Bash快捷键

    emacs的eshell如何使用

    linux-io-stack

    Hints for Computer System Design

    Let’s Build a Compiler
    nohup命令详解

    多版本并发控制(MVCC)在分布式系统中的应用 read more

  • 计算机科学经典论文(zz)

    2012年10月21日 阅读(672)

    作者:g9yuayon

    from:http://blog.csdn.net/g9yuayon/article/details/1512851

    从Jao的Programming Musing 看到的:Babar Kazar 整理了一堆经典论文。Jao强烈建议每个严肃的程序员读每篇论文,说它们都或多或少有意思。粗粗扫了一下,很多论文都没读过。挑了些俺多少知道一点的介绍。 read more

  • Time Clocks and the Ordering of Events in a Distributed System

    2012年10月20日 阅读(1,771)

    作者:Leslie Lamport. 1978

    原文:http://www.stanford.edu/class/cs240/readings/lamport.pdf

    译者:phylips@bmy 2012-10-13

    译文:http://duanple.blog.163.com/blog/static/709717672012920101343237/

    [

    序:时间是一个很抽象的概念,爱因斯坦说时间是幻觉,马赫(Ernst Mach)说:我们根本沒有能力以时间來测量事物的变化,相反的,我们是透过事物的变化因而产生时间流动的抽象概念。那么在分布式系统中是如何定义时序的呢?这篇论文进行了讨论,该论文首先通过定义一整套逻辑时钟系统对所有事件进行ordering,然后通过解决一个资源互斥访问问题说明了如何将此应用到分布式系统中,并引入了状态机复制的方法。之后又由逻辑时钟所存在的一个问题引出了物理时钟的使用,由于物理时钟本身会存在偏差,又给出了一个物理时钟同步算法,并给出了一个关于物理时钟同步的定理。 read more

  • 【翻译】对lamport 的一段采访(zz)

    2012年10月13日 阅读(422)

    作者:dullgull

    原文:http://www.dullgull.com/   文章链接


    源地址:http://research.microsoft.com/en-us/um/people/lamport/pubs/ds-interview.pdf

    Dejan Milojicic: 你从事的许多具有想象力的问题都在实际应用中有成就,甚至在几十年之后仍有影响。你对研究方向的选择在时机上有什么特别么? read more

  • MIT的Distributed Algorithms课程介绍(zz)

    2012年10月13日 阅读(548)

    zz from:http://www.myoops.org/main.php?act=course&id=2165

    翻譯:林家弘

    編輯:朱學恒,陳盈

    Image of honeycomb, a common architectural metaphor for distributed algorithms.

    The honeycomb shown above is a common architectural metaphor for distributed algorithms. Similar to bees performing different functions to build a honeycomb, multiple computing devices depend on each other to accomplish a task. (Image by MIT OCW.) read more

  • IEEE 约翰·冯诺依曼奖

    2012年9月28日 阅读(1,259)

    IEEE 约翰·冯诺依曼奖由IEEE成立于1990年,目的是表彰在计算机科学和技术上具有杰出成就的科学家。虽不如图灵奖那样有名,但也绝对是计算机科学界非常重量级的奖项了,获奖者也都是世界上举足轻重的计算机科学家,其中很多人也同时是图灵奖得主。 read more

  • 关于Google Spanner的文章

    2012年9月27日 阅读(559)

    Google内部的介绍

    Spanner: Google’s Globally-Distributed Database  论文原文

    Thread on G+   by Jeff Dean

    Building Spanner   视频  keynote Google工程师 Alex Lloyd

    Lessons and Advice from Building Large Distributed Systems  最早提到Spanner的,Jeff Dean在LADIS2009的keynote read more

  • Pregel: A System for Large-Scale Graph Processing(译)

    2012年9月16日 阅读(933)

    作者:Grzegorz Malewicz, Matthew H. Austern .etc.Google Inc 2010-6

    原文:http://people.apache.org/~edwardyoon/documents/pregel.pdf

    译者:phylips@bmy 2012-09-14

    译文:http://duanple.blog.163.com/blog/static/70971767201281610126277/

    [说明:Pregel这篇是发表在2010年的SIGMOD上,Pregel这个名称是为了纪念欧拉,在他提出的格尼斯堡七桥问题中,那些桥所在的河就叫Pregel。最初是为了解决PageRank计算问题,由于MapReduce并不适于这种场景,所以需要发展新的计算模型去完成这项计算任务,在这个过程中逐步提炼出一个通用的图计算框架,并用来解决更多的问题。核心思想源自BSP模型,这个就更早了,是在上世纪80年代由Leslie Valiant(2010年图灵奖得主)提出,之后在1990的Communications of the ACM 上,正式发表了题为A bridging model for parallel computation的文章。目前实际上已经有针对Pregel这篇文章的翻译版本了,不过只翻译了出了前半部分关于Pregel的设计与实现部分。其实后半部分也很重要,有助于理解整个图计算的历史背景,以及Pregel本身的性能和项目本身的演化等,另外最近越来越多的人开始关注这一文章,所以还是抽出时间重新阅读了一遍,并重新翻译出来,以供参考] read more

  • 揭秘谷歌网络架构英雄:传承施乐PARC理念(zz)

    2012年8月11日 阅读(304)

    from: http://blog.sina.com.cn/s/blog_5c57b5190102e0dx.html

    英文版: http://www.wired.com/wiredenterprise/2012/08/google-as-xerox-parc/2/ 

    从某种意义上讲,谷歌就是施乐PARC研究中心的当代继承人,只是在PARC理念基础上迈出了更远步伐。谷歌所制定的管理措施,能够使该公司在完成技术开发后迅速投入使用。  read more

  • 忙忙碌碌

    2012年7月24日 阅读(294)

    最近工作有些忙,所以文章少有更新,就算更新也基本上是一些原创性的内容。

    虽然到目前,去翻译的内容会越来越少,按计划也还会翻译一些文章:诸如关于一致性hash之类的,顺便写两个综述:关于CAP和Join的。再就是LevelDB的分析,迄今已经写过几篇关于LevelDB的文章,但是关于LSM-tree的实现部分始终未写。写完这个,实际上就可以整理出一个类BigTable系统系列了,大概包含LSM-tree,BigTable,HBase,LevelDB相关的一些文章。 read more

  • Sawzall原理与应用

    2012年7月24日 阅读(789)

    序:Sawzall的论文早在2006年就发表了,后来Google又推出了Tenzing,Dremel等数据分析系统,到了2010年就把Sawzall给开源了,项目主页:http://code.google.com/p/szl/。与Tenzing,Dremel相比, Sawzall所能做的事情还是比较有限,但是作为一种DSL,毕竟还是要比直接写MapReduce job要更易用些。本文就简单描述下其原理使用及扩展方法,转载请注明: read more

  • 写在大学边上……

    2012年6月3日 阅读(422)

    N年前写过的一篇文章,某些观点可能略显稚嫩,权当回忆

    发信人: phylips (爱立佛), 信区: XJTUse 

    标  题: 写在大学边上…… 

    发信站: 兵马俑BBS (Tue Dec 12 09:52:27 2006), 本站(202.117.1.8) 

    记得钱钟书先生写过这样一本书,《写在人生边上》。有些事情只有当人生走到尽头的时候,我们才明白,可是这时候我们只有留下一声叹息。而对于年轻的我们,很多事情也是只有当你已无法回头的时候才想到当初我应该这样做,人生中总会留下或多或少的遗憾吧。在大学的边上,我写下这样的文字,对于我们很多人来说已经没有回头的余地,只是希望可以留下一些启示吧  read more

  • LevelDB 理论基础

    2012年5月24日 阅读(1,491)

    说明:这篇文章主要介绍了理解LevelDB所需要的一些基础知识,主要是一些基础代码和基本机制。了解这些有助于对LevelDB的理解 ,同时这些实现基本上都出自Sanjay和Jeff Dean(Google GFS MapReduce Bigtable的缔造者)之手,其中的很多实现都非常不错,值得学习。转载请注明: read more

  • 关于CAP的文章

    2012年5月6日 阅读(790)

    CAP猜想

    CAP理论证明 

    CAP定理

    CAP 理论

    谈正确理解 CAP 理论

    如何“打败”CAP定理

    Brewer的CAP理论  

    AP Confusion: Problems with ‘partitiontolerance  Henry Robinson

    Problems with CAP, and Yahoo’s little known NoSQL system DANIEL ABADI

    A CAP Solution (Proving Brewer Wrong) read more

  • Storage Systems Course: My proposal(zz)

    2012年4月26日 阅读(437)

    微博上看到的一篇文章,存储领域非常系统的介绍,尤其给出了各个部分的经典论文,需要翻墙,为方便阅读抄录如下

    原文地址: http://dirkmeister.blogspot.com/2010/01/storage-systems-course-my-own-idea.html  作者:Dirk Meister

    In my last post, I summarized some of the storage systems courses from international top universities with storage system labs. read more

  • LevelDB Bloom Filter实现

    2012年4月22日 阅读(1,087)

    1.   RFC

    如下内容是Sanjay发表在Google Groups leveldb 上的初始设计方案。实际实现可能与此不同。对于bloom filter的支持是在最新的1.4版本中加入的,在此之前的版本中并无此支持。 

    人们希望可以在LevelDB中加入bloom filter的支持。目前针对一次查询,LevelDB可能需要在每个level上进行一次磁盘随机访问。通过使用bloom filter可以大大减少所需要的随机访问操作次数。比如,假设调用者正在查找一个值为”Foo”的key,LevelDB会从每个level下选择相应的SSTable文件(那些range包含了该key的文件),之后会在这些SSTable文件上进行随机读。如果每个SSTable都有一个对应的bloom filter,那么查找时就可以很容易地通过检查bloom filter跳过那些不包含该key的SSTable文件。  read more

  • Beyond MapReduce:图计算框架概览

    2012年4月21日 阅读(883)

    本文基本上是对现有的图计算框架论文或文档的一个综述。由于附图较多,未上传至相册,此处有pdf版本:http://pan.baidu.com/s/1uvjHW。

    转载请注明作者:phylips@bmy       

    出处:http://duanple.blog.163.com/blog/static/7097176720123215230365/ read more

  • The Log-Structured Merge-Tree(译):下

    2012年4月2日 阅读(595)

    4.Concurrency and Recovery in the LSM-tree

    本节我们来研究下用于LSM-tree并发访问和恢复的技术。为此,我们需要更深入地描述出rolling merge过程。我们将该并发访问和恢复算法正确性的形式化证明作为以后的工作,目前只是在此处简单地描述下它们的具体过程。 read more

  • The Log-Structured Merge-Tree(译):中

    2012年4月2日 阅读(424)

    3.3 Multi-Component LSM-Trees

    对于给定的LSM-tree,参数M代表了rolling merge过程中插入到每个C1树的叶子节点中的C0树的平均记录数。在merge到C1树的节点中之前,这些新记录会首先在C0中积累一段时间,因此通常我们认为M是大于1的。但是,通过公式(3.2){! M=(Sp/Se)·(S0/(S0+S1))}能够看出,如果与C0树相比C1树足够大,或者是单条记录非常大以至于单个page中只能放下很少的记录,那么M的值就可能会小于1。这样的一个M值意味着,为了能将C0中的一条记录移出内存将不得不读入多个C1的page。根据公式(3.4){! COST(LSM-ins)/ COST(B-ins)=K1·(COSTπ/COSTp)·(1/M)},在M< K1·(COSTπ/COSTp)的情况下,将会抵消掉multi-page的批处理效果,此时对于插入操作来说使用B-树要比使用LSM-tree更划算。 read more

  • 忍把浮名,换了浅酌低唱

    2012年1月7日 阅读(346)

           周六的早晨,下着雪,窗外一片雪白。

    到而今来京已三个多年头,工作也已一年多了。工作之后大部分的时间都放在了工作和学习上,于是很少有时间去写下各种心情,如钟所言,我已经很久没写她能看懂的文字了。岁末年初,还是总结一番吧,为了追忆过去,也为了更好地把握未来。 read more

Older Posts
Newer Posts

全站热门

  • 分布式系统领域经典论文翻译集 - 16,791 views
  • AddressSanitizer&ThreadSanitizer原理与应用 - 7,981 views
  • 分布式领域经典论文译序 - 6,142 views
  • 线性一致性理论 - 4,642 views
  • About - 4,621 views
  • Paxos Made Live(译) - 4,056 views
  • 深度探索分布式理论经典论文 - 3,796 views
  • 【google论文二】Google文件系统(上) - 3,699 views
  • Avro: 大数据的数据格式(zz) - 3,406 views
  • Google论文、开源与云计算 - 3,336 views

分类目录

  • linux
  • 分布式系统
  • 思维训练
  • 技术专题
  • 文思
  • 未分类
  • 流年
  • 离奇的code
  • 程序设计语言
  • 算法与acm
  • 网络及内核
  • 计算机科学与人物
  • 设计模式
  • 读书笔记
  • 转载
  • 闲时思考
  • 高性能计算

近期文章

  • NewSQL Basis
  • gdb基本工作原理
  • Jepsen测试
  • 性能优化工具:perf
  • 性能优化工具:gperftools

近期评论

  • 深度探索分布式理论经典论文 – duanple发表在《The Five-Minute Rule 20 Years Later(译)》
  • test – duanple发表在《Paxos Made Live(译)》
  • test – duanple发表在《分布式系统领域经典论文翻译集》
  • test – duanple发表在《Distributed Snapshots-Determining Global States of a Distributed System(译)》
  • test – duanple发表在《Solution of a Problem in Concurrent Programming Control(译)》

标签

bigtable distributed google hadoop hbase hive leveldb linux lsm-tree mapreduce master nosql paxos pregel python scale sql sstable 人面不知何处去 分布式 分布式系统 思维训练 技术专题 搜索与分布式 文思 服务器 未名湖畔 流年 离奇的code 程序设计语言 算法与acm 算法与acm 面试 线程 经典论文 经史子集 网络及内核 翻译 节点 计算机科学 论文 设计模式 读书笔记 闲时思考 集群 高性能计算

文章归档

  • 2021年6月
  • 2021年1月
  • 2020年12月
  • 2020年10月
  • 2019年8月
  • 2018年11月
  • 2018年9月
  • 2018年6月
  • 2015年1月
  • 2014年2月
  • 2013年11月
  • 2013年10月
  • 2013年9月
  • 2013年6月
  • 2013年5月
  • 2013年4月
  • 2013年3月
  • 2013年2月
  • 2013年1月
  • 2012年12月
  • 2012年11月
  • 2012年10月
  • 2012年9月
  • 2012年8月
  • 2012年7月
  • 2012年6月
  • 2012年5月
  • 2012年4月
  • 2012年1月
  • 2011年12月
  • 2011年11月
  • 2011年10月
  • 2011年9月
  • 2011年8月
  • 2011年7月
  • 2011年6月
  • 2011年5月
  • 2011年4月
  • 2011年3月
  • 2011年1月
  • 2010年12月
  • 2010年11月
  • 2010年10月
  • 2010年8月
  • 2010年7月
  • 2010年6月
  • 2010年5月
  • 2010年4月
  • 2010年3月
  • 2010年1月
  • 2009年12月
  • 2009年11月
  • 2009年10月
  • 2009年9月
  • 2009年8月
  • 2009年7月
  • 2009年6月
  • 2009年5月
  • 2009年4月
  • 2009年3月
  • 2009年2月
  • 2009年1月
  • 2008年12月
  • 2008年11月
  • 2008年10月
  • 2008年9月
  • 2008年8月
  • 2008年7月
  • 2008年6月
  • 2008年5月
  • 2008年4月
  • 2008年3月

功能

  • 登录
  • 文章RSS
  • 评论RSS
  • WordPress.org

业界大牛

  • James Hamilton
  • Werner Vogels

Copyright © 2018 Pixeldom Lite | Developed by ThemeBounce

Back to top | 京ICP备18037177号