• About

duanple

银河里的星星

  • The Log-Structured Merge-Tree(译):上

    2012年1月3日 阅读(1,161)

    说明:转载请保留全部信息

    作者:Patrick O’Neil &Edward Cheng etc. 1996

    原文:http://www.springerlink.com/content/rfkpd5yej9v5chrp/

    译者:phylips@bmy 2011-12-25

    译文:http://duanple.blog.163.com/blog/static/7097176720120391321283/

    【随着NoSql系统尤其是类BigTable系统的流行,LSM-Tree这个名词也开始变得不再陌生。相信大多数了解NoSql系统的人,基本上都会听到过LSM-Tree这个名词,但是读过其原始论文的人估计就不是很多了。在我看来,LSM-Tree之于BigTable的重要性就像一致性hash之于Dynamo。溯本求源一向是本人的追求,希望可以从最初的文字中找到蕴含在结构之下的更多思考。老实说,这篇论文也算是很长的了,原文共30页,涉及了不少公式,因此翻起来也不会那么简单。 read more

  • ANTLR 介绍(zz)

    2011年12月21日 阅读(439)

    作者: Terence Parr

    译者:Nicholas @ NirvanaStudio

    译文出处:http://www.cnblogs.com/me-sa/articles/766533.html

    原文出处:http://www.cs.usfca.edu/~parrt/course/652/lectures/antlr.html

    另有一篇不错的文章:http://www.cppblog.com/morya/archive/2009/12/07/102681.html

    介绍

    自1980年以来我手工编写了很多识别程序(recognizer)和翻译程序(translator)但最终我感到很恶心并且尝试将这个过程自动化:来源于我的座右铭: "Why program by hand in five days what you can spend five years of your life automating." read more

  • 编译 链接和加载

    2011年12月4日 阅读(1,424)

     作者:phylips@bmy 2011-11-06

     出处:http://duanple.blog.163.com/blog/static/7097176720111141085197/
    1.   序

    最近在折腾各种.so,碰到了一些问题,一开始对于很多错误也没有头绪,茫然不知所措。索性化了一天多时间将<<程序员的自我修养—链接、装载与库>>中部分内容略读了一遍,主要是关于编译,链接和加载这块的。于是顺便做个笔记,方便以后回顾。基本上知道了这些,对于编译,链接和加载过程中产生的各种问题,应该就能从根本上理解并解决了。其实以前上学时也看过那本经典的<<Linker and loader>>,当时还写了篇<<链接器和加载器原理>>,不过此次会更细致深入地了解下整个编译链接和加载过程,并结合经常碰到的问题,提出一些解决方案。 read more

  • 流式计算之Storm(zz)

    2011年11月20日 阅读(267)

    zz from:http://blog.sina.com.cn/s/blog_406d9bb00100ui5p.html

    Storm简介

    Storm是一个分布式的、容错的实时计算系统,遵循Eclipse Public License 1.0,Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算,Storm之于实时处理,就好比Hadoop之于批处理。Storm保证每个消息都会得到处理,而且它很快——在一个小集群中,每秒可以处理数以百万计的消息。可以使用任意编程语言来做开发。
    主要商业应用及案例:Twitter
    Storm的优点
    1. 简单的编程模型。类似于MapReduce降低了并行批处理复杂性,Storm降低了进行实时处理的复杂性。
    2. 服务化,一个服务框架,支持热部署,即时上线或下线App.
    3. 可以使用各种编程语言。你可以在Storm之上使用各种编程语言。默认支持Clojure、Java、Ruby和Python。要增加对其他语言的支持,只需实现一个简单的Storm通信协议即可。
    4. 容错性。Storm会管理工作进程和节点的故障。
    5. 水平扩展。计算是在多个线程、进程和服务器之间并行进行的。
    6. 可靠的消息处理。Storm保证每个消息至少能得到一次完整处理。任务失败时,它会负责从消息源重试消息。
    7. 快速。系统的设计保证了消息能得到快速的处理,使用ZeroMQ作为其底层消息队列。
    8. 本地模式。Storm有一个“本地模式”,可以在处理过程中完全模拟Storm集群。这让你可以快速进行开发和单元测试。
    Storm目前存在的问题 read more

  • Hadoop MapReduce源码分析总结(zz)

    2011年11月20日 阅读(362)

    zz from:http://blog.csdn.net/HEYUTAO007/article/details/5725379

    参考: 

    1 caibinbupt的源代码分析http://caibinbupt.javaeye.com

    2 coderplay的avaeye 

    http://coderplay.javaeye.com/blog/295097

    http://coderplay.javaeye.com/blog/318602 

    3 Javen-Studio 咖啡小屋 

    http://www.cppblog.com/javenstudio/articles/43073.html read more

  • CAP Confusion: Problems with ‘partition tolerance’

    2011年11月20日 阅读(699)

    zz from:http://www.cloudera.com/blog/2010/04/cap-confusion-problems-with-partition-tolerance/

    by Henry Robinson April 26, 2010 14 comments Tweet

    The ‘CAP’ theorem is a hot topic in the design of distributed data storage systems. However, it’s often widely misused. In this post I hope to highlight why the common ‘consistency, availability and partition tolerance: pick two’ formulation is inadequate for distributed systems. In fact, the lesson of the theorem is that the choice is almost always between sequential consistency and high availability. read more

  • 一致性哈希算法及其在分布式系统中的应用(zz)

    2011年11月19日 阅读(297)

    zz from:http://www.codinglabs.org/html/consistent-hashing.html

    摘要

    本文将会从实际应用场景出发,介绍一致性哈希算法(Consistent Hashing)及其在分布式系统中的应用。首先本文会描述一个在日常开发中经常会遇到的问题场景,借此介绍一致性哈希算法以及这个算法如何解决此问题;接下来会对这个算法进行相对详细的描述,并讨论一些如虚拟节点等与此算法应用相关的话题。 read more

  • 计算机器和智能-阿兰图灵(zz)

    2011年11月19日 阅读(444)

    【原题】COMPUTING MACHINERY AND INTELLIGENCE

    【译题】计算机器和智能

    【作者】阿兰图灵

    1. 模仿游戏(The Imitation Game)

    我提出来考虑个问题“计算机可以思考么?”这个句子需要对“机器”和“思考”的意义作出定义。这种定义可能受到了框制以反映出到目前为止一般意义上的使用之或然性(The definitions might be framed so as to reflect so far as possible the normal use of the words),但是这种态度是危险的,如果“机器”和“思考”这些单词的意义是通过“检测它们一般是被怎么使用的(examining how they are commonly used)”来找到话,“计算机可以思考么?”这个问题的意义和答案就很难逃出这样的结论:需要从一种统计意义上的审视去寻找,例如一次盖洛普民意测验(a Gallup poll)。不过这很荒唐。代替这样一种定义的尝试,我要把问题作另一个替换,其和问题很接近,而且是可以以相对不含糊的单词来表达。 read more

  • 编程范式-Robert W.Floyd(zz)

    2011年11月19日 阅读(432)

    【原题】 The Paradigms of Programming

    【译题】 编程范式

    【作者】 Robert W.Floyd

    【题注】

    Paradigm … [a. F. paradigme, ad.L. paradigma, a. Gr. παραδειγμα, pattern, example, fπαραδεικγν ?  γαι  to exhibit beside, show side by side …] read more

  • 云之上:伯克利对云计算的一个观点(zz)

    2011年11月19日 阅读(1,286)

    from:http://blog.sciencenet.cn/home.php?mod=space&uid=449420&do=blog&id=483860

    【原题】Above the Clouds: A Berkeley View of Cloud Computing
    【译题】 云之上:伯克利对云计算的一个观点
    【作者】Michael Armbrust, Armando Fox, Rean Griffith, Anthony D. Joseph, Randy Katz,
    Andy Konwinski, Gunho Lee, David Patterson, Ariel Rabkin, Ion Stoica, and Matei Zaharia
    (Comments should be addressed to abovetheclouds@cs.berkeley.edu)
    UC Berkeley Reliable Adaptive Distributed Systems Laboratory
    http://radlab.cs.berkeley.edu/
    February 10, 2009 read more

  • 谦卑的程序员-Edsger W. Dijkstra(zz)

    2011年11月19日 阅读(593)

           【原题】 The Humble Programmer

    【译题】谦卑的程序员

    【作者】Edsger W. Dijkstra

    经过一系列巧合,我在1952年春天的第一个早上正式开始了职业编程领域,而且就我所了解,我是第一个在我们国家做这一行的荷兰人。在回顾最叫人惊奇的事上,就是编程职业缓慢的涌现出来,至少在我那部分的世界中是如此,一种于今让人难以想象的缓慢。但是我很感谢来自那个“建立了不容置疑的缓慢的”时期的两个生动回忆。 read more

  • 一个人对计算机科学的观点-R.W.HAMMING(zz)

    2011年11月19日 阅读(351)

    【原文】 One Man’s View of Computer Science 

    【作者】R.W.HAMMING

    Bell  Telephone  Laboratories, 

    【原刊】Journal of the Association for Computing Machinery Vol l6, No1. Juauary 1969, pp. 3-12.

    一系列的观察以及评论直接对“考虑到计算机科学的普通工程学的品位”提出建议。工程学的角度之所以重要,是因为当前该领域大多数难点都还没有涉及到“特定的事情是否可以完成”的理论问题,但更实际的问题是它们可以怎样即简洁有有效的完成。 read more

  • 有限自动机及其判定问题-Michael O.Robin&D scott(zz)

    2011年11月19日 阅读(573)

    【原题】Finite Automata and Their Decision Problems

    【译题】有限自动机及其判定问题

    【作者】Michael O. Robin ,D scott  

    摘要:这篇文章中把有限状态机(Finite automata)当作对有限磁带的分类设备来考虑。每个一磁带自动机定义了一个磁带集(Each onetape automaton defines a set of tapes),一个两磁带自动机定义了一对集,诸如此类。将研究被定义的集之结构。介绍了一自动机的各种一般概念,而且它们到经典自动机的关系被决定了。一些关注自动机的判定问题显示可通过有效算法来解决;其它则显示为通过算法不可解决。 read more

  • 对软件研究的反思-DENNIS M. RITCHIE(zz)

    2011年11月19日 阅读(374)

    【原题】Reflections on Software Research

    【译题】对软件研究的反思

    【题注】孕育了UNIX项目的贝尔实验室环境是可以再次产生的么?

    【作者】DENNIS M. RITCHIE

    UNIX1操作系统突然之间变成新闻了,不过它不是新闻。它始自1969年,当 Ken Thompson 发现了一台很少使用的 PDP-7 计算机,并着手鼓捣出一个他喜欢的计算机环境。他的工作很快就吸引了我;我加入到了该事业,关于那件事的大多数想法和大多数工作都要归于他。不久以后,来自AT&T贝尔实验室的我们研究领域组织的其他人开始使用该系统;Joe Ossanna, Doug McIlroy, 和Bob Morris 做出了特别突出的贡献。在1971年,我们搞到了一台PDP-11,而且在该年年末我们就开始支持我们第一个真实用户了:授予专利应用的三个打字员。在1973年,系统用C语言重写了,也是在那一年,系统第一次公开的在操作系统 原理会议(the Operating Systems Principles conference)上被做出描述;结果文献【参见8】就出现在下一年的ACM通讯上了。 read more

  • 说说TokuDB与fractal tree index(zz)

    2011年11月15日 阅读(1,442)

    版权声明: 允许非商业性转载,但转载时必须标明原作者 fcicq、原始链接 http://www.fcicq.net/wp/?p=892 及本声明。

    2009 年以索引技术创业的 TokuTek 发布了 TokuDB for MySQL, 看性能参数是挺不错的.当时就对它产生了极大的兴趣. 但非常不幸偶没有理解它的索引原理 (Tokutek 也不说). 再加上它不是很成熟, 没有 ACID, 多核支持也不好, 所以暂时搁置了. read more

  • Yahoo! s4和Twitter storm的粗略比较(zz)

    2011年11月11日 阅读(336)

    zz from:http://www.blogjava.net/killme2008/archive/2011/11/08/363238.html?utm_source=twitterfeed&utm_medium=twitter 

    Items\Projects

    Yahoo! s4

    Twitter Storm

    协议

    Apache license 2.0

    Eclipse Public License 1.0

    开发语言

    Java

    Clojure,Java,Clojure编写了核心代码 结构

    去中心化的对等结构

    有中心节点nimbus,但非关键 通信

    可插拔的通讯层,目前是基于UDP的实现 基于twitter开源的thrift框架 事件/Stream

    <K,A>序列,用户可自定义事件类 提供Tuple类,用户不可自定义事件类,

    但是可以命名field和注册序列化器 处理单元 Processing Elements,内置PE处理

    count,join和aggregate等常见任务 Bolt,没有内置任务,提供IBasicBolt处理

    自动ack 第三方交互

    提供API,Client Adapter/Driver,第三方客户端输入或者输出事件 定义Spout用于产生Stream,没有标准输出API 持久化 提供Persist API规范,可根据频率或者次数做

    持久化

    无特定API,用户可自行选择处理

    可靠处理  无,可能会丢失事件  提供对事件处理的可靠保证(可选) 路由 EventType + Keyed attribute + value匹配

    内置count,join和aggregate标准任务 Stream Groupings:

    Shuffle,Fields,All,Global,None,Direct

    非常灵活的路由方式 多语言支持  暂时只支持Java 多语言支持良好,本身支持Java,Clojure,

    其他非JVM语言通过thrift和进程间通讯 Failover

     部分支持,数据无法failover  部分支持,数据同样无法failover Load Balance

    不支持  不支持  并行处理  取决于节点数目,不可调节  可配置worker和task数目,storm会尽量将worker和task均匀分布 动态增删节点 不支持

     支持 动态部署

     不支持  支持 web管理  不支持  支持 代码成熟度  半成品  成熟 活跃度  低  活跃 编程  编程 + XML配置

      纯编程

    参考文档  
    http://docs.s4.io/
    https://github.com/nathanmarz/storm/wiki/


    http://xumingming.sinaapp.com/category/storm/ (非常好的中文翻译)
    read more

  • Why LD_LIBRARY_PATH is bad(zz)

    2011年11月6日 阅读(212)

    By David Barr.

    Background

    This is one system administrator’s point of view why LD_LIBRARY_PATH, as frequently used, is bad. This is written from a SunOS 4.x/5.x (and to some extent Linux) point of view, but this also applies to most other UNIXes.

    What LD_LIBRARY_PATH does

    LD_LIBRARY_PATH is an environment variable you set to give the run-time shared library loader (ld.so) an extra set of directories to look for when searching for shared libraries. Multiple directories can be listed, separated with a colon (:). This list is prepended to the existing list of compiled-in loader paths for a given executable, and any system default loader paths. read more

  • Linux动态链接库的创建与使用(zz)

    2011年11月5日 阅读(272)

    from:http://blog.csdn.net/benben85/article/details/4161130

    1. 介绍 
        使用GNU的工具我们如何在Linux下创建自己的程序函数库?一个“程序函数库”简单的说就是一个文件包含了一些编译好的代码和数据,这些编译好的代码和数据可以在事后供其他的程序使用。程序函数库可以使整个程序更加模块化,更容易重新编译,而且更方便升级。   read more

  • SteveY对Amazon和Google平台的长篇大论(zz)

    2011年11月4日 阅读(315)

    非常不错的一篇文章,zz from:http://coolshell.cn/articles/5701.html 作者:陈皓

    Steve Yegge, Amazon的前员工,现任Google员工,其本来想在Google+上和Google的员工讨论一些关于平台的东西,结果不小心把圈子设成了Public,结果这篇文章就公开给了全世界,引起了剧烈的反应。发布后很快他就马上把这篇文章删了,不过,互联网上早备份了下来——SteveY’s Google Platforms Rant。后来,Steve在其Google+上作了一些解释,大体是说他喝多了,而且又是在凌晨,所以大脑不清,文章中的观点很主观,极端且不完整,还有Google的PR对他很好,等等,等等 。 read more

  • 相信未来

    2011年10月30日 阅读(374)

      作者 食指   出自《食指的诗》
      当蜘蛛网无情地查封了我的炉台,
      当灰烬的余烟叹息着贫困的悲哀,
      我依然固执地铺平失望的灰烬,
      用美丽的雪花写下:相信未来。
      当我的紫葡萄化为深秋的露水,
      当我的鲜花依偎在别人的情怀,
      我依然固执地用凝霜的枯藤
      在凄凉的大地上写下:相信未来。
      我要用手指那涌向天边的排浪,
      我要用手掌那托住太阳的大海,
      摇曳着曙光那枝温暖漂亮的笔杆
      用孩子的笔体写下:相信未来。
      我之所以坚定地相信未来,
      是我相信未来人们的眼睛——
      她有拨开历史风尘的睫毛,
      她有看透岁月篇章的瞳孔。
      不管人们对于我们腐烂的皮肉,
      那些迷途的惆怅、失败的苦痛,
      是寄予感动的热泪、深切的同情,
      还是给以轻蔑的微笑、辛辣的嘲讽。
      我坚信人们对于我们的脊骨,
      那无数次的探索、迷途、失败和成功,
      一定会给予热情、客观、公正的评定。
      是的,我焦急地等待着他们的评定。
      朋友,坚定地相信未来吧,
      相信不屈不挠的努力,
      相信战胜死亡的年轻,
      相信未来、热爱生命。
      1968年 北京 read more

Older Posts
Newer Posts

全站热门

  • 分布式系统领域经典论文翻译集 - 16,792 views
  • AddressSanitizer&ThreadSanitizer原理与应用 - 7,982 views
  • 分布式领域经典论文译序 - 6,143 views
  • 线性一致性理论 - 4,642 views
  • About - 4,621 views
  • Paxos Made Live(译) - 4,057 views
  • 深度探索分布式理论经典论文 - 3,796 views
  • 【google论文二】Google文件系统(上) - 3,699 views
  • Avro: 大数据的数据格式(zz) - 3,406 views
  • Google论文、开源与云计算 - 3,336 views

分类目录

  • linux
  • 分布式系统
  • 思维训练
  • 技术专题
  • 文思
  • 未分类
  • 流年
  • 离奇的code
  • 程序设计语言
  • 算法与acm
  • 网络及内核
  • 计算机科学与人物
  • 设计模式
  • 读书笔记
  • 转载
  • 闲时思考
  • 高性能计算

近期文章

  • NewSQL Basis
  • gdb基本工作原理
  • Jepsen测试
  • 性能优化工具:perf
  • 性能优化工具:gperftools

近期评论

  • 深度探索分布式理论经典论文 – duanple发表在《The Five-Minute Rule 20 Years Later(译)》
  • test – duanple发表在《Paxos Made Live(译)》
  • test – duanple发表在《分布式系统领域经典论文翻译集》
  • test – duanple发表在《Distributed Snapshots-Determining Global States of a Distributed System(译)》
  • test – duanple发表在《Solution of a Problem in Concurrent Programming Control(译)》

标签

bigtable distributed google hadoop hbase hive leveldb linux lsm-tree mapreduce master nosql paxos pregel python scale sql sstable 人面不知何处去 分布式 分布式系统 思维训练 技术专题 搜索与分布式 文思 服务器 未名湖畔 流年 离奇的code 程序设计语言 算法与acm 算法与acm 面试 线程 经典论文 经史子集 网络及内核 翻译 节点 计算机科学 论文 设计模式 读书笔记 闲时思考 集群 高性能计算

文章归档

  • 2021年6月
  • 2021年1月
  • 2020年12月
  • 2020年10月
  • 2019年8月
  • 2018年11月
  • 2018年9月
  • 2018年6月
  • 2015年1月
  • 2014年2月
  • 2013年11月
  • 2013年10月
  • 2013年9月
  • 2013年6月
  • 2013年5月
  • 2013年4月
  • 2013年3月
  • 2013年2月
  • 2013年1月
  • 2012年12月
  • 2012年11月
  • 2012年10月
  • 2012年9月
  • 2012年8月
  • 2012年7月
  • 2012年6月
  • 2012年5月
  • 2012年4月
  • 2012年1月
  • 2011年12月
  • 2011年11月
  • 2011年10月
  • 2011年9月
  • 2011年8月
  • 2011年7月
  • 2011年6月
  • 2011年5月
  • 2011年4月
  • 2011年3月
  • 2011年1月
  • 2010年12月
  • 2010年11月
  • 2010年10月
  • 2010年8月
  • 2010年7月
  • 2010年6月
  • 2010年5月
  • 2010年4月
  • 2010年3月
  • 2010年1月
  • 2009年12月
  • 2009年11月
  • 2009年10月
  • 2009年9月
  • 2009年8月
  • 2009年7月
  • 2009年6月
  • 2009年5月
  • 2009年4月
  • 2009年3月
  • 2009年2月
  • 2009年1月
  • 2008年12月
  • 2008年11月
  • 2008年10月
  • 2008年9月
  • 2008年8月
  • 2008年7月
  • 2008年6月
  • 2008年5月
  • 2008年4月
  • 2008年3月

功能

  • 登录
  • 文章RSS
  • 评论RSS
  • WordPress.org

业界大牛

  • James Hamilton
  • Werner Vogels

Copyright © 2018 Pixeldom Lite | Developed by ThemeBounce

Back to top | 京ICP备18037177号