• About

duanple

银河里的星星

  • 历史还是现实

    2010年3月11日 阅读(414)

    近来,总是在闲暇的时间里,翻了些历史的书籍,不知不觉就翻了那么几本。我想我是一个颇喜欢读史的人,虽然很少有时间可以静下心来慢慢阅读。如果放在古代,那时候的学生还是有很多是时间去读书的,所以以前的文化人大概就叫做读书人了。 read more

  • 深入浅出谈cuda(转载)

    2010年3月10日 阅读(541)

    http://www.pcinlife.com/article/graphics/2008-06-04/1212575164d532.html

    猫猫观点:cuda即显卡加速程序端口,他 的优点就是用c语言作为基础,这点很符合中国的现状,中国多数电脑编程高手都懂得c语言的意思,这也是cuda这个接口伟大的地方,但是由于目前显卡 gpgpu的先天的不足,目前还没有功能模块化线程增强指令,所以,提高利用gpgpu的利用率变成了各个编程高手绞尽脑汁的问题,此外windows目 前有很多程序并不能利用到gpgpu的处理能力而实现加速,因此猫猫的另一个观点就是如何无缝连接windows程序所能调用的资源,让整个 windows的系统环境都能得益于gpgpu的加速能力而获得整体的效率提升,这时候gpgpu就已经普及了!希望这个补丁能尽早出来,让 windows环境用户受益! read more

  • linux系统平均负载定义(zz)

    2010年3月10日 阅读(409)

    zzfrom:http://bbayou.blogbus.com/logs/38290786.html

    为什么要监控系统的平均负载?
         有时我们会感觉到系统响应很慢,但是又找不到原因,这时要查平均负载,是否有大量的进程在排队等待  
    1,平均负载是什么?
               特定时间间隔内运行队列中的平均进程数,好象还不够明白:就是进程队列的长度,有多少个进程在排队等待运行
    2,什么是"进程队列"?
               一个进程满足以下条件就会位于进程队列中
                      1,它没有在等待I/O操作的结果
                      2,它没有主动进入等待状态(即没有调用wait)
                      3,它没有被停止
    3,如何查看平均负载?
      最简单的命令是uptime
      例子:
      [lhd@localhost ~]$ uptime
      00:44:22 up  1:17,  3 users,  load average: 8.13, 5.90, 4,94
    4,显示的内容是什么意思?
              load average:    8.13,5.90,4,94
              显示的是过去的1,5,15分钟内进程队列中的平均进程数量
    5,如何衡量当前系统是否负载过高?
            如果每个cpu(可以按CPU核心的数量计算)上当前活动进程数不大于3,则系统性能良好,
            不大于4,表示可以接受
            如大于5,则系统性能问题严重
            上面例中的8.13,如果有2个cpu核心,则8.13/2=4.065,   此系统性能可以接受
            建议设置严格的报警值为: CPU核心的数量
            比如:CPU核心数量为2,则设置报警值为2
            (这样设置是合理的,因为毕竟不是每个应用都支持多CPU及多核心)
    6,查看平均负载的命令
                     有5个可用:
                     tload    能够绘制出负载变化的图形
                     uptime   同时显示开机以来的时间
                     w        同时显示出已登录的用户
                     top      这个对资源占用太高,不建议使用
                     cat /proc/loadavg   通过/proc系统信息得到平均负载
    注意:如果你要持续的观察平均负载,建议用 watch uptime  或 watch cat /proc/loadavg
    备注:关于watch:每隔一定时间执行指定的程序,并全屏显示结果。时间默认是2秒 read more

  • scalapack相关内容

    2010年3月7日 阅读(540)

    用户指南:user guide
    数组描述符:Array Descriptor for In-core Dense Matrices
    数据分配实例:Example
    性能模型:Parallel Efficiency
    估计执行时间:Estimate Execution Time

  • 64位机 int short long double 分别是多少(zz)

    2010年3月5日 阅读(910)

    http://bbs3.chinaunix.net/thread-1626322-2-1.html
    http://stackoverflow.com/questio … g-on-64-bit-windows

    In the Unix world, there were a few possible arrangements for the sizes of integers and pointers for 64-bit platforms. The two mostly widely used were ILP64 (for DEC Alpha, one of the first 64-bit machines) and LP64 (for almost everything else). The acronynms come from ‘int, long, pointers are 64-bit’ and ‘long, pointers are 64-bit’. read more

  • Xlib: connection to “:0.0” refused by server

    2010年1月26日 阅读(383)

    If you get error messages like this Xlib: connection to ":0.0" refused by server
    Xlib: No protocol specified

    xhost: unable to open display ":0.0"
    when running a program, you probably need to add the user to the X server access list.

    You can add a user to the X server access list with # xhost +local:username
    This allows "username" to connect to the local running X server. read more

  • centos英文版下如何安装中文语言包(zz)

    2010年1月26日 阅读(424)

    http://code.javaeye.com/blog/433636
    centos安装过程中,安装语言包时选择了english,在安装完毕后浏览中文网页或查看中文文档时总是宣誓乱码,因此需要安装中文语言包,如果不能从安装盘进行安装,可以通过yum进行安装,安装办法为: read more

  • 用gtksourceview实现代码高亮 (zz)

    2010年1月15日 阅读(704)

    http://www.pygtk.org/pygtksourceview/index.html
    最近用pygtk在写一个半可视化的ui编辑器. 其中要嵌入一个小编辑器给用户写一小段lua代码。
    虽然是个小部件,用个textview糊弄一下就好,但做为一个有爱而又爱折腾的人,加上语法高亮简直是一定的事情。 read more

  • Hypertable领导者:Hadoop和分布式数据库(zz)

    2010年1月4日 阅读(531)


    http://dev.yesky.com/74/8102574.shtml

     数据库领域近来吸引了不少眼球。IBM不久前投资于EnerpriseDB;EnerpriseDB有一个运行在Amazon EC2上的云版本。Amazon去年末发布了他们自己的云数据库。而Google的BigTable尽管并不开源,也得到了社区的广泛研究。同样是在这个领域,两个开源项目——HBase和Hypertable利用开源Map/Reduce平台Hadoop提供了类似于BigTable的可伸缩数据库实现。InfoQ与Zvents, Inc的理论研究架构师以及Hypertable项目的创立者Doug Judd一起讨论其实现。 read more

  • HBase的领导人探讨Hadoop、BigTable和分布式数据库(zz)

    2010年1月4日 阅读(483)

    http://www.programbbs.com/doc/3325.htm
    Google最近关于Google Application Engin的介绍再一次引起了大家对备选数据库技术的兴趣。几星期前InfoQ访谈Hypertable项目的创始人之一Doug Judd,该项目受到了Google的BigTable数据库的启发。本周InfoQ很乐意给大家奉献对HBase领导人——im Kellerman、Michael Stack和Bryan Duxbury的专访。HBase是一个开源的、分布式的、仿效BigTable的面向列存储系统。 read more

  • Hadoop

    2010年1月4日 阅读(367)

    http://labs.xiaonei.com/apache-mirror/hadoop/core/stable/          hadoop下载
    http://www.bookfm.com/book/bookdetail.html?bookid=105718&bookpage=7
    http://www.infoq.com/cn/articles/hadoop-process-develop;jsessionid=7DE57C016F105125B8FBAD4050E759EC
    http://hadoop.apache.org/common/docs/r0.18.2/cn/cluster_setup.html
    http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop1/index.html
    http://hi.baidu.com/thinkdifferent/blog/item/5990fd03ca3e328fd43f7c94.html Hadoop文档合集
    http://www.mengyan.org/blog/archives/2006/11/15/138.html
    http://rdc.taobao.com/blog/dw/archives/category/hadoop/page/2    淘宝数据平台团队 read more

  • Running Hadoop MapReduce on Amazon EC2 and Amazon

    2010年1月4日 阅读(185)

    http://developer.amazonwebservices.com/connect/entry.jspa?externalID=873&categoryID=112
    AWS and Hadoop developer Tom White shows how to use Hadoop and Amazon Web Services together to process a large collection of web access logs.

    AWS Products Used: Amazon EC2, Amazon S3 Language(s): Java Date Published: 2007-07-18 read more

  • gcc的一些编译参数(节选)

    2009年12月23日 阅读(362)

           http://doc.linuxpk.com/3721.html
           -include file

      包含某个代码,简单来说,就是便以某个文件,需要另一个文件的时候,就可以用它设定,功能就相当于在代码中使用#include<filename>

      例子用法: read more

  • ps3上linux系统安装

    2009年12月18日 阅读(559)

    http://www.playstation.com/ps3-openplatform/manual.htmlStep 5: Install the Linux operating system

    Insert a bootable installation disc for the Linux operating system in the PS3? system. The initial steps to install Linux may vary depending on the Linux distribution.

    For example, for Fedora 10, you will need to type “linux noselinux video=720p” from the command line of the boot loader. Other Linux operating systems may only require pressing the Enter key. If both “linux32”and “linux64” appear on the installation menu, select “linux64” because the PS3? system can execute only a 64-bit Linux kernel. For additional information on installing Linux, refer to the instructions provided with the distribution, or refer to the website for the associated community. read more

  • 程序编译方法

    2009年12月18日 阅读(344)

    1.md_sim
    mpicc -o p.out md_sim.c /home/duanple/CBLAS/lib/LINUX/cblas_LINUX.a /home/duanple/BLAS/blas_LINUX.a data_partition.o processor_test.o

    2.线性方程族求解

    mpicc -o hete hete_solver.c /home/duanple/CBLAS/lib/LINUX/cblas_LINUX.a /home/duanple/BLAS/blas_LINUX.a -static

    4.scalapack实例程序scaex
    mpif90 -lg2c -o /home/duanple/scalapack/scalapack-1.8.0/TESTING/xdscaex pdscaex.o pdscaexinfo.o pdlaread.o pdlawrite.o  /home/duanple/scalapack/scalapack-1.8.0/libscalapack.a /home/duanple/scalapack/BLACS/LIB/blacsF77init_MPI-LINUX-0.a /home/duanple/scalapack/BLACS/LIB/blacs_MPI-LINUX-0.a /home/duanple/scalapack/BLACS/LIB/blacsF77init_MPI-LINUX-0.a /home/duanple/scalapack/lapack-3.2.1/lapack_LINUX.a /home/duanple/scalapack/lapack-3.2.1/blas_LINUX.a /home/duanple/intel/ict/3.0.1/mpi/3.0/lib/libmpi.a read more

  • mpich的安装配置(zz)

    2009年12月11日 阅读(444)

    这个算是我看到的一个对整个配置过程说的比较全面的文章。
    http://www.diybl.com/course/6_system/linux/Linuxjs/20090824/171053.html

    前段时间帮同学在linux下配了一个集群环境,参考了一些网上的文章,就把过程写出来,做个参考吧。其实在我们的环境下ssh已经是配置好的,但是我还是把网上看到的写下来,而且这个配置过程我试过,没有什么问题。 read more

  • gfortran 和mpif90的不同引发scalapack链接错误

    2009年12月10日 阅读(1,446)

    一.用这两个进行编译
    gfortran -c pdlaread.f
    mpif90 -c pdlaread.f
    然后用nm pdlaread.o进行查看,发现fortran函数gfortran加了一个下划线 而mpif90则加了两个。
    这也是之前出现下面的错误的原因。
    一个解决方案,使用gfortran编译成目标文件,仅用mpif90进行链接。但是用mpif90链接时却出现另一个错误
    usr/local/bin/mpif90: line 294: eval: -o: 无效的选项。所以也不可行,需要进行寻找方法。 read more

  • ftp及常用命令(zz)

    2009年12月8日 阅读(444)

    /etc/init.d/network restart
    service network restart
    mpiexec -n 2  ./hete
    mpiexec -machinefile hosts -np 2  ./hete
    启动ftp服务: /usr/local/sbin/proftpd

    安装ftpd服务器:http://hi.baidu.com/enovo/blog/item/dc64b119bd8f6f4043a9ade7.html
    这里安装的所proftpd.

    ftp常用命令:
    ftp -v -d -i -n -g [主机名] ,其中 FTP的命令行格式为:
    -v 显示远程服务器的所有响应信息;
    -n 限制ftp的自动登录,即不使用;.n etrc文件;
    -d 使用调试方式;
    -g 取消全局文件名。 read more

  • 多机mpi并行配置

    2009年12月7日 阅读(1,662)

    转载请注明作者:phylips@bmy 出处: http://duanple.blog.163.com/blog/static/70971767200911735313192/

    一.mpich安装步骤
    #./configure –prefix=/usr/local/mpich-gcc –rsh=/usr/bin/ssh
    #make
    #make install
    其中prefix后面的是安装的目录,安装完成后就可以看到。

    (卸载mpi是进入到/usr/local/mpich-gcc/sbin/mpiuninstall.) read more

  • 毕业那几天-2007

    2009年12月4日 阅读(443)

    偶尔发现,我竟然还保存着当年毕业的那几天的记录,把这些流水的句子看看,发现竟然还能回忆起那年的许多。

    走到记忆里,仿佛是另一个世界,或许当年的我们都会在心中想起不同的情景,有一点却是相同的,那些日子里我们一起走过。人生有许多的过去和未来,那最好的年华在哪里,又是怎样度过的呢?每个人的心里总会有不同的答案。
    —————————————————————————————————————————————
    7月7日 read more

Older Posts
Newer Posts

全站热门

  • 分布式系统领域经典论文翻译集 - 17,578 views
  • AddressSanitizer&ThreadSanitizer原理与应用 - 8,472 views
  • 分布式领域经典论文译序 - 6,457 views
  • 线性一致性理论 - 5,063 views
  • About - 4,944 views
  • 深度探索分布式理论经典论文 - 4,513 views
  • Paxos Made Live(译) - 4,264 views
  • 【google论文二】Google文件系统(上) - 3,864 views
  • Google论文、开源与云计算 - 3,732 views
  • Avro: 大数据的数据格式(zz) - 3,576 views

分类目录

  • AI
  • linux
  • 分布式系统
  • 思维训练
  • 技术专题
  • 文思
  • 未分类
  • 流年
  • 离奇的code
  • 程序设计语言
  • 算法与acm
  • 网络及内核
  • 计算机科学与人物
  • 设计模式
  • 读书笔记
  • 转载
  • 闲时思考
  • 高性能计算

近期文章

  • 深入理解大模型推理过程(3):一个LLM请求的推理过程实现-模型加载
  • 深入理解大模型推理过程(2):一个LLM请求的推理过程实现-tokenizer
  • 深入理解大模型推理过程(1):一个LLM请求的基本处理过程
  • 深入理解大模型训练推理过程 — 从本地运行开始
  • NewSQL Basis

近期评论

  • 深度探索分布式理论经典论文 – duanple发表在《The Five-Minute Rule 20 Years Later(译)》
  • test – duanple发表在《Paxos Made Live(译)》
  • test – duanple发表在《分布式系统领域经典论文翻译集》
  • test – duanple发表在《Distributed Snapshots-Determining Global States of a Distributed System(译)》
  • test – duanple发表在《Solution of a Problem in Concurrent Programming Control(译)》

标签

bigtable distributed google hadoop hbase hive leveldb linux lsm-tree mapreduce master nosql paxos pregel python scale sql sstable 人面不知何处去 分布式 分布式系统 思维训练 技术专题 搜索与分布式 文思 服务器 未名湖畔 流年 离奇的code 程序设计语言 算法与acm 算法与acm 面试 线程 经典论文 经史子集 网络及内核 翻译 节点 计算机科学 论文 设计模式 读书笔记 闲时思考 集群 高性能计算

文章归档

  • 2026年9月
  • 2026年8月
  • 2021年6月
  • 2021年1月
  • 2020年12月
  • 2020年10月
  • 2019年8月
  • 2018年11月
  • 2018年9月
  • 2018年6月
  • 2015年1月
  • 2014年2月
  • 2013年11月
  • 2013年10月
  • 2013年9月
  • 2013年6月
  • 2013年5月
  • 2013年4月
  • 2013年3月
  • 2013年2月
  • 2013年1月
  • 2012年12月
  • 2012年11月
  • 2012年10月
  • 2012年9月
  • 2012年8月
  • 2012年7月
  • 2012年6月
  • 2012年5月
  • 2012年4月
  • 2012年1月
  • 2011年12月
  • 2011年11月
  • 2011年10月
  • 2011年9月
  • 2011年8月
  • 2011年7月
  • 2011年6月
  • 2011年5月
  • 2011年4月
  • 2011年3月
  • 2011年1月
  • 2010年12月
  • 2010年11月
  • 2010年10月
  • 2010年8月
  • 2010年7月
  • 2010年6月
  • 2010年5月
  • 2010年4月
  • 2010年3月
  • 2010年1月
  • 2009年12月
  • 2009年11月
  • 2009年10月
  • 2009年9月
  • 2009年8月
  • 2009年7月
  • 2009年6月
  • 2009年5月
  • 2009年4月
  • 2009年3月
  • 2009年2月
  • 2009年1月
  • 2008年12月
  • 2008年11月
  • 2008年10月
  • 2008年9月
  • 2008年8月
  • 2008年7月
  • 2008年6月
  • 2008年5月
  • 2008年4月
  • 2008年3月

功能

  • 登录
  • 文章RSS
  • 评论RSS
  • WordPress.org

业界大牛

  • James Hamilton
  • Werner Vogels

Copyright © 2018 Pixeldom Lite | Developed by ThemeBounce

Back to top | 京ICP备18037177号