ITeye博客

turnRound

handawei · 共 314 篇文章

hadoop笔记1

hdfs mapreduce简介 Hadoop组件 结构组成 Hadoop由2个主要的主件组成:hdfs,mapreduce 1) Hdfs 分布式文件系统,按照组成分为 masterNode: nameNode,JobTracker,SecondaryNameNode slaveNode: DataNode,TaskTracker nameNode:文件在各节点分块对应表。 SecondaryNameNode:文件分布快照,是NameNode的补充节点。 DataNode:数据的io操作。 taskTracker:各节点的操作监视节点 2) Mapreduce 设计为hdfs文件的计算组件…

2013-11-18 01:34 · hadoop · 评论(0)

linux下eclipse集成hadoop1.2.1

linux下eclipse集成hadoop1.2.1 1.下载安装eclipse 2.下载安装hadoop 3.生成eclipse插件,并放入eclipse文件中 4.运行eclipse 并配置视图和HDFS文件系统 ps:虚拟机要联网,要运行hadoop,

2013-11-16 02:20 · 评论(0)

hadoop单机版安装

安装hadoop 准备环境: centos5.5final oracle的虚拟机 jdk安装包 hadoop稳定版本1.2.1 1.安装虚拟机的时候选择开发版本 把ssh服务安装上,省的后面单独安装 2.生成ssh密钥 并添加到authorized_keys文件中 3.安装JDK 4.安装hadoop 5.配置hadoop文件 6.格式化hadoop文件系统 7.运行hadoop 8.外部访问hadoop

2013-11-13 15:20 · hadoop · 评论(0)

C++程序员的阅读清单

转载: http://blog.jobbole.com/21544/

2013-04-03 13:53 · c++ · 评论(0)

字符串,Volatile

转载: http://www.ibm.com/developerworks/cn/java/j-lo-optmizestring/index.html 简介: String 方法用于文本分析及大量字符串处理时会对内存性能造成不可低估的影响。我们在一个大文本数据分析的项目中(我们统计一个约 300MB 的 csv 文件中所有单词出现的次数)发现,用于存放结果的 Collection 占用了几百兆的内存,远远超出唯一单词总数 20000 个。 本文将通过分析 String 在 JVM 中的存储结构,以及常见 String 操作对内存的影响阐述问题产生的原因及解决。. 然而,一个 Java 对象实…

2013-03-18 12:01 · java · 评论(0)

Oracle SQL性能优化

转: http://www.cnblogs.com/rootq/archive/2008/11/17/1334727.html (1) 选择最有效率的表名顺序(只在基于规则的优化器中有效): ORACLE的解析器按照从右到左的顺序处理FROM子句中的表名,FROM子句中写在最后的表(基础表 driving table)将被最先处理,在FROM子句中包含多个表的情况下,你必须选择记录条数最少的表作为基础表。如果有3个以上的表连接查询, 那就需要选择交叉表(intersection table)作为基础表, 交叉表是指那个被其他表所引用的表. (2) WHERE子句中的连接顺序.: ORACLE…

2013-03-05 15:20 · oracle · 评论(0)

多表连接的三种方式

转: http://blog.csdn.net/tianlesoftware/article/details/5826546 在多表联合查询的时候,如果我们查看它的执行计划,就会发现里面有多表之间的连接方式。 之前打算在sqlplus中用执行计划的,但是格式看起来有点乱,就用Toad 做了3个截图。 从3张图里我们看到了几点信息: 1. CBO 使用的ALL_ROWS模式 Oracle Optimizer CBO RBO http://blog.csdn.net/tianlesoftware/archive/2010/08/19/5824886.aspx 2. 表之间的连接用了hash Jo…

2013-02-04 17:14 · 数据库设计 · 评论(0)

oracle B-Tree和Bitmap索引对比详解

http://space.itpub.net/?uid-13062352-action-viewspace-itemid-614553 oracle B-Tree和Bitmap索引对比详解 B树索引是所有大型关系 数据库 毕用的技术,也是oracle数据库默认的索引技术。 基数:指的是你要创建索引的列中所包含的不同键值的数量。例如我们的列是性别,那么它的键值就是男、女所以你的索引基数是2. oracle中每个表的行都有一个rowid,用于标记这个行在数据库中的位置。 关于索引: B-TREE索引,结构如下: root / | \ branch1 ........ /|\ ..........…

2013-02-04 10:34 · oracle · 评论(0)

关于Union 中 ORA-12704:字符集不匹配问题的解决 .

zhuan:http://blog.csdn.net/lqh4188/article/details/7498354 在使用Union all连接时,若A集合中某列为nvarchar2或nvarchar类型,而B集合中无此列,用‘ ’ 来代替是会报字符集不匹配 ,解决方法有两种,见下面的示例 例: [sql] view plain copy print ? select '中国','China',cast('中国' as nvarchar2(10)) T from dual union all select '美国','USA','' from dual; select '中国','Chin…

2012-11-05 18:23 · sql · 评论(0)

桥接模式

转载: http://blog.pfan.cn/zizi/15963.html 桥接模式(Bridge Pattern) ——.NET设计模式系列之九 Terrylee,2006年2月 概述 在软件系统中,某些类型由于自身的逻辑,它具有两个或多个维度的变化,那么如何应对这种“多维度的变化”?如何利用面向对象的技术来使得该类型能够轻松的沿着多个方向进行变化,而又不引入额外的复杂度?这就要使用Bridge模式。 意图 将抽象部分与实现部分分离,使它们都可以独立的变化。[GOF 《设计模式》] 结构图 生活中的例子 桥接模式将抽象部分与它的实现分离,使它们能够独立地变化。一个普通的开关控制的电灯、…

2012-10-14 15:02 · javase模式 · 评论(0)

LOG4J

long4j配置 转载: http://www.iteye.com/topic/744693 1、首先去apache.org网站下载最新版本的log4j组件,推荐w使用1.2.x版本,下载地址: http://logging.apache.org/log4j/1.2/download.html ; 2、下载下来之后,找到其它相关联的Jar包,主要有如下几个:log4j.jar,common-logging.jar,common-io.jar,common-lang.jar,common-logging-api.jar,将它们添加到我们工程的classpath路径下; 3、在我们自己的工程中s…

2012-08-07 10:34 · java · 评论(0)

项目需求模板

项目需求模板 转载: http://fly-sky.iteye.com/blog/933037 需求分析 1. 引言 1.1 目的 说明编写这份报告的目的,指出预期的读者。 1.2 背景 指出待开发的软件系统的名称;行业情况;本项目的任务提出者、开发者、用户;该软件系统同其他系统或其他机构的基本的相互来往关系。 1.3 参考资料 列出编写本报告时参考的文件(如经核准的计划任务书或合同、上级机关的批文等)、资料、技术标准,以及他们的作者、标题、编号、发布日期和出版单位。 编号 资料名称 简介 作者 日期 出版单位 列出编写本报告时查阅的Intenet上杂志、专业著作、技术标准以及他们的网址。 …

2012-07-17 14:12 · 需求 · 评论(0)

我们应该怎么样做需求

我们应当怎样做需求确认:需求规格说明书 转载:http://fangang.iteye.com/blog/1505381 曾经有项目组拿着用户编写的原始需求就开始开发,随后状况不断,一次令人崩溃的研发过程。拿着用户编写的原始需求,编写我们自己的需求规格说明书,之所以重要,就在于用户编写的原始需求,是脱离了技术实现,编写的一份十分理想的业务需求。理想与现实总是有差距,我们之所以要编写自己的需求规格说明书,就是要本着实事求是、切实可行的态度,去描述用户的业务需求。那些不可行的需求被摒弃,或者换成更加可行的解决方案。这就是需求规格说明书的重要作用。 从理论上讲,需求规格说明书(Requiremen…

2012-07-09 10:55 · 需求 · 评论(0)

类图

类图 类图是OO建模三种模型(类模型,状态模型,交互模型)中最重要的。 类模型中包含的感念有: 对象,类,连接,关联,多重性,关联端名,排序,包,序列,关联类,提升为类的关联,限定关联,泛化和继承。 对象: 类:

2012-06-21 07:56 · 软件分析建模 · 分析建模 · 评论(0)

oracle解锁

查看锁表进程SQL语句1: select sess.sid, sess.serial#, lo.oracle_username, lo.os_user_name, ao.object_name, lo.locked_mode from v$locked_object lo, dba_objects ao, v$session sess where ao.object_id = lo.object_id and lo.session_id = sess.sid; 查看锁表进程SQL语句2: select * from v$session t1, v$locked_object t2 where…

2012-06-19 17:04 · sql · 评论(0)