ITeye博客

源码,那些事...

EclipseEye · 共 122 篇文章

数据迁移相关(关系型数据库mysql,oracle和nosql数据库如hbase)

HBase数据迁移(1) http://www.importnew.com/3226.html HBase数据迁移(2)- 使用bulk load 工具从TSV文件中导入数据 http://www.importnew.com/3645.html HBase数据迁移(3)-自己编写MapReduce Job导入数据 http://www.importnew.com/3912.html 提升HBase数据库写入性能 http://database.51cto.com/art/201303/387122.htm Mysql到HBase数据迁移Sqoop工具方法 http://www.it165.n…

2015-04-01 15:15 · Hadoop/MapReaduce · Hbase/nosql · Hive/hql · 评论(0)

zookeeper适用场景:如何竞选Master及代码实现

zookeeper适用场景:如何竞选Master及代码实现 http://www.aboutyun.com/thread-9277-1-1.html 【zookeeper源代码分析系列】Zookeeper的Leader选举 http://www.douban.com/note/227624842/?type=like 【选举算法】 QuorumPeer.startLeaderElection 先获取选举算法配置electionType -> config.getElectionAlg() -> electionAlg QuorumPeer.createElectionAlgorithm根据e…

2015-04-01 14:53 · Hadoop/MapReaduce · 评论(0)

MR/hive 数据去重

海量数据去重的五大策略 http://www.ciotimes.com/bi/sjck/77064.html 【每日N题】由海量数据去重所想到的,面试思维惯式 http://blog.csdn.net/sunxinhere/article/details/8011144

2015-04-01 14:43 · Hadoop/MapReaduce · Hive/hql · 评论(0)

bd问题汇总

1.一致性hash memcache的一致性hash算法使用 http://blog.csdn.net/kongqz/article/details/6695417 基于Redis分布式缓存实现 http://www.linuxidc.com/Linux/2012-11/74363.htm 2.bloom filter http://www.cnblogs.com/haippy/archive/2012/07/13/2590351.html 3.sql优化 http://www.jb51.net/article/24392.htm 4.jvm垃圾回收原理级ABA问题 http://blog.…

2015-03-29 20:39 · 评论(0)

创建数据仓库相关

数据仓库系列 http://blog.csdn.net/kingzone_2008/article/category/1272612 数据仓库中维度建模 http://blog.csdn.net/athenaer/article/details/7885662 数据仓库构建步骤 http://www.douban.com/note/233806228/ http://www.csdn.net/tag/数据仓库 使用 Hive 构建数据仓库 http://www.ibm.com/developerworks/cn/data/library/bd-hivewarehouse/ http://bl…

2015-03-26 17:29 · Hbase/nosql · Hive/hql · 评论(0)

hive牛逼(2)hive数据的导入、导出方式

1.Hive几种数据导入方式 http://www.iteblog.com/archives/949 2.Hive几种数据导出方式 http://www.iteblog.com/archives/955

2015-03-19 00:00 · Hive/hql · 评论(0)

shell:搜索目录中的txt文件,并修改文件内容

方法一 find ./ -name "*.txt" | while read f; do sed -i '1i welcome to eclipseeye 23333333'; done 方法二 find ./ -name "*.txt" | xargs sed -i '1i welcome to eciipseeye 23333' 方法三 find ./ -name "*.txt" -exec sed -i '1i welcom to eciipseeye 23333' {} \

2015-03-18 11:12 · Linux/Unix · Python/shell · 评论(0)

Linux xargs命令

Linux xargs命令 xargs是给命令传递参数的一个过滤器,也是组合多个命令的一个工具。它把一个数据流分割为一些足够小的块,以方便过滤器和命令进行处理。通常情况下,xargs从管道或者stdin中读取数据,但是它也能够从文件的输出中读取数据。xargs的默认命令是echo,这意味着通过管道传递给xargs的输入将会包含换行和空白,不过通过xargs的处理,换行和空白将被空格取代。 xargs 是一个强有力的命令,它能够捕获一个命令的输出,然后传递给另外一个命令,下面是一些如何有效使用xargs 的实用例子。 当你尝试用rm 删除太多的文件,你可能得到一个错误信息:/bin/rm Ar…

2015-03-18 09:37 · Linux/Unix · Python/shell · 评论(0)

shell中grep命令详解

===================================== grep查找文件中的关键词 -- r表示递归,n表示显示行号 include表示只找php,hello,world是查找内容,mydir是查找目录 grep -nr --include="*.php" "hello,world" /mydir/ -- 只显示文件清单,不显示行数,和匹配内容 grep -lr --include="*.php" "hello,world" /mydir/ ========================================= 用‘grep’搜索文本文件 如果您要在几个文本文…

2015-03-17 15:24 · Linux/Unix · Python/shell · 评论(0)

linux下使用tar命令

linux下使用tar命令 解压 语法:tar 文件或者目录 使用该命令时,主选项是必须要有的,它告诉tar要做什么事情,辅选项是辅助使用的,可以选用。 主选项: c 创建新的档案文件。如果用户想备份一个目录或是一些文件,就要选择这个选项。相当于打包。 x 从档案文件中释放文件。相当于拆包。 t 列出档案文件的内容,查看已经备份了哪些文件。 特别注意,在参数的下达中, c/x/t 仅能存在一个!不可同时存在!因为不可能同时压缩与解压缩。 辅助选项: -z :是否同时具有 gzip 的属性?亦即是否需要用 gzip 压缩或解压? 一般格式为xx.tar.gz或xx. tgz -j :是否同时具…

2015-03-17 13:32 · Linux/Unix · Python/shell · 评论(0)

Hadoop MapReduce优化相关

Hadoop 翻译文章索引 http://www.cnblogs.com/datacloud/p/3604492.html mapreduce合并小文件成sequencefile http://shiyanjun.cn/archives/291.html http://blog.csdn.net/xiao_jun_0820/article/details/42747537 http://www.cnblogs.com/dandingyy/archive/2013/03/08/2950720.html HDFS小文件问题及解决方案 http://dongxicheng.org/mapreduc…

2015-03-16 21:46 · Hadoop/MapReaduce · 评论(0)

数据倾斜问题 牛逼(1)数据倾斜之MapReduce&hive

数据倾斜总结 http://www.alidata.org/archives/2109 浅析 Hadoop 中的数据倾斜 http://my.oschina.net/leejun2005/blog/100922 http://blog.csdn.net/longshenlmj/article/details/17304437 Hadoop(14)MapReduce 性能调优:减小数据倾斜的性能损失 http://www.cnblogs.com/datacloud/p/3601624.html?utm_source=tuicool hive优化方式和使用技巧 http://blog.csdn.…

2015-03-16 21:43 · Hadoop/MapReaduce · Hive/hql · 评论(0)

使用shell并发上传文件到hdfs

使用shell并发上传文件到hdfs http://mos1989.blog.51cto.com/4226977/1589807?utm_source=tuicool hdfs日志上传脚本(三) http://www.verydemo.com/demo_c353_i4063.html 海量Web日志分析 用Hadoop提取KPI统计指标 http://blog.fens.me/hadoop-mapreduce-log-kpi/ 每天一个linux命令(60):scp命令 http://www.cnblogs.com/peida/archive/2013/03/15/2960802.html …

2015-03-16 21:41 · Linux/Unix · Hadoop/MapReaduce · Python/shell · 评论(0)

Flume 牛逼(1)flume资料备忘

Flume NG 简介及配置实战 http://my.oschina.net/leejun2005/blog/288136?utm_source=tuicool Flume(NG)架构设计要点及配置实践 http://shiyanjun.cn/archives/915.html 分布式日志收集系统Apache Flume的设计详细介绍 http://www.aboutyun.com/thread-7848-1-1.html 牛逼人博客 http://my.oschina.net/leejun2005/blog Hadoop、Pig、Hive、Storm、NoSQL 学习资源收集【Updati…

2015-03-12 16:32 · 评论(0)

hive牛逼(1)hive一览 备忘

基本数据类型 tinyint , smallint, int, bigint, float, double, boolean: true/false, string 基础运算符与函数 A IS NULL 空 A IS NOT NULL 非空 A LIKE B 模糊匹配 A RLIKE B 正则表达式匹配 A REGEXP B 正则表达式匹配 类型转换 cast(expr as ) 例如: cast('1' as BIGINT) 将字符串'1'转化成bigint型 日期函数 返回值类型 名称 描述 string from_unixtime(int unixtime) 将时间戳(unix epo…

2015-03-12 09:02 · Hive/hql · 评论(0)