- 浏览: 144755 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
EclipseEye:
fair_jm 写道不错 蛮详细的 谢谢分享
SWT/JFace专题 --- SWT中Display和多线程 -
fair_jm:
不错 蛮详细的 谢谢分享
SWT/JFace专题 --- SWT中Display和多线程
数据倾斜总结
http://www.alidata.org/archives/2109
浅析 Hadoop 中的数据倾斜
http://my.oschina.net/leejun2005/blog/100922
http://blog.csdn.net/longshenlmj/article/details/17304437
[大牛翻译系列]Hadoop(14)MapReduce 性能调优:减小数据倾斜的性能损失
http://www.cnblogs.com/datacloud/p/3601624.html?utm_source=tuicool
hive优化方式和使用技巧
http://blog.csdn.net/wisgood/article/details/17301843
HIVE中MAPJOIN可以使用的场景分析
http://blog.csdn.net/jiedushi/article/details/7662819
在hive的hive-default.xml配置文件中数据倾斜相关参数设置
http://www.alidata.org/archives/2109
浅析 Hadoop 中的数据倾斜
http://my.oschina.net/leejun2005/blog/100922
http://blog.csdn.net/longshenlmj/article/details/17304437
[大牛翻译系列]Hadoop(14)MapReduce 性能调优:减小数据倾斜的性能损失
http://www.cnblogs.com/datacloud/p/3601624.html?utm_source=tuicool
hive优化方式和使用技巧
http://blog.csdn.net/wisgood/article/details/17301843
HIVE中MAPJOIN可以使用的场景分析
http://blog.csdn.net/jiedushi/article/details/7662819
在hive的hive-default.xml配置文件中数据倾斜相关参数设置
<property> <name>hive.map.aggr</name> <value>true</value> <description>Whether to use map-side aggregation in Hive Group By queries</description> </property> <property> <name>hive.groupby.skewindata</name> <value>false</value> <description>Whether there is skew in data to optimize group by queries</description> </property>
发表评论
-
数据迁移相关(关系型数据库mysql,oracle和nosql数据库如hbase)
2015-04-01 15:15 722HBase数据迁移(1) http://www.importn ... -
zookeeper适用场景:如何竞选Master及代码实现
2015-04-01 14:53 771zookeeper适用场景:如何竞选Master及代码实现 h ... -
MR/hive 数据去重
2015-04-01 14:43 713海量数据去重的五大策略 http://www.ciotimes ... -
创建数据仓库相关
2015-03-26 17:29 683数据仓库系列 http://blog.csdn.net/kin ... -
hive牛逼(2)hive数据的导入、导出方式
2015-03-19 00:00 5541.Hive几种数据导入方式 http://www.itebl ... -
面试牛x题
2015-03-18 23:50 0hive、mr(各需三道) 1.分别使用Hadoop MapR ... -
使用shell并发上传文件到hdfs
2015-03-16 21:41 1230使用shell并发上传文件到hdfs http://mos19 ... -
hadoop集群监控工具Apache Ambari
2015-03-14 17:27 0Apache Ambari官网 http://ambari.a ... -
Hadoop MapReduce优化相关
2015-03-16 21:46 452[大牛翻译系列]Hadoop 翻译文章索引 http://ww ... -
hive牛逼(1)hive一览 备忘
2015-03-12 09:02 9991. 基本数据类型 tinyint , smallint, ... -
MapReduce牛逼(4)WritableComparable接口
2015-03-12 08:57 578@Public @Stable A Writable whi ... -
MapReduce牛逼(3)(继承WritableComparable)实现自定义key键,实现二重排序
2015-03-12 08:57 626package sort; import jav ... -
MapReduce牛逼(2)MR简单实现 导入数据到hbase例子
2015-03-12 08:57 1250package cmd; /** * MapRe ... -
MapReduce牛逼(1)MR单词计数例子
2015-03-11 00:44 1188package cmd; import org. ... -
InputFormat牛逼(9)FileInputFormat实现类之SequenceFileInputFormat
2015-03-11 00:24 1384一、SequenceFileInputFormat及Seque ... -
InputFormat牛逼(8)FileInputFormat实现类之TextInputFormat
2015-03-11 00:19 560/** An {@link InputFormat} for ... -
InputFormat牛逼(6)org.apache.hadoop.mapreduce.lib.db.DBRecordReader<T>
2015-03-11 00:11 651@Public @Evolving A RecordRead ... -
InputFormat牛逼(5)org.apache.hadoop.mapreduce.lib.db.DBInputFormat<T>
2015-03-10 23:10 581@Public @Stable A InputFormat ... -
InputFormat牛逼(4)org.apache.hadoop.mapreduce.RecordReader<KEYIN, VALUEIN>
2015-03-10 22:50 345@Public @Stable The record rea ... -
InputFormat牛逼(3)org.apache.hadoop.mapreduce.InputFormat<K, V>
2015-03-10 22:46 630@Public @Stable InputFormat d ...
相关推荐
网站流量数据分析 (MapReduce+Hive综合实验)
基于hadoop的Hive数据仓库JavaAPI简单调用的实例,关于Hive的简介在此不赘述。hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI CLI,即Shell命令行 JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似 Web...
mapreduce方式入库hbase hive hdfs,速度很快,里面详细讲述了代码的编写过程,值得下载
分布式文件管理系统 Hadoop MapReduce Hive
利用Hive进行复杂用户行为大数据分析及优化案例(全套视频+课件+代码+讲义+工具软件),具体内容包括: 01_自动批量加载数据到hive 02_Hive表批量加载数据的脚本实现(一) 03_Hive表批量加载数据的脚本实现(二) ...
NULL 博文链接:https://coderplay.iteye.com/blog/468623
数据倾斜长的表现 以Hadoop和Spark是最常见的两个计算平台,下面就以这两个平台说明: 1、Hadoop中的数据倾斜 Hadoop中直接贴近用户使用使用的时Mapreduce程序和Hive程序,虽说Hive最后也是用MR来执行(至少目前...
hadoop+ha+hive+mapreduce,包括hdfs,mapreduce,hive详细原理以及生产实战,还有hdfs的高可用性等等
hadoop1.1.2操作例子 包括hbase hive mapreduce相应的jar包
选题:搜狗日志查询分析 (MapReduce+Hive综合实验) 前提条件: 安装好hadoop2.8.0 安装好HQL 安装好Hive 安装好eclipse 选题要求: 解压数据源,并上传到hdfs,...思路:用MapReduce做数据清洗,用Hive来分析数据。
【MapReduce篇07】MapReduce之数据清洗ETL1
hive+Mapreduce 编程性能调优
hadoop实现网站流量数据分析(MapReduce+hive)程序+说明.rar
⼤数据常见问题之数据倾斜 什么是数据倾斜 简单的讲,数据倾斜就是我们在计算数据的时候,数据的分散度不够,导致⼤量的数据集中到了⼀台或者⼏台机器上计算,这些数据的计 算速度远远低于平均计算速度,导致整个...
mapreduce基本数据读取,通俗易懂。 此项目情景为,遗传关系族谱。 (爷爷 、父母 、孩子) 经典案例
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储...
1. HIVE结构 6 1.1 HIVE架构 6 1.2 Hive 和 Hadoop 关系 7 1.3 Hive 和普通关系数据库的异同 8 1.4 HIVE元数据库 9 1.4.1 DERBY 9 1.4.2 Mysql 10 1.5 HIVE的数据存储 11 1.6 其它HIVE操作 11 2. HIVE 基本操作 12 ...
1、传统的海量数据分析方案 2、Apache Hadoop项目 3、HDFS设计 4、MapReduce 5、Pig & Hive 6、Spark ……
Hadoop3.x的MapReduce&Yarn学习资料,实例丰富
1. Hadoop+Hive构建数据仓库 2. django+echarts网站开发 3. 数据清洗,数据模型构建 毕业设计,采用Hadoop+Hive构建数据仓库,使用django+echarts构建前端web网站对业务指标进行可视化呈现 毕业设计,采用Hadoop+...