大数据案例之HDFS-HIVE-Spark
  • 发现Hive后台使用MapReduce作为执行引擎,实在是有点慢.几十万数据查询了10+秒,上千万数据查询了100+秒。
  • 还是单纯查询没有附加任何条件。Hive作为数据仓库是不错的选择,单表支持几十亿数据库存储。
  • 对于查询来说,我想就需要考虑其他的MapReduce查询方式了。这里考虑学习SparkSql。
  • 原因的话就让我们一起来学习,认识吧。

推荐管理Hive数据库软件 Aginity Workbench for Hadoop

可视化管理HIVE数据、支持远程连接Hadoop根据dfs创建hive外部映射表。

文章作者: 陈 武
文章链接: http://www.updatecg.xin/2019/03/21/大数据案例之HDFS-HIVE-Spark/
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 我的学习记录
打赏
  • 微信
  • 支付寶

评论