业界动态
【大数据】大数据OLAP查询引擎选型对比
2024-11-06 02:10

        目前大数据比较常用的OLAP查询引擎包括:Presto、Impala、Druid、Kylin、Doris、Clickhouse、GreenPlum等。

【大数据】大数据OLAP查询引擎选型对比

        不同引擎特点不尽相同,针对不同场景,可能每个引擎的表现也各有优缺点。下面就以上列举的几个查询引擎做简单介绍。

        Presto是 Facebook 推出的一个开源的分布式SQL查询引擎,数据规模可以支持GB到PB级,主要应用于处理秒级查询的场景。Presto 的设计和编写完全是为了解决像 Facebook 这样规模的商业数据仓库的交互式分析和处理速度的问题。虽然 Presto 可以解析 SQL,但它不是一个标准的数据库。不是 MySQL、Oracle 的代替品,也不能用来处理在线事务(OLTP)。

        Presto 支持在线数据查询,包括 Hive,关系数据库(MySQL、Oracle)以及专有数据存储。一条 Presto 查询可以将多个数据源的数据进行合并,可以跨越整个组织进行分析(跨库执行)。Presto 主要用来处理 响应时间小于 1 秒到几分钟的场景 。

        Presto 是一个运行在多台服务器上的分布式系统。完整安装包括一个 Coordinator 和多 个 Worker。由客户端提交查询,从 Presto 命令行 CLI 提交到 Coordinator。Coordinator 进行 解析,分析并执行查询计划,然后分发处理队列到 Worker 。

        Presto也是一个master-slave架构的查询引擎。其架构图如下图所示:

     Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和Hbase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义,但由于Hive底层执行使用的是MapReduce引擎,仍然是一个批处理过程,难以满足查询的交互性。相比之下,Impala的最大特点也是最大卖点就是它的快速。

   是一个(大规模并行处理)查询引擎

  • 是一个用和编写的开源软件;
  • 用于处理存储在集群中大量的数据;
  • 性能最高的引擎(提供类似的体验),提供了访问存储在分布式文件系统中的数据的最快方法。
  • 使用impala,用户可以使用传统的SQL知识以极快的速度处理存储在HDFS、Hbase和Amazon s3中的数据中的数据,而无需了解Java(MapReduce作业)。
  • 由于在数据驻留(在Hadoop集群上)时执行数据处理,因此在使用Impala时,不需要对存储在Hadoop上的数据进行数据转换和数据移动。
  •     但是:

  • 不提供任何对序列化和反序列化的支持;
  • 只能读取文本文件,而不能读取自定义二进制文件;
  • 每当新的记录/文件被添加到中的数据目录时,该表需要被刷新;
  • 不支持text域的全文搜索;

  • 不支持Transforms;

  •     以上就是本篇文章【【大数据】大数据OLAP查询引擎选型对比】的全部内容了,欢迎阅览 ! 文章地址:http://xiaoguoguo.dbeile.cn/news/498.html 
         资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 多贝乐移动站 http://xiaoguoguo.dbeile.cn/mobile/ , 查看更多   
  • 最新新闻
    曹德旺退掉美国绿卡:真正企业家不移民海外,要对国家与历史负责
    “美国绿卡”,对于某些人来说是多么有极大的诱惑力,尤其是那些艺术圈里的一些名人,不惜名誉上的得失,挖空心思般地想获得,并
    2024春节观察丨春节前夕实探线下金店:每克609元也要买?
    央视网消息(记者/杨绎霏 姚抒廷 剪辑/杜安琪 编辑/阚纯裕):2024开年,适逢春节,黄金消费热度高涨。2024年1月,上海黄金交易
    李佳琦直播带来的反思:普通女生为何应谨慎医美消费?
    在最新一期直播中,知名网红主播李佳琦以其独特的视角引发了关于医美的热议。他公开表示,并不推荐普通女生进行医美项目,理由简
    原创电子学生证代替手机进入校园的解决方案是什么?微幼科技
    以前的孩子自己组团去玩耍,去学校,现在的孩子后面跟着一位或几位监护人。但当孩子上小学或幼儿园后,双职工家庭在没有老人的情
    安利/吐槽|限薪令后内娱爱豆真实收入,大家可以根据名气猜一下自家花花大概赚多少
    图里就是乐华发给艺人的税前分成,扣除税,剩下全是艺人的,假设艺人好好缴税,所以别歪楼。其中:B是王一博,2019至2021,分别
    冲上热搜!李佳琦称不建议普通女生做医美
    在当今这个号称“看脸”的时代,很多普通女生都在思考一个问题:到底要不要尝试医美呢?近日,李佳琦的一番话无疑让这个话题又一
    东鹏饮料营收净利实现双增,“存贷双高”与董秘年薪成焦点
    经济导报见习记者 贾义航近日,功能饮料龙头(605499.SH)极具热度。一方面,公司在2024年交出158.39亿元营收、63.09%净利增速亮
    被61岁白发不染的叶童惊艳到!穿紧身衣毫无赘肉,腰臀比简直逆天
    明明是老太太的年纪,却偏偏有少年感!?话说最近61岁的叶童,真的快把网友们迷晕了!当年爆火的《新白娘子传奇》,没想到现在还
    东鹏特饮IPO:跟跑30年逆袭中国第一,能否反攻东南亚红牛大本营?
    中国功能饮料市场正经历结构性调整,东鹏饮料(集团)股份有限公司(下称“”)依托高品价比错位竞争与深度分销网络实现市场份额
    刘强东:京东高管降薪10%到20%,将投数百亿帮员工买房丨邦早报
    【刘强东发全员信:京东高管降薪10%到20%,投入数百亿帮员工买房】日前,京东集团创始人、董事会主席刘强东在给全体员工的邮件中