Hive进阶―抽样的各种玩法

  发布时间:2026-11-17   作者:玩站小弟   我要评论
谷歌搜索留痕【tg:seogoogle987】。

 

抽样

抽样在Hive 中也是比较常用的一种手段,主要用在下面的几个场景中

一些机器学习的场景中,数仓作为数据的提供方提供样本数据 数据的计算结果异常或者是指标异常,这个时候如果我们往往需要确认数据源的数据是否本身就有异常 SQL的性能有问题的时候我们也会使用抽样的方法区查看数据,然后进行SQL调优 在大规模数据量的数据分析及建模任务中,往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源,因此一般情况下只需要抽取一小部分数据进行分析及建模操作。

随Hi机抽样(rand()函数)

我们一般情况下是使用排序函数和rand() 函数来完成随机抽样,limit关键字限制抽样返回的数据,不同之处再有我们使用哪个排序函数呢

利用 rand() 函数进行抽取,这是因为rand() 返回一个0到1之间double 类型的随机值。

下面我们用到了前面我们使用过的一张表大概4603089 条记录,这里我就不给大家准备数据了,大家可以看Hive进阶之数据存储格式来获取测试数据

create table ods_user_buvecket_log(      id int,      name string,      city string,      phone string, &nbs进阶p;    acctime string) CLUSTERED BY (`id` ) INTO 5 BUCKETS  row format delimited fields terminated by ' ' stored as&nbs―抽p;textfile; insert overwrite table ods_user_bucket_log select * from ods_user_log; 

order by rand()

order by只会启用一个reduce所以比较耗时,至于为什么我们在前面的文章中解释过了Hive语法之常见排序方式

因为order by 是全局的,所以可以做到随机抽样的目的

s样的elect * from ods_user_bucket_log order by rand() limit 10; 

sort by rand()

sort by 提供了单个 reducer 内的排序功能,但不保证整体有序,这个时候其实不能做到真正的随机的,因为此时的随机是针对分区去的,所以如果我们可以通过控制进入每个分区的数据也是随机的话,那我们就可以做到随机了

select&nb各种sp;* from ods_user_bucket_log sort by rand() limit 10; 

distribute by rand() sort by rand()

rand函数前的distribute和sort关键字可以保证数据在mapper和reducer阶段是随机分布的,这个时候我们也能做到真正的随机,前面我们也介绍过cluster by 其实基本上是和distribu玩法te by sort by 等价的

select * from ods_user_bucket_log distribute by rand() sort by rand() limit 10; 

cluster by rand()

cluster by 的功能是 distribute by 和 sort by 的功能相结合,distribute by rand() soHirt by rand() 进行了两次随机,cluster by rand() 仅一次随机,所以速度上会比上一种方法快

select * from ods_user_bucket_log cluster by rand() limit 10; 

tablesample()抽样函数

分桶抽样(桶表抽样)

hive中分桶其实就是根据某一个字段Hash取模,放入指定数据的桶中,比如将表tableve按照ID分成100个桶,其算法是hash(id) % 100,这样,hash(id) % 100 = 0的数据被放到第一个桶中,hash(id) % 100 = 1的记录被放到第二个桶中。

分桶抽样语法:

TABLESAMPLE (BUCKET x OUT OF y [ON colname])

其中x是要抽样的桶编号,桶编号从1开始,colname表示抽样的列(也就是按照那个字段分桶),y表示桶的数量。所以表达的意思是按照colname字段分成y桶,抽取其中的第x桶

SELECT &进阶nbsp;   * FROM     ods_user_bucket_log TABLESAMPLE (BUCKET 1 OUT OF 100000 ON rand()) ; 

数据块抽样

从 Hive 0.8 开始提供块抽样,使用 tablesample 抽取指定的 行数/比例/―抽大小

SELECT * FROM ods_user_data TABLESAMPLE(1000 ROWS); SELECT * FROM ods_user_data TABLESAMPLE (20 PERCENT);  SELECT * FROM ods_user_data&nbs样的p;TABLESAMPLE(1M);  

按比例抽样 ABLESAMPLE (20 PERCENT)

这将允许 Hive 至少获取 n%的数据

SELECT     * FROM     ods_user_bucket_log TABLESAMPLE(0.0001 PERCENT); 

抽取特定大小的数据TABLE各种SAMPLE(100M)

SELECT     * FROM     ods_user_bucket_log TABLESAMPLE(1M); 

需要注意的是这里必须是整数M ,以为我尝试零点几的时候报错了

抽取特定的行数 TABLESAMPLE(10 ROWS)

SELECT     *&玩法nbsp;FROM     ods_user_bucket_log TABLESAMPLE(10 rows); 

 

  • Tag:

相关文章

  • 彭博社:阿里巴巴旗下AI助手千问首次开放Agent技术 接入东方航空

    4月23日,彭博社报道称,阿里巴巴旗下AI助手千问首次向其主要商业伙伴开放Agent技术,接入中国东方航空公司航班,帮助用户用AI预订机票,这将有助于产生“全新”种类的需求。 据介绍,用户现在可以通过
    2026-11-17
  • 标签: 快手 火绒安全 直播攻击 AI攻防

    云梦级12月25日云梦级消息,快手直播功能于 2025 年 12 月 22 日 22:00 左右遭到网络攻击,多个直播间出现违法内容。火绒安全发文,对此次事件进行了分析及讲解。 火绒表示,该短视频平台
    2026-11-17
  • 云安全日报210421:Oracle WebLogic应用服务器发现反序列化漏洞,需要尽快升级

    WebLogic是美国Oracle公司出品的一个application server,它是一个基于JAVAEE架构的中间件,WebLogic是用于开发、集成、部署和管理大型分布式Web应用、网络应用和
    2026-11-17
  • 标签: 海尔智家 卡萨帝 Leader Seeker

    云梦级3月26日云梦级消息,3月26日晚间,海尔智家发布了2025年报。财报显示,海尔智家营收首次突破3000亿元,达3023.47亿元,同比增长5.71%;归母净利润195.53亿元,同比增长4.3
    2026-11-17
  • 标签: 问界汽车 天美蒙特利尔 ASML EUV光刻

    Hello,大家早上好,又是元气满满的一天,先来浏览新鲜的早报吧~ 【问界汽车回应广东省惠州市车辆起火】 经初步调查,车辆三电系统状态正常,且未见车辆其它自身异常,判断事件非车辆自身原因导致。 【腾讯
    2026-11-17
  • 阿里云设立国际能力中心 升级海外技术及服务能力

    1月9日,在阿里云新加坡峰会上,阿里云宣布进一步加大海外投入,在新加坡设立国际能力中心,全面升级海外服务体系,以增强对海外市场及客户的技术支持和服务能力。近年来,阿里云海外业务保持高速增长,三年营收增
    2026-11-17

最新评论