Hive进阶―抽样的各种玩法
抽样
抽样在Hive 中也是比较常用的一种手段,主要用在下面的几个场景中
一些机器学习的场景中,数仓作为数据的提供方提供样本数据 数据的计算结果异常或者是指标异常,这个时候如果我们往往需要确认数据源的数据是否本身就有异常 SQL的性能有问题的时候我们也会使用抽样的方法区查看数据,然后进行SQL调优 在大规模数据量的数据分析及建模任务中,往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源,因此一般情况下只需要抽取一小部分数据进行分析及建模操作。
随Hi机抽样(rand()函数)
我们一般情况下是使用排序函数和rand() 函数来完成随机抽样,limit关键字限制抽样返回的数据,不同之处再有我们使用哪个排序函数呢
利用 rand() 函数进行抽取,这是因为rand() 返回一个0到1之间double 类型的随机值。
下面我们用到了前面我们使用过的一张表大概4603089 条记录,这里我就不给大家准备数据了,大家可以看Hive进阶之数据存储格式来获取测试数据
create table ods_user_vebucket_log( id int, name string, city string, phone string, &进阶nbsp; acctime string) CLUSTERED BY (`id` ) INTO 5 BUCKETS row format delimited fields terminated by ' ' stored as&nb―抽sp;textfile; insert overwrite table ods_user_bucket_log select * from ods_user_log;
order by rand()
order by只会启用一个reduce所以比较耗时,至于为什么我们在前面的文章中解释过了Hive语法之常见排序方式
因为order by 是全局的,所以可以做到随机抽样的目的
sele样的ct * from ods_user_bucket_log order by rand() limit 10;
sort by rand()
sort by 提供了单个 reducer 内的排序功能,但不保证整体有序,这个时候其实不能做到真正的随机的,因为此时的随机是针对分区去的,所以如果我们可以通过控制进入每个分区的数据也是随机的话,那我们就可以做到随机了
select 各种;* from ods_user_bucket_log sort by rand() limit 10;
distribute by rand() sort by rand()
rand函数前的distribute和sort关键字可以保证数据在mapper和reducer阶段是随机分布的,这个时候我们也能做到真正的随机,前面我们也介绍过cluster by 其实基本上是和distri玩法bute by sort by 等价的
select * from ods_user_bucket_log distribute by rand() sort by rand() limit 10;
cluster by rand()
cluster by 的功能是 distribute by 和 sort by 的功能相结合,distribute by rand()Hi sort by rand() 进行了两次随机,cluster by rand() 仅一次随机,所以速度上会比上一种方法快
select * from ods_user_bucket_log cluster by rand() limit 10;
tablesample()抽样函数
分桶抽样(桶表抽样)
hive中分桶其实就是根据某一个字段Hash取模,放入指定数据的桶中,比如将表tabvele按照ID分成100个桶,其算法是hash(id) % 100,这样,hash(id) % 100 = 0的数据被放到第一个桶中,hash(id) % 100 = 1的记录被放到第二个桶中。
分桶抽样语法:
TABLESAMPLE (BUCKET x OUT OF y [ON colname])
其中x是要抽样的桶编号,桶编号从1开始,colname表示抽样的列(也就是按照那个字段分桶),y表示桶的数量。所以表达的意思是按照colname字段分成y桶,抽取其中的第x桶
SELECT&nb进阶sp; * FROM ods_user_bucket_log TABLESAMPLE (BUCKET 1 OUT OF 100000 ON rand()) ;
数据块抽样
从 Hive 0.8 开始提供块抽样,使用 tablesample 抽取指定的 行―抽数/比例/大小
SELECT * FROM ods_user_data TABLESAMPLE(1000 ROWS); SELECT * FROM ods_user_data TABLESAMPLE (20 PERCENT); SELECT * FROM ods_user_data样的 TABLESAMPLE(1M);
按比例抽样 ABLESAMPLE (20 PERCENT)
这将允许 Hive 至少获取 n%的数据
SELECT * FROM ods_user_bucket_log TABLESAMPLE(0.0001 PERCENT);
抽取特定大小的各种数据TABLESAMPLE(100M)
SELECT * FROM ods_user_bucket_log TABLESAMPLE(1M);
需要注意的是这里必须是整数M ,以为我尝试零点几的时候报错了
抽取特定的行数 TABLESAMPLE(10 ROWS)
SELECT  玩法; * FROM ods_user_bucket_log TABLESAMPLE(10 rows);
- ·标签: 维通利 IPO 深交所 电连接
- ·云计算核心技术Docker教程:Docker使用BTRFS存储驱动程序
- ·标签: 文石BOOX 港交所上市 招股书 AI读写终端
- ·标签: MiniMax AGI 语音大模型 全模态
- ·标签: 公牛集团 603195 2025年报
- ·IDC:“双减”政策推动作用初显 中国学生平板电脑市场触底反弹
- ·YouTube 开放人脸声纹识别技术,演艺圈迎来“数字替身”保卫战
- ·微模式动态人脸识别布控系统解决方案
- ·标签: 腾讯 喜马拉雅 宇树 GD01
- ·标签: 火山引擎 豆包大模型 Seedance Agent
- ·SuperCLUE多模态视觉8月评测榜:Gemini-2.5-Pro位居第一
- ·标签: 福特 F-150 电动皮卡 特朗普关税
- ·AI根据代码内容自动起函数名,再也不怕命名不规范的同事了
- ·直击 Mac 桌面!OpenAI 收购 Sky 团队,ChatGPT 即将深度嵌入 macOS 工作流
- ·GPT-5通关宝可梦,创下9517步新纪录,效率惊人!
- ·英特尔有意收购SiFive 改善芯片技术击败Arm
- ·英伟达50亿美元入股英特尔,联手开发x86芯片挑战AMD
- ·标签: 海正药业 2025年年报 医药研发 扣非净利润
- ·关于人脸识别系统的8大常见问题
- ·PaaS、IaaS、SaaS、Bass、Fass、无服务的理解与区别
- ·标签: 个人信息保护 App违规 国家计算机病毒应急处理中心 微信小程序
- ·送你一个Python 数据排序的好方法
- ·标签: 美团 夏华夏 无人配送 自动驾驶
- ·全球云基础设施支出 已连续6个季度同比增长超过20%
- ·编程零基础秒出专业H5!豆包AI编程史诗级升级:PPT式拖拽+多Agent全自动协作,产品经理也能当全栈!
- ·软银豪赌AI未来!计划抵押 Arm 股份融资 50 亿美元
