ag娱乐平台
你好,游客 登录 注册
背景:
阅读新闻

Ubuntu环境使用TPC-DS工具生成测试数据

[日期:2019-04-14] 来源:Linux社区  作者:webDepOfQWS [字体: ]

1、下载工具

ag娱乐平台,  我觉得一旦真爱,失败后就不可能再爱了。我就是这样,像失去了人生,万分苦恼。希望大家指引我以后的路怎么。

  从打击的成本来说,使用战略轰炸机配备空射巡航导弹的成本不仅远高于从叙利亚派出轰炸机,也高于从里海用分舰队发射导弹。由于俄军现役战略轰炸机已经全部停产,现役轰炸机的寿命可谓飞一次少一次,使用这种几乎“不可再生”的去执行可以由别的执行的一般,从纯军事角度看完全是一种浪费。周一竞彩伤停:切尔西莫拉塔缺阵 马拉加伤4将  第三阶段:20世纪90年代中期,爱立信调整了其全球生产和链战略,选择在中国建立了爱立信亚太区供货中心,中国因此成为爱立信全球链的四大中枢之一。爱立信认为做出这一决策正合时宜,因为中国的总体基础设施正日渐完善和成熟,同时爱立信也看到本地的良性结构正在成型。

两种渠道

 a、官网(建议直接跳过~)

地址:/wwwc0b7tpcc0b7org/tpc_documents_current_versions/current_specifications.asp

在信息填写正确的情况下,无法下载。看网友的解答,需要用谷歌浏览器才能下载。尝试未果。

b、github上下载

地址: /githubc0b7com/gregrahn/tpcds-kit.git

ps:官方的包生成sql的时候会报错,上面这个大神已经修复。

2、编译

操作环境:ag娱乐平台Ubuntu 16.04

进入TPC-DS工具包所在目录,由于下载的是源码,需要编译后才能使用。

a、解压

unzip  tpcds-kit-master.zip

b、编译

编译之前请确认依赖环境ok

ubuntu:

1 sudo apt-get install gcc make flex bison byacc git

CentOS/RHEL:

1 sudo yum install gcc make flex bison byacc git
tpcds-kit-master/tools

make  -f  Makefile.suite

编译过程中报错:

make: yacc: Command not found。报错是因为yacc没有安装 。

安装yacc

sudo apt-get install -y byacc

再次编译

又报错对‘yy_create_buffer’未定义的引用。对C/C++不熟悉,搜索了一下也没有相关的解答。百思不得其解之下,换了个思路。可能是第一次编译报错生成的错误文件对第二次编译产生的影响。

于是删除解压后的目录,重新编译成功。

如果生成dsdgen和dsqgen且无报错,说明编译成功

ll *gen

 3、生成数据

第一次使用这个工具我是一脸懵比的。因为官方的文档特喵的根本看不懂。回想一下,你碰到不熟悉的Linux命令是怎么做的?man或者--help,对吧。这里也可以用--help。

先不着急生成数据,看一下帮助信息先。

./dsdgen  --help

  • DIR:数据存放目录。
  • SCALE:数据量,以GB为单位。
  • TABLE:生成哪张表的数据,一共有24张表哦。
  • PARALLEL:生成的数据一共分为多少份,一般生成TB级数据才会用到。
  •  CHILD:当前数据是第几份,与PARALLEL配对使用。
  • FORCE:强制写入数据。

常用的参数就上面几个。下面我们来生成1G包含所有表的数据。

./dsdgen  -scale 1 -dir ../data/

等待dsdgen程序正常退出后,1G数据需要2~3min左右,进入data目录查看生成的数据。

cd ../data

假如只想生成其中某一张表的数据呢?这就需要用到-table参数了,以web_returns表为例。

./dsdgen  -scale 1 -dir ../data -table web_returns

报错了,信息如下:

web_returns是子表,它是依赖于父表web_sales的。生成父表的时候也会同时生成子表,我们来验证一下。

./dsdgen  -scale 1 -dir ../data -table web_sales

说明一下,最终生成的数据量以少于scale值的。

dsdgen的用法暂时先总结到这里。

 4、生成SQL

查询SQL使用dsqgen生成,主要用于测试数据仓库的性能,一共99个。详细用法可以用--help查看帮助信息。这里不做介绍直接生成。

./dsqgen  -DIRECTORY ../query_templates/ -TEMPLATE "query1.tpl" -DIALECT netezza -FILTER Y > ../sql/query1.sql
  • -DIRECTORY:SQL模板的路径
  • -TEMPLATE:SQL模板的名称
  • -DIALECT:include query dialect defintions found in <s>.tpl
  • -FILTER:重定向到标准输出。

查看生成的SQL:

一共有99,每一个都要这样生成多费劲呀。来写个for循环一把生成所有的SQL。

shell版:

#!/bin/sh
for i in `seq 1 99`
do
./dsqgen  -DIRECTORY ../query_templates/ -TEMPLATE "query${i}.tpl" -DIALECT netezza -FILTER Y > ../sql/query${i}.sql
done

ag娱乐平台Python3版:

#coding:utf-8
import os
print("generate query sql")
for i in range(1,100):
    tpl = "query"+str(i)+".tpl"
    qsql = "query" +str(i) +".sql"
    #拼接命令
    cmd = "./dsqgen  -DIRECTORY ../query_templates/ "+"-TEMPLATE "+tpl+" -DIALECT netezza -FILTER Y > "+"../sql/"+qsql
    #print(cmd)
    #执行命令
    os.system(cmd)

去sql目录下查看刚才生成的SQL:

这种情况下还是shell更快一点。

5、总结

  1. 通过TPC-DS,可以生成指定量级的数据。
  2. 碰到报错不要慌,先google或bing,不要用某度,原因你懂的。
  3. TPC-DS基本用法已经总结完了,但是实际操作中还有很多问题,比如:
  • 我想要生成10T数据怎么搞?
  • 怎么判断生成的数据是否正确呢?
  • child和parallel怎么使用?
  • 数据和SQL生成完了怎么测试?
  • 。。。。。。

Linux公社的RSS地址/wwwc0b7linuxidcc0b7com/rssFeed.aspx

本文永久更新链接地址/wwwc0b7linuxidcc0b7com/Linux/2019-04/158099.htm

linux
相关资讯       TPC-DS 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款
意甲两队进欧冠8强!上次还是AC米兰夺冠那年 亚冠夺冠赔率:上港杀手居首 权健1赔6.5列第二 董明珠退不退休?她亲口回答了这个问题 汉密尔顿:车队对博塔斯的软胎压榨太多 美军援M1伊拉克坦克流浪记:最后被伊朗支持民兵缴获 欧股:意大利白宫朝鲜三大消息相互角力 艰难上涨 美军欲建太空部队 美军官坦言中国创新是头号担忧 收集用户数据 澳大利亚消费委员会对谷歌发起调查 格力设俩院士工作站!董明珠:希望培养出10个院士 富士康IPO上会在即:排队只用2周,别人通常好几个月 大陆收台渔船钓鱼岛附近求援:你在哪都可呼叫我们 台媒称大陆军机4天两过“中线” 台军机没出动拦截
大众汽车二季度税后利润33.1亿欧元 石宇奇福地重游首秀过关 自称只发挥了六成实力 原油价格的上升空间 美征收钢铝关税 对中国相关产品短期出口影响或有限 明枪躲不了,暗箭也难防:搅局者开始“围殴”滴滴 游客“沾光” 东京2020年奥运会期间免征住宿税 夫妻入住后发现买到凶宅 向卖家和中介索赔140万 王毅:半岛局势缓和常现干扰 现在是检验各方诚意时候 东部第8胜绿军接近上岸 两大摆烂热门一起赢球 古巴坠机:事发时天阴有雨 客机系从墨西哥租借 Uber:英国司机必须在工作10小时后连续休息6小时 广州:借贷余额超1亿元的互金公司需设立首席风险官
马斯克又发奇想:用大气球减速上级火箭进行回收 微纪录电影:十年时光 一场地震六个孤儿 权重领跌、沪指重挫1.8% 苹果盘后大涨4% ofo美国业务面临关停背后:中国式创新在美水土不服 吉尔:鲁能对我满意不放我走 恒大仍是冠军热门 何杏仁任浙江省科学技术厅党组书记 高鹰忠任厅长 24岁女孩出任上市公司董事长 有过一年多工作经历 国产海雾观测仪器首次亮相北极科考 观测辐射特性 汇丰女子赛首轮冯珊珊T17 詹妮弗宋领先魏圣美T2 特朗普不去超级碗但暗示球员:奏国歌都给我站好 监管层发话新华社发三文怒批 这些铁公鸡要拔毛了 曼城王牌公开抱怨:英超赛程像狗屎 曼城没人用 安倍特朗普举行电话会谈 就驻日美军事故展开磋商 ag娱乐平台