如何将hive表中的数据导出

news/2024/7/4 13:08:27 标签: 大数据, shell, 操作系统

        近期经常将现场的数据带回公司测试,所以写下该文章,梳理一下思路。

1.首先要查询相应的hive表,比如我要将c_cons这张表导出,我先查出hive中是否有这张表。

查出数据,证明该表在hive中存在。

2.查询该表的表结构(建表语句),为了更快的将表数据导入的公司的hive表中。查询表结构语句:show create table c_cons

image

3.根据你hive配置地址找到表在hadoop集群中的文件位置。

我的c_cons表的位置在:/user/hive/warehouse/c_cons里面。

4.在集群上输入:hadoop fs -get /user/hive/warehouse/c_cons,变可将文件下载到本地。不指定位置就下载到root目录下(shell命令参考:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html)

image

image

5.有时候文件过大,拷贝太占U盘空间,所以要进行打包。

image

-r 压缩 c_cons目录下的所有文件,压缩成的文件名为c_cons.zip (linux压缩解压参考:http://jingyan.baidu.com/article/6d704a13f9981a28da51ca70.html)

6.然后将c_cons.zip拷到U盘,带走。

7.回到公司,将c_cons.zip放在集群本地,进行解压。

解压到默认目录直接:unzip c_cons.zip 就可以了。

如果指定目录,例如解压到home目录下 unzip c_cons.zip –d /home/

image

8.将解压出来的文件上传到hadoop集群,我放在集群的/jsdata/目录下。使用shell命令:hadoop fs -put /home/c_cons /jsdata/

9.然后根据查询出的建表语句建表。

10.将数据导入到hive表中:load data inpath '/jsdata/c_cons into table c_cons

转载于:https://www.cnblogs.com/zcr3108346262/p/6340661.html


http://www.niftyadmin.cn/n/1076205.html

相关文章

Docker容器技术概述

Docker容器技术概述Docker简介Docker的应用场景Docker 的优点理解Docker的工作原理Docker简介 Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从 Apache2.0 协议开源。 Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中&#xff0c…

cpu_ops、suspend_ops、arm_idle_driver以及machine_restart/machine_power_off到底层PSCI Firmware分析...

在内核中针对的cpu的操作,比如arm_cpuidle_init、arm_cpuidle_suspend、boot_secondary、secondary_start_kernel、op_cpu_disable、op_cpu_kill、cpu_die、smp_cpu_setup、smp_prepare_cpus的都会回落到对cpu_ops的调用。 cpu_ops将针对底层cpu的操作抽象为一系列回…

docker--基础环境安装

docker--基础环境安装安装docker环境准备环境查看1、卸载旧的版本2、需要的安装包3、设置镜像仓库4、安装DOCKER引擎(docker-ce 社区版的 -ee 企业版的)5、 启动docker6、使用docker version查看是否安装成功7、容器镜像加速安装docker 环境准备 1、会…

Asp.net mvc 知多少(四)

本系列主要翻译自《ASP.NET MVC Interview Questions and Answers 》- By Shailendra Chauhan,想看英文原版的可访问http://www.dotnettricks.com/free-ebooks自行下载。该书主要分为两部分,ASP.NET MVC 5、ASP.NET WEB API2。本书最大的特点是以面试问答…

JavaScript输出三角形

* *** ***** ******* *********以上图为例子&#xff0c;假设行数为5行1.每行星星的个数 可以得出星星个数公式为&#xff1a;ji*2-1&#xff0c;这里j表示当前星星的个数&#xff0c;i表示当前行数 for(var i1;i<4;i){for(j1;j<2*i-1;j){document.write(*);}docu…

用dockerfile安装apache出现错误

用dockerfile安装apache时 报错 /bin/sh: chomd: command not found The command ‘/bin/sh -c chomd 755 /run.sh’ returned a non-zero code: 127 解决方案 查看了dockerfile发现 ADD index.html /var/www/htnl/index.htm l 文件目录的html写成了htnl

Java复习-string and stringbuffer

string对象创建以后&#xff0c;是不可以改变的类。比如 string a"FASDFASDF",a"fsdafdsfdsfdfsda";错误&#xff0c;因为string对象是一个不可以改变的对象&#xff0c; stringbuffer代表一个字符序列可变的字符串&#xff0c;当一个stringbuffer对象创建…

本女散

趋势是什么&#xff0c;就是一条线&#xff0c;K线在趋势线的上下纵情舞蹈&#xff0c;而这是市场一手导演的&#xff0c;包括你、我。 散户能找到是否进入某只个股进行投机的因素应该是这三个&#xff1a;技术、大盘、个股基本面。 技术&#xff1a;投机的水平&#xff0c;…