如何在Win10系统使用Python3连接Hive
作者：陆勤_数据人网 发布时间：2023-08-10 07:00:39
标签：Python,Hive,win10
由于数据存放在大数据平台的Hive数据仓库中，我需要在Win10系统上利用Python3连接Hive，然后读取数据，进行探索、分析和挖掘工作。
我通过网上查找资料和实际测试，把Win10系统Python3成功连接Hive配置总结如下。
第一步：安装依赖库
pip install bitarray
pip install bit_array
pip install thrift
pip install thriftpy
pip install pure_sasl
pip install --no-deps thrift-sasl==0.2.1
提示：若是无法安装，也可以点击如下网址，
https://www.lfd.uci.edu/~gohlke/pythonlibs/
选择合适库的whl下载，然后进行本地化安装。
第二步：安装impyla库
我采用本地化安装方式，先下载impyla库的whl，如下图：
再安装
pip install E:/Python_Library/impyla-0.16.2-py2.py3-none-any.whl
提示：上面的绝对路径根据你自己的情况而定
第三步：测试impyla库是否可以使用
from impala.dbapi import connect #用来连接Hive的函数
from impala.util import as_pandas #用来把数据结构转换为pandas
若是运行通过，表示利用impala连接Hive配置成功。
简单示例：
从Hive的一张表读取100条记录，放到pandas的DataFrame里面。
参考代码：
from impala.dbapi import connect #用来连接Hive的函数
from impala.util import as_pandas #用来把数据结构转换为pandas
conn = connect(host='my.host.com', port=21050)
cursor = conn.cursor()
cursor.execute('SELECT * FROM mytable LIMIT 100')
df = as_pandas(cursor)
cursor.close()
参考资料
https://github.com/cloudera/impyla
来源：https://cloud.tencent.com/developer/article/1590983
0
投稿猜你喜欢
- 1、动态sql， 即动态参数：在存储过程中，想要直接用表名变量做参数，动态执行sql，不能直接写<P>create proced
- 这篇论坛文章（赛迪网技术社区）主要介绍了配置一个高可用性的MySQL服务器负载均衡群集的具体过程，详细内容请参考下文：本文将告诉你如何配置一
- 我们知道numpy.ndarray.reshape()是用来改变numpy数组的形状的，但是它的参数会有一些特殊的用法，这里我们进一步说明一
- 本文实例讲述了python类和对象用法。分享给大家供大家参考，具体如下：前面我们都是用python面向过程编程，现在来用python创建类和
在python中，我们定义好一个字符串，如下所示。在python中定义个字符串然后把它赋值给一个变量。我们可以通过下标访问单个的字符，跟所有- 以下是通过Excel 的VBA连接Oracle并操作Oracle相关数据的示例Excel 通过VBA连接数据库需要安装相应的Oracle客户
- 在网页中放iframe，如果frameborder=0；就没有边框显示了；但动态创建时，在IE7中就不行了，从网上找到解决的办法，写出来记录
- 1，建立数据库文件cnbruce.mdb（不设计任何表）建立数据库的代码：<％ Option Explicit&
- 译注：开发人员如何从无休止的需求、项目进度中摆脱烦躁的心态，这是每个人都值得思考的话题。无意间看见了这篇文章，恐于太长遂将其精简翻译，错误之
- 最近没事，写了个在项目经常要取城市或省份名的方法，所以改成了一个类．方便以后调用//****************************
- python编程中常用的12种基础知识总结：正则表达式替换，遍历目录方法，列表按列排序、去重，字典排序，字典、列表、字符串互转，时间对象操作
- 在我们人生的路途中，找工作是每个人都会经历的阶段，小编曾经也是苦苦求职大军中的一员。怀着对以后的规划和想象，我们在找工作的时候，会看一些招聘
- 关于asp随机数的相关文章：asp生成一个不重复的随机数字 8个asp生成随机字符的函数 <html> <me
- 本文实例讲述了PHP开发之归档格式phar文件概念与用法。分享给大家供大家参考，具体如下：一个php应用程序往往是由多个文件构成的，如果能把
- 好多同志对 iframe 是如何控制的,并不是十分了解,基本上还处于一个模糊的认识状态.注意两个事项,ifr 是一个以存在的 iframe
- 您可能听说过，带有 yield 的函数在 Python 中被称之为 generator（生成器），何谓 generator ？我们先抛开 g
- 前言 BeautifulSoup是主要以解析web网页的Python模块，它会提供一些强大的解释器，以解
- 外网python2.7 虚拟环境中安装了 flask 模块，期望在内网使用，如何迁移外网的虚拟环境到内网呢？1 进入外网python虚拟环境
- 框架介绍在之前的.NET中，微软还没有提供过像样的日志框架，目前能用的一些框架比如Log4Net、NLog、CommonLogging使用起
- 代码如下:< ％ Set fso=Server.CreateObject("Scripting
