博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
HIVE扩展GIS函数
阅读量:6905 次
发布时间:2019-06-27

本文共 1033 字,大约阅读时间需要 3 分钟。

    按项目日益增长的gis数据量要求,需要在大数据集群中部署HIVE的扩展函数。

    Apache Hive是一个建立在Hadoop架构之上的数据仓库。它能够提供数据的精炼,查询和分析。([引用自维基百科)
    HIVE允许用户使用UDF(user defined function)对数据进行处理。我们用到的是。下载完源码,修改最外层的pom.xml,修改hadoop、hive、java版本为生产环境中版本,重新编译项出spatial-sdk-json-2.1.0.jar和spatial-sdk-hive-2.1.0.jar。

hadoop-2.7
2.7.3
复制代码
hive-1.2
1.2.1
复制代码
1.8
1.8
2.7.3
1.2.1
复制代码

    下载最新的中的esri-geometry-api-2.2.1.jar,上传三个jar到linux系统(jar权限设置成最高),在hive的shell控制台输入添加jar和创建函数语句。

add jar  /usr/hdp/2.6.4.0-91/hive/auxlib/esri-geometry-api-2.2.1.jar;add jar  /usr/hdp/2.6.4.0-91/hive/auxlib/spatial-sdk-json-2.1.0.jar;add jar  /usr/hdp/2.6.4.0-91/hive/auxlib/spatial-sdk-hive-2.1.0.jar;CREATE TEMPORARY FUNCTION STPoint as 'com.esri.hadoop.hive.ST_Point';复制代码

    自定义函数使用可以参考官方文档 ,创建自定义函数可以参考spatial-framework-for-hadoop项目的hive下function-ddl.sql,但创建永久函数需要去掉temporary。

转载地址:http://kwmdl.baihongyu.com/

你可能感兴趣的文章
git clone出现SSL错误
查看>>
解决mysql-socket报错问题
查看>>
CentOS 5/6.X 使用 EPEL YUM源
查看>>
golang redis驱动的比较
查看>>
python 遇到NameError: name '__file__' is not defi...
查看>>
CentOS7.3 64位安装Hyperledger fabric多通道多组织多节点
查看>>
应用偶发性连接不上Oracle数据库的排查案例
查看>>
CentOS7切换图形启动模式
查看>>
利用python分析日志生成图表
查看>>
c#中不定长参数(关键字Params)使用
查看>>
WinAPI: waveOutPause - 暂停播放
查看>>
FTP自动上传
查看>>
我的友情链接
查看>>
mysqldump工具
查看>>
用 PHP 读取文件的正确方法
查看>>
LoadRunner压力测试时监控服务器Linux的资源情况
查看>>
azure存储并发写 压力测试
查看>>
管理用户和用户权限
查看>>
VCTransitionsLibrary –自定义iOS交互式转场动画的库
查看>>
final、static(Java)和const、static(C#)
查看>>