念念不忘
必有回响

编程不止

Python3连接Hiveserver2-码农志

Python3连接Hiveserver2

阅读(149)评论(0)赞(0)

最近有个小需求,需要自动在Hive的数据库中创建一些通用的基础表,用于不同城市的数据计算服务,通常我会整理出一个hql文档,将所有的sql统统塞到一个文件里,然后直接执行,这种虽然简便,但是却不易维护,于是我就用python撸个小工具,能够...

Hue整合Oozie和Spark2-码农志

Hue整合Oozie和Spark2

阅读(94)评论(0)赞(0)

在Hue中使用Oozie调度Spark2任务时总是调用不起来,默认Hue也只支持Spark,那么要支持Spark2还需要进行如下操作。 1.将Spark2中的jar包依赖上传到/user/oozie/share/lib/中: hadoop ...

macOS卸载Python3-码农志

macOS卸载Python3

阅读(95)评论(0)赞(0)

由于刚入手mac后,习惯于dmp文件去安装软件,包括python3,两年过去了,python3也已经更新了好几个版本,更新起来也较为麻烦,于是就考虑使用brew去统一管理吧。 查看Python3的位置 which python3 /Libr...

将Hive表与ElasticSearch关联-码农志

将Hive表与ElasticSearch关联

阅读(92)评论(0)赞(0)

现有一需求,需要将Hive的表与ElasticSearch关联起来,数据插入Hive表后,可以直接在elasticsearch中查询。 1.下载elasticsearch-hadoop依赖 请前往https://www.elastic.co...

Python3中常用的日期处理-码农志

Python3中常用的日期处理

阅读(108)评论(0)赞(0)

本文就总结一下在Python开发中常用的日期处理,比如月初、月末、第几周、当周的第几天、当月的第几天等一系列的处理办法,因目前python写的代码不多,基本上都是一些小工具之类的,故此文会持续更新。 1.获取当月的第一天(月初) """ 判...

SpringBoot解决跨域的问题-码农志

SpringBoot解决跨域的问题

阅读(1510)评论(2)赞(2)

在前后端分离是,跨域问题会经常遇到,本篇将介绍如何在SpringBoot中处理跨域问题: 在@SpringBootApplication注解所在类中(一般都是xxxApplication)中加入如下代码: private CorsConfi...

SpringBoot2配置错误页-码农志

SpringBoot2配置错误页

阅读(1103)赞(3)

在SpringBoot1中,配置错误页的方法我们可以通过如下方式: @Configuration public class ErrorPageConfig{ @Bean public EmbeddedServletContainerCust...