Mysql元数据如何生成Hive建表语句注释脚本详解

前言

本文主要给大家介绍了关于Mysql元数据生成Hive建表语句注释脚本的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍：

最近在将数据从Mysql 等其他关系型数据库 抽取到Hive 表中时，需要同步mysql表中的注释，以下脚本可以生成hive表字段注释修改语句。

注：其他关系型数据库如：oracle 可以通过相同的思路，读取元数据，修改脚本语法实现。

使用：

在mysql元数据库：information_schema 中执行以下语句

SELECT CONCAT('alter table ', TABLE_NAME, ' CHANGE COLUMN ', COLUMN_NAME, ' ', COLUMN_NAME, ' ', DATA_TYPE, ' comment ', '"', COLUMN_COMMENT, '"', ';')
FROM (SELECT TABLE_NAME, COLUMN_NAME, CASE WHEN DATA_TYPE = 'varchar' THEN 'string' WHEN DATA_TYPE = 'int' THEN 'int' WHEN DATA_TYPE = 'tinyint' THEN 'tinyint' WHEN DATA_TYPE = 'decimal' THEN 'double' WHEN DATA_TYPE = 'datetime' THEN 'string' WHEN DATA_TYPE = 'timestamp' THEN 'string' WHEN DATA_TYPE = 'float' THEN 'double' WHEN DATA_TYPE = 'double' THEN 'double' WHEN DATA_TYPE = 'bigint' THEN 'bigint' END AS DATA_TYPE, COLUMN_COMMENT
FROM COLUMNS
WHERE TABLE_NAME = 'o_oms_statistic_profit'
) t;

在将数据从Mysql 等其他关系型数据库 抽取到Hive 表中时，需要同步mysql表中的注释，以下脚本可以生成hive创建表语句。只是生成了hive表主要的字段信息，其他信息需要手工添加。

在mysql元数据库：information_schema 中执行以下语句

SELECT CONCAT('create table ', TABLE_NAME, '(', substring(column_info, 1, length(column_info) - 1), ')', ' comment ', '"', TABLE_COMMENT, '"', ';')
FROM (SELECT TABLE_NAME, TABLE_COMMENT, group_concat(CONCAT(COLUMN_NAME, ' ', DATA_TYPE, ' comment ', '"', COLUMN_COMMENT, '"')) AS column_info
FROM (SELECT t1.TABLE_NAME, CASE WHEN t2.TABLE_COMMENT = NULL THEN t1.TABLE_NAME ELSE t2.TABLE_COMMENT END AS TABLE_COMMENT, COLUMN_NAME, CASE WHEN DATA_TYPE = 'varchar' THEN 'string' WHEN DATA_TYPE = 'int' THEN 'int' WHEN DATA_TYPE = 'tinyint' THEN 'tinyint' WHEN DATA_TYPE = 'decimal' THEN 'double' WHEN DATA_TYPE = 'datetime' THEN 'string' WHEN DATA_TYPE = 'timestamp' THEN 'string' WHEN DATA_TYPE = 'float' THEN 'double' WHEN DATA_TYPE = 'double' THEN 'double' WHEN DATA_TYPE = 'bigint' THEN 'bigint' END AS DATA_TYPE, CASE WHEN COLUMN_COMMENT = NULL THEN COLUMN_NAME ELSE COLUMN_COMMENT END AS COLUMN_COMMENT
FROM COLUMNS t1 JOIN TABLES t2 ON t1.TABLE_NAME = t2.TABLE_NAME
WHERE t1.TABLE_NAME = 'o_oms_statistic_profit'
) t3
GROUP BY TABLE_NAME, TABLE_COMMENT
) t4;

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流，谢谢大家对的支持。

# hive  # 元数据  # mysql  # mysql表  # mysql建表语句  # 注释  # MySQL 元数据锁及问题排查的解决  # 一文搞懂MySQL元数据锁(MDL)  # MySQL和Oracle的元数据抽取实例分析  # 配置hive元数据到Mysql中的全过程记录  # 详细分析mysql MDL元数据锁  # MySQL如何查看元数据锁阻塞在哪里  # MySQL 元数据查看及实例代码  # 调用MySQL中数据库元数据的方法  # MySQL 元数据的使用小结  # 中时  # 相关内容  # 说了  # 不多  # 可以通过  # 给大家  # 这篇文章  # 谢谢大家  # 有疑问  # sql  # brush  # class  # SELECT  # pre  # CHANGE  # COLUMN  # COLUMN_NAME  # TABLE_NAME  # CONCAT  # alter 

相关文章： 制作国外网站的软件,国外有哪些比较优质的网站推荐？  昆明高端网站制作公司,昆明公租房申请网上登录入口？  如何在阿里云域名上完成建站全流程？  建站之星CMS建站配置指南：模板选择与SEO优化技巧  如何高效配置IIS服务器搭建网站？  如何零成本快速生成个人自助网站？  如何快速搭建FTP站点实现文件共享？  c++23 std::expected怎么用 c++优雅处理函数错误返回【详解】  南京做网站制作公司,南京哈发网络有限公司，公司怎么样，做网页美工DIV+CSS待遇怎么样？  ppt制作免费网站有哪些,ppt模板免费下载网站？  佛山企业网站制作公司有哪些,沟通100网上服务官网？  猪八戒网站制作视频,开发一个猪八戒网站，大约需要多少？或者自己请程序员，需要什么程序员，多少程序员能完成？  如何零基础在云服务器搭建WordPress站点？  如何用PHP快速搭建高效网站？分步指南  公司网站制作需要多少钱,找人做公司网站需要多少钱？  内部网站制作流程,如何建立公司内部网站？  建站之星收费标准详解：套餐费用及年费价格表一览  活动邀请函制作网站有哪些,活动邀请函文案？  实现虚拟支付需哪些建站技术支撑？  如何快速启动建站代理加盟业务？  如何在服务器上三步完成建站并提升流量？  宝塔建站教程：一键部署配置流程与SEO优化实战指南  枣阳网站制作,阳新火车站打的到仙岛湖多少钱？  高性价比服务器租赁——企业级配置与24小时运维服务  子杰智能建站系统｜零代码开发与AI生成SEO优化指南  如何快速搭建自助建站会员专属系统？  油猴 教程,油猴搜脚本为什么会网页无法显示？  智能起名网站制作软件有哪些,制作logo的软件？  建站之星2.7模板：企业网站建设与h5定制设计专题  建站之星代理平台如何选择最佳方案？  如何通过免费商城建站系统源码自定义网站主题与功能？  如何选择美橙互联多站合一建站方案？  标准网站视频模板制作软件,现在有哪个网站的视频编辑素材最齐全的，背景音乐、音效等？  javascript基本数据类型及类型检测常用方法小结  免费视频制作网站,更新又快又好的免费电影网站？  电商网站制作价格怎么算,网上拍卖流程以及规则？  如何用IIS7快速搭建并优化网站站点？  定制建站流程步骤详解：一站式方案设计与开发指南  专业网站制作服务公司,有哪些网站可以免费发布招聘信息？  ,想在网上投简历，哪几个网站比较好？  如何在阿里云ECS服务器部署织梦CMS网站？  如何在Windows环境下新建FTP站点并设置权限？  教学论文网站制作软件有哪些,写论文用什么软件 ？  学校免费自助建站系统：智能生成+拖拽设计+多端适配  番禺网站制作公司哪家值得合作,番禺图书馆新馆开放了吗？  网站app免费制作软件,能免费看各大网站视频的手机app？  C++如何将C风格字符串（char*）转换为std::string？（代码示例）  免费制作小说封面的网站有哪些,怎么接网站批量的封面单？  红河网站制作公司,红河事业单位身份证如何上传？  如何快速搭建安全的FTP站点？