如何用Spark SQL读取XML文件

Spark SQL需借助spark-xml库读取XML：按Spark版本选对应依赖，用format("xml")及rowTag等option解析为DataFrame，注册视图后支持SQL查询，属性需加@前缀，嵌套字段自动转StructType。

Spark SQL本身不原生支持XML文件读取，需要借助第三方库（如Databricks的spark-xml）将XML解析为DataFrame后，才能用SQL操作。

添加spark-xml依赖

这是最关键的一步。不同Spark版本需匹配对应版本的spark-xml库：

• Spark 3.0+：推荐使用com.databricks:spark-xml_2.12:0.17.0（Scala 2.12）
• Spark 2.4：可用com.databricks:spark-xml_2.11:0.14.0
• 提交作业时通过--packages参数自动下载（本地开发或集群提交都适用）：
  spark-shell --packages com.databricks:spark-xml_2.12:0.17.0

读取XML并转为DataFrame

使用format("xml")指定数据源类型，并通过option()设置关键参数：

• rowTag：指定每条记录对应的XML标签名（必填），例如...就设为"book"
• inferSchema：设为true可自动推断字段类型（适合结构较规整的XML）
• attributePrefix：用于区分属性与子元素（默认"@"，如@id表示id属性）
• 示例代码：

val df = spark.read
  .format("xml")
  .option("rowTag", "book")
  .option("inferSchema", "true")
  .load("books.xml")

注册临时表并执行SQL查询

将DataFrame注册为临时视图后，即可用标准Spark SQL语法查询：

• df.createOrReplaceTempView("books")
• 然后运行：
  spark.sql("SELECT title, @category FROM books WHERE @category = 'fiction'").show()
• 注意：XML属性在SQL中需加前缀（如@category），文本内容直接用字段名（如title）

处理嵌套与命名空间（进阶）

复杂XML常含嵌套结构或命名空间，需额外配置：

• 嵌套字段会自动转为StructType，可用col("author.firstName")访问
• 含命名空间时，需先用option("rowTag", "{http://example.com}book")或预处理移除命名空间
• 若自动推断不准，可手动定义Schema传入.schema(mySchema)提升稳定性

# go  # xml解析  # scala  # sql  # 命名空间  # select  # format  # xml  # spark  # http  # 设为  # 进阶  # 这是  # 推荐使用  # 第三方  # 先用  # 最关键  # 每条  # 必填  # 移除 

相关文章： 实惠建站价格推荐：2025年高性价比自助建站套餐解析  如何用腾讯建站主机快速创建免费网站？  制作充值网站的软件,做人力招聘为什么要自己交端口钱？  网站设计制作书签怎么做,怎样将网页添加到书签/主页书签/桌面？  建站之星后台密码如何安全设置与找回？  制作表格网站有哪些,线上表格怎么弄？  子杰智能建站系统｜零代码开发与AI生成SEO优化指南  微信网站制作公司有哪些,民生银行办理公司开户怎么在微信网页上查询进度？  定制建站模板如何实现SEO优化与智能系统配置？18字教程  相亲简历制作网站推荐大全,新相亲大会主持人小萍萍资料？  巅云智能建站系统：可视化拖拽+多端适配+免费模板一键生成  h5网站制作工具有哪些,h5页面制作工具有哪些？  如何挑选最适合建站的高性能VPS主机？  如何在腾讯云免费申请建站？  如何在自有机房高效搭建专业网站？  深圳企业网站制作设计,在深圳如何网上全流程注册公司？  江苏网站制作公司有哪些,江苏书法考级官方网站？  专业的网站制作设计是什么,如何制作一个企业网站，建设网站的基本步骤有哪些？  如何通过远程VPS快速搭建个人网站？  如何通过二级域名建站提升品牌影响力？  如何快速搭建高效可靠的建站解决方案？  深圳网站制作培训,深圳哪些招聘网站比较好？  简历在线制作网站免费,免费下载个人简历的网站是哪些？  建站之星2.7模板快速切换与批量管理功能操作指南  东莞市网站制作公司有哪些,东莞找工作用什么网站好？  头像制作网站在线观看,除了站酷，还有哪些比较好的设计网站？  建站主机CVM配置优化、SEO策略与性能提升指南  如何用已有域名快速搭建网站？  微网站制作教程,不会写代码，不会编程，怎么样建自己的网站？  电商网站制作公司有哪些,1688网是什么意思？  湖南网站制作公司,湖南上善若水科技有限公司做什么的？  在线教育网站制作平台,山西立德教育官网？  如何快速搭建二级域名独立网站？  建站之星如何实现五合一智能建站与营销推广？  网站制作中优化长尾关键字挖掘的技巧,建一个视频网站需要多少钱？  建站之星如何快速生成多端适配网站？  较简单的网站制作软件有哪些,手机版网页制作用什么软件？  企业宣传片制作网站有哪些,传媒公司怎么找企业宣传片项目？  官网网站制作腾讯审核要多久,联想路由器newifi官网  网站视频制作书签怎么做,ie浏览器怎么将网站固定在书签工具栏？  建站VPS能否同时实现高效与安全翻墙？  建站中国官网：模板定制+SEO优化+建站流程一站式指南  制作农业网站的软件,比较好的农业网站推荐一下？  建站主机SSH密钥生成步骤及常见问题解答？  大型企业网站制作流程,做网站需要注册公司吗？  北京制作网站的公司,北京铁路集团官方网站？  建站之星如何实现PC+手机+微信网站五合一建站？  网站制作软件免费下载安装,有哪些免费下载的软件网站？  宝塔新建站点为何无法访问？如何排查？  如何通过WDCP绑定主域名及创建子域名站点？