Python实现GBGB赛狗结果数据抓取：按日期范围和赛道筛选的教程

本教程详细介绍了如何使用python高效地从gbgb网站api抓取赛狗比赛结果。通过动态生成日期范围、利用requests库的参数化请求以及对json响应进行解析和按指定赛道过滤，用户可以自动化地收集特定时间段和赛道的比赛数据，并将其保存为json文件，同时包含了健壮的错误处理机制。

在*或赛狗数据分析领域，从在线平台获取历史比赛结果是常见的需求。手动逐一输入比赛ID或会议ID来获取数据效率低下且易出错。本教程将指导您如何利用Python编程语言，结合GBGB（Great Britain Greyhound Board）提供的API接口，实现按指定日期范围和特定赛道自动抓取赛狗比赛结果。

1. 理解GBGB API接口

GBGB提供了一个公开的API接口，用于查询比赛结果。通过观察其URL结构，我们可以发现一个通用的结果查询接口： https://api.gbgb.org.uk/api/results

此接口支持以下关键查询参数，允许我们灵活地筛选数据：

• date: 指定查询的日期，格式为 YYYY-MM-DD。这是我们实现日期范围抓取的关键。
• page: 页码，用于分页查询。
• itemsPerPage: 每页返回的条目数。
• race_type: 比赛类型，例如 'race'。

通过动态修改date参数，并结合循环，我们可以遍历一个日期范围内的所有比赛数据。

2. 环境准备与依赖库

在开始之前，请确保您的Python环境中安装了requests库，它将用于发送HTTP请求。如果尚未安装，可以使用pip进行安装：

pip install requests

本教程主要使用以下Python标准库和第三方库：

• requests: 处理HTTP请求。
• json: 处理JSON数据格式。

3. 构建动态日期范围请求

为了实现按日期范围抓取数据，我们需要一个机制来生成一系列日期，并将其作为参数传递给API。以下代码段展示了如何通过嵌套循环生成指定年份的月份和日期，并格式化为API所需的日期字符串：

import requests
import json
from datetime import datetime, timedelta

# API基础URL和固定参数
base_url = "https://api.gbgb.org.uk/api/results"
params = {
    'page': '1',
    'itemsPerPage': '200', # 假设每页最多200条，可根据API限制调整
    'race_type': 'race'
}

json_list = [] # 用于存储所有抓取到的数据

# 定义抓取数据的起始和结束日期
start_date = datetime(2025, 10, 1) # 例如从2025年10月1日开始
end_date = datetime(2025, 12, 31) # 到2025年12月31日结束

current_date = start_date
while current_date <= end_date:
    # 格式化当前日期为 YYYY-MM-DD
    params['date'] = current_date.strftime('%Y-%m-%d')

    # ... 后续的请求和数据处理逻辑将在这里执行 ...

    # 移动到下一天
    current_date += timedelta(days=1)

代码解析：

• 我们使用datetime对象来表示日期，并通过timedelta来递增日期。
• strftime('%Y-%m-%d')用于将datetime对象格式化为API所需的YYYY-MM-DD字符串。
• itemsPerPage设置为200，这是一个合理的初始值，可以根据实际情况和API限制进行调整。如果单日比赛结果超过此限制，可能需要实现分页逻辑（通过递增page参数）。

4. 发送HTTP请求与参数化

在生成日期参数后，下一步是使用requests库发送GET请求。requests库允许我们通过params参数传递查询字符串，这比手动拼接URL更加简洁和安全。

# ... (接上文代码) ...

    try:
        # 使用requests发送GET请求，并传递参数
        response = requests.get(base_url, params=params)
        # 检查HTTP请求是否成功 (状态码200)
        response.raise_for_status()

        # 将JSON响应转换为Python字典
        page_context_dict = response.json()
        items = page_context_dict.get('items', []) # 获取比赛结果列表

        # ... (后续的数据过滤和存储逻辑) ...

    except requests.exceptions.HTTPError as errh:
        print(f"HTTP Error for date {params['date']}: {errh}")
    except requests.exceptions.ConnectionError as errc:
        print(f"Error Connecting for date {params['date']}: {errc}")
    except requests.exceptions.Timeout as errt:
        print(f"Timeout Error for date {params['date']}: {errt}")
    except requests.exceptions.RequestException as err:
        print(f"Oops: Something Else happened for date {params['date']}: {err}")
    except json.JSONDecodeError as json_err:
        print(f"JSON Decode Error for date {params['date']}: {json_err}")

代码解析：

• requests.get(base_url, params=params): 发送带有动态日期参数的GET请求。
• response.raise_for_status(): 这是错误处理的关键一步，如果HTTP响应状态码表示请求失败（例如4xx或5xx），它将抛出一个HTTPError。
• response.json(): 将API返回的JSON字符串解析为Python字典。
• page_context_dict.get('items', []): 安全地获取字典中'items'键的值，如果键不存在则返回空列表，避免KeyError。

5. 按指定赛道过滤数据

API返回的数据可能包含所有赛道的比赛结果。如果只对特定赛道感兴趣，我们需要对获取到的数据进行过滤。每个比赛结果项通常包含一个"trackName"字段。

# ... (接上文代码) ...

        specific_track_items = []
        desired_track = "Swindon" # 设置您想抓取的赛道名称，例如"Swindon"或"Hove"

        for item in items:
            if "trackName" in item and item["trackName"] == desired_track:
                specific_track_items.append(item)

        json_list.extend(specific_track_items) # 将过滤后的数据添加到总列表中

# ... (接上文代码) ...

代码解析：

• desired_track: 定义您希望筛选的赛道名称。请注意，赛道名称必须与API返回的"trackName"字段完全匹配，包括大小写。
• 循环遍历items列表，检查每个item字典中是否存在"trackName"键，并且其值是否等于desired_track。
• 符合条件的项被添加到specific_track_items列表中，然后合并到总的json_list中。

6. 数据持久化：保存为JSON文件

在所有日期的数据都抓取并过滤完毕后，最后一步是将累计的数据保存到本地文件中，通常选择JSON格式以便于后续处理。

# ... (接上文代码，在while循环结束后) ...

# 将所有收集到的数据写入JSON文件
with open('greyhound_results.json', 'w', encoding='utf-8') as f:
    json.dump(json_list, f, ensure_ascii=False, indent=4)

print(f"数据已成功抓取并保存到 'greyhound_results.json' 文件中。共 {len(json_list)} 条记录。")

代码解析：

• with open(...) as f:: 以写入模式打开一个文件，确保文件在使用完毕后自动关闭。
• encoding='utf-8': 确保文件能够正确处理各种字符编码。
• json.dump(json_list, f, ensure_ascii=False, indent=4): 将json_list写入文件。
  • ensure_ascii=False: 允许非ASCII字符（如特殊符号）以原始形式写入，而不是转义为\uXXXX。
  • indent=4: 使输出的JSON文件格式化，带有4个空格的缩进，提高可读性。

7. 完整代码示例

将上述所有部分整合，形成一个完整的Python脚本：

import requests
import json
from datetime import datetime, timedelta

def scrape_gbgb_results(start_date_str, end_date_str, desired_track_name):
    """
    从GBGB API抓取指定日期范围和赛道的赛狗比赛结果。

    Args:
        start_date_str (str): 起始日期字符串，格式为 'YYYY-MM-DD'。
        end_date_str (str): 结束日期字符串，格式为 'YYYY-MM-DD'。
        desired_track_name (str): 需要筛选的赛道名称。

    Returns:
        list: 包含所有符合条件的比赛结果字典的列表。
    """
    json_list = []
    base_url = "https://api.gbgb.org.uk/api/results"
    params = {
        'page': '1',
        'itemsPerPage': '200', # 根据API限制和需求调整
        'race_type': 'race'
    }

    try:
        start_date = datetime.strptime(start_date_str, '%Y-%m-%d')
        end_date = datetime.strptime(end_date_str, '%Y-%m-%d')
    except ValueError:
        print("日期格式错误，请使用 'YYYY-MM-DD' 格式。")
        return []

    current_date = start_date
    while current_date <= end_date:
        params['date'] = current_date.strftime('%Y-%m-%d')
        print(f"正在抓取日期: {params['date']} 的数据...")

        try:
            response = requests.get(base_url, params=params, timeout=10) # 设置超时
            response.raise_for_status() # 检查HTTP请求是否成功

            page_context_dict = response.json()
            items = page_context_dict.get('items', [])

            specific_track_items = []
            for item in items:
                if "trackName" in item and item["trackName"] == desired_track_name:
                    specific_track_items.append(item)

            if specific_track_items:
                json_list.extend(specific_track_items)
                print(f"  - 找到 {len(specific_track_items)} 条 '{desired_track_name}' 赛道记录。")
            else:
                print(f"  - 未找到 '{desired_track_name}' 赛道记录。")

        except requests.exceptions.HTTPError as errh:
            print(f"HTTP Error for date {params['date']}: {errh}")
        except requests.exceptions.ConnectionError as errc:
            print(f"Error Connecting for date {params['date']}: {errc}")
        except requests.exceptions.Timeout as errt:
            print(f"Timeout Error for date {params['date']}: {errt}")
        except requests.exceptions.RequestException as err:
            print(f"Oops: Something Else happened for date {params['date']}: {err}")
        except json.JSONDecodeError as json_err:
            print(f"JSON Decode Error for date {params['date']}: {json_err}")

        current_date += timedelta(days=1)

    return json_list

if __name__ == "__main__":
    # 配置抓取参数
    start_date = '2023-10-01'
    end_date = '2023-12-31'
    track_name = 'Swindon' # 替换为您感兴趣的赛道名称，例如 'Hove'

    print(f"开始抓取从 {start_date} 到 {end_date} 期间 '{track_name}' 赛道的比赛结果...")
    results = scrape_gbgb_results(start_date, end_date, track_name)

    if results:
        output_filename = f"{track_name}_results_{start_date}_to_{end_date}.json"
        with open(output_filename, 'w', encoding='utf-8') as f:
            json.dump(results, f, ensure_ascii=False, indent=4)
        print(f"\n数据已成功抓取并保存到 '{output_filename}' 文件中。共 {len(results)} 条记录。")
    else:
        print("\n未抓取到任何数据或发生错误。")

8. 注意事项与优化建议

• API请求频率限制 (Rate Limiting): 大多数API都有请求频率限制，以防止滥用。如果短时间内发送大量请求，您的IP地址可能会被临时封禁。在实际应用中，建议在每次请求之间添加短时间的延迟（例如使用time.sleep(0.5)），以避免触发频率限制。
• 年份参数动态化: 示例代码中的日期是硬编码的。您可以扩展代码，使其能够接受用户输入的年份范围，或者从配置文件中读取。
• itemsPerPage与分页: 如果单日比赛结果非常多，超过了itemsPerPage的限制，API会进行分页。您需要修改代码，在检测到items数量等于itemsPerPage时，递增params['page']并继续请求，直到获取所有页面的数据。
• 错误处理的健壮性: 虽然示例代码包含了基本的错误处理，但在生产环境中可能需要更复杂的逻辑，例如重试机制、日志记录等。
• 数据结构变化: API接口可能会更新，导致返回的JSON数据结构发生变化。建议定期检查API文档或通过少量请求测试数据结构，以确保您的抓取脚本仍然有效。
• 代理IP: 如果需要抓取大量数据，或者遇到IP封禁问题，可以考虑使用代理IP池来轮换IP地址。

通过本教程，您已经掌握了使用Python从GBGB API高效抓取特定日期范围和赛道比赛结果的方法。这不仅提高了数据收集的效率，也为后续的数据分析奠定了基础。

# python  # js  # json  # 编码  # app  # 编程语言  # ai  # win  # 配置文件  # 状态码  # python编程  # 字符串解析 

相关文章： 如何快速建站并高效导出源代码？  音乐网站服务器如何优化API响应速度？  可靠的网站设计制作软件,做网站设计需要什么样的电脑配置？  建站中国必看指南：CMS建站系统+手机网站搭建核心技巧解析  如何高效配置IIS服务器搭建网站？  如何在阿里云虚拟主机上快速搭建个人网站？  香港服务器部署网站为何提示未备案？  Android自定义控件实现温度旋转按钮效果  番禺网站制作公司哪家值得合作,番禺图书馆新馆开放了吗？  如何在橙子建站上传落地页？操作指南详解  利用JavaScript实现拖拽改变元素大小  文字头像制作网站推荐软件,醒图能自动配文字吗？  昆明网站制作哪家好,昆明公租房申请网上登录入口？  企业微网站怎么做,公司网站和公众号有什么区别？  厦门模型网站设计制作公司,厦门航空飞机模型掉色怎么办？  微信小程序 五星评分(包括半颗星评分)实例代码  网站海报制作教学视频教程,有什么免费的高清可商用图片网站，用于海报设计？  如何制作新型网站程序文件,新型止水鱼鳞网要拆除吗？  太平洋网站制作公司,网络用语太平洋是什么意思？  如何在云指建站中生成FTP站点？  5种Android数据存储方式汇总  枣阳网站制作,阳新火车站打的到仙岛湖多少钱？  制作公司内部网站有哪些,内网如何建网站？  弹幕视频网站制作教程下载,弹幕视频网站是什么意思？  如何通过FTP服务器快速搭建网站？  免费公司网站制作软件,如何申请免费主页空间做自己的网站？  北京企业网站设计制作公司,北京铁路集团官方网站？  建站之星后台搭建步骤解析：模板选择与产品管理实操指南  红河网站制作公司,红河事业单位身份证如何上传？  如何快速搭建高效可靠的建站解决方案？  电商平台网站制作流程,电商网站如何制作？  网站制作大概要多少钱一个,做一个平台网站大概多少钱？  如何在Windows虚拟主机上快速搭建网站？  建站之星×万网：智能建站系统+自助建站平台一键生成  安云自助建站系统如何快速提升SEO排名？  h5网站制作工具有哪些,h5页面制作工具有哪些？  如何用手机制作网站和网页,手机移动端的网站能制作成中英双语的吗？  如何在腾讯云服务器上快速搭建个人网站？  建站之星展会模版如何一键下载生成？  C++用Dijkstra(迪杰斯特拉)算法求最短路径  如何用PHP快速搭建CMS系统？  大型企业网站制作流程,做网站需要注册公司吗？  高性能网站服务器配置指南：安全稳定与高效建站核心方案  网站制作费用多少钱,一个网站的运营，需要哪些费用？  韩国服务器如何优化跨境访问实现高效连接？  网站制作哪家好,cc、.co、.cm哪个域名更适合做网站？  金*站制作公司有哪些,金华教育集团官网？  潮流网站制作头像软件下载,适合母子的网名有哪些？  零服务器AI建站解决方案：快速部署与云端平台低成本实践  定制建站是什么？如何实现个性化需求？