Python迭代器生成器进阶教程_节省内存与懒加载实战

Python中迭代器和生成器实现懒加载以节省内存，迭代器需实现__iter__和__next__方法，生成器函数用yield简化编写并自动支持状态暂停与恢复。

Python 中的迭代器和生成器是实现懒加载、节省内存的关键工具，尤其在处理大数据流、无限序列或资源受限场景时优势明显。它们不一次性把所有数据装入内存，而是按需产出，让程序更轻量、更可控。

理解迭代器：可被 next() 驱动的对象

迭代器是实现了 __iter__() 和 __next__() 方法的对象。调用 iter() 得到迭代器，反复调用 next() 获取下一个值，直到抛出 StopIteration 异常为止。

自定义迭代器适合封装有明确状态和逻辑的数据遍历过程。例如，读取大文件时逐行迭代，避免一次性读入全部内容：

class LineReader:
    def __init__(self, filepath):
        self.filepath = filepath
    def __iter__(self):
        return self
    def __next__(self):
        try:
            if not hasattr(self, 'file'):
                self.file = open(self.filepath, 'r', encoding='utf-8')
            line = self.file.readline()
            if not line:
                raise StopIteration
            return line.rstrip('\n')
        except StopIteration:
            self.file.close()
            del self.file
            raise

每次只打开一次文件，每次只读一行，内存占用恒定
使用 for line in LineReader('huge.log'): 即可安全遍历
注意手动关闭文件，或改用上下文管理器（推荐）提升健壮性

掌握生成器：用 yield 简化迭代器编写

生成器函数使用 yield 关键字返回值，Python 自动将其编译为迭代器对象。它比手写迭代器更简洁、不易出错，且天然支持暂停/恢复执行状态。

典型场景：生成斐波那契数列、过滤日志、解析流式 JSON：

def fibonacci(max_count):
    a, b, count = 0, 1, 0
    while count < max_count:
        yield a
        a, b = b, a + b
        count += 1
使用方式完全一致
for n in fibonacci(1000000):  # 不会创建百万元素列表
if n > 1000:
break
print(n)

yield 让函数变成生成器工厂，调用时不执行，只返回生成器对象
每次 next() 触发时，从上次 yield 暂停处继续运行
生成器对象不可重用，用完即弃；需重复遍历时应重新调用生成器函数

实战技巧：组合与转换生成器链

生成器可以像 Unix 管道一样串联，形成清晰、低耦合的数据处理链。每一步都保持懒加载，整条链仍只占用常量内存。

def read_lines(filepath):
    with open(filepath) as f:
        for line in f:
            yield line.strip()
def filter_nonempty(lines):
for line in lines:
if line:
yield line
def parse_json_lines(lines):
import json
for line in lines:
try:
yield json.loads(line)
except json.JSONDecodeError:
continue
组合使用（无中间列表）
for obj in parse_json_lines(filter_nonempty(read_lines('data.jsonl'))):
process(obj)  # 每次只处理一个解析后的对象

每个函数职责单一，易于测试和复用
整个流程不会因文件过大而 OOM，哪怕文件是 GB 级别
可配合 itertools（如 islice, chain, filterfalse）进一步增强表达力

进阶提醒：生成器的边界与注意事项

生成器强大但不是万能解药。实际使用中需注意几个关键点：

生成器只能遍历一次，多次使用需重新构造（可包装成类或工厂函数）
调试困难：无法直接索引、切片或查看长度，可用 itertools.islice(gen, 5) 查看前几项
异常传播：若生成器内部抛出异常，会原样传递给调用方，建议在 yield 前加 try/except
协程扩展：Python 3.5+ 中 yield from 支持委托子生成器，async def + await 是异步生成器演进方向

# python # js # json # 大数据 # 工具 # 懒加载 # ai # unix # 内存占用

返回目录在线咨询

上一篇：宜昌网站制作小玩具厂家,宜昌有什么塑胶玩具或塑胶电子厂？
下一篇： psd素材网站排行,ps如何加psd素材？

您的项目需求

*请认真填写需求信息，我们会在24小时内与您取得联系。

全网整合营销服务商