迭代器漫谈

问题是在Python中进行循环的时候产生的。熟悉Python的都知道，它没有类似其它语言中的传统for循环，通常通过for in的方式进行循环遍历。最典型的应用就是通过range函数产生一个列表，然后用for in进行操作，如下：

#!/usr/bin/env python
for i in range(10):
    print i

代码的意义很好理解，range会产生一个列表，用for in对这个列表进行遍历，就有和类似for(i = 0; i < n; i++)同样的效果，range函数的详解可以看这里。

问题又来了，range这个函数会产生一个列表，那么这个列表的内容肯定是存放在内存当中的。当需要循环的数量太大时，是相当占用内存的。为了统计使用range占用内存的情况，我做了6次测试，分别用range产生100、10000、100000、1000000、10000000、100000000长度的列表，然后统计内存的占用：

可以看到，随着数量的增加，占用内存也在快速增加。显然在进行大循环操作的时候，要避免直接使用range。

为了解决上述问题，Python提供了另外一个函数xrange，这个函数和range非常相似，但是占用内存比range小很多，相关的说明可以查看这里。经过测试，用xrange产生的对象，不管参数是多少，占用内存几乎都没有变化。

问题又来了，xrange内部是如何实现的，为什么和range性能相差这么大？为了验证我的猜想，先尝试用Python实现类似xrange的函数zrange：

#!/usr/bin/env python

class zrange(object):
    def __init__(self, stop):
        self.__pointer = 0
        self.stop = stop

    def __iter__(self):
        return self

    def next(self): # python3.0中，改用__next__
        if self.__pointer >= self.stop:
            raise StopIteration
        else:
            self.__pointer = self.__pointer + 1
            return self.__pointer - 1

test = zrange(10000000)
for i in test:
    print i

运行的结果和xrange一样。对zrange进行内存占用测试，发现和xrange一样，参数的大小对内存占用几乎没有影响。那么它和range的区别在哪里呢？

前面说到，range产生的是一个列表，而无论是自定义的zrange还是系统内置的xrange，产生的都是一个对象。像xrange或者zrange产生的对象，就可以通过迭代的方式逐个访问其中的元素，而不用一次把所有内容存放到内存中。

上面zrange的实现中，最关键的地方是建立了一个内部指针__pointer，它记录当前的访问位置，下次访问就可以根据指针的状态进行相应的操作。

Python或者其它语言中，还有很多类似通过迭代的方式访问对象内容的例子，例如读取一个文件中的内容：

#!/usr/bin/env python

f = open('zrange.py', 'r')
while True:
    line = f.readline()
    if not line:
        break
    print line.strip()
f.close()

大家都知道用readline要比readlines节省资源，其实readline和readlines就类似于xrange和range，一个是通过指针记录当前位置，下次访问把指针往前移动一个单位，另外一个是直接把所有内容存放到内存当中。

文件操作函数中，还可以通过seek手动调整指针的位置，从而达到跳过或者重复读取某些内容的目的。

可以说，迭代器的实现中，其内部指针是节省资源、让迭代正常运行的关键。