Mrli
别装作很努力,
因为结局不会陪你演戏。
Contacts:
QQ博客园

理了一天彻底弄懂元类——分享给你一起弄懂

2022/04/05 Python
Word count: 4,774 | Reading time: 19min

这是一个在看开源代码时配到了单例元类写法后的一个原理贴，可以帮你彻底弄清元类、以及__new__和__call__，相信我，看完你绝对会有收获。

首先，关于元类的结论说在前头，先有个印象——小总结：

  • 现在我们能知道为什么元类必须继承type了：因为我们实例化对象Foo(xxx)时调用了type.__call__,而type.__call__又会调用type.__new__因此如果type子类重写实现了__new__（返回的类实例对象的类型作控制）、__call__（对实例化的流程做控制），则可以对类对象的类型和类属性起到自定义的功能，而重写就必须继承type=>需要元类必须继承type
  • 所以按照上述的逻辑，如果定义了一个元类让自定义类用的话class Foo(metaclass=MyMetaClass)，在其实例化过程中Foo()会直接调用重写后的MyMetaClass.__call__，而只要记住在MyMetaClass.__call__中使用到return super(Singleton, cls).__call__(*args, **kwargs)就可以把type.__call__生成的实例返回啦。所以这也是为什么编写元类，一般都是继承了type，然后根据想控制实例化流程就重写__call__方法，想添加属性就重写__new__方法就行了。
  • ★元类产生影响的时间点是在实例化的时候

看开源代码时，看到了下面一段代码，于是对withMetaclass产生了好奇，经过了解发现其作用是six对python2和python3使用元类兼容的写法。

1
2
3
4
# Python2和3兼容使用元类写法
class ConfigHandler(withMetaclass(Singleton)):
    def __init__(self):
        pass

因此，上述代码在Python3中相当于

1
2
3
4
# Python3元类使用写法
class ConfigHandler(metaclass=Singleton):
    def __init__(self):
        pass

那么，问题来了，withMetaclass到底是怎么实现兼容的呢？下面是其实现代码

1
2
3
4
5
def withMetaclass(meta, *bases):
    class MetaClass(meta):
        def __new__(cls, name, this_bases, d):
            return meta(name, bases, d)
    return type.__new__(MetaClass, 'temporary_class', (), {})

可以看到其中出现了不少我们很少看到的使用方法。接下来我们就仔细的学习上述写法为什么可以成功。

元类使用可以参考：Python3 元类（metaclass）

预置知识：type和object

object 和 type的关系很像鸡和蛋的关系，先有object还是先有type没法说，obejct和type是共生的关系，必须同时出现的。

记住一点：在Python里面，所有的东西都是对象的概念，即包括类（类是type的实例对象）

最重要的两点

  • object类是所有类的超类（也是type类的父类）
  • type是所有类的类（类型，所有类都是type的实例对象，object类型也是type的实例对象；type 创建的对象拥有创建对象的能力(也就是类)）–>是所有类的元类

此外：

  • type是所有元类的父亲。我们可以通过继承type来创建元类（通过重写type.__new__和type.__call__来拦截自定义类的创建过程）。
  • object是所有类的父亲。
  • 实例是对象关系链的末端，不能再被子类化和实例化。

了解到这些关键的点后，我们继续看代码中出现的一些内容：

__new__

__new__() 是一种负责创建类实例的静态方法，它无需使用 staticmethod 装饰器修饰，且该方法会优先 __init__() 初始化方法被调用。

__new__()通常会返回该类的一个实例，但有时也可能会返回其他类的实例，其super().__new__(cls)中会调用object.__init__来Create and return a new object.，因此我们可以通过改写子类的__new__可以添加一些逻辑来控制实例的产生，然后再通过super().__new__(cls)来生成一个instance并返回。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
class demoClass:
    instances_created = 0
    def __new__(cls, *args, **kwargs):
        # __new__(): <class '__main__.demoClass'> ('abc',) {}
        print("__new__():", cls, args, kwargs)
        # 1. 通过父类__new__生成一个实例: 调用父类object.__new__生成实例(Create and return a new object.) 
        instance = super().__new__(cls)	
        # 2. 自己重写要实现的逻辑
        instance.number = cls.instances_created
        cls.instances_created += 1
        # 3. 将父类生成的实例返回
        return instance

    def __init__(self, attribute):
        # __init__(): <__main__.demoClass object at 0x00000185A6466EB0> abc
        print("__init__():", self, attribute)
        self.attribute = attribute

test1 = demoClass("abc")
test2 = demoClass("xyz")
print(test1.number, test1.instances_created)
print(test2.number, test2.instances_created)

Q:什么情况下重写类的__new__()呢？答案很简单，在__init__()不够用的时候。

__new__()通常会返回该类的一个实例，但有时也可能会返回其他类的实例，如果发生了这种情况，则会跳过对 __init__()方法的调用。而在某些情况下（比如需要修改不可变类实例（Python 的某些内置类型）的创建行为），利用这一点会事半功倍。比如：http://c.biancheng.net/view/5484.html，对 Python 不可变的内置类型（如 int、str、float 等）进行了子类化，这是因为一旦创建了这样不可变的对象实例，就无法在__init__()方法中对其进行修改。

注：由于 __new__() 不限于返回同一个类的实例，所以很容易被滥用，不负责任地使用这种方法可能会对代码有害，所以要谨慎使用。

MetaClass元类

承接上文__new__，Python中大量使用__new__()方法且合理的地方，就是 MetaClass 元类。

MetaClass元类，并不是某一个类的名字，它是一个概念，是一种Python的思想。当然其本质也是一个类，但和普通类的用法不同，它可以对类内部的定义（包括类属性和类方法）进行动态的修改。可以这么说，使用元类的主要目的就是为了实现在创建类时，能够动态地改变类中定义的属性或者方法。其可以将创建对象的过程拦截下来，从而对这个对象进行自定义（这个需要类继承type，与前文继承object的做区别）。

明确一点：元类可以理解成是自定义类继承的父类（从兼容写法中也能看出），但元类的特点是不会出现在自定义类的继承关系(__mro__)之中

举个例子，根据实际场景的需要，我们要为多个类添加一个 name 属性和一个 say() 方法。显然有多种方法可以实现，但其中一种方法就是使用 MetaClass 元类。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# 定义一个元类，继承type。因为只有继承type才能通过重写__new__来拦截创建过程
# ▲注意，继承type后__new__能拿到的参数信息跟不继承type的有天壤之别，原因继续看下去
class FirstMetaClass(type):
    # cls代表元类的类: FirstMetaClass
    # name代表自定义类的类名: CLanguage
    # bases代表被动态修改的类的所有父类
    # attr代表被动态修改的类的所有属性、方法组成的字典
    def __new__(cls, name, bases, attrs):
        # 动态为该类添加一个name属性
        attrs['name'] = "C语言中文网"
        attrs['say'] = lambda self: print("调用 say() 实例方法")
        return super().__new__(cls,name,bases,attrs)
        
# 定义类时，指定元类
class CLanguage(object, metaclass=FirstMetaClass):
    pass

clangs = CLanguage()
print(clangs.name)
clangs.say()

可以看到，在创建类时，通过在标注父类的同时指定元类（格式为metaclass=元类名），则当 Python 解释器在创建该类实例时，FirstMetaClass(type)元类中的__new__方法就会被调用，其中bases和attrs能拿到自定义类的参数，从而实现动态修改类属性或者类方法的目的。

元类和父类的区别：

在定义子类的时候，我们有两个选择：①是传需要继承的父类；②自定义的元类。

  • 父类是子类的模板，子类的功能是跟父类紧耦合的，子类和父类一般是一一对应的
  • 元类是子类的修饰器，可以为该子类和其他子类都添加自定义功能，并且不在继承关系中(Class.__mro__查看)，子类和元类是一对多的关系。元类并不是特地为某个子类服务的
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
class TestMeta3(type):
    def __new__(cls, name, bases, attrs):
        print(cls)				    # 当前类 
        print("name", name)			# 如果是通过metaclass触发的，此处为调用metaclass的类的类型
        print("bases", bases)		# 如果是通过metaclass触发的，此处为调用metaclass的类的父类
        print("attrs", attrs)		# 如果是通过metaclass触发的，此处为调用metaclass的类的属性
        return type.__new__(cls, name, bases, attrs)

class Pa3:
    pass

# python3中可以直接通过metaclass关键字参数来指定类的元类
class Eg3(Pa3, metaclass=TestMeta3):
    @classmethod
    def get(self):
        kkk = []
        kkk.append(self.__skiless__)
        return kkk

    def acc2(self):
        return 'a2'
"""
输出
<class '__main__.TestMeta3'>
name Eg3
bases (<class '__main__.Pa3'>,)
attrs {'__module__': '__main__', '__qualname__': 'Eg3', 'get': <classmethod object at 0x00000263511C6FA0>, 'acc2': <function Eg3.acc2 at 0x00000263511C5310>}
"""

在定义的时候，发现竟然有输出。因为定义的时候，python解释器会在当前类中查找metaclass[3]，如果找到了，就使用该metaclass创建Eg3类。所以打印出来的name、bases、attrs都和Eg3有关。

with_metaclass

由于python2和python3中元类使用方法的不同，我们需要使用一种兼容的方式[1]，如下所示：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
def withMetaclass(meta, *bases):
    """Create a base class with a metaclass."""
    class MetaClass(meta):
		# 如果删除__new__，则类.__mro__中能看到meta类
        def __new__(cls, name, this_bases, d):
            # 因为meta是类，所以这边是在调用meta的__call__()。▲bases，d为ConfigHandler的父类和属性
            return meta(name, bases, d)
	# 返回一个新类型, type.__new__()要求第一个必须是type的子类
    return type.__new__(MetaClass, 'temporary_class', (), {})
# 下面两句话等价，withMetaclass是为了兼容python2和python3,2中没有metaclass关键字
# 其在创建实例时，__new__方法会被MetaClass拦截(其实就是子类没定义__new__，走了父类的__new__)
class ConfigHandler(withMetaclass(Singleton))
# python3写法
class ConfigHandler(metaclass=Singleton)

# 因为ConfigHandler相当于继承了 type.__new__返回的类MetaClass，所以在c = ConfigHandler()实例化的时候，会触发Metaclass的__new__然后调用meta.__call__从而返回一个对象

with_metaclass返回的临时类中，本身无任何属性，但包含了元类和基类的所有信息，并在下一步定义类时将所有信息解包出来[1]。

见：★Python 元类及with_metaclass

type动态创建类

  • type() 函数属于 Python 内置函数，通常用来查看某个变量的具体类型。
    • type(obj)
  • 其实，type() 函数还有一个更高级的用法，即创建一个自定义类型（也就是创建一个类）。
    • type(name, bases, dict)：其中 name 表示类的名称；bases 表示一个元组，其中存储的是该类的父类；dict 表示一个字典，用于表示类内定义的属性或者方法。

实际上type(name, bases, dict)是调用了type类的type.__init__(cls, what, bases=None, dict=None)方法，创建了一个type的实例（类类型就是一个type实例），类型是<class 'type'>

<class ‘type’>是所有类型的类型。<class ‘object’>也是所有对象的超类（除了它自己，包括type）

▲. 此外type还有type.__new__(*args, **kwargs)，其作用是Create and return a new object.，可以写成type.__new__(ClassTpye, name, base, dicts)，但ClassType必须是type的子类。会返回一个跟ClassType有关系的新类型

通过元类创建单例类

现在让我们正式看，我在开源代码里看到的内容：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
# 注意这边继承了type, 所以下面的__call__是重写type的__call__，即创建实例的方法
class Singleton(type):
    """
    Singleton Metaclass
    """
    _inst = {}
    def __call__(cls, *args, **kwargs):
        if cls not in cls._inst:
            cls._inst[cls] = super(Singleton, cls).__call__(*args, **kwargs)
        return cls._inst[cls]

def withMetaclass(meta, *bases):
    """Create a base class with a metaclass."""
    # 这需要一点解释：基本思想是为一个级别的类实例化创建一个虚拟元类，用实际的元类替换它自己。
    
    # KeyPoint1. 继承meta类
    class MetaClass(meta):
        # 实际上下面的__new__不影响
        def __new__(cls, name, this_bases, d):
            # cls为withMetaclass; name为使用者的类型; this_bases为使用者的父类们; d为使用者的属性
            return meta(name, bases, d)
    # KeyPoint2. type.__new__创建一个名称叫temporary_class，类型为MetaClass的类
    # ▲注意type.__new__中的类类型必须是type的子类
    return type.__new__(MetaClass, 'temporary_class', (), {})

class ConfigHandler(withMetaclass(Singleton)):
    def __init__(self):
        print("__init__")
        pass
    @LazyProperty
    def serverHost(self):
        return os.environ.get("HOST", setting.HOST)
# res=withMetaclass(Singleton)的类型为<class 'util.six.withMetaclass.<locals>.MetaClass'>
# 将其传给ConfigHandler作为父类，在定义 ConfigHandler 时会触发MetaClass.__new__, 于是调用meta(name, bases, d)，此处的meta为Singleton，而name为ConfigHandler类, bases为空, d为ConfigHandler的属性和方法。

# print(type(ConfigHandler)) ==>  <class 'util.singleton.Singleton'>
# 因此 c = ConfigHandler() ==> Singleton的__call__方法，
当c = ConfigHandler()时会因为type.__new__(MetaClass, 'temporary_class', (), {})去找MetaClass的__call__进行调用，MetaClass没有__call__则找到了其父类meta(Singleton)的__call__

注：类也是对象，是元类的对象，即我们实例化一个类时，调用其元类的__call__(cls, *args, **kwargs)方法进行创建对象。

__call__

一个非常特殊的实例方法，即__call__()。该方法的功能是在类中重载了对象的 () 运算符，使得类实例对象可以像调用普通函数那样，以“对象名()”的形式使用。

实际上，如果不重写__call__的话，Class.__call__(*args, **kwargs)还承担着产生类实例的功能（会调用父类（可以通过Class.__class__来查看父类）的type.__call__其会返回一个实例）

案例一:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
# 默认继承的是object, 而不是type
class Meta:
    def __init__(self, name):
        print("init")
        self.name = name
    def __call__(self, *args, **kwargs):
        print("call")
# 当没有重写__call__时，无论是显式的调用__call__，还是通过()运算符调用，都会调用type.__call__返回一个实例
res = Meta.__call__("asd")
print(res, type(res))
res = Meta("asd")
print(res, type(res))
"""
init
<__main__.Meta object at 0x0000014FB5115EE0> <class '__main__.Meta'>
init
<__main__.Meta object at 0x0000014FB5115A90> <class '__main__.Meta'>
上述两种都能创建对象
"""
# 当重写__call__以后, __call__()返回实例的效果就失效了==>因为上述代码没有return
# 此时 Meta()与Meta.__call__()不再等价
"""
call
None <class 'NoneType'>
init
<__main__.Meta object at 0x0000016CC2745EE0> <class '__main__.Meta'>
"""

Q:我们在实例化一个对象的时候f = Foo(1, y=2)，可以发现在__init__()中并没有返回实例，但调用Foo(1, y=2)确实返回了一个对象，而且，__init__预期一个self参数，但是当我们调用Foo(1, y=2)时这里并没有这个参数。那么类实例化的过程到底是怎么样的呢？

A:构造顺序——理解python的类实例化

首先明确一点，Python中的类也是对象！类、函数、方法以及实例都是对象——类类型是type的对象，并且无论何时你将一对括号放在它们的名字后面时，就会调用type.__call__()方法。为什么呢？因为type是类型的父类

1
2
>>> Foo.__class__
<class 'type'>

所以Foo是类型type的一个对象，并且调用type类的__call__(self, *args, **kwargs)返回一个Foo类的对象。让我们看下type中的__call__方法是什么样的。这个方法相当的复杂，但是我们将其C代码转成Python代码，并尝试尽量简化它，结果如下。

1
2
3
4
5
6
7
8
9
10
11
class type(object):
	# 这边的obj_type跟cls一样
    def __call__(obj_type, *args, **kwargs):
        # 通过__new__创建一个空的类实例，如果obj_type没有__new__则使用type.__new__
        obj = obj_type.__new__(*args, **kwargs)
        # 进行类型检查
        if obj is not None and issubclass(obj, obj_type):
            # 对类进行__init__初始化
            obj.__init__(*args, **kwargs)
        # 返回类实例
        return obj

可见__new__方法为对象分配了内存空间，构建它为一个“空"对象然后__init__方法被调用来初始化它。

那我们定义了一个具体类来讲解这个过程。首先明确一点：Foo相对于产生了一个type实例化对象

1
2
3
4
class Foo(object):
    def __init__(self, x, y=0):
        self.x = x
        self.y = y

获得实例化对象**Foo(*args, **kwargs)也可以看作是type对象()即调用了type中()运算符的触发的函数type.__call__从而创建一个Foo的实例**

  • 至于type.__call__发生了什么就是上面抽象代码中介绍的那般，调用type.__new__(Foo, *args, **kwargs)然后返回一个对象实例obj。
  • obj随后通过调用obj.__init__(*args, **kwargs)被初始化。
  • obj被type.__call__中返回。

▲注意：Foo.__call__重载的是foo对象的()运算符，而Foo()实例化foo对象，则执行的是type对象的()运算符。

小总结：

  • 现在我们能知道为什么元类必须继承type了：因为我们实例化对象Foo(xxx)时调用了type.__call__,而type.__call__又会调用type.__new__因此如果type子类重写实现了__new__（返回的类实例对象的类型作控制）、__call__（对实例化的流程做控制），则可以对类对象的类型和类属性起到自定义的功能，而重写就必须继承type=>需要元类必须继承type
  • 所以按照上述的逻辑，如果定义了一个元类让自定义类用的话class Foo(metaclass=MyMetaClass)，在其实例化过程中Foo()会直接调用重写后的MyMetaClass.__call__，而只要记住在MyMetaClass.__call__中使用到return super(Singleton, cls).__call__(*args, **kwargs)就可以把type.__call__生成的实例返回啦。所以这也是为什么编写元类，一般都是继承了type，然后根据想控制实例化流程就重写__call__方法，想添加属性就重写__new__方法就行了。
  • ★元类产生影响的时间点是在实例化的时候

注意点：元类继承了type，所以实例化元类是在产生一个类类型，就要以type创建类类型的参数去产生。而元类的使用一般都是自定义类class MyClass(metaclass=元类)，然后实例化自定义类MyClass(xxx)

总结：看完上述知识点后，我们能知道为什么withclass能起到metaclass的作用(类的__mro__中不出现指定的元类)了：

  • 首先分析流程：return type.__new__(Metaclass)返回了一个类型供自定义类继承，由于MetaClass继承的是真正的元类(元类都继承type)，所以在自定义类实例化的时候会被Metaclass的__new__方法拦截，在MetaClass.__new__里return了一个自定义实例，并把对象加入到了Singleton字典中了。
  • 其次讲解为什么MetaClass中没有MetaClass：因为根据__new__知识点中讲到的，__new__控制了实例产生，return type.__new__(Metaclass)中创建了Metaclass，但其在__new__中返回的并不是MetaClass，因此__mro__中不会出现Metaclass
  • 最后还要讲讲Singleton中的执行逻辑：
1
2
3
4
5
6
7
class Singleton(type):
    _inst = {}
    def __call__(cls, *args, **kwargs):
        if cls not in cls._inst:
            # super(Singleton, cls).__call__调用的是type.__call__(自定义类类名name, 自定义类父类bases, 自定义类属性attrs)
            cls._inst[cls] = super(Singleton, cls).__call__(*args, **kwargs)
        return cls._inst[cls]

Author: Mrli

Link: https://nymrli.top/2022/04/05/理了一天彻底弄懂元类——分享给你一起弄懂/

Copyright: All articles in this blog are licensed under CC BY-NC-SA 3.0 unless stating additionally.

< PreviousPost
[翻译]设计Pastebin.com(or Bit.ly)系统NextPost >
PlantUML作图
CATALOG
  1. 1. 预置知识：type和object
  2. 2. __new__
  3. 3. MetaClass元类
  4. 4. type动态创建类
  5. 5. 通过元类创建单例类
  • __call__