Lorsque l’on utilise les transformers avec la librairie transformers de HuggingFace, il arrive que l’on veuille utiliser des modèles quantifiés, en anglais « quantized models ».

En effet, cela nous permet de manipuler des versions plus légères des larges modèles de langage existants.

Dans l’écosysème HuggingFace, une solution pour quantifier un modèle est de faire appel à la librairie bitsandbytes (« des bits et des octets », en français).

Cependant, sans crier gare, il arrive que l’on se retrouve confronté à une erreur s’il on n’a pas installé la librairie en amont.

PackageNotFoundError: No package metadata was found for bitsandbytes

pip install bitsandbytes