Catégorie : HuggingFace
-
Compter les Paramètres de BERT
Plus les modèles de langage sont larges, et plus chaque paramètre semble noyé dans une masse de laquelle on n’ose pas prendre la peine de le considérer dans son individualité. GPT3 contient 175 milliards de paramètres, tandis que son « petit frère » GPT4 en contiendrait dix fois plus selon les rumeurs. Lorsque l’on contemple de telles…
-
Résoudre « No package metadata was found for bitsandbytes »
Lorsque l’on utilise les transformers avec la librairie transformers de HuggingFace, il arrive que l’on veuille utiliser des modèles quantifiés, en anglais « quantized models ». En effet, cela nous permet de manipuler des versions plus légères des larges modèles de langage existants. Dans l’écosysème HuggingFace, une solution pour quantifier un modèle est de faire appel à la…
La Data Science 