Étiquette : Transformer

• Compter les Paramètres de BERT

  

  Plus les modèles de langage sont larges, et plus chaque paramètre semble noyé dans une masse de laquelle on n’ose pas prendre la peine de le considérer dans son individualité. GPT3 contient 175 milliards de paramètres, tandis que son « petit frère » GPT4 en contiendrait dix fois plus selon les rumeurs. Lorsque l’on contemple de telles…

  Jean MP

  7 mars 2024

  HuggingFace, NLP, Python, PyTorch

  BERT, Deep Learning, NLP, PyTorch, Transformer