Étiquette : Deep Learning

• Compter les Paramètres de BERT

  

  Plus les modèles de langage sont larges, et plus chaque paramètre semble noyé dans une masse de laquelle on n’ose pas prendre la peine de le considérer dans son individualité. GPT3 contient 175 milliards de paramètres, tandis que son « petit frère » GPT4 en contiendrait dix fois plus selon les rumeurs. Lorsque l’on contemple de telles…

  Jean MP

  7 mars 2024

  HuggingFace, NLP, Python, PyTorch

  BERT, Deep Learning, NLP, PyTorch, Transformer

• Utiliser un Optimiseur sur Plusieurs Modèles Simultanément (PyTorch)

  Problème : Comment utiliser un optimiseur (optimizer) pour optimiser plusieurs modèles en même temps sur PyTorch? Solution : Convertissez les paramètres de chacun de vos modèles en listes, puis concaténez ces listes. Donnez la liste obtenue par concaténation à votre optimiseur. Une forme générale pour faire ça est donnée ci-dessous en exemple. Exemple :

  Jean MP

  6 janvier 2023

  Python, PyTorch

  Deep Learning, Python, PyTorch