Étiquette : NLP

• Compter les Paramètres de BERT

  

  Plus les modèles de langage sont larges, et plus chaque paramètre semble noyé dans une masse de laquelle on n’ose pas prendre la peine de le considérer dans son individualité. GPT3 contient 175 milliards de paramètres, tandis que son « petit frère » GPT4 en contiendrait dix fois plus selon les rumeurs. Lorsque l’on contemple de telles…

  Jean MP

  7 mars 2024

  HuggingFace, NLP, Python, PyTorch

  BERT, Deep Learning, NLP, PyTorch, Transformer

• TFIDF

  Souvent utilisée en NLP (Natural Language Processing), que cache cette abréviation? TFIDF Cet acronyme signifie Term Frequency, Inverse Document Frequency. Autrement dit, cela signifie « Occurrence du Terme, Occurrence Inverse des Documents ». À noter, en anglais, le terme « frequency » fait référence à ce qu’on appelle en français le nombre d’occurrences. Pas d’histoire de fréquence à ce…

  Jean MP

  3 janvier 2023

  NLP

  NLP, TFIDF, Vectoriseur