Catégorie : PyTorch
-
Afficher un Résumé d’un Modèle PyTorch
Les modèles de deep learning développés en PyTorch peuvent être très grands et donc difficiles à appréhender. Il est alors tentant d’afficher un résumé du modèle avec lequel on travaille. Si, en Keras, l’on dispose de la méthode summary qui nous permet de faire model.summary() pour afficher un joli résumé de model, en PyTorch, nous…
-
Compter les Paramètres de BERT
Plus les modèles de langage sont larges, et plus chaque paramètre semble noyé dans une masse de laquelle on n’ose pas prendre la peine de le considérer dans son individualité. GPT3 contient 175 milliards de paramètres, tandis que son « petit frère » GPT4 en contiendrait dix fois plus selon les rumeurs. Lorsque l’on contemple de telles…
-
Résoudre « For debugging consider passing CUDA_LAUNCH_BLOCKING=1 »
Pour exploiter le plein potentiel de PyTorch, utiliser un GPU est nécessaire. Cependant, lorsque vous avez placé vos tenseurs sur un GPU et que vous avez une erreur qui se produit dans votre code, vous risquez d’être confronté à un message d’erreur bien familier. Ce message dit : For debugging consider passing CUDA_LAUNCH_BLOCKING=1. Compile with…
-
Calculer le Maximum Entre Deux Tenseurs PyTorch
Problème : Comment calculer le maximum entre deux tenseurs PyTorch? Solution : Utiliser la fonction maximum du module torch. Exemple :
-
Passer un Tenseur de 1 Channel à 3 Channels en PyTorch
Problème : Comment passer d’un tenseur à 1 channel à un tenseur à 3 channels en PyTorch? Solution : Certains modèles, notamment pour les images, prennent en entrée des tenseurs à 3 channels (images RGB). Hors, parfois, on veut les utiliser sur des images à 1 channel (images en nuances de gris). Pour ce faire,…
-
Compter le Nombre de Paramètres d’un Modèle PyTorch
Problème : Comment savoir quel est le nombre de paramètres d’un modèle PyTorch? Solution : Utiliser la ligne de code suivante: Compléments :
-
Utiliser un Optimiseur sur Plusieurs Modèles Simultanément (PyTorch)
Problème : Comment utiliser un optimiseur (optimizer) pour optimiser plusieurs modèles en même temps sur PyTorch? Solution : Convertissez les paramètres de chacun de vos modèles en listes, puis concaténez ces listes. Donnez la liste obtenue par concaténation à votre optimiseur. Une forme générale pour faire ça est donnée ci-dessous en exemple. Exemple :
-
Geler les Paramètres de mon Modèle PyTorch
Problème : Comment geler les paramètres de mon modèle PyTorch? Solution : Il arrive parfois que l’on veuille geler les paramètres d’un modèle pour ne pas les mettre à jour lorsque l’on entraîne le modèle. Pour réaliser ce tour de passe-passe, il s’agit d’utiliser de mettre à False l’attribut requires_grad des paramètres du modèle. Regarder…
-
Valeur Aléatoire en PyTorch
Problème : Comment générer un nombre flottant aléatoire avec PyTorch? Solution : Utiliser la fonction rand de torch. torch.rand(size) renvoie un tenseur dont les dimensions sont spécifiées par size et dont les valeurs sont des flottants dans [0, 1[, choisis selon une loi uniforme. Exemple :
-
model.eval() en PyTorch
Problème : À quoi sert model.eval() en PyTorch? Solution : model.eval() sert à désactiver certaines couches du modèle model lorsqu’on n’est plus en train de l’entraîner. En effet, certaines couches comme les couches de batch normalization ou de dropout sont souvent destinées uniquement à l’entraînement et peuvent générer des comportements non désirés lors de phases…
La Data Science 