Skip to content
The Chat Archive
gpt-3.5-turbo-0125· OpenAI WildChat-4.8M (AI2)

La technique de Transfer Learning se base sur un réseau de neurones pré-entraîné en…

  1. User

    La technique de Transfer Learning se base sur un réseau de neurones pré-entraîné en utilisant un ensemble de données d’une problématique particulière . Ensuite, ce modèle sera utilisé sur un autre échantillon de données dont le résultat recherché pourrait être similaire. Il existe deux types d’apprentissage par transfert d’apprentissage :
    ➢ Le premier type s’applique lorsqu’un réseau comme CNN est utilisé pour extraire les caractéristiques . Ici, les vecteurs de caractéristiques sont extraits à partir des couches de modèle sans rien modifier à sa structure ni aux valeurs des poids (W).
    ➢ Le deuxième type consiste à réinitialiser les valeurs de W à 0 ou selon d’autres méthodes de réinitialisation comme la méthode de Glorot . Donc la structure du modèle pré entraînée sera adapté pour la nouvelle tâche.
    Avec les references bibliographiques

  2. Assistant

    suivantes, vous pourrez approfondir vos connaissances sur la technique de Transfer Learning :

    1. Yosinski J, Clune J, Bengio Y, Lipson H. How transferable are features in deep neural networks? In: Advances in Neural Information Processing Systems. 2014. p. 3320–8.

    2. Pan SJ, Yang Q. A survey on transfer learning. IEEE Trans Knowl Data Eng. 2010; 22(10): 1345–59.

    3. Donahue J, Jia Y, Vinyals O, Hoffman J, Zhang N, Tzeng E, Darrell T. Decaf: A deep convolutional activation feature for generic visual recognition. In: International Conference on Machine Learning. 2014. p. 647–55.

    4. Weiss K, Khoshgoftaar TM, Wang D. A survey of transfer learning. J Big Data. 2016; 3(1): 9.

  3. User

    Le transfert d’apprentissage est largement utilisé dans le domaine médical car les données sont dans la plupart des cas insuffisantes pour réaliser un apprentissage performant. Dans l’état de l’art, (Antony et al.) ont obtenu une précision de 57.6% en appliquant le transfert d’apprentissage d’AlexNet pour classifier les grades de l’entorse du genou. D’un autre côté, ont obtenu une précision de 70.5% pour la classification cytopathologie. Avec les references bibliographiques

  4. Assistant

    suivantes, vous pourrez approfondir vos connaissances sur l'utilisation du transfert d'apprentissage dans le domaine médical :

    1. Shin HC, Roth HR, Gao M, Lu L, Xu Z, Nogues I, et al. Deep convolutional neural networks for computer-aided detection: CNN architectures, dataset characteristics and transfer learning. IEEE Trans Med Imaging. 2016; 35(5): 1285–98.

    2. Tajbakhsh N, Shin JY, Gurudu SR, Hurst RT, Kendall CB, Gotway MB, et al. Convolutional neural networks for medical image analysis: Full training or fine tuning? IEEE Trans Med Imaging. 2016; 35(5): 1299–312.

    3. LeCun Y, Bengio Y, Hinton G. Deep learning. Nature. 2015; 521(7553): 436–44.

    4. Esteva A, Kuprel B, Novoa RA, Ko J, Swetter SM, Blau HM, et al. Dermatologist-level classification of skin cancer with deep neural networks. Nature. 2017; 542(7639): 115–8.

  5. User

    • Fonction d’activation (Activation Function) : La fonction d'activation est une caractéristique importante des réseaux de neurones. Cette fonction décide si un neurone doit être activé ou non. Autrement dit, elle décide si l'information reçue par le neurone est pertinente ou doit être ignorée. Sans fonction d’activation, les poids et biais effectuent simplement une transformation linéaire. Une équation linéaire est simple à résoudre mais sa capacité à résoudre des problèmes complexes est limitée. Un réseau de neurones sans fonction d'activation est essentiellement un modèle de régression linéaire. La fonction d'activation effectue la transformation non-linéaire en entrée, ce qui permet d'apprendre et d'effectuer des tâches plus complexes. Parmi les fonctions d’activation les plus connues, la fonction Sigmoïde expliquée dans la Figure 66. Nous trouvons également la fonction ReLU . C'est la fonction d'activation la plus utilisée. Elle est définie comme selon la formule

  6. Assistant

    f(x)=max⁡(0,x)f(x) = \max(0, x)

    En utilisant la fonction ReLU (Rectified Linear Unit) comme fonction d'activation, les réseaux de neurones peuvent apprendre des représentations plus complexes des données en introduisant une non-linéarité dans le modèle. Cette fonction est simple à calculer, efficace et permet d'éviter certains problèmes tels que le gradient vanish (disparition du gradient) qui peuvent survenir avec d'autres fonctions d'activation.

    Pour en savoir plus sur les fonctions d'activation et leur rôle dans les réseaux de neurones, vous pouvez consulter les références bibliographiques suivantes:

    1. Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neural networks. In: Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics. 2011. p. 315–23.

    2. Nair V, Hinton GE. Rectified linear units improve restricted Boltzmann machines. In: Proceedings of the 27th International Conference on Machine Learning. 2010. p. 807-14.

    3. Aggarwal P, Verma J, Bhandari A. Comparative analysis of activation functions for deep learning. In: 2018 International Conference on Machine Learning, Big Data, Cloud and Parallel Computing (COMITCon). IEEE. 2018.