A LRP based approach to explain Text Convolutional Neural Networks (Text-CNN)

Une approche basée sur la méthode LRP pour l'explication des Réseaux de Neurones Convolutifs appliqués à la classification des textes

Florentin Jiechieu (1, 2) , Norbert Tsopze (1, 2)

1 UMMISCO - Unité de modélisation mathématique et informatique des systèmes complexes [Bondy]
2 Département d'Informatique [Yaoundé I]

Jacovi et al. in 2018 proposed a method for the explanation of Convolutional Neural Networks designed for text classification (Text-CNN). The problem with this method is that it only applies to Text-CNN with no hidden layer in the fully connected part. We will therefore find ourselves limited in terms of accuracy if we want to use this method. In addition, the LRP (Layer-wise Relevance Propagation) method makes it possible to compute the contributions of inputs of neural networks with multiple hidden layers, but cannot be applied directly to Text-CNNs because unlike images where each pixel has a meaning taken alone, each component of a vector representation (word embedding) of a word taken alone has no particular meaning. Therefore, we propose in this article to extend the method of Jacovi et al. by using the LRP method in order to be able to explain Text-CNN whose fully connected layer is deep. The qualitative evaluation suggests that the explanations provided by the proposed method are consistent on text classification problems such as Question-Answering (QA) and Sentiment Analysis. Moreover, the quantitative evaluation shows that the explanations provided are 100% faithful to the model.

Jacovi et al. en 2018 ont proposé une méthode pour l'explication des Réseaux de Neurones Convolutifs conçus pour la classification des textes (Text-CNN). Le problème avec cette méthode est qu'elle ne s'applique que sur les Text-CNN qui n'ont pas de couche cachée dans la partie densément connectée. On se retrouvera donc limité en terme de performance si on veut utiliser cette méthode d'explication. Par ailleurs, la méthode LRP (Layer-wise Relevance Propagation) permet de calculer les contributions des caractéristiques en entrée des réseaux de neurones avec un nombre quelconque de couches cachées, mais ne peut s'appliquer directement sur les Text-CNN car contrairement aux images où chaque pixel a un sens pris seul, chaque composante d'une représentation vectorielle (word embedding) d'un mot prise seule n'a pas de signification particulière. C'est ainsi que nous proposons dans cet article, d'étendre la méthode de Jacovi et al. en mettant à contribution la méthode LRP afin de pouvoir expliquer les Text-CNN dont la partie densément connectée est profonde (possède plusieurs couches). L'évaluation qualitative laisse percevoir que les explications fournies par la méthode proposée sont cohérentes sur les problèmes de classification des textes comme le Question-Answering (QA) ainsi que l'analyse des sentiments. Par ailleurs, l'évaluation quantitative montre que les explications fournies sont fidèles à 100% au modèle.

Mots clés: Explanability; LRP; Text Classification; Text-CNN

Mots clés: Explicabilité; LRP; Classification des Textes; Text-CNN

Domaines: Intelligence artificielle [cs.AI]; Apprentissage [cs.LG]; Réseau de neurones [cs.NE]

Florentin Jiechieu, Norbert Tsopze. Une approche basée sur la méthode LRP pour l'explication des Réseaux de Neurones Convolutifs appliqués à la classification des textes. CARI 2022, Oct 2022, YAOUNDE, Cameroun. ⟨hal-03701361⟩