Comment les artistes font face au géant ?
"David et Goliath" - Gustave Doré passé dans Dall-e
A l’heure d’internet, les métiers créatifs ont connu une évolution significative de leur activité. Alors que nous sommes plus que jamais immergés dans un monde d’image, quelle est la place de la création graphique dans cet océan numérique ? Certains évoluent et surfent sur la vague, d’autres reviennent à des situations plus classiques, mais tous se retrouvent confrontés aux nouvelles technologies et à la place qu’elles prennent dans le paysage. Les bancs d’artistes, de graphistes, d’animateurs, se voient alors face à de bien plus gros poissons, et parmi ceux-là, il y a l’intelligence artificielle générative…
C’est dans ce contexte mitigé, entre écosystème mondial de créatifs souvent isolés et puissances économiques démesurées que sont les entreprises d’IA, comment sont nourris les gros poissons de l’intelligence artificielle et quelles en sont les conséquences ?
Afin qu’une intelligence artificielle soit en capacité de générer de l’image, elle a besoin de consommer une quantité importante d’images pour faire le lien entre la perception de “l’objet” et sa définition nominale : Qu’est-ce qu’un chat ? Si nous pouvons facilement, en quelques coups d’oeil, enfant, comprendre qu’un chat n’est pas un chien, ni une table ou un loup, c’est une tâche plus complexe pour une intelligence artificielle.
L’évolution des modèles d’entrainement des IA pour aller vers la Gen-AI que l’on connait aujourd’hui
Cependant, pour ingurgiter ces quantités d’images pour se développer, Gol[IA]th mange sans discerner ce qu’il engloutit… que ce soit des photos libres de droit, que ce soit des oeuvres photographiques, des planches d’artwork, ou le travail d’une vie d’un artiste, Gol[IA]th ne fait pas de différence, tout n’est “que” nourriture…
Dans cet appétit gargantuesque, l’éthique passe bien après la volonté de développer le plus grand géant du paysage. Les USA ont bien de l’avance sur ce sujet, créant de véritables problématiques pour les acteurs de la création… Face à cela, l’Europe essaie de normer et d’encadrer l’éthique des algorithmes, mais la place de la propriété intellectuelle est une vraie question à ce jour. Faisons un petit détour auprès des différents régimes alimentaires de ce géant…
Comment sont alimentées les bases de données d’image pour les Gen-AI ?
L'alimentation des IA génératives en données d'images est une étape cruciale pour leur entraînement et leur performance. Comme tout bon géant, son régime alimentaire est varié et il sait se substanter par différents procédés… Voici les principales sources et méthodes utilisées pour fournir les calories nécessaires de données d'images aux IA génératives :
Ensembles de Données Publics
Notre Gol[IA]th commence généralement par une alimentation saine, basée sur un des ensembles de données les plus vastes et les plus communément utilisées (ImageNet). Cette dernière représentant une base de données conséquentes de plus de 14 millions d’images annotées dans des milliers de catégories. Pour obtenir ces résultats, c’est un travail fastidieux qui demande de passer en revue chaque image pour la qualifier, en la déterminant d’après des descriptions, des mots-clef, des labels, etc…
Dans ces ensembles publics, on retrouve également COCO (à comprendre comme Common Objects in COntext) qui contient plus de 330 000 images annotées également, pour l’usage de la segmentation d’objets, la détection d’objets, de la légendes d’image, etc…
Plus à la marge, on retrouve la base de donnée CelebA qui contient plus de 200 000 images de visages célèbres avec des annotations d’attributs.
Et entre autre, MNIST, un ensemble de données de chiffres manuscrits, couramment utilisé pour les tâches de classification d’images simples.
Collecte de Données en Ligne
Plus discutable, Gol[IA]th peut également chasser sa pitance… Pour ce faire, le Web Scraping est un moyen employé. Il s’agit d’extraction automatique d’images à partir de sites web, moteurs de recherche d’images, réseaux sociaux, et autres sources en ligne. C’est ici que démarre les questionnements éthique sur l’Intelligence Artificielle, ou le consentement éclairé des utilisateurs de la toile numérique peut être questionné. Il y a peu de safe-places pour les créatifs qui permettent efficacement d’être mis en lumière tout en se prémunissant contre les âffres de l’Intelligence Artificielle, mais surtout, de servir d’encas à son appétit titanesque. C’est cette méthode, qui, arrivée sans fanfare, a très vite fait déserter les créatifs de certaines plateformes/réseaux sociaux, car les vannes avaient été ouvertes avant même que la réflexion ne soit portée à la connaissance des internautes. Cette problématique a été aperçue, entre autre, sur Artstation, vitrine artistique, mais également sur Instagram et bien d’autres : parfois ces plateformes assument ce positionnement ouvertement, mais elles sont rares ; la plupart préférant enterrer l’information dans les lignes d’interminables conditions d’utilisateur qu’il serait bon de commencer à lire pour prendre conscience de l’impact que cela représente sur notre “propriété numérique”.
Il existe des APIs afin d’arriver à ce résultat. C’est l’utilisation d’interfaces de programmation d’applications pour accéder à des bases de données d’images : il en existe pour Flickr, pour Google Images, mais pas seulement.
Bases de Données Spécialisées
Dans certains cas, Gol[IA]th peut avoir accès à des bases de données spécialisées, comprenant des ensembles de données médicaux (comme les scans radiographiques, IRM, et autres images médicales disponibles via des initiatives comme ImageCLEF) ou des données satellites (fournies par des agences spatiales comme la NASA et des entreprises privées pour des images de la Terre prises depuis l'espace).
Données Synthétiques
Au-delà des images tirées du réel, l’IA peut également être alimentée à partir d’images générées par ordinateur. La création d’images synthétiques par des techniques de rendu 3D pour simuler des scénarii spécifiques (par exemple, de la simulations d’environnements de conduite pour entraîner des systèmes de conduite autonome), ainsi que des modèles génératifs pré-entrainés. En effet, les images générées par des modèles peuvent également servir pour l’entrainement d’un autre modèle. Mais les ressources peuvent également provenir d’images de jeux vidéos ou d’environnement de réalité virtuelle pour créer des ensembles de données (on pense alors à Unreal Engine ou Unity).
Caméras et Capteurs
L’utilisation de caméras pour capturer des images et des vidéos est souvent employée dans les projets de recherche et développement, et dans une volonté de sources plus fines, de capteurs pour obtenir des images dans des conditions spécifiques, comme des caméras infrarouges pour la vision nocturne, des LIDAR pour la cartographie 3D, etc.
Toutes ses différentes sources d'approvisionnement pour Gol[IA]th sont généralement prétraitées avant d'être utilisées pour l'entrainement : normalisation, redimensionnement, augmentation des données, sont des moyens de préparation des images.
Les IA génératives sont alimentées par une vaste gamme de sources de données d'images, allant des ensembles de données publics aux données collectées en ligne, en passant par les images synthétiques et les captures du monde réel. La diversité et la qualité des données sont essentielles pour entraîner des modèles génératifs performants et capables de produire des images réalistes et variées.
Mais alors, comment les créatifs subissent cette naissance monstrueuse ?
Les métiers créatifs voient leur carnet de commande diminuer, les intelligence artificielle se démocratisant à une vitesse folle, [DA]vid, au delà de perdre des revenus en n’étant plus employé par des revues pour faire la couverture du magazine, il se retrouve face à une concurrence déloyale : l’image générée a son style… Style qui est l’œuvre du travail d’une vie, un facteur différenciant dans le paysage créatif, et moteur de compétitivité dans le secteur… Comment faire pour maintenir son statut d’acteur de la compétitivité économique alors que les clients du secteur substituent leur commande par des procédés éthiquement questionnables pour faire des économies ?
Gol[IA]th mange sans se sentir rompu, qu’il s’agisse de données libres ou protégés par des droits d’auteur, la saveur ne change pas. L’espoir de voir les tribunaux s’animer, pays après pays, sur des questionnements de viole, ou non, des lois protégeant les auteurs, en attendant, les créatifs se retrouvent livrés à eux-mêmes, lentement dépossédés d’espoir de pouvoir échapper au géant. Alors que l’inquiétude des artistes et des créateurs grandit à l’idée de voir une série d’algorithmes reproduire et s’accaparer leur style artiste, jusqu’à leur carrière, certains contactent Ben Zhao et Heather Zheng, deux informaticiens de l’Université de Chicago qui avaient créé un outil appelé “Fawkes”, capable de modifier des photographies pour déjouer les IA de reconnaissance faciale. La question s’imposant étant alors :
“Est-ce que Fawkes peut protéger notre style contre des modèles de génération d’images comme Midjourney ou Stable Diffusion ?”
Bien que la réponse immédiate soit “non”, la réflexion guida vers une autre solution…
“Glaze”, un camouflage en jus sur une oeuvre
Les chercheurs de l’Université de Chicago se penchent alors sur la recherche d’une option de défense des utilisateurs du web face aux progrès du machine learning (ML). Ils étudient alors la situation à laquelle les [DA]vid tente de s’échapper, et ils définissent alors ce schéma explicatif :
© Glaze
Ils ont mis au point un produit appelé “Glaze”, en 2022, un outil de protection des œuvres d’art contre l’imitation par l’IA. L’idée de postulat est simple : comme un glacis que l’on dépose en surface de la toile pour désaturer les pigments, “Glaze” est un filtre protecteur. “Glaze” va alors se positionner comme un camouflage numérique : l’objectif est de brouiller la façon dont un modèle d’IA va “percevoir” une image en la laissant inchangée pour les yeux humains. Les outils d’occultation mise à l’oeuvre ont malgré tout leurs propres limites et leur efficacité ne pourra se maintenir sur le long terme.
Ce programme modifie les pixels d’une image de manière systématique mais subtile, de sorte à ce que les modifications restent discrètes pour l’homme, mais déconcertantes pour un modèle d’IA. L’outil tire parti des vulnérabilités de l’architecture sous-jacente d’un modèle d’IA. En effet, les systèmes de Gen-AI sont formés à partir d’une quantité importante d’images et de textes descriptifs à partir desquels ils apprennent à faire des associations entre certains mots et des caractéristiques visuelles (couleurs, formes). “Ces associations cryptiques sont représentées dans des « cartes » internes massives et multidimensionnelles, où les concepts et les caractéristiques connexes sont regroupés les uns à côté des autres. Les modèles utilisent ces cartes comme guide pour convertir les textes en images nouvellement générées.”
“Glaze” va alors intervenir sur ces cartes internes, en associant des concepts à d’autres, sans qu’il n’y ait de liens entre eux. Pour parvenir à ce résultat, les chercheurs ont utilisé des “extracteurs de caractéristiques” (programmes analytiques qui simplifient ces cartes hypercomplexes et indiquent les concepts que les modèles génératifs regroupent et ceux qu'ils séparent). Les modifications ainsi faites, le style d’un artiste s’en retrouve masqué : cela afin d’empêcher les modèles de s’entrainer à imiter le travail des créateurs. “S'il est nourri d'images « glacées » lors de l'entraînement, un modèle d'IA pourrait interpréter le style d'illustration pétillant et caricatural d'un artiste comme s'il s'apparentait davantage au cubisme de Picasso. Plus on utilise d'images « glacées » pour entraîner un modèle d'imitation potentiel, plus les résultats de l'IA seront mélangés. D'autres outils tels que Mist, également destinés à défendre le style unique des artistes contre le mimétisme de l'IA, fonctionnent de la même manière.” explique M.Zheng.
Plus simplement, la Gen-AI sera toujours en capacité de reconnaître les éléments de l’image (un arbre, une toiture, une personne) mais ne pourra plus restituer les détails, les palettes de couleurs, les jeux de contrastes qui sont la “pâte” de l’artiste.
Quelques exemples de l'utilisation de Glaze
Les limites du glaçage
Malgré tout, face à Gol[IA]th, les [DA]vid ne peuvent que se cacher après avoir pris conscience de son arrivée : la limite de “Glaze” vient du fait que chaque image que va publier un créatif ou un artiste doit passer par le logiciel avant d’être posté en ligne. Les oeuvres déjà englouti par les modèles d’IA ne peuvent donc pas bénéficier, rétroactivement, de cette solution. De plus, l’usage de cette protection génère du bruit sur l’image, ce qui peut détériorer sa qualité et s’apercevoir sur des couleurs faiblement saturées. A la vitesse à laquelle évoluent les Gen-AI, “Glaze” ne peut être qu’un barrage temporaire, et malheureusement pas une solution : un pansement sur une jambe gangrénée, mais c’est un des rares remparts à la créativité humaine et sa préservation.
Il faut savoir que le logiciel a été téléchargé 720 000 fois, et ce, à 10 semaines de sa sortie, ce qui montre une véritable volonté de la part des créatifs de se défendre face aux affronts du géant.
Mais alors que du haut de ses 3 mètres, la Gen-AI prend du terrain sur la toile, les [DA]vid se retrouvent forcés à se cacher… Est-ce possible pour eux de trouver de quoi charger leur fronde ? Et bien il s’avère que la crainte a su faire naître la colère et les revendications, et les créatifs et les artistes ont décidé de se rebeller face à l’envahisseur… L’idée n’est plus de se cacher, mais bien d’attaquer Gol[IA]th avec les armes à leur disposition…
“Nightshade”, comment empoisonner l’IA ?
Les chercheurs de l’Université de Chicago vont pousser la réflexion au de-là de “Glaze”, au delà de bloquer le mimétisme de style, “Nightshade” est conçu comme un outil offensif pour déformer les représentations des caractéristiques à l'intérieur même des modèles de générateurs d'image par IA…
« Ce qui est important avec Nightshade, c'est que nous avons prouvé que les artistes n'ont pas à être impuissants », déclare Zheng.
Nightshade ne se contente pas de masquer le touche artistique d’une image, mais va jusqu’à saboter les modèles de Gen-AI existants. Au-delà de simplement occulter l’intégrité de l’image, il la transforme en véritable “poison” pour Gol[IA]th en agissant directement sur l’interprétation de celui-ci. "Nightshade" va agir sur l’association incorrecte des idées et des images fondamentales. Il faut imaginer une image empoisonnée par “Nightshade” comme une goûte d’eau salée dans un récipient d’eau douce. Une seule goûte n’aura pas grand effet, mais chaque goûte qui s’ajoute va lentement saler le récipient. Il suffit de quelques centaines d’images empoisonnées pour reprogrammer un modèle d’IA générative. C’est en intervenant directement sur la mécanique du modèle que “Nightshade” impacte le processus d’apprentissage, en le rendant plus lent ou plus coûteux pour les développeurs. L’objectif sous-jacent serait, théoriquement, d’inciter les entreprises d’IA à payer les droits d’utilisation des images par le biais des canaux officiels plutôt que d’investir du temps dans le nettoyage et le filtrage des données d’entrainement, sans licence récupérée sur le Web.
Ce qu'il faut comprendre de "Nightshade" :
Empoisonnement des données: Nightshade fonctionne en ajoutant des modifications indétectables mais significatives aux images. Ces modifications sont introduites de manière à ne pas affecter la perception humaine de l’image mais à perturber le processus de formation des modèles d’IA. Il en résulte un contenu généré par l’IA qui s’écarte de l’art prévu ou original.
Invisibilité: Les altérations introduites par Nightshade sont invisibles à l’œil humain. Cela signifie que lorsque quelqu’un regarde l’image empoisonnée, elle apparaît identique à l’originale. Cependant, lorsqu’un modèle d’IA traite l’image empoisonnée, il peut générer des résultats complètement différents, pouvant potentiellement mal interpréter le contenu.
Impact: L’impact de l’empoisonnement des données de Nightshade peut être important. Par exemple, un modèle d’IA entraîné sur des données empoisonnées pourrait produire des images dans lesquelles les chiens ressemblent à des chats ou les voitures à des vaches. Cela peut rendre le contenu généré par l’IA moins fiable, inexact et potentiellement inutilisable pour des applications spécifiques.
Voici alors quelques exemples après de concepts empoisonnés :
Ci-dessus, des exemples d'images générées par les modèles SD-XL empoisonnés de Nightshade et le modèle SD-XL propre, lorsqu'ils sont invités à utiliser le concept empoisonné C.
Plus précisément, "Nightshade transforme les images en échantillons 'empoisonnés', de sorte que les modèles qui s'entraînent sur ces images sans consentement verront leurs modèles apprendre des comportements imprévisibles qui s'écartent des normes attendues, par exemple une ligne de commande qui demande l'image d'une vache volant dans l'espace pourrait obtenir à la place l'image d'un sac à main flottant dans l'espace", indiquent les chercheurs.
Le "Data Poisoning" est une technique largement répandue. Ce type d'attaque manipule les données d’entrainement pour introduire un comportement inattendu dans le modèle au moment de l’entrainement. L’exploitation de cette vulnérabilité rend possible l’introduction de résultats de mauvaise classification.
"Un nombre modéré d'attaques Nightshade peut déstabiliser les caractéristiques générales d'un modèle texte-image, rendant ainsi inopérante sa capacité à générer des images significatives", affirment-ils.
Cette offensive tend à monter que les créatifs peuvent impacter les acteurs de la technologie en rendant contre-productif l’ingestion massive de données sans l’accord des ayant-droits.
Plusieurs plaintes ont ainsi émané d'auteurs, accusant OpenAI et Microsoft d'avoir utilisé leurs livres pour entraîner ses grands modèles de langage. Getty Images s'est même fendu d'une accusation contre la start-up Stability AI, en Février 2023. Celle-ci aurait pillé sa banque d'images pour entraîner son modèle génératif Stable Diffusion. 12 millions d'œuvres auraient été "scrappées" sans autorisation, attribution, ou compensation financière. Cependant, il semble que ces entreprises ne puissent pas se passer d'oeuvres soumises au droit d'auteur, comme l'a récemment révélé OpenAI, dans une déclaration auprès de la Chambre des Lords du Royaume-Uni concernant le droit d’auteur, la start-up a admis qu’il était impossible de créer des outils comme le sien sans utiliser d'œuvres protégées par le droit d’auteur. Un aveu qui pourrait servir dans ses nombreux procès en cours...
Rendons à César ce qui est à césar
L'équipe du "Glaze Project"
Pour avoir davantage d'informations sur Glaze et Nightshade : page officielle
Quelle est la place de la créativité humaine dans le paysage de l’intelligence artificielle générative ?
A l’arrivée de cette technologie sur le Web, les artistes et les créatifs n’avaient pas de connaissance éclairée sur ce qui se produisaient à l’abri de leur regard. Cependant, les modèles d’apprentissage ont commencé a être alimenté en donnée à l’insu de leur ayant-droits. La protection juridique des ayant-droits n’évoluant pas à la vitesse de la technologie, les créatifs ont rapidement été acculés, parfois trop tard, les Gen-AI ayant déjà collecté le travail d’une vie. Beaucoup d’artistes se sont alors “reclus”, se retirant des plateformes et des réseaux sociaux pour éviter les vols, mais ce choix ne fut pas sans conséquence pour leur visibilité et la suite de leur carrière.
Alors que les réseaux jouaient l’opacité sur leurs conditions liées à la propriété intellectuelle, le choix fait a été de demander aux créatifs de se “manifester s’ils refusaient que leurs données soient exploités”, profitant de la méconnaissance des risques pour forcer l’acceptation de condition, sans consentement éclairé. Mais la grogne est montée dans le camps des créatifs, qui commencèrent à être excédés par l’abus qu’ils subissaient. “Glaze” fut une première réaction, une protection pour conserver l’intégrité visuelle de leur œuvre, mais face à une machine toujours plus gloutonne, se protéger sembla rapidement ne pas suffire. C’est alors que “Nightshade” vit le jour, avec la volonté de faire respecter le droit des artistes, et de montrer qu’ils ne se laisseraient pas écraser par la pression des modèles.
Il est important de suivre l’évolution des droits des différents pays, car le Web étant sans limite géographique, l’harmonisation juridique concernant les droits d’auteurs, la propriété intellectuelle, va être un enjeu à l’avenir.
Comments