Les systèmes GenAI diffèrent des logiciels traditionnels en prédisant et en générant des résultats basés sur les données auxquelles ils ont été exposés, ce qui peut conduire à des résultats à la fois puissants et problématiques.
Contrairement aux logiciels traditionnels, la GenAI peut se comporter de manière imprévisible, prenant parfois des décisions ou faisant des déductions qui n’ont jamais été envisagées par ses créateurs.
Dans le domaine des ressources humaines, un outil de GenAI pourrait déduire des données historiques d’embauche que certains modèles démographiques sont préférés, ce qui conduirait à des recommandations biaisées susceptibles de perpétuer la discrimination et de créer des problèmes juridiques.
L’imprévisibilité est aggravée par la capacité de la GenAI à agir de manière autonome.
Si elle n’est pas soigneusement contrôlée, la GenAI peut prendre des décisions ou des mesures qui ont des conséquences inattendues, entraînant des violations de la réglementation, des responsabilités juridiques et des préjudices pour les parties prenantes.
Les DSI doivent établir des limites claires, ou « garde-fous », pour s’assurer que la GenAI fonctionne selon des paramètres sûrs et éthiques, en surveillant en permanence son comportement pour éviter qu’elle ne cause des dommages involontaires.
Le champ de mines que constitue la conformité de la GenAI
L’un des défis les plus pressants pour les DSI qui utilisent la GenAI est l’incertitude qui entoure la collecte et l’utilisation des données.
La capacité de la GenAI à traiter de grandes quantités de données et à faire des déductions peut conduire à des situations où les DSI ne sont pas sûrs des données auxquelles l’IA a eu accès, de la manière dont elles ont été utilisées et des conclusions qu’elles ont tirées.
L’incertitude complique la conformité réglementaire, en particulier dans des cadres tels que le Règlement général sur la protection des données (RGPD), qui exige des organisations qu’elles soient transparentes sur leurs pratiques en matière de données.
Les implications juridiques des déductions de GenAI sont importantes, en particulier lorsque ces déductions sont basées sur des données sensibles ou personnelles.
Si un système de GenAI prend des décisions basées sur des données déduites, telles que le ciblage de campagnes de marketing basées sur la race ou le sexe d’un utilisateur, cela peut conduire à des allégations de discrimination ou à des violations des lois sur la protection de la vie privée.
Les risques sont exacerbés par la nature opaque de nombreux systèmes de GenAI, ce qui fait qu’il est difficile pour les organisations de comprendre comment l’IA arrive à des décisions spécifiques.
Les DSI doivent être proactifs dans la gestion de ces risques en s’assurant que les systèmes de GenAI sont transparents dans leurs opérations, précis dans leurs déductions et conformes aux normes juridiques et éthiques.
La mise en œuvre de mécanismes complets de contrôle et de reporting est essentielle pour maintenir la visibilité sur les opérations de l’IA et garantir que l’utilisation des données s’aligne sur les exigences réglementaires.
Le labyrinthe mondial des lois sur la GenAI
L’environnement réglementaire mondial de la GenAI est de plus en plus complexe, avec des lois telles que le GDPR européen, la future loi européenne sur l’IA et diverses réglementations des États américains imposant des exigences strictes aux systèmes d’IA.
Les nouvelles réglementations exigent la transparence, l’équité et la responsabilité dans les opérations d’IA, en particulier dans les secteurs à haut risque tels que la santé, la finance et l’application de la loi.
Se conformer strictement à ces réglementations est particulièrement difficile lorsqu’il s’agit de systèmes GenAI qui fonctionnent comme des « boîtes noires » opaques.
Les systèmes GenAI manquent souvent de transparence, ce qui fait qu’il est difficile pour les organisations de comprendre comment elles parviennent à des décisions ou à des résultats spécifiques.
Un manque de visibilité complique les efforts pour se conformer aux réglementations qui exigent que les organisations expliquent les processus de prise de décision de leur IA.
Pour relever ces défis, les DSI doivent travailler en étroite collaboration avec les fournisseurs d’IA afin d’obtenir le plus d’informations possible sur le fonctionnement de leurs systèmes.
Il est également essentiel de mettre en œuvre des cadres de gouvernance de l’IA qui comprennent des mécanismes de surveillance et d’audit des systèmes d’IA.
Ce faisant, les DSI peuvent s’assurer que leurs organisations restent conformes dans un environnement de plus en plus réglementé, tout en atténuant les risques associés à l’utilisation de systèmes d’IA opaques.
L’obligation de rendre compte et l’accent mis sur les résultats
Avec l’évolution du paysage réglementaire, l’accent est mis de plus en plus sur la nécessité de tenir les organisations responsables des actions de leurs systèmes d’IA, même lorsque ces actions sont involontaires ou imprévisibles.
Cela est particulièrement vrai dans les juridictions qui ont adopté des principes de responsabilité stricte, où une organisation peut être tenue responsable de tout dommage causé par ses systèmes d’IA, quelles que soient les précautions prises.
Au lieu de se concentrer uniquement sur les données utilisées par les systèmes d’IA, les organismes de réglementation s’intéressent de plus en plus aux résultats produits par ces systèmes.
Les DSI doivent passer de la compréhension des données d’entrée à l’examen minutieux des résultats générés par les systèmes GenAI.
Pour gérer ces risques, les DSI doivent s’assurer que leur organisation dispose de cadres de gouvernance de l’IA complets, qu’elle procède à des vérifications préalables approfondies et qu’elle surveille en permanence les performances de l’IA.
En donnant la priorité à la transparence des résultats et en maintenant une surveillance complète, les organisations peuvent mieux naviguer dans le paysage réglementaire et atténuer les risques associés à la GenAI.
Les pièges cachés d’un manque de diligence raisonnable en matière de GenAI
L’un des risques les plus négligés dans le déploiement des systèmes GenAI est le manque de communication entre les différents départements d’une organisation.
Lorsque des départements tels que l’informatique et le marketing fonctionnent en silos, les informations clés sur la manière dont les systèmes GenAI sont utilisés ou pourraient l’être ne sont souvent pas partagées efficacement.
Une déconnexion peut entraîner une non-conformité avec les normes juridiques et réglementaires, en particulier si les systèmes d’IA sont déployés ou utilisés d’une manière qui n’est pas entièrement comprise ou approuvée.
Afin d’éviter ces écueils, les DSI doivent instaurer une culture de collaboration entre tous les services qui interagissent avec les systèmes GenAI.
Cela impliquera la création d’équipes interfonctionnelles comprenant des représentants de l’informatique, du marketing, du service juridique, de la conformité et d’autres services concernés, afin de s’assurer que tout le monde est en phase avec le déploiement et l’utilisation des technologies d’IA.
Des mesures pratiques pour rendre la conformité à la GenAI moins effrayante
Afin de protéger les données sensibles et d’empêcher la GenAI d’accéder à des informations susceptibles d’entraîner des violations de la conformité, les DSI doivent mettre en place des limites strictes, souvent appelées « garde-fous ».
Les limites restreignent ce à quoi la GenAI peut accéder et comment elle peut utiliser les données qu’elle traite.
Il est essentiel de revoir et d’actualiser régulièrement ces limites au fur et à mesure que les systèmes de GenAI évoluent et que l’environnement réglementaire change, afin de maintenir la protection des données.
Il est tout aussi important de s’assurer de la responsabilité des fournisseurs.
Lorsqu’ils travaillent avec des fournisseurs tiers de GenAI, les DSI doivent examiner minutieusement toute la documentation disponible, y compris les conditions de service, les politiques de confidentialité et les spécifications techniques.
Un engagement direct avec les fournisseurs est également essentiel pour clarifier le fonctionnement de leurs systèmes d’intelligence artificielle, les données dont ils ont besoin et la manière dont ils garantissent la conformité avec les réglementations en vigueur.
En fixant des limites claires pour la GenAI et en maintenant des lignes de communication ouvertes avec les fournisseurs, les DSI peuvent mieux gérer les risques associés au déploiement de systèmes d’IA et s’assurer que leur organisation reste conforme.
La GenAI vaut-elle le coup ?
Ce que chaque DSI devrait prendre en compte
Pour certaines organisations, les risques associés à la GenAI peuvent l’emporter sur les avantages, en particulier dans les secteurs à haut risque tels que l’éducation, l’emploi, la finance et les soins de santé.
Dans ces domaines, le potentiel de préjudice, qu’il s’agisse d’une prise de décision biaisée, d’une atteinte à la vie privée ou d’un non-respect de la législation, peut être énorme et les conséquences graves.
Les DSI doivent soigneusement évaluer si le déploiement de la GenAI dans ces contextes est nécessaire et si les avantages justifient les risques.
Cela implique de procéder à une évaluation approfondie des risques, en tenant compte de facteurs tels que la possibilité d’un examen réglementaire, la probabilité de contestations juridiques et l’impact sur la réputation de l’organisation.
Dans certains cas, il peut être plus prudent de limiter le déploiement des GenAI à des domaines à faible risque où le potentiel de préjudice est moins prononcé.
En adoptant une approche globale de l’évaluation des risques et en impliquant les principales parties prenantes dans le processus décisionnel, les DSI peuvent faire des choix éclairés sur le lieu et la manière de déployer la GenAI, en maximisant les avantages tout en minimisant les risques.
