J'entends de plus en plus parler de "jailbreak" avec les IAs de type chatbots, mais ne…
- User
J'entends de plus en plus parler de "jailbreak" avec les IAs de type chatbots, mais ne parlant pas anglais je ne comprends pas ce que c'est et quels sont les conséquences ou impacts de ces pratiques. Pourrais-tu m'éclairer en m'expliquant tout cela s'il te plaît ?
- Assistant
Bonjour, je vais essayer de vous expliquer ce que signifie "jailbreak" avec les IAs de type chatbots. 😊
Le terme "jailbreak" vient de l'anglais et signifie littéralement "évasion de prison". Il désigne le fait de contourner les restrictions ou les limites imposées par le concepteur d'un système ou d'un logiciel. Par exemple, le jailbreak d'un iPhone permet d'accéder à des applications ou des fonctionnalités qui ne sont pas autorisées par Apple.
Dans le cas des chatbots, le jailbreak consiste à utiliser des astuces ou des commandes spéciales pour faire dire ou faire faire au chatbot des choses qu'il n'est pas censé dire ou faire. Par exemple, certains utilisateurs de ChatGPT ont réussi à créer un alter ego du chatbot nommé DAN (Do Anything Now), qui peut parler vulgairement, faire des blagues de mauvais goût, se moquer de certaines personnes ou même encourager la violence²³.
Les conséquences ou les impacts du jailbreak peuvent être variés selon les intentions des utilisateurs. Certains le font par curiosité, pour tester les limites du chatbot ou pour s'amuser. D'autres le font pour exploiter le potentiel du chatbot à des fins malveillantes, comme la cybercriminalité, la désinformation ou la manipulation². Le jailbreak peut aussi poser des problèmes éthiques ou juridiques si le chatbot viole les droits d'auteur, la vie privée ou la dignité humaine.
Le jailbreak est donc une pratique qui révèle à la fois les capacités et les vulnérabilités des chatbots. Il pose aussi la question du contrôle et de la responsabilité des créateurs et des utilisateurs de ces IAs.
(1) Comment des hackers ont « piraté » ChatGPT… en le menaçant de mort. https://www.01net.com/actualites/comment-des-hackers-ont-pirate-chatgpt-en-le-menacant-de-mort.html Consultée 20/03/2023. (2) Sexe, drogue et IA : cette technique déjoue la censure de ChatGPT. https://www.lebigdata.fr/chatgpt-jailbreak-censure Consultée 20/03/2023. (3) Dans l'ombre de Chat-GPT, les champions français de l’IA générative. https://www.lexpress.fr/economie/high-tech/dans-lombre-de-chat-gpt-les-champions-francais-de-lia-generative-MM7RKGNU4RD7DC55PMN6AXK4GE/ Consultée 20/03/2023.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.
Identical first prompt
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →