Keď sa hovorí o rizikách umelej inteligencie, zvyčajne sa spomínajú deepfaky, kyberútočníci alebo autonómne roboty. No tento týždeň sa na titulky dostal plyšový medveď. Americká organizácia PIRG otestovala niekoľko inteligentných hračiek pre deti a výsledky stačili na to, aby OpenAI okamžite stopla jednému z výrobcov prístup k svojim modelom.
Medveď, ktorý sa vedel až priveľmi rozrozprávať
Hlavným problémom bol plyšový medveď „Kumma“ od firmy FoloToy. Hračka mala zabudovaný hlasový chatbot postavený na modeli GPT-4o. Pri bežných otázkach odpovedal milo a detsky, v dlhších rozhovoroch sa však vedel odkloniť od scenára.
Podľa zistení PIRG išlo o situácie, ktoré pri hračkách pre malé deti nechcete vidieť. Niektoré z testovaných zariadení začali dávať rady týkajúce sa zápaliek, kuchynských nožov či úplne nevhodných tém pre deti. V jednom prípade sa interaktívna hračka rozpísala o sexuálnych fetišoch. A to už je úroveň, ktorá okamžite zaujme aj veľké technologické firmy.
OpenAI následne potvrdila, že výrobcu FoloToy odpojila od svojich API. Firma sama oznámila pozastavenie predaja všetkých produktov a spustila interný audit. Plyšový medveď síce nepôsobil ako veľká technologická inovácia, no škandál je pre ňu o to väčší.
Nie je to prvýkrát, čo AI hračka „uteká z pieskoviska“
FoloToy nie je jediný prípad. Podobné incidenty sa objavujú pomerne pravidelne:
-
Hello Barbie od Mattela v roku 2015 vyvolala rozruch, keď sa ukázalo, že nahrávky detí končia na serveroch tretej strany a existovali obavy z možného zneužitia či úniku hlasových dát.
-
Cayla the Doll bola interaktívna nemecká bábika, ktorú tamojší regulátor priamo zakázal. Bábika bola schopná odpovedať cez nešifrované pripojenie a dala sa zneužiť na odpočúvanie.
-
Bezpečnostní analytici varovali, že k Furby Connect sa dalo pripojiť cez Bluetooth bez hesla.
-
Aj pri AI Barbie Chatbot (generácie 2023–2024) viacerí rodičia hlásili, že sa hračka vie „prepnúť“ z detského tónu do príliš dospelých odpovedí, najmä pri nečakane formulovaných otázkach.
Trh s inteligentnými hračkami rastie, ale výrobcovia často pracujú s veľkými jazykovými modelmi, ktoré sú určené pre dospelých používateľov. A práve tam vzniká väčšina dnešných problémov: hračky používajú AI, ktorá nie je dostatočne obmedzená na detský svet.
Čo z toho bude?
Zatiaľ to vyzerá na ďalší príklad toho, že AI zariadenia pre deti sú stále trochu experimentálny produkt. Hračky sa rýchlo učia, rýchlo reagujú, no rovnako rýchlo sa vedia dostať do situácií, na ktoré neboli navrhnuté.
A plyšový medveď, ktorý dáva rady o zápalkách alebo začne debatovať o témach pre dospelých, je presne ten typ príbehu, ktorý urýchli tlak na prísnejšie pravidlá.
Diskusia k článku: