Zagrożenia płynące z rozwoju deepfake’ów w erze AI – wywiad z Eweliną Bartuzi-Trokielewicz z NASK Science

Rozwój sztucznej inteligencji otwiera przed nami nowe możliwości, ale jednocześnie niesie istotne zagrożenia, takie jak rozwój technologii deepfake. Coraz bardziej realistyczne manipulacje obrazem i dźwiękiem budzą pytania o wpływ na bezpieczeństwo cyfrowe i zaufanie społeczne. Jakie konsekwencje niesie za sobą łatwa dostępność narzędzi do tworzenia deepfake’ów? Jakie działania możemy podjąć, aby chronić się przed rosnącym zagrożeniem z ich strony? M.in. o tym rozmawiamy z Eweliną Bartuzi-Trokielewicz, Assistant Professor, Department of Biometrics, Artificial Intelligence Division, NASK Science. Wywiad przeprowadził Wojciech Samborski, redaktor naczelny serwisu aboutMarketing.pl.

Jak ocenia Pani obecny rozwój sztucznej inteligencji w kontekście zagrożeń związanych z deepfake’ami?

Rozwój sztucznej inteligencji, a zwłaszcza generatywnych modeli, takich jak GAN (Generative Adversarial Networks) czy modele dyfuzyjne, znacząco wpłynął na dostępność i realizm technologii deepfake. Dzięki coraz bardziej zaawansowanym algorytmom możliwe jest tworzenie niezwykle realistycznych treści, a jednocześnie bariera wejścia w świat tej technologii znacznie się obniżyła. Narzędzia dostępne online, często za niewielką opłatą lub nawet za darmo, pozwalają na generowanie lub modyfikowanie treści audiowizualnych bez konieczności posiadania zaawansowanej wiedzy technicznej.

Wcześniejsze generacje deepfake wymagały dużych zestawów danych do treningu – dziesiątek tysięcy zdjęć twarzy czy wielu godzin nagrań głosowych. Obecne systemy i technologie transferu stylu wymagają znacznie mniejszej ilości danych, by stworzyć przekonującą manipulację. Nawet kilka sekund materiału, w postaci krótkiego filmiku lub nagranie głosowe, pozwalają na stworzenie realistycznego deepfake’a, np. imitacji głosu.

Z kolei narzędzia oparte na technikach animacji, jak model EMO, mogą wygenerować ruchome obrazy z jednego statycznego zdjęcia, synchronizując je z dowolnym nagraniem głosowym. Wielkie modele językowe (Large Language Models, LLMy) z agentami tekstowo-obrazowymi, umożliwiają modyfikację obrazu na podstawie opisu tekstowego, tzw prompt-based modification.

Istnieją też bardzo uniwersalne modele, które są już wstępnie wytrenowane na ogromnych zbiorach danych, pozwalając na personalizację  treści, lub podszywanie się pod inną osobę przy mały nakładzie pracy i danych.

Taka możliwość tworzenia deepfake’ów z minimalną ilością danych sprawia, że nawet osoby ostrożne w udostępnianiu swoich materiałów w internecie mogą paść ofiarą manipulacji. Zestawienie tej technologii z globalnym dostępem do mediów społecznościowych oznacza, że każdy może stać się celem, a konsekwencje, takie jak reputacyjne, psychologiczne czy finansowe, mogą być katastrofalne.

W jakich obszarach deepfake’i stanowią największe zagrożenie?

Niszczenie reputacji

Deepfake’i coraz częściej wykorzystywane są do szantażu, dyskredytacji oraz przedstawiania ludzi w złym świetle. Szczególnie często ofiary stają się bohaterami skandali, głównie poprzez generowanie treści pornograficznych bez ich zgody. Tego rodzaju działania nie tylko naruszają prywatność, ale również prowadzą do zniesławienia.

Cyberprzestępczość

Technologia deepfake stała się nowym narzędziem w arsenale cyberprzestępców. W phishingu i oszustwach finansowych oszuści imitują głosy bliskich osób, aby wyłudzić pieniądze.

Dezinformacja

Deepfake’i odgrywają istotną rolę w szerzeniu dezinformacji, potwierdzając teorie spiskowe oraz wzmagając społeczną nieufność i paranoję. Manipulowane nagrania czy też fałszywe wypowiedzi mogą destabilizować dyskurs polityczny i społeczny na dużą skalę.

Manipulacja opinią społeczną

Tego typu technologie są także wykorzystywane do podważania wiarygodności osób publicznych, w szczególności polityków. Zmanipulowane materiały, na przykład fałszywe obietnice wyborcze, mogą skutecznie wpływać na wizerunek kandydatów oraz społeczne zaufanie. Często takie działania wspierane są przez farmy trolli, które dodatkowo eskalują skalę dezinformacji i zastraszania.

Jakie widzi Pani największe zagrożenia wynikające z 'popularności’ deepfake’ów? Czy mogą one w dłuższej perspektywie znacznie podważyć zaufanie internautów do wszelkich treści cyfrowych?

Najpoważniejsze zagrożenia związane z popularnością deepfake’ów obejmują wiele wymiarów, od poważnych konsekwencji prawnych i społecznych po erozję zaufania do treści cyfrowych. Rozwój tej technologii sprawia, że stajemy wobec zjawisk, które mogą przekształcić sposób, w jaki funkcjonuje nasza cyfrowa rzeczywistość i jej wpływ na świat offline.

W pierwszej kolejności warto zwrócić uwagę na zagrożenie, jakim jest eskalacja dezinformacji oraz manipulacji emocjonalnej, szczególnie w kontekście wyborów, działań biznesowych i reputacji publicznej. Deepfake’i już teraz wywołują efekt „paradoksu wiarygodności”, czyli zjawiska w którym ludzie zaczynają kwestionować nawet prawdziwe treści, co z kolei prowadzi do erozji zaufania do zdjęć, filmów, a nawet dźwięku, które wcześniej były uznawane za dowody niemal niepodważalne.

W rezultacie autentyczne materiały mogą być odrzucane jako fałszywe, powstaje klimat podejrzliwości, który ułatwia manipulację opinią publiczną, a także rośnie trudność w dochodzeniu sprawiedliwości, np. w sądownictwie, gdzie materiał dowodowy w postaci nagrań wideo lub audio może być łatwo zakwestionowany.

Deepfake’i są narzędziem idealnym do masowych kampanii dezinformacyjnych. Mogą być używane do fałszowania wypowiedzi polityków, próbując wpływać na wybory, reputację i relacje międzynarodowe. Umożliwiają one oszustom podszywanie się pod osoby publiczne lub prywatne w celu osiągania korzyści finansowych lub przekazywania poufnych danych. Na przykład podszywanie się pod członków rodziny w celu wyłudzenia pieniędzy poprzez fałszywe nagrania głosowe, w których członek rodziny lub osoba bliska prosi o pilną pomoc finansową. Oszuści z powodzeniem wykorzystują też tę technologię do nakłaniania firm do przelewania środków finansowych.

Deepfake’i wzmacniają już istniejący trend dezinformacji i fake newsów, prowadząc do powstania „epoki post-prawdy”. Jeśli wszystko może zostać podważone jako potencjalnie zmanipulowane, ludzie zaczynają wierzyć tylko w to, co pasuje do ich światopoglądu, relatywizując prawdę lub nawet potwierdzając teorie spiskowe. Wprowadzenie zmanipulowanych treści pogłębia podziały społeczne, bazując na emocjach takich jak gniew czy strach.

Czy może Pani wskazać konkretne przypadki, w których deepfake’i zostały wykorzystane do oszustw lub manipulacji?

Przykłady wykorzystania technologii deepfake do oszustw i manipulacji pokazują szeroki zakres zagrożeń – od oszustw finansowych, przez manipulację wizerunkiem, po kampanie dezinformacyjne.

Imitacja głosu dziecka – mieszkanka Arizony otrzymała telefon, w którym usłyszała głos swojej rzekomo porwanej córki. Porywacze żądali okupu, wykorzystując zmanipulowany głos dziecka. W rzeczywistości córka była bezpieczna.

Oszustwa na BLIK-a – w Polsce coraz częściej odnotowuje się przypadki wykorzystania deepfake’u do generowania wiadomości głosowych, imitujących głosy właścicieli kont na Facebooku. Ofiary były proszone o przesłanie pieniędzy pod pretekstem nagłej potrzeby.

Oszuści tworzą materiały z użyciem znanych twarzy, np. polityków i przedsiębiorców, aby promować nieistniejące instrumenty finansowe i fałszywe inwestycje. Tylko w pierwszej połowie tego roku udało nam się zebrać informacje o ponad 11000 linków prezentujących fałszywe reklamy, które pozwoliły pozyskać 560 unikalnych fałszywych materiałów audiowizualnych. Wykorzystano w nich ponad 170 wizerunków, z czego 1/3 dotyczyła polityków, 19% dziennikarzy i prezenterów, a reszta obejmowała wizerunki przedsiębiorców i osób z branży rozrywkowej – aktorów, celebrytów, influencerów, sportowców, specjalistów (lekarzy, dietetykówy) oraz duchownych.

Aż 96% wszystkich zmanipulowanych treści w internecie to deepfake’i o charakterze pornograficznym, a ich ofiarami padają głównie kobiety. W zeszłym roku głośnym echem odbiły się przypadki, w których popularne streamerki były wykorzystywane w materiałach pornograficznych tworzonych bez ich wiedzy i zgody. Podobne zdarzenie miało miejsce w Polsce, gdzie uczniowie jednej ze szkół w Bydgoszczy wykorzystali zdjęcia koleżanek z mediów społecznościowych do stworzenia takich treści.

Manipulacje z użyciem deepfake’ów wykorzystywane są również w sferze politycznej, służąc destabilizacji i podważaniu zaufania do instytucji. Przykładem może być fałszywe nagranie przedstawiające Nancy Pelosi, które miało sugerować, że jest odurzona alkoholem, by osłabić jej wiarygodność.

Deepfake’i mogą być też wykorzystywane do tworzenia fałszywych narracji, jak w przypadku halloweenowej parady w Dublinie w tym roku, gdzie AI zostało wykorzystane do generowania treści w celu wprowadzenia ludzi w błąd na dużą skalę. Tego typu działania mogą zniszczyć zaufanie do instytucji organizujących wydarzenia lub nawet do mediów.

Technologia ta jest wykorzystywana także do tworzenia fałszywych kont na platformach społecznościowych, które służą do manipulowania opinią publiczną. Dzięki realistycznym zdjęciom generowanym przez AI takie konta mogą wspierać kampanie polityczne czy promować produkty. W ten sposób tworzy się fałszywe narracje i buduje nienaturalny obraz wiarygodności.

Deepfake’i wykorzystywane są również w oszustwach korporacyjnych, gdzie imitacja głosu prezesa lub innej osoby na stanowisku decyzyjnym może skutkować wyłudzeniem dużych kwot pieniężnych lub danych poufnych. Przykładowo jedna z niemieckich firm padła ofiarą ataku, gdy oszuści, podszywając się pod głos jej prezesa, skłonili dyrektora finansowego do przelania ponad 200 tysięcy euro na ich konto. Innym przykładem jest próba wyłudzenia informacji od firmy produkującej drony Bayraktar w październiku 2022 roku. Rosjanie, podszywając się pod premiera Ukrainy Denysa Szmyhala, próbowali uzyskać poufne dane, jednak atak został udaremniony.

A w jaki sposób można rozpoznać deepfake’i?

Rozpoznawanie deepfake’ów wymaga kompleksowego podejścia, które łączy obserwację wizualną, analizę dźwięku oraz ocenę samej treści nagrania. Pomocne mogą być również specjalistyczne narzędzia, takie jak detektory deepfake’ów. Współczesne deepfake’i stają się coraz bardziej realistyczne, dlatego ważne jest, aby znać kluczowe wskaźniki, które mogą pomóc w ich identyfikacji.

Obserwacja obrazu jest pierwszym krokiem w identyfikacji deepfake’ów. Wiele z nich zawiera subtelne błędy wizualne, które można dostrzec przy uważnym oglądaniu:

• Artefakty wokół twarzy – nienaturalne zniekształcenia w obszarach ust, oczu czy linii włosów, szczególnie widoczne podczas ruchu.
• Brak synchronizacji ruchu ust z dźwiękiem – w wielu deepfake’ach wideo ruch warg nie odpowiada wypowiadanym słowom.
• Nienaturalne mruganie oczu lub brak zamykania oczu – modele deepfake mogą mieć trudności z realistycznym odwzorowaniem mrugania, które może być nieregularne lub niezgodne z normalnym zachowaniem człowieka.
• Problemy z mimiką – twarz bywa sztywna, brakuje naturalnych, subtelnych zmian w wyrazie. Ruchy i mimika mogą być niespójne z treścią wypowiedzi.
• Nierówności tekstur – widoczne różnice w jakości obrazu między twarzą a resztą ciała lub tła, np. nadmiernie wygładzona twarz.
• Słabe odwzorowanie szczegółów – szczegóły, takie jak zęby, usta czy kształt uszu, mogą wyglądać nienaturalnie lub zawierać błędy.

Dźwięk w deepfake’ach audio i wideo również może zawierać nieprawidłowości, takie jak:

• Nienaturalne tempo mowy – mowa jest zbyt płynna i przesadnie regularna lub ma nienaturalne przerwy.
• Błędy w wymowie – zwłaszcza przy liczbach, nazwach własnych czy trudniejszych wyrazach.
• Zmiany akcentu – głos przypomina oryginał, ale pojawiają się subtelne różnice w akcencie lub intonacji, a czasem nagłe zmiany na obcojęzyczne brzmienie.
• Nieprawidłowe intonacje – podkreślanie słów lub zmiana tonacji, które odbiegają od typowego stylu mówienia danej osoby.
• Zakłócenia w tle – szumy, echo lub inne dźwięki są niespójne z kontekstem nagrania.

Czasami treść samego nagrania może wskazywać na manipulację:

• Nielogiczności w narracji – wypowiedzi mogą zawierać sprzeczności, które nie pasują do rzeczywistości czy osoby, której dotyczą.
• Manipulacyjne przesłania – fałszywe materiały często wywołują silne emocje, np. strach, gniew, niepewność czy zachwyt, oraz próbują nakłaniać do szybkich decyzji, takich jak wpłata pieniędzy czy kliknięcie w podejrzany link.
• Błędy językowe – automatycznie generowane deepfake’i mogą zawierać nietypowe błędy gramatyczne lub stylistyczne.

Nawet najbardziej zaawansowane deepfake’i można rozpoznać dzięki dociekliwości i umiejętności myślenia krytycznego. Należy sprawdzić, czy nagranie pochodzi z wiarygodnego źródła, oraz porównać je z oficjalnymi materiałami danej osoby, co może ujawnić różnice w zachowaniu, mowie lub wyglądzie Fałszywe treści często pojawiają się na anonimowych profilach lub w mniej znanych serwisach, co również może wzbudzać podejrzenia.

Jakie widzi Pani sposoby przeciwdziałania zagrożeniom związanym z deepfake’ami?

Technologia deepfake niesie ze sobą wiele wyzwań, dlatego przeciwdziałanie jej zagrożeniom wymaga wieloaspektowego podejścia. Kluczowe elementy to rozwój technologii, edukacja społeczeństwa oraz odpowiednie regulacje prawne.

Rozwijanie systemów detekcji deepfake’ów opartych na podejściu wielomodalnym, które analizują jednocześnie obraz, dźwięk i treść, to istotny krok w walce z manipulacjami. Warto także stosować podejście data-centric, które umożliwia lepsze dostosowanie detekcji do różnych metod maskowania fałszerstw, takich jak wstawianie znaków wodnych czy stosowanie szumów teksturalnych i audio.

Systemy detekcji powinny nie tylko identyfikować zmanipulowane treści, ale także wyjaśniać, dlaczego uznano je za fałszywe. Tego typu transparentność zwiększa zaufanie użytkowników do narzędzi weryfikacyjnych. Istotne jest również tworzenie rozwiązań dostępnych zarówno dla profesjonalistów, jak i użytkowników końcowych, które umożliwiają szybkie wykrycie manipulacji w treściach audiowizualnych.

Także edukacja społeczna odgrywa kluczową rolę w ochronie przed zagrożeniami deepfake’ów. Organizowanie szkoleń, webinarów i kampanii w mediach społecznościowych może pomóc użytkownikom lepiej rozpoznawać fałszywe treści i chronić ich przed manipulacjami. Wprowadzenie zajęć z zakresu bezpieczeństwa cyfrowego, które obejmują tematykę deepfake’ów, to skuteczny sposób na uświadamianie młodszych pokoleń.

Zachęcanie dziennikarzy i redakcji do promowania treści edukacyjnych oraz unikania publikowania niesprawdzonych informacji również sprzyja zwiększaniu świadomości społecznej. Edukacja powinna uwrażliwiać odbiorców na manipulacje cyfrowe i kształtować krytyczne myślenie.

Walka z deepfake’ami wymaga również jasno określonych regulacji prawnych, które definiują, jakie zastosowania technologii generatywnych są legalne, a jakie nie. Ważne jest wprowadzenie i egzekwowanie kar za tworzenie i rozpowszechnianie szkodliwych deepfake’ów, szczególnie w przypadku oszustw finansowych lub materiałów naruszających prywatność, takich jak treści pornograficzne.

Z uwagi na globalny charakter zagrożenia konieczna jest międzynarodowa koordynacja działań oraz wymiana informacji o przypadkach nadużyć. Tylko wspólne działania państw mogą skutecznie ograniczyć skalę zagrożenia.

Również tworzenie certyfikowanych platform informacyjnych oferujących treści weryfikowane pod kątem autentyczności to kolejny krok w przeciwdziałaniu deepfake’om. Ważne jest także wdrażanie automatycznych systemów do wykrywania treści syntetycznych ukierunkowanych na oszustwa i działania dezinformacyjne.

Ze względu na ogromną liczbę publikowanych treści, zespoły odpowiedzialne za obserwację i analizę cyberprzestępczości powinny korzystać z systemów automatycznego rankowania zgłoszeń. Takie rozwiązanie pozwoli priorytetowo traktować najbardziej szkodliwe przypadki, co przyspieszy reakcję na poważne incydenty.

Czy uważa Pani, że rozwój deepfake’ów tworzonych przy pomocy AI może stać się zagrożeniem dla obszaru reklamy i PR-u?

Tak, szczególnie w obszarze dezinformacji i fałszywego marketingu. Manipulacja wizerunkami celebrytów lub ekspertów medycznych w celu promocji produktów podważa autentyczność i wiarygodność całego sektora.

Jak ocenia Pani rolę platform społecznościowych w walce z deepfake’ami?

Obecne działania platform społecznościowych w zakresie przeciwdziałania deepfake’om są niewystarczające i wymagają intensyfikacji. Chociaż niektóre z nich zaczynają wdrażać narzędzia detekcji i oznaczania zmanipulowanych treści, kroki te są często zbyt powolne lub ograniczone w swoim zasięgu.

Kluczowe wyzwania to brak kompleksowych systemów moderacji w jak najkrótszym czasie oraz niedostateczna współpraca z instytucjami badawczymi i państwowymi.

Jak widzi Pani przyszłość deepfake’ów w kontekście cyberbezpieczeństwa?

Zagrożenia związane z deepfake’ami będą rosły wraz z rozwojem sztucznej inteligencji. Jednocześnie rozwój narzędzi detekcyjnych oraz wprowadzenie odpowiednich regulacji prawnych mogą znacząco ograniczyć te wyzwania. Kluczowe będzie stworzenie systemów, które nie tylko identyfikują zmanipulowane treści, ale również w czasie rzeczywistym chronią treści przed manipulacjami.

Deepfake’i stają się coraz bardziej zaawansowane technicznie i doskonalsze, a do ich stworzenia potrzeba coraz mniej danych. Manipulacja wizerunkiem staje się przez to łatwiejsza do wykonania, a tym samym bardziej dostępna. Widzimy obecnie dwa główne nurty w rozwoju tej technologii.

Pierwszy nurt skupia się na udoskonalaniu samych deepfake’ów i ukrywaniu błędów generacji.  W przypadku obrazu oznacza to redukcję rozmycia wokół ust, poprawę mimiki, eliminację deformacji twarzy czy usuwanie artefaktów. W dziedzinie dźwięku rozwój koncentruje się na wierniejszym odwzorowaniu barwy głosu, tempa mowy oraz poprawie wymowy złożonych słów, takich jak liczby czy nazwy własne.

Drugi nurt polega na stosowaniu technik zaszumiania błędów i maskowania informacji. Twórcy deepfake’ów wykorzystują szumy teksturalne, znaki wodne, elementy świadczące o montażu oraz dodatkowe kanały dźwiękowe, takie jak krzyki, melodie czy muzyka, które mają na celu utrudnienie wykrycia manipulacji. Ponieważ technologia manipulacji głosem jest obecnie bardziej zaawansowana niż w przypadku obrazu, oszuści często skupiają się wyłącznie na generowaniu fałszywych ścieżek głosowych, prezentując sceny prawdziwe lub statyczne obrazy, co dodatkowo utrudnia wykrycie fałszerstwa.

Walka z zagrożeniami związanymi z deepfake’ami wymagać będzie również międzynarodowej współpracy. Globalna wymiana informacji i wspólne standardy regulacji mogą okazać się kluczowe w ograniczaniu skali problemu.