Czy zastanawiałeś się kiedyś, czy tekst, który czytasz, został stworzony przez człowieka czy maszynę? W dobie rosnącego zastosowania sztucznej inteligencji (AI) w tworzeniu treści, coraz trudniej jest odróżnić dzieła ludzkie od tych wygenerowanych przez algorytmy.
W tym artykule przyjrzymy się, jakie metody i narzędzia pozwalają sprawdzić czy tekst napisała sztuczna inteligencja, co ma kluczowe znaczenie zarówno dla twórców, jak i konsumentów treści.
Dlaczego wiedza, czy tekst pisała sztuczna inteligencja jest ważna?
Rozpoznanie, czy dany tekst został napisany przez sztuczną inteligencję, ma kluczowe znaczenie na wielu płaszczyznach.
Przede wszystkim, powinniśmy zdawać sobie sprawę z możliwości, jakie daje nam sztuczna inteligencja, ale również z potencjalnych zagrożeń, które z tym wiążą. Niezależnie od naszej świadomości, AI, jaką znamy obecnie, bardzo często bierze udział w tworzeniu treści, które na co dzień konsumujemy. Mogą to być wiadomości, artykuły czy nawet książki, które często są generowane przez specjalne, zaawansowane algorytmy i LLM.
Jest to niewątpliwie przełomowe i pozytywne zjawisko, biorąc pod uwagę efektywność i szybkość generowania treści, ale z drugiej strony, może to prowadzić do sytuacji, gdzie mamy do czynienia z manipulacją, nieprawdziwymi informacjami lub wręcz dezinformacją.
Zrozumienie, że tekst może być generowany przez AI, ma znaczenie dla naszego krytycznego myślenia i możliwości zachowania obiektywizmu. Przykładowo, AI bardzo często generuje treści reklamowe – te, które mają na celu skłonienie nas do zakupu określonego produktu. Jeśli nie będziemy wiedzieli, że te treści zostały wygenerowana przez sztuczną inteligencję, a nie człowieka, możemy być bardziej podatni na manipulację.
Nawet w kontekście naukowym czy edukacyjnym, używanie sztucznej inteligencji do generowania tekstów może prowadzić do kwestionowania ich wiarygodności. W końcu, AI jest tylko tak dobra, jak dane, na podstawie których została “nauczona”. Jeśli używa się nieaktualnych lub błędnych informacji, wyniki mogą być mylące lub nieprawdziwe.
Oczywiście, nie można zapominać o aspekcie etycznym. Czy to sprawiedliwe, że maszyna ma prawo do tworzenia pozornie autorskich treści? Czy nie powinniśmy zostawiać tego człowiekowi? Z pewnością jest to temat do szerokiej dyskusji, co widzimy na co dzień w social mediach, czy na różnych konferencjach.
Metody wykrywania tekstów generowanych przez AI
Można odnieść wrażenie, że czasy w których AI miała problem z kontekstem, przez co niektóre fragmenty mogły wydawać się niezwiązane z głównym tematem lub wydobywać nietypowe skojarzenia już zaczynają odchodzić do lamusa. Ale czy na pewno?
Wielu profesjonalistów zajmujących się tworzeniem treści, ale nawet nauczycieli, czy wykładowców zetknęło się z problemem rozpoznawania autorstwa. Czy tekst został napisany przez człowieka, czy jest dziełem sztucznej inteligencji?
Jednym z największych wyzwań, jakie stawiają rozwijającej się technologii AI jest mimicry – zdolność do zrozumienia i powielania ludzkiego stylu pisania. AI jest już na tyle rozwinięte, że potrafi odtworzyć różne style pisania, naśladując ton, składnię i strukturę używaną przez konkretną osobę.
SI, a konkretnie duże modele językowe uczą się z dużej ilości danych tekstowych, a następnie generują własne, unikalne teksty. Najlepszym przykładem takiego generatora jest GPT opracowany przez OpenAI. Może on naśladować różne style pisania, od formalnego tonu naukowego po luźny język blogów internetowych.
Anomalie w tekście
Niezależnie od tego, jak zaawansowane są te technologie, zwykle wciąż można zauważyć niuanse, które zdradzają, że tekst napisało AI. Bardzo często dotyczy to błędów związanych z kontekstem, którego maszyna nie jest w stanie w niektórych przypadkach zrozumieć. Na przykład, AI może nie rozpoznać ironii lub sarkazmu, co jest umiejętnością charakterystyczną dla człowieka.
Jak sprawdzić czy tekst jest z ChatGPT? Tekst generowany przez ChatGPT często ma charakterystyczną strukturę, którą widać na pierwszy rzut oka, np. wypunktowania:
Oczywiście odpowiednim promptem możemy wpływać na to jak finalnie będzie wyglądał wygenerowany tekst oraz w jakim stylu zostanie napisany – i tym samym może być niemożliwy do wykrycia.
Detektory AI
W kwestii rozpoznawania autorstwa, istnieje wiele narzędzi, tzw. detektorów AI, które pozwalają wykryć, czy tekst został napisany przez człowieka czy maszynę. W miarę jak technologia AI się rozwija, takie narzędzia stają się coraz bardziej zaawansowane. Istnieje jednak pewien haczyk – ich dokładność potrafi płatać figle.
Dlaczego detektory AI nie są wiarygodne?
Najważniejszym problemem związanym z narzędziami do wykrywania sztucznej inteligencji jest ich wysoki wskaźnik tzw. false-positives. Oznacza to, że mogą one zidentyfikować tekst napisany przez człowieka jako napisany przez sztuczną inteligencję, nawet jeśli do wygenerowania treści nie użyto AI.
Niektóre firmy zajmujące się wykrywaniem tekstów pisanych przez AI, twierdzą, że ten wskaźnik w ich implementacjach wynosi jakiś mały procent, przyjmijmy, że firma X oceniła wskaźnik false-positives na 5%. Chociaż odsetek ten wydaje się wskazywać na wysoką dokładność, w rzeczywistości tak nie jest. Jeśli użytkownik, na przykład wykładowca sprawdza 100 prac swoich uczniów, oznacza to, że 5 prac zostanie oznaczonych jako wygenerowane przez sztuczną inteligencję, mimo że tak nie jest. Nie jest to wcale mała liczba.
Warto również nadmienić, że nie zawsze firmy są szczere, a niektóre w ogóle nie podają ich wskaźnika false-positives, lub bazują go na za małej ilości testów.
OpenAI, firma stojąca za ChatGPT wycofała swój detektor AI
OpenAI, znany ze swojego przełomowego oprogramowania GPT (ChatGPT, GPT-4, DALL-E 3), niedawno zaskoczył branżę technologiczną, wycofując narzędzie do wykrywania tekstów generowanych przez sztuczną inteligencję, zaledwie pół roku po jego wprowadzeniu. W bardzo skromnym komunikacie, umieszczonym na górze wpisu na ich blogu, firma wymieniła niedokładność jako główny powód tej decyzji.
Okazało się, że narzędzie było dalekie od doskonałości. Zgłaszano, że poprawnie identyfikuje ono tylko 26% tekstów SI, popełniając błąd w aż 9% przypadków, oznaczając teksty ludzkie jako wygenerowane przez SI. To daleko odbiega od oczekiwań i standardów precyzji, do których dążymy w dobie zaawansowanych technologii i nijak ma się do przedstawionych wyżej teoretycznych 5%.
Przyznanie przez OpenAI, że ich narzędzie do wykrywania tekstu nie spełniło oczekiwań, jest przejawem transparentności, która jest ważna dla całego sektora technologicznego. To ważny krok w debacie na temat możliwości i ograniczeń językowych modeli SI.
Inne narzędzia, takie jak Turnitin, chwalą się niemal 100% skutecznością w wykrywaniu tekstów SI, a GPTZero twierdzi, że identyfikuje 99% tekstów ludzkich i 85% tekstu SI. Czy to oznacza, że jesteśmy blisko idealnego rozwiązania, czy też to tylko przelotny sukces?
A może jedynie tyle, że te firmy nie są do końca szczere ze swoimi klientami?
Najpopularniejsze detektory tekstu AI
Nawet jeśli narzędzia wykrywające teksty AI są niewiarygodne, nadal mogą skutecznie naprowadzić użytkownika na właściwe tory. Poniżej przedstawiamy listę najpopularniejszych detektorów AI
Oprócz opisów, sami sprawdziliśmy każde z poniższych narzędzi aby ocenić ich skuteczność.
Do testów użyliśmy 5 tekstów napisanych przez AI oraz 5 tekstów napisanych ręcznie. Poniżej przykładowy tekst (wygenerowany przez AI). Aby wyrównać szanse, teksty zostały napisane w języku angielskim.
Przy skuteczności 50% lub mniej, można uznać, że wyniki przedstawiane przez detektory są losowe.
Writesonic AI Content Detector
Wykrywacz treści AI Writesonic to narzędzie wykorzystujące zaawansowane technologie i algorytmy do wykrywania treści wygenerowanych przez sztuczną inteligencję przy użyciu różnorodnych modeli, takich jak ChatGPT, Bard, GPT-4 i inne. Celem narzędzia jest zapewnienie autentyczności i transparentności publikowanych treści.
Writesonic AI Content Detector pomaga w utrzymaniu wiarygodności treści, zapewniając jej unikatowość i ochronę integralności. Jest to rozwiązanie kluczowe dla sukcesu w przestrzeni cyfrowej, zarówno dla firm, jak i twórców treści.
Narzędzie to oferuje intuicyjny interfejs użytkownika, który przyspiesza proces wykrywania. Zastosowany algorytm dostarcza wyników w formie oceny, która wskazuje, jaki procent tekstu jest wygenerowany przez AI, a jaki napisany przez człowieka. Co istotne, Writesonic AI Content Detector jest dostępny do użytku bezpłatnie. Użytkownicy mogą również zarejestrować się na platformie Writesonic, aby uzyskać dodatkowe 10 000 słów premium za darmo oraz skorzystać z dalszych wskazówek dotyczących tonu i angażowania czytelników.
Wykrywacz treści AI od Writesonic nie jest 100% dokładny czy niezawodny, podobnie jak inne narzędzia tego typu, jednak jest ciągle trenowany i udoskonalany, co czyni go jednym z najdokładniejszych detektorów treści AI dostępnych na rynku. Proces skanowania treści odbywa się w trzech prostych krokach: użytkownik wkleja tekst do sekcji wejściowej, wybiera opcję ‘Analyse’, a następnie otrzymuje wynik analizy, który może pomóc w dostosowaniu treści.
Dodatkowo, Writesonic oferuje szereg narzędzi wspomagających tworzenie treści, takich jak generowanie artykułów, chatbot AI, generowanie obrazów AI i inne, co sprawia, że jest to kompleksowe rozwiązanie dla twórców treści. Platforma jest przyjazna dla użytkownika i oferuje możliwość bezpłatnego przetestowania usług z wykorzystaniem 10 000 darmowych słów, umożliwiając użytkownikom adaptację do platformy i ocenę, czy spełnia ona ich oczekiwania.
Zalety:
- Jeden z najdokładniejszych dostępnych detektorów treści AI.*
- Aplikacja bezpłatna w użyciu.
- Ciągłe trenowanie i doskonalenie w celu poprawy wydajności.
- Możliwość sprawdzenia narzędzia bez rejestracji i za darmo.
- Wspiera 24 języki, w tym polski.
- Dodatkowe 10 000 słów do sprawdzenia po rejestracji.
Ograniczenia:
- Brak 100% dokładności czy niezawodności, co jest ograniczeniem wszelkich detektorów AI.
- Okno kontekstowe wynosi jedynie 1000 znaków.
- Tylko 3 darmowe sprawdzenia treści.
* Według opinii użytkowników
Skuteczność Writesonic AI detector
Writesonic wszystkie teksty oznaczył jako napisane przez człowieka.
Wynik: 50%
Copyleaks
Copyleaks, znany z wykrywania plagiatu, rozszerzył swoje możliwości o detekcję treści AI.
Copyleaks wykorzystuje zaawansowane algorytmy AI do detekcji tekstu wygenerowanego przez AI, oferując proste w obsłudze interfejsy, wtyczki do przeglądarek, integrację z LMS i API, a także możliwość wykrywania plagiatu. Jednakże, nie można jednocześnie korzystać z wykrywania AI i plagiatu.
Copyleaks wyróżnia się na tle innych narzędzi kilkoma kluczowymi funkcjami:
- Prosty interfejs detekcji AI – użytkownik może łatwo sprawdzić tekst, wklejając go na platformie Copyleaks, która w ciągu kilku sekund dostarcza wynik w postaci procentowego prawdopodobieństwa generacji przez AI.
- Wtyczka do przeglądarki – umożliwia szybką i wygodną weryfikację treści online bez konieczności kopiowania i wklejania tekstu.
- Integracja z LMS i API – Copyleaks oferuje możliwość integracji z systemami zarządzania nauką (LMS) oraz zewnętrznymi aplikacjami poprzez API, co jest szczególnie przydatne dla agencji i instytucji edukacyjnych.
- Wykrywanie plagiatu – oprócz detekcji treści AI, Copyleaks oferuje również sprawdzone narzędzie do wykrywania plagiatu, choć obie funkcje nie są jeszcze zintegrowane.
Zalety:
- Wielofunkcyjność
- Bezpłatne i nieograniczone skanowanie w poszukiwaniu treści AI
Ograniczenia:
- Zmienna dokładność wykrywania, nawet dla tej samej treści
Skuteczność Copyleaks AI Detector
Copyleaks prawidłowo wykrył cztery teksty napisane przez AI. W przypadku tekstów napisanych ręcznie, prawidłowo, jako napisane przez człowieka, oznaczył tylko dwa.
Wynik: 60%
Originality.ai
Originality.ai to zaawansowane oprogramowanie służące do wykrywania możliwego plagiatu oraz do identyfikacji treści wygenerowanych przez narzędzia sztucznej inteligencji (AI) w pisanych tekstach.
Głównym celem tego narzędzia jest pomoc studentom, profesorom, profesjonalistom, wydawcom, agencjom marketingowym, a także nabywcom stron internetowych w zapewnieniu, że ich treści są oryginalne. Oryginalność w tym kontekście definiuje się jako wolność od plagiatu oraz fakt, że treść została stworzona przez człowieka, a nie zautomatyzowany bot.
Originality.ai wykorzystuje zaawansowane algorytmy do porównywania analizowanego tekstu z ogromną bazą wcześniej opublikowanych informacji w celu wykrycia wszelkich prawdopodobnych przypadków skopiowanych lub sparafrazowanych fragmentów. Oprogramowanie to jest wyposażone zarówno w narzędzie do wykrywania treści AI, jak i funkcję wykrywania plagiatu. Jego zdolność do identyfikacji tekstu wyprodukowanego przez modele AI, takie jak GPT-4 czy ChatGPT, jest szczególnie ceniona.
Originality.ai wprowadza system ocen w skali od 0 do 100, który odzwierciedla poziom oryginalności treści.
Zalety:
- Możliwość integracji z przy użyciu API.
- Najbardziej odpowiedni dla marketerów treści, SEO, wydawców, pisarzy i agencji.
- Możliwość sprawdzenia narzędzia bez rejestracji.
- Możliwość sprawdzenia narzędzia za darmo.
- Wykryje tekst w 15 językach, w tym polskim.
Ograniczenia:
- Nie jest polecany dla studentów.
- Tylko 3 darmowe sprawdzenia treści.
- Okno kontekstowe wynosi zaledwie 300 słów
Winston AI
Winston AI jest zaawansowanym narzędziem do wykrywania treści generowanych przez sztuczną inteligencję, które wykorzystuje techniki AI do identyfikacji i flagowania potencjalnie problematycznych tekstów. Jego głównym celem jest pomoc osobom indywidualnym oraz organizacjom w utrzymaniu zgodności z zasadami i wytycznymi dotyczącymi tworzenia treści. Winston AI koncentruje się na identyfikacji zawartości wygenerowanej przez narzędzia takie jak ChatGPT, GPT-4, Bard, Bing chat, Claude i inne duże modele językowe, co czyni go użytecznym dla wydawców, edukatorów i twórców treści, którzy chcą zapewnić autentyczność i oryginalność swojego contentu.
Narzędzie to analizuje teksty zarówno pod kątem niezwykłości poszczególnych zdań, jak i w zakresie plagiatu, a także prezentuje ogólny raport dotyczący zgodności tekstu. Obecnie Winston AI obsługuje języki angielski i francuski, ale planowane jest rozszerzenie wsparcia o kolejne języki. Choć na oficjalnej stronie internetowej nie ma informacji o specyficznych integracjach z innymi aplikacjami, dostępność API pozwala przypuszczać, że takie integracje istnieją.
Ponadto, Winston AI korzysta z różnych algorytmów rozpoznawania wzorców w celu wykrywania treści wygenerowanych przez AI i jest szkolony na ogromnych ilościach danych pochodzących od najczęściej używanych narzędzi do generacji tekstu AI, takich jak GPT-4, GPT-3, ChatGPT, Jasper, Copy AI, Open Assistant i wielu innych. W równoległym procesie, oprogramowanie jest trenowane na treściach tworzonych przez ludzi.
Zalety:
- Wysoka dokładność detekcji na poziomie 99,6%.*
- Skuteczność w wykrywaniu treści generowanych przez Bard, ChatGPT, GPT-4 i inne duże modele językowe (LLM).
- Dodatkowa wtyczka do przeglądarki.
- Analiza ręcznie pisanych treści.
- Możliwość sprawdzenia narzędzia bez podawania danych karty kredytowej – darmowy trial.
Ograniczenia:
- Brak możliwości sprawdzenia narzędzia bez rejestracji.
- Wspiera tylko 2 języki: francuski oraz angielski.
* Według firmy stojącej za Winston AI
Skuteczność Winston AI
Winston ma trochę inny system przedstawiania wyników i pokazuje procent prawdopodobieństwa, że dany tekst jest napisany przez człowieka. Dla potrzeb tekstów, przyjmijmy, że wynik powyżej 0, w przypadku tekstów napisanych ręcznie, będzie zaliczony.
4 spośród 5 tekstów napisanych przez AI wskazał prawidłowo, jako 0% human.
Prawidłowo wskazał 3 teksty pisane ręcznie (ale z prawdopodobieństwem jedynie od kilku do kilkunastu %.)
Wynik: 70%
GPTZero
GPTZero to narzędzie służące do wykrywania tekstu wygenerowanego przez sztuczną inteligencję, w szczególności przez modele językowe takie jak ChatGPT. Stworzone przez Edwarda Tian, studenta informatyki na Uniwersytecie w Princeton, GPTZero zaprojektowano z myślą o nauczycielach i edukatorach, aby pomóc im rozróżniać między oryginalnymi pracami uczniów a tymi, które mogły zostać stworzone przy użyciu AI. Narzędzie może być używane również przez innych profesjonalistów oraz w różnych branżach, takich jak wydawnictwa, edycja czy rekrutacja.
GPTZero działa na zasadzie analizy takich parametrów jak złożoność (perplexity) i zmienność stylu (burstiness), co pozwala ocenić, czy dany tekst został napisany przez człowieka, czy wygenerowany przez sztuczną inteligencję. Perplexity to miara zaskoczenia modelu przy przewidywaniu kolejnego wyrazu w tekście, natomiast burstiness odnosi się do zmienności w naturalności języka, co jest jedną z cech charakterystycznych dla ludzkiego pisania.
Do tej pory narzędzie GPTZero obsłużyło ponad 2,5 miliona użytkowników na całym świecie i współpracowało z ponad 100 organizacjami z różnych sektorów.
Zalety:
- Możliwość sprawdzenia narzędzia bez rejestracji.
- Spore okno kontekstowe – 5000 znaków.
- Brak limitu w postaci dziennego sprawdzania treści dla niezarejestrowanych użytkowników.
- Dodatkowa wtyczka do przeglądarki.
Ograniczenia:
- Wspiera tylko język angielski.
Skuteczność GPTZero
Podobnie jak Winston, wynik otrzymujemy procentowy.
GPTZero prawidłowo wskazał teksty napisane przez AI (z wynikami 96-98%). Niestety podobnie oznaczył te napisane ręcznie…
Wynik: 50%
W jakich branżach narzędzia do wykrywania tekstu AI przydadzą się najbardziej?
Jak widzisz, obecnie ciężko mówić powtarzalnej skuteczności detektorów tekstów. Jednak pracę nad oprogramowaniem, które skutecznie wykryje sztuczną inteligencję cały czas trwają.
Narzędzia AI do wykrywania tekstu w przyszłości mogą być jednym z kluczowych elementów w niektórych sektorach.
- Dziennikarstwo i media – Narzędzia do wykrywania czy tekst jest napisany przez AI są niezbędne, gdy dochodzi do weryfikacji źródeł informacji lub sprawdzania autentyczności artykułów. Boty mogą generować fałszywe wiadomości, które mogą wpływać na opinie publiczną, stąd potrzeba ich wykrycia.
- Edukacja – narzędzia te mogą być użyte do sprawdzenia, czy prace pisemne uczniów zostały napisane samodzielnie, czy zostały wygenerowane przez AI.
- Rekrutacja – w procesach rekrutacyjnych narzędzia do wykrywania tekstu wygenerowanego przez AI mogą pomóc w identyfikacji fałszywych listów motywacyjnych czy CV.
- Cyberbezpieczeństwo – w sektorze bezpieczeństwa, narzędzia te mogą pomóc w wykrywaniu szkodliwych botów generujących fałszywe wiadomości czy maile phishingowe.
- Marketing – można je użyć do sprawdzania autentyczności opinii klientów czy recenzji produktów, które mogły być generowane przez boty.
- Polityka – w epoce dezinformacji i ‘fake newsów’, narzędzia do wykrywania tekstu napisanego przez AI mogą pomóc w identyfikacji i zwalczaniu manipulacji informacją.
- Prawo – w sporach sądowych możliwość wykrycia “fałszywych” dokumentów generowanych przez AI może mieć kluczowe znaczenie.
- Sztuka i literatura – dla oceny oryginalności dzieła literackiego.
- Badania naukowe – identyczną rolę przypisuje się tym narzędziom w kontekście analizy publikacji naukowych.
