Generatywna sztuczna inteligencja znalazła się na rozdrożu między otwartymi a zamkniętymi źródłami. Ostatnie badania pokazują znaczące różnice w jakości odpowiedzi na specjalistyczne pytania medyczne, stawiając w niekorzystnym świetle otwarte modele w porównaniu do GPT-4. Ta analiza rzuca światło na wyzwania i potencjał obu podejść, ale czy otwarte modele AI mają szansę dogonić liderów branży?
Otwarte modele AI kontra zamknięte rozwiązania
Otwarte modele AI, mimo swojej dostępności, wciąż borykają się z ograniczeniami. Koncept otwartych źródeł przyciąga uwagę ze względu na swoją transparentność i możliwość współtworzenia przez szeroką społeczność. Jednakże, nawet najbardziej prestiżowe projekty, takie jak Llama 2, nie mogą równać się z wynikami, które osiągają zamknięte modele AI, reprezentowane przez GPT-4 od OpenAI oraz Claude 2 od Anthropic.
Główną różnicą jest jakość i zakres danych używanych do treningu. Zamknięte modele, takie jak GPT-4, korzystają nie tylko z danych publicznie dostępnych, ale także z materiałów pochodzących od stron trzecich, które często zawierają cenne, przeglądane przez ekspertów informacje. To daje im znaczącą przewagę w generowaniu dokładniejszych i bardziej wiarygodnych odpowiedzi, szczególnie w specjalistycznych dziedzinach, takich jak medycyna.
Przypadki specjalistyczne. Badanie w dziedzinie nefrologii
W badaniu przeprowadzonym przez naukowców z Pepperdine University, University of California w Los Angeles i UC Riverside, otwarte modele AI wykazały niższą skuteczność w odpowiedzi na specjalistyczne pytania z nefrologii. GPT-4 osiągnął wynik 73,3%, zbliżając się do progu 75%, który jest uważany za zadowalający dla człowieka. Z kolei Llama 2, flagowy model otwartego źródła, znacząco odstawał pod względem jakości odpowiedzi, osiągając wynik .
Testowane modele AI musiały odpowiedzieć na 858 pytań z zakresu nefrologii, pochodzących z NephSAP, czyli Nephrology Self-Assessment Program, publikacji American Society of Nephrology. Był to test zdolności do wykonania zadań “zero-shot”, czyli bez wcześniejszego dostosowywania modelu i bez podawania przykładów poprawnych lub niepoprawnych odpowiedzi. Wyniki te rzucają światło na ograniczenia otwartych modeli AI w obszarach wymagających głębokiej wiedzy specjalistycznej.
Potencjalne przyszłe kierunki rozwoju
Ruch federated training może być odpowiedzią na wyzwania, przed którymi stoją otwarte modele AI. Daje on możliwość trenowania modeli na lokalnych, prywatnych danych, a następnie udostępniania wyników na rzecz zbiorowego wysiłku w chmurze publicznej. Inicjatywa MedPerf ML Commons ma ambicję zniwelować różnicę między dostępem do poufnych źródeł danych w medycynie a dążeniem do wzmocnienia otwartych modeli.
Współpraca i innowacyjne podejścia do treningu mogą zwiększyć konkurencyjność otwartych modeli AI. Mimo obecnych ograniczeń, otwarte modele AI posiadają potencjał do dogonienia, a nawet prześcignięcia swoich zamkniętych odpowiedników. Kluczem może być dostęp do wysokiej jakości danych i wykorzystanie nowatorskich metod szkolenia modeli, aby umożliwić im generowanie bardziej precyzyjnych i wiarygodnych odpowiedzi.
