ChatGPT testat in Top 1% pentru gandirea creativa originala

Descoperirile recente de la Universitatea din Montana si parteneri indica faptul ca inteligenta artificiala poate rivaliza cu abilitatile creative ale primilor 1% dintre participantii umani, pe baza unui test standard de creativitate.

Condusa de Dr. Erik Guzik, profesor clinic asistent la Colegiul de Afaceri al UM, echipa a folosit Testele Torrance de gandire creativa – un instrument binecunoscut folosit de zeci de ani pentru a evalua creativitatea umana.

Cercetatorii au trimis opt raspunsuri generate de ChatGPT, aplicatia alimentata de motorul de inteligenta artificiala GPT-4. De asemenea, au trimis raspunsuri de la un grup de control format din 24 de studenti UM care urmeaza cursurile de antreprenoriat si finante personale ale lui Guzik. Aceste scoruri au fost comparate cu 2.700 de studenti la nivel national care au sustinut TTCT in 2016. Toate trimiterile au fost notate de Scholastic Testing Service, care nu stia ca AI este implicata.

Rezultatele au plasat ChatGPT intr-o companie de elita pentru creativitate. Aplicatia AI s-a aflat in percentila superioara pentru fluenta – capacitatea de a genera un volum mare de idei – si pentru originalitate – capacitatea de a veni cu idei noi. AI a alunecat putin – pana la percentila 97 – pentru flexibilitate, capacitatea de a genera diferite tipuri si categorii de idei.

„Pentru ChatGPT si GPT-4, am aratat pentru prima data ca are performante in top 1% pentru originalitate”, a spus Guzik. „Asta a fost nou.”

El a fost multumit sa constate ca unii dintre studentii sai UM s-au clasat, de asemenea, in top 1%. Cu toate acestea, ChatGTP a depasit marea majoritate a studentilor la nivel national.

Guzik a testat AI si studentii sai in timpul semestrului de primavara. El a fost asistat in lucrare de Christian Gilde de la UM Western si Christian Byrge de la Universitatea din Vilnius. Cercetatorii si-au prezentat lucrarile in mai la Conferinta de creativitate a Universitatii de Sud din Oregon.

„Am fost foarte atenti la conferinta sa nu interpretam prea mult datele”, a spus Guzik. „Tocmai am prezentat rezultatele. Dar am impartasit dovezi puternice ca AI pare sa dezvolte abilitatile creative la egalitate cu sau chiar depasind capacitatea umana.”

Guzik a spus ca a intrebat ChatGPT ce ar indica daca va functiona bine pe TTCT. AI a dat un raspuns puternic, pe care l-au impartasit la conferinta:

„ChatGPT ne-a spus ca este posibil sa nu intelegem pe deplin creativitatea umana, ceea ce cred ca este corect”, a spus el. „De asemenea, a sugerat ca este posibil sa avem nevoie de instrumente de evaluare mai sofisticate care sa poata face diferenta intre ideile umane si cele generate de AI.”

El a spus ca TTCT este material protejat de proprietate, asa ca ChatGPT nu a putut „trisa” accesand informatii despre test pe internet sau intr-o baza de date publica.

Guzik a fost mult timp interesat de creativitate. In calitate de elev de clasa a saptea, care a crescut in oraselul Palmer, Massachusetts, a participat la un program pentru studenti talentati si talentati. Aceasta experienta l-a introdus in procesul de rezolvare a problemelor viitoare dezvoltat de Ellis Paul Torrance, psihologul de pionier, care a creat si TTCT. Guzik a spus ca s-a indragostit de brainstorming la acea vreme si de modul in care acesta atinge imaginatia umana si ca ramane activ cu organizatia Future Problem Solving – chiar si-a intalnit-o pe sotia la una dintre conferintele acesteia.

Guzik si echipa sa au decis sa testeze creativitatea ChatGPT dupa ce s-au jucat cu el in ultimul an.

„Cu totii am explorat cu ChatGPT si am observat ca facuse lucruri interesante la care nu ne asteptam”, a spus el. „Unele dintre raspunsuri au fost noi si surprinzatoare. Atunci am decis sa-l testam pentru a vedea cat de creativ este cu adevarat.”

Guzik a spus ca testul TTCT foloseste indicatii care imita sarcinile creative din viata reala. De exemplu, va puteti gandi la noi utilizari pentru un produs sau puteti imbunatati acest produs?

„Sa spunem ca este o minge de baschet”, a spus el. „Gandeste-te la cat mai multe utilizari ale unei mingi de baschet. Il poti fotografia intr-un cerc si il poti folosi intr-un afisaj. Daca va fortati sa va ganditi la noi utilizari, poate il taiati si il folositi ca jardinier. Sau cu o caramida, poti construi lucruri, sau poate fi folosita ca precipa hartie. Dar poate il macinati si il reformati in ceva complet nou.”

Guzik avea unele asteptari ca ChatGPT sa fie bun la crearea multor idei (fluenta), pentru ca asta face AI generativ. Si a excelat in a raspunde promptului cu multe idei care au fost relevante, utile si valoroase in ochii evaluatorilor.

A fost mai surprins de cat de bine a generat idei originale, care este un semn distinctiv al imaginatiei umane. Evaluatorii testului primesc liste de raspunsuri comune pentru un prompt – cele care aproape se asteapta sa fie trimise. Cu toate acestea, AI a aterizat in percentila superioara pentru a veni cu raspunsuri noi.

„La conferinta, am aflat despre cercetarile anterioare despre GPT-3 care au fost facute cu un an in urma”, a spus Guzik. „La acea vreme, ChatGPT nu avea rezultate la fel de bine ca oamenii la sarcini care implicau gandire originala. Acum, cu GPT-4 mai avansat, se afla in top 1% din toate raspunsurile umane.”

Odata cu accelerarea progreselor AI, el se asteapta ca aceasta sa devina un instrument cheie pentru lumea afacerilor in viitor si un nou motor semnificativ al inovatiei regionale si nationale.

„Pentru mine, creativitatea inseamna sa faci lucrurile diferit”, a spus Guzik. „Una dintre definitiile antreprenoriatului pe care le iubesc este ca a fi antreprenor inseamna a gandi diferit. Asa ca AI ne poate ajuta sa aplicam lumea gandirii creative in afaceri si in procesul de inovare, iar asta este doar fascinant pentru mine.”

El a spus ca UM College of Business este deschis sa predea despre AI si sa o incorporeze in cursuri.

„Cred ca stim ca viitorul va include AI intr-un fel”, a spus Guzik. „Trebuie sa fim atenti la modul in care este utilizat si sa luam in considerare regulile si reglementarile necesare. Dar companiile il folosesc deja pentru multe sarcini creative. In ceea ce priveste antreprenoriatul si inovatia regionala, acesta este o schimbare a jocului.”