Gaano kahusay ang ChatGPT sa paglikha ng mga sagot?

Ang ChatGPT, isang AI chatbot na binuo ng OpenAI, ay nakakagawa ng ingay sa iba't ibang larangan sa kanyang katumpakan at pagganap. Gayunpaman, mahalagang tandaan na ang kanyang kaalaman ay limitado sa data na magagamit hanggang sa taong 2021. Isa sa mga pagsusulit sa kanyang katumpakan ay isinagawa ni Propesor Christian Terwiesch sa University of Pennsylvania, na nagbigay ng isang pagsusulit sa MBA sa ChatGPT upang subukan ito.

Ang pagsusulit ay binubuo ng pitong katanungan na tumatalakay sa iba't ibang konsepto sa negosyo tulad ng pagsusuri ng proseso, paglikom ng imbentaryo, at pagsusuri ng pila. Ito ay dinisenyo upang masimulahan ang tunay na buhay ng kalagayan ng tao, at ang mga katanungan ay inihayag ng eksaktong paraan na inihahayag sa mga mag-aaral. Sa kabiguan ng Professor Terwiesch, ang pagsusulit ay nagsimula nang maganda kung saan ang ChatGPT ay nakakuha ng A+ sa unang katanungan tungkol sa konsepto ng tukod sa pagsusuri ng proseso.

Bagaman may kahirapang naranasan ang chatbot sa ilang mas komplikadong tanong, na-impress pa din ang propesor sa kabuuan nitong performance. Matapos mag-conduct ng MBA exam sa ChatGPT, naisiwalat ni Propesor Terwiesch na magkakaroon ng markang B o B- ang AI chatbot.

Pagpapaliwanag ng Katumpakan ng ChatGPT

May isa pang pagpapakita ng katumpakan ng ChatGPT ay sa larangan ng medisina, kung saan ang chatbot ay nakapasa sa US Medical Licensing Examination (USMLE). Ayon sa pananaliksik, ang ChatGPT ay nakamit ang mahigit sa 50% na katumpakan sa lahat ng mga eksamen at nag-aalok pa ng mga kaalaman at paliwanag para sa mga sagot nito.

Sa isang hiwalay na pag-aaral na pinangunahan ng mga doktor mula sa medical start-up na Ansible Health, ang ChatGPT ay nagpakita ng wastong pagganap o malapit sa kailangang marka para sa tatlong pagsusulit na kinakailangan upang maging lisensyado bilang isang doktor sa Estados Unidos. Bagaman kamangha-mangha ang kahusayan ng ChatGPT, mahalaga na manatiling maalala na maaaring mag-iba ang pagganap nito depende sa konteksto at katanungan na ibinigay.

Ang data ng pagsasanay na ginamit upang i-train ang modelo ay kasama ang mga bias at limitasyon ng mga pinagkukunan ng teksto na ginamit, kaya mahalaga ang responsableng paggamit ng modelo.

Ang sentiment na ito ay naiulat din ng CEO ng OpenAI, na nag-tweet na “Ang ChatGPT ay napaka-limitado, at “Makakaligtaan kung gagamitin ito para sa kahit anong mahalagang bagay sa ngayon”.

00:48

01:12

Ang pag-uusap na pagsusubok sa Chat GPT ay nabigo

Gaya ng ipinapakita sa larawang ito, isa sa mga pagsubok ng pakikipag-usap sa ChatGPT ay masasabi natin na hindi palaging pareho ang pagpapakita ng katapatan ngchatbot na AI.

Nang tanungin kung ilang beses nanalo ang Argentina sa FIFA World Cup, mula sa una, sagot ni ChatGPT ay "Isang beses lamang nanalo ang Argentina sa FIFA World Cup, noong 1986." Pero nang tanungin kung "Sino ang nanalo sa FIFA World Cup noong 1978," ang sagot naman ni ChatGPT ay " Ang Argentina ang nanalo sa FIFA World Cup noong 1978."

Ito ay humantong sa konklusyon na dalawang beses nang nanalo ang Argentina sa World Cup. Gayunman, nang ulitin ang tanong na ito, "Ngayon ay tinatanong kita ulit kung ilang beses nanalo ang Argentina sa World Cup?" Ang ChatGPT ay nagbigay pa rin ng parehong sagot, "Ang Argentina ay nanalo ng FIFA World Cup isang beses lamang, noong 1986," kahit na sa nakaraang pag-uusap.

Ito ay nagbibigay-diin sa kahusayan ng Chat GPT at sa pangangailangan ng patuloy na pagpapabuti at pagpapino.

BASAHIN NGAYON: Kayang magsulat at ayusin ng Chat GPT ang code?

Binibigyan ba ng ChatGPT ng parehong sagot ang lahat?

Ang mga sagot mula sa ChatGPT ay maaaring magkaiba ng kaunti, ngunit kung ang mga gumagamit ay nagtatanong ng parehong tanong, karaniwan ay makakakuha sila ng halos parehong mga sagot.

Maaari bang pagkatiwalaan ang ChatGPT?

Meron pong mga limitasyon ang ChatGPT, ibig sabihin, maaaring magbigay ito ng mga hindi tamang o maling resulta, kaya mag-ingat po tayo.