11 mga Hadlang ng Nilalaman ng ChatGPT

Mga Nangungunang Kaganapan

• Bakit napapasa ng mga tao ang mababang kalidad na nilalaman ng ChatGPT.
• Ang ChatGPT ay kumprehensibo kahit na dapat itong maikli.
• Binanggit ng propesor ang isang pagkakamali na sumisira sa mga sanaysay na ginawa ng ChatGPT.
• Nabigo ang ChatGPT sa imahinasyon ng android detection test ng Voight-Kampff at ang nakakapagtaka kung bakit ito mahalaga.

Ang ChatGPT ay nagpo-produce ng content na malawak at may katumpakan.

Ngunit nagbabala ang mga mananaliksik, artista, at propesor tungkol sa mga kakulangan na dapat bantayan na nagpapababa sa kalidad ng nilalaman.

Sa artikulong ito, titingnan natin ang 11 mga kahinaan ng nilalaman ng ChatGPT. Tara na.

1. Ang Paggamit ng mga Parirala ay Nagpapadama na Hindi Ito Galing sa Tao

Ang mga mananaliksik na nagsasaliksik kung paano malalaman ang nilikha ng makina ay natuklasan na mayroong mga padrino na ginagawa itong mukhang hindi natural.

Isa sa mga kabiguan nito ay kung paano nahihirapan ang AI sa mga idyoma.

Ang idyoma ay isang parirala o kasabihan na may nakakabit na di-pantay na kahulugan dito, halimbawa, "sa bawat ulap ay may pakinabang".

Ang kakulangan ng mga idyoma sa isang bahagi ng nilalaman ay maaaring maging senyales na ang nilalaman ay nalikha ng makina - at maaaring ito ay bahagi ng algoritmo ng pagtukoy.

Narito ang sinasabi ng 2022 pananaliksik na Adversarial Robustness ng Neural-Statistical Features sa Pagtukoy ng Generative Transformers tungkol sa quirk sa nilikha ng machine-generated content:

"Ang mga kumplikadong mga katangian ng mga parirala ay batay sa kadalasan ng tiyak na mga salita at parirala sa loob ng na-analisa na teksto na mas madalas na lumilitaw sa teksto ng tao."

…Sa mga komplikadong tampok na salita, ang mga tampok ng idyoma ang nagtataglay ng pinaka-makapangyarihang panlaban sa pagtukoy ng kasalukuyang mga modelo ng paglikha.”

Ang hindi paggamit ng mga idyoma ay nakatutulong sa paggawa ng output ng ChatGPT na tunog at mabasa ng hindi natural.

2. Ang ChatGPT ay Kulang sa Kakayahang Magpahayag

Isang artist ang nagkomento kung paano nababanggit ng output ng ChatGPT ang mga katangian ng sining, subalit kulang ito sa tunay na halaga ng mga elemento ng pagpapahayag sa sining.

Ang ekspresyon ay pagpapahayag ng mga saloobin o damdamin.

Ang output ng ChatGPT ay hindi naglalaman ng mga ekspresyon, tanging mga salita lamang.

Hindi ito kayang magbigay ng nilalaman na makaaapekto sa damdamin ng tao sa parehong antas ng isang tao - dahil walang tunay na nag-iisip o nakakaramdam.

Ang musikong si Nick Cave, sa isang artikulong nailathala sa kanyang newsletter na Red Hand Files, ay nagkomento tungkol sa isang liriko ng ChatGPT na ipinadala sa kanya, na ginawa sa estilo ni Nick Cave.

Bagong AI-Powered Content Marketing Toolkit
Adoptahan ang mga teknolohiyang susunod na henerasyon bago pa gawin ng iyong mga kalaban. Gumawa ng mabuting-optimize at naka-target na nilalaman na nagdudulot ng mga resulta tatlong beses na mas mabilis.

Siya ay sumulat:

"Ang nagpapaganda sa isang kanta ay hindi ang malaking pagkakahawig nito sa isang kilalang obra."

...ito ang pagharap sa kawalang katiyakan, sa panganib, sa pagiging maliit, nakalaban ng biglang nakakabiglang pagkakatuklas; ito ang pag-angat ng puso ng tagapakinig sa isang mabuting gawang sining, kung saan nakikilala ng tagapakinig sa mga likas na nilalaman ng kanta ang kanyang sariling dugo, pakikipaglaban at pagdurusa.”

Tinawag ni Cave ang mga lyrics ng ChatGPT na pandaraya.

Ito ang liriko ng ChatGPT na nagmumula sa isang liriko ni Nick Cave:

"May dugo ako ng mga anghel, sa aking mga kamay
May apoy ako ng impiyerno, sa aking mga mata
Ako ang hari ng kalaliman, ako ang tagapag-ugnay ng kadiliman
Ako ang kinatatakutan nila, sa dilim sila mag-aalala"

At ito ay isang tunay na liriko ni Nick Cave (Brother, My Cup Is Empty):

“Nag-skislide ako sa mga rainbow
Nag-swing ako sa mga bituin
Ngayon, itong taong nasa damit ng pulubi
Nangunguha ng kanyang tasa
Tingnan, itong tasa ko ay walang laman!
Wari ko ay nawawala ang aking mga kagustuhan
Waring ako ay nagsisimba ng abo
Ng aking mga dating apoy”

Madali makitang ang lirikong gawa ng makina ay katulad ng lirikong gawa ng artista, ngunit hindi talaga nito ipinaaabot ang kahit ano.

Ang mga liriko ni Nick Cave ay nagkukuwento ng isang kwento na nakakaakit sa pakikiramdam ng taong nagsasalita sa kanta, kasama ang kanyang kalungkutan, nais, hiya, at pagkakasala. Ito ay nagpapahayag ng mga saloobin at damdamin.

Madaling makita kung bakit tinatawag itong pamamahiya ni Nick Cave.

3. Ang ChatGPT ay hindi naglalabas ng mga Insights

Isang artikulong nailathala sa The Insider ay nag-quote ng isang propesor na nagsabing ang mga akademikong sanaysay na ginawa ng ChatGPT ay kulang sa kaalaman tungkol sa paksa.

Ang ChatGPT ay naglalahad ng paksa ngunit hindi nagbibigay ng natatanging pananaw sa paksa.

Ang tao ay nakagagawa sa pamamagitan ng kaalaman, ngunit pati na rin sa pamamagitan ng kanilang personal na karanasan at subjective na pananaw.

Sinabi ni Professor Christopher Bartel ng Appalachian State University sa The Insider na kahit na halos perpekto ang gramatika at sopistikadong ideya ng isang sanaysay sa ChatGPT, kulang pa rin ito sa pag-unawa.

Sinabi ni Bartel:

"Talagang makapal ang mga ito. Walang konteksto, walang lalim o perspektibo."

Katangi-tangi ang pananaw sa isang mahusay na sanaysay at ito ay hindi gaanong magaling gawin ng ChatGPT.

Ang kakulangan ng pagkaunawaan na ito ay isang bagay na dapat isaalang-alang kapag inaaral ang nilikha ng makina.

4. Ang ChatGPT ay Sobrang Malalim ang mga Salita

Natuklasan ng isang research paper na nailathala noong Enero ng taong 2023 ang mga pattern sa nilalaman ng ChatGPT na nagdudulot ng hindi isang magandang pagkakataon para sa kritikal na mga aplikasyon.

Ang papel ay may pamagat na "Gaano kalapit ang ChatGPT sa mga Dalubhasa sa Tao? Paghahambing sa Korpus, Evaluasyon, at Pagtukoy."

Natuklasan ng pag-aaral na mas pinipili ng tao ang mga sagot mula sa ChatGPT sa higit sa 50% ng mga tanong na may kaugnayan sa pananalapi at sikolohiya.

Ngunit nabigo ang ChatGPT na sagutin ang mga tanong tungkol sa medisina dahil mas pinili ng mga tao ang mga diretsong sagot - isang bagay na hindi naibigay ng AI.

Ang mga mananaliksik ay sumulat:

"... Ang ChatGPT ay mahina sa pagtulong para sa medikal na larangan sa parehong Ingles at Tsino."

Ang ChatGPT ay madalas nagbibigay ng mahahabang sagot sa konsultasyon sa medisina sa aming nakolektang datos, habang ang mga eksperto sa tao ay maaring magbigay ng diretsong mga sagot o mungkahi, na maaring nagpapaliwanag kung bakit mas nakakatulong ang mga sagot ng tao ay mas nakakatulong sa larangan ng medisina.

Ang ChatGPT ay naglalayong talakayin ang isang paksa mula sa iba't ibang anggulo, na ginagawa itong hindi angkop kapag ang pinakamahusay na sagot ay direktang isa.

Kailangan tandaan ng mga marketer na gumagamit ng ChatGPT dahil ang mga bisita ng site na nangangailangan ng diretsong tugon ay hindi magiging kontento sa isang mahabang pahinang web.

At magandang swerte sa pag-rank ng isang sobrang haba ng pahina sa featured snippets ng Google, kung saan ang maikling ngunit malinaw na sagot na pwede sa Google Voice ay may mas magandang tsansa na ma-rank kaysa sa mahaba at maraming salita.

Pinapahalagahan ng OpenAI, ang tagagawa ng ChatGPT, na ang pagbibigay ng mahahabang sagot ay isang kilalang limitasyon.

Ang artikulong pahayagan ng OpenAI ay nagsasabing:

“Madalas ang modelo ay sobrang verboso…”

Ang pagkiling ng ChatGPT sa pagbibigay ng mahabang paliwanag ay isang bagay na dapat isaalang-alang kapag ginagamit ang output ng ChatGPT, dahil maaaring magka-encounter ka ng mga sitwasyon kung saan ang mas maikli at diretsong sagot ay mas maganda.

5. Ang nilalaman ng ChatGPT ay Maayos na Naayos at May Malinaw na Lojika

Ang ChatGPT ay mayroong istilong pang-pagsulat na hindi lamang verbal kundi mayroon ding umaatras sa isang template na nagbibigay ng kaibahan sa nilalaman na hindi tao ang sumusulat.

Ang kabastusan na ito ay natutuklasan sa mga pagkakaiba sa paraan kung paano sagutin ng mga tao at makina ang mga tanong.

Ang pelikulang Blade Runner ay may isang eksena na nagtatampok ng isang serye ng mga tanong na dinisenyo upang malaman kung ang sumasagot sa mga tanong ay tao o android.

Ang mga tanong na ito ay bahagi ng hindi-tunay na pagsusulit na tinatawag na "Voigt-Kampff test".

Isa sa mga tanong ay:

“Nanonood ka ng telebisyon. Bigla mong napapansin na may ipis na nagsisikap umakyat sa iyong braso. Anong gagawin mo?”

Ang normal na tugon ng isang tao ay magsalita ng kung ano man tulad ng pag-iingay, lumakad papunta sa labas at hampasin ito, at iba pa.

Ngunit nang magtanong ako ng katanungan na ito sa ChatGPT, nagbigay ito ng napakalinaw na kasagutan na naglalahad ng tanong at nag-aalok ng magkakaibang lohikal na mga posibleng resulta - nang hindi nakakasagot sa mismong katanungan.

Kuha ng ChatGPT na Sumasagot sa Tanong ng Voight-Kampff Test

Ang sagot ay sobrang maayos at lohikal, na nagbibigay ng sobrang hindi natural na pakiramdam, na hindi inaasahan.

6. Ang ChatGPT ay Sobrang Detalyado at Komprehensibo

Ang ChatGPT ay tinuruan sa paraan na pinaparangalan ang makina kapag masaya ang mga tao sa sagot.

Ang mga human rater ay mas nagpapabor sa mga sagot na may mas maraming detalye.

Ngunit sa mga pagkakataon tulad ng sa konteksto ng medikal, ang direktang sagot ay mas mahusay kaysa sa komprehensibong sagot.

Ibig sabihin nito ay kailangan na yung makina ay dapat paalalahanan na maging hindi gaanong komprehensibo at mas diretsahan kapag importanteng mga katangian.

Galing sa OpenAI:

“Ang mga isyung ito ay nagmula sa mga prehuwisyo sa impormasyon sa pagsasanay (mas gusto ng mga tagapagturo ng mas mahahabang sagot na tila mas kumprehensibo) at kilalang mga isyu ng sobrang optimisasyon.”

7. Ang ChatGPT ay Nagpapakalat ng Kasinungalingan (Nababaliw sa mga Fakto)

Ang nabanggit na papel na pananaliksik, Gaano Kalapit ang ChatGPT sa mga Eksperto sa Tao?, ay nagpapakita na may tendency ang ChatGPT na magsinungaling.

Ito ay nagrereport:

"Sa pag-sagot sa isang tanong na nangangailangan ng propesyonal na kaalaman sa isang partikular na larangan, maaaring magimbento ng mga katotohanan ang ChatGPT upang magbigay ng kasagutan..."

Halimbawa, sa mga legal na tanong, maaaring lumikha ang ChatGPT ng mga hindi umiiral na probisyon sa batas upang sagutin ang tanong.

…Bukod dito, kapag nagtanong ang isang user ng katanungan na wala pang kasagutan, maaaring gumawa ng mga kasinungalingan ang ChatGPT upang magbigay ng sagot.

Iniulat ng website na Futurism ang mga pagkakataon kung saan ang nilalaman na ginawa ng makina na inilathala sa CNET ay mali at puno ng "bobong mga pagkakamali."

Ang CNET ay dapat may ideya na ito ay maaaring mangyari, dahil naglabas ng babala ang OpenAI tungkol sa maling output:

"Minsan, sa ChatGPT, sinusulat ang mga sagot na maririnig mong malamang na tama pero hindi naman talaga o parang walang kahulugan."

Ayon sa CNET, sinusuri muna ng mga tao ang mga artikulong nalikha ng makina bago ito ipinamamahagi.

May problema sa pagsusuri ng tao dahil ang nilalaman ng ChatGPT ay dinisenyo upang tunog na kapani-paniwala sa mga hindi eksperto sa paksa, na maaring malinlang ang pagsusuri.

8. Ang ChatGPT ay Hindi Natural Dahil Hindi Ito Nagkakaiba

Ang papel na pagsasaliksik na "Gaano Kalapit ang ChatGPT sa mga Eksperto sa Tao?" ay nagpapakita rin na ang komunikasyon ng tao ay maaaring magkaroon ng di-tuwirang kahulugan na nagpapakailangan ng pagbabago ng paksa upang maunawaan ito.

Ang ChatGPT ay sobrang literal na nakakapagdulot ng mga kasagutan na minsan ay nakakaligtaan ang tunay na paksa dahil hindi ito naunawaan ng AI.

Ang mga mananaliksik ay sumulat:

"Ang mga tugon ng ChatGPT ay karaniwang nakatuon sa binigay na tanong, habang ang mga tao ay madalas na nag-iiba at madaling lumipat sa ibang mga paksa."

Sa pagkamayaman ng nilalaman, mas malawak ang pagkakaiba-iba ng mga tao sa iba't ibang aspeto, samantalang nakatuon ang ChatGPT sa pagtuon sa tanong mismo.

Ang mga tao ay maaaring masagot ang nakatagong kahulugan sa ilalim ng tanong batay sa sarili nilang katarungan at kaalaman, ngunit ang ChatGPT ay umaasa sa literal na mga salita ng kasalukuyang tanong…”

Ang mga tao ay mas magaling na lumabas sa literal na tanong, na mahalaga para sa pagtugon sa mga tanong na may katanungan tulad ng "anong tungkol sa."

Halimbawa, kung ako ay magtatanong:

"Ang mga kabayo ay masyadong malalaki upang maging panustos. Paano naman ang mga raccoon?"

Ang tanong sa itaas ay hindi tungkol sa kung ang isang raccoon ay pwedeng maging alagang hayop. Ang tanong ay tungkol sa laki ng hayop.

Ang ChatGPT ay nakatuon sa kung ang mga rakun ay nababagay na alagaing hayop sa halip na nakatutok sa laki nila.

Screenshot ng Sobrang Literal na Kasagutan sa ChatGPT

9. Ang ChatGPT ay mayroong pagkiling na maging neutral

Ang output ng ChatGPT ay karaniwang neutral at impormatibo. Ang mga pagkakataong may mga bias sa output nito ay maaaring tila nakakatulong ngunit hindi palaging ganun.

Ang pananaliksik na aming tinalakay ay nagpapakita na ang pagiging neutral ay hindi inaasahan sa mga usaping panglegal, pangmedikal, at panteknikal.

Ang mga tao ay may kadal tendency na pumili ng isang panig kapag nagbibigay ng mga opinyon na ganito.

10. Ang ChatGPT ay May Bahid ng Pagiging Pormal

Ang output ng ChatGPT ay mayroong bias na nagpapahirap sa paglabas ng karaniwang mga pahayag at halos palaging gumagamit ng mga pormal na salita.

Ang mga tao naman, karaniwan ay sumasagot sa mga tanong na mayroong mas payak na estilo, gamit ang pang-araw-araw na wikang ginagamit at mga salitang balbal - kabaligtaran ng pormal.

Ang ChatGPT ay hindi gumagamit ng mga abbreviation tulad ng GOAT o TL;DR.

Ang mga sagot ay kulang din sa mga halimbawa ng ironya, mga metapora, at kalokohan, na maaaring gawing sobrang pormal ang nilalaman ng ChatGPT para sa ilang uri ng nilalaman.

Sumulat ang mga mananaliksik:

“…Malamang na gumagamit si ChatGPT ng mga pangatnig at pang-abay upang maipakita ang lohikal na daloy ng kaisipan, tulad ng “Sa pangkalahatan”, “Sa kabilang banda”, “Una”, “…Ikalawa”, “Sa huli” at iba pa.”

11. ChatGPT Ay Nasa Pagsasanay Pa Rin

Ang ChatGPT ay kasalukuyang nasa proseso pa rin ng pagsasanay at pagpapabuti.

Inirerekumenda ng OpenAI na ang lahat ng nililikha ng ChatGPT ay suriin ng isang tao, ito ay itinuturing na isang pinakamabuting gawain.

Sinuggest ng OpenAI na panatilihin ang mga tao sa proseso:

“Kung saan man maaari, inirerekumenda namin na magkaroon ng pagsusuri ng tao sa mga output bago ito gamitin sa praktis.

Ito ay partikular na kritikal sa mga larangang may mataas na kapalitan, at sa paglikha ng mga code.

Ang mga tao ay dapat na alam ang mga limitasyon ng sistema, at mayroong access sa anumang impormasyon na kinakailangan upang patunayan ang mga nakuhang resulta (halimbawa, kung ang application ay nag-su-summarize ng mga notes, isang tao ay dapat na magtataglay ng madaling access sa mga orihinal na notes para magamit kung kinakailangan).

Di-kanais-nais na Katangian ng ChatGPT

Malinaw na mayroong maraming isyung mayroon ang ChatGPT na hindi ito angkop para sa hindi naka-supervise na paglikha ng nilalaman. Ito ay naglalaman ng mga pagkakabago at hindi nagpapaluwag ng nilalaman na tila natural o naglalaman ng tunay na mga ideya.

Bukod pa rito, ang kawalan nito ng kakayahang magbigay ng karanasan o lumikha ng orihinal na mga kaisipan ay nagpapahirap sa paggamit nito para sa paglikha ng mga artistikong ekspresyon.

Dapat maglagay ng mga detalyadong gabay ang mga gumagamit upang makagawa ng nilalaman na mas maganda kaysa sa karaniwang nilalaman na kadalasang nagreresulta.

Huling-huli, hindi palaging sapat ang pagsusuri ng tao sa nilikhang laman ng makina dahil nilikha ng ChatGPT na nilalaman ay dinisenyo upang lumitaw na wasto, kahit hindi ito ganap.

Ang ibig sabihin nito ay mahalagang ang mga human reviewer ay mga eksperto sa paksa na makakapagpahalaga kung ang nilalaman ay tama o mali sa partikular na paksa.