How GPT-4o kept on confidently gaslighting me
தமிழில், கீழே ↓
Gaslighting, noun: psychological manipulation of a person usually over an extended period of time that causes the victim to question the validity of their own thoughts, perception of reality, or memories and typically leads to confusion, loss of confidence and self-esteem, uncertainty of one’s emotional or mental stability, and a dependency on the perpetrator.
– Merriam-Webster
This morning, I needed to find a Tamil quote about ‘long, flowing hair.’ I couldn’t think of one off the top of my head, so I asked ChatGPT-4o. The ensuing conversation was truly bizarre.
First, it gave me an entire poem, complete with an English translation. It seemed a bit of a word salad. ChatGPT clarified that it was its own composition. I wasn’t in the market for GenAI compositions. So, I asked it to give me a quote from an ancient body of Tami literature, the sangam literature. Again, it gave me a poem and translation and the name of the poet in roman script, ‘Marokathu Nappasalaiyaar,’ and even added an exegesis! I am not well-versed in sangam literature to be able to tell if it was genuine. But the poet’s name sounded vaguely familiar. I asked for the name in Tamil. It replied ‘மரோகத்து நப்பசலையார்.’ The first part turns out to be a misspelling, it should have been ‘மாறோக்கத்து நப்பசலையார்,’ a poetess who hailed from a place called ‘மாறோக்கம்’ which was evidently mentioned in Marco Polo’s chronicles. She had supposedly written eight poems, and the one GPT-4o offered me was not among them!
Well, we all know that generative models can hallucinate. So I switched tacks and asked for a popular Tamil movie song instead. Once again, its response was very specific: it named a movie, and a song supposedly in the movie, and quoted a line from this song, complete with a translation and a mini-lesson in poetry appreciation. While the movie was real, there was no such song, and the quoted line didn’t appear to be in any other song either.
Increasingly skeptical, I asked it to give me a poem from the great Tamil poet Bharathiyar because I am reasonably familiar with his works and his style. It confidently gave me a quote and claimed that it was from a famous Bharathiyar poem which it misnamed. I asked for the complete poem. It gave me one. Once again, it gave me an English translation, too.
I asked, “Is there really a Bharathiyar poem by that name?!?” and it responded, “I apologize for the confusion earlier! To clarify, there is no [such] poem by Subramania Bharathiyaar […] or matching the lines I previously shared. It was an error on my part, and I regret any confusion caused.”
Generative models work essentially by predicting the most likely next token (e.g., next bit of text), given the preceding set of tokens, based on the zillions and zillions of examples they had seen in their training data. I guess I should not be surprised that they generate word salads in Tamil, but GPT-4o did it so confidently, and went all out on a limb providing translations and explanations. That almost made me question my sanity.
You can check out the entire conversation here.
இன்று காலை ‘நீண்ட கூந்தல்’ பற்றித் தமிழில் ஒரு மேற்கோள் தேடவேண்டிய தேவை எனக்கு இருந்தது. எதுவும் சட்டென ஞாபகத்துக்கு வராததால் ChatGPT-4o விடம் கேட்டேன். தொடர்ந்து எனக்கும் அதற்கும் இடையில் நடந்த உரையாடல் மிக வினோதமானது. ஒருவர் இன்னொருவருக்குத் தொடர்ச்சியாகப் பிழையான தகவல்களைத் திரும்பத்திரும்ப ஒரே மாதிரிச் சொல்லி, கேட்பவர் தன்னுடைய மனநிலை பிறழ்ந்து விட்டதா என்று ஐயம் கொள்ள வைப்பதை ஆங்கிலத்தில் ‘gaslighting’ என்பார்கள். இந்த உரையாடல் அப்படியானதுதான்!
முதலில் ஒரு முழுக் கவிதையையும் அதற்கான ஆங்கில மொழிபெயர்ப்பையும் மிகுந்த ஆரவாரத்துடன் தந்தது. கவிதை ஏதோ அர்த்தமேதுமற்ற சொற்சாம்பாராக இருந்தது. யாருடைய கவிதை என்று கேட்டேன். தானே இயற்றிய கவிதை என்றது. அட சரிதான், ஆனால் உருவாக்கிச் செயற்கை நுண்ணறிவு படைக்கும் இலக்கியத்துக்கு நான் வாடிக்கையாளன் இல்லை என்பதால், சங்க இலக்கியங்களிலிருந்து ஒரு மேற்கோள் தரும்படி கேட்டேன்.
அகநானூறு 86ஆம் செய்யுள் ‘Marokathu Nappasalaiyaar’ என்பவர் உருவாக்கியது என்று சொல்லி ஒரு கவிதையும் ஆங்கில மொழியாக்கமும் தந்து, அதற்கும் மேலாக இனாமாக ஒரு தெளிவுரையும் தந்தது! சங்க இலக்கியங்கள் எனக்குத் தண்ணி பட்ட பாடல்ல. மேலோட்டமாக அந்தக் கவிதையைப் பார்த்தால் சங்க காலத்துக் கவிதையாக இருக்கலாம் போலத் தோன்றியது. ஆனால் புலவரின் பெயரில் இருந்து வந்த நெடி, ஏதோ சுத்துமாத்து நடக்கிறது போன்ற சந்தேகத்தைக் கிளப்பியது. பெயரைத் தமிழில் எழுதும்படி கேட்டேன். ‘மரோகத்து நப்பசலையார்,’ என்றது. முதற் சொல்லில் எழுத்துப்பிழை — ‘மாறோக்கத்து நப்பசலையார்,’ என்று எழுத வேண்டும். அவர் ‘மாறோக்கம் என்ற இடத்தைச் சேர்ந்த பெண்புலவர். அந்த இடம் மார்கோ போலோவின் பயணக் கதைகளிலே குறிப்பிடப் பட்டதாம்! அவர் எட்டுச் செய்யுள்களை இயற்றினாராம், ஆனால் ChatGPT-4o சொன்ன செய்யுள் அவற்றில் ஒன்று அல்ல!
உருவாக்கிச் செயற்கை நுண்ணறிவுகள் தடுமாற்றங்களுக்கு ஆளாகக் கூடியனவை என்பது தெரிந்ததே. ஆகவே கேள்வியை மாற்றி ஏதாவது சினிமாப் பாடலில் வரும் மேற்கோள் கேட்டேன். திரும்பவும் மிகத்துல்லியமான பதிலைத் தெளிவாக அடித்துச் சொன்னது: 1986 இல் வெளியிடப்பட்ட மௌனராகம் படத்தில் இளையராஜா இசையமைப்பில் ஜானகி பாடிய ‘சின்னஞ்சிறு கிளியே’ பாடலில் ‘நீண்ட சடையால் அழகானவளே’ என்ற வரி வருகிறதாம்! அப்படி ஒரு பாடலே அந்தப் படத்தில் இருந்ததாகத் தெரியவில்லை. அது சொன்ன அடுத்த சில ‘திரைப்படப் பாடல்களும்’ இப்படியே நாறின.
சரி எனக்குத் தெரிந்த ஒன்றைப் பற்றிக் கேட்கலாம் என்று நினைத்து ‘இதைப் பற்றிப் பாரதி பாடல் இருக்கிறதா’ என்று கேட்டேன். அது சொன்ன பதில் தூக்கிவாரிப் போட்டது: “சின்னஞ்சிறு கிளியே கனிவாகக் கேளடி” என்ற பாடலில் இப்படியொன்று வருகிறதாம்:
“நெடிய சடைதாழ்ந் தெழுந்து விளையாடி
நிலவின் ஒளி போல நீல நிறம் பூண்டாள்”
அதற்கு ஆங்கில மொழியாக்கமும் தெளிவுரையும் கூடத் தந்தது!
திரும்பவும் சொற்சாம்பார்!
“முழுக் கவிதையையும் தா,” என்றேன். “செம்மையெழு காதலர் தங்கை” (!?) என்று ஒரு ‘கவிதை’யை வாந்தி எடுத்தது.
தாங்க முடியாமல், “பாரதி இப்படி உண்மையாகவே ஒரு கவிதை எழுதினாரா?” என்று கேட்டேன்.
அதன் பதில்: “முதல் நான் ஏற்படுத்திய குழப்பத்துக்கு மன்னிக்கவும். “செம்மையெழு காதலர் தங்கை” என்று ஒரு கவிதையைப் பாரதியார் எழுதவில்லை. நான் மேற்கோள் சொன்ன வரிகளையும் அவர் எழுதவில்லை. அது நான் விட்ட பிழை. ஏதாவது குழப்பம் ஏற்படுத்தினேன் என்றால் அதற்கு மன்னிப்புக் கேட்கிறேன்.”
உருவாக்கிச் செயற்கை நுண்ணறிவுகளின் அடிப்படை வேலைப்பாடு ஒரு குறித்தொடரைக் (உதாரணமாக ஒரு சொற் தொடரைக்) கொடுத்தால் அடுத்ததாக வருவதற்கு எந்தக் குறிக்கு நிகழ்தகவு அதிகமாக இருக்கிறதோ அந்தக் குறியை வெளியிடுவதுதான். அது கற்றுக் கொண்ட கோடிக்கணக்கான தரவுகளை வைத்தே இந்த நிகழ்தகவைக் கணிக்கும். ஆகவே தமிழில் சொற்சாம்பார் செய்வது ஆச்சரியமல்லத் தான். ஆனால் அவ்வளவு ஆணித்தரமாக, திட்டவட்டமாக, தெளிவாக, மொழிபெயர்ப்பு, தெளிவுரை என்று பலதும் சேர்த்துப் படைக்கும் பொது எனக்கு என் புத்திசுவாதீனத்திலேயே சந்தேகம் வந்துவிடும் போல இருந்தது.
யான் பெற்ற இன்பம் பெற வேண்டுமென்றால் நீங்கள் அந்த முழு உரையாடலையும் படிக்கலாம்.
Leave a Reply