心理系專題演講 從語言學看AI文本分析:解析AI的研究應用與限制
【心理學系訊】
隨著生成式AI逐漸發展,很多研究者已開始利用AI進行程式撰寫、資料蒐集、文本標記與分類。但不論是網路評論、態度與立場,或心理健康相關文本,表面的詞彙不一定直接反映其實際語意。國立政治大學語言學研究所張瑜芸副教授於心理系專題演講中,透過多項研究案例,分享AI如何應用於文本分析研究,以及說明語言學知識如何協助研究者制定分析規則、辨識模型誤判,並解讀研究結果。
從資料蒐集階段開始,AI產出的內容可能就無法直接符合研究框架。張教授以資料爬取為例,在新聞內容的取得時,AI可能將新聞原文整理成摘要,反而失去分析所需的完整文本。因此,研究者除了調整指令,也需要理解網頁結構,才能引導AI取得正確資料。
在語言標記方面,張教授介紹分析作者態度與立場的評價理論架構。同一句話該標記多長的字串、如何區分概念,以及評價屬於正向或負向,都可能產生歧見。若要請AI協助,研究者必須先拆解任務、明確定義分類,提供範例,並交代難以判斷的情況應如何處理。完成標記後,仍須檢查結果,評估標記的一致性與準確程度。
接著,張教授以身體羞辱、災難語言、自殺意念與商業置入等研究案例,說明AI文本分析的共同挑戰:相同詞彙在不同情境中可能有不同意義,僅依賴關鍵字,可能不足以判斷文本真正表達的態度或意義。
身體羞辱辨識 AI的語境理解困難
在身體羞辱的辨識研究中,張教授的團隊以論壇留言作為分析材料,先定義身體羞辱的判斷標準並建立相關詞彙字典,再比較不同AI模型的分類表現,結果顯示部分模型能達到比較高的辨識表現。然而,模型仍可能把單純的事實陳述誤判為羞辱,也比較容易在譬喻或語意矛盾的句子中出錯。文字提及身材相關詞彙,並不一定帶有歧視,如何辨別其中的態度,仍是模型面臨的挑戰。
災難詞彙不等於真實災情 判斷仍有侷限
類似的問題也出現在災難文本的辨識上,文章出現災難詞彙,未必代表實際發生災難,有時只是借用相關詞語作比喻。為了區分兩者,研究團隊就以災難詞彙在句子中與哪些名詞或概念產生關聯為目標分析,並結合詞彙資料庫嘗試找出判斷規則。不過,部分時間相關詞彙仍難以透過資料庫處理,也更顯示規則的建立也有其侷限。
自殺意念辨識 隱喻成為挑戰
過去研究指出有自殺意念者不見得會在醫療場合中告知,而會轉於網路上匿名發出聲明,因此張教授與其研究團隊將匿名論壇中的留言資料依據量表標準分類,比較大型語言模型與結合語言特徵的傳統機器學習模型之辨識能力。結果顯示,兩者表現相近,並發現了以下特徵:自殺意念較強的文章較常出現直接相關字詞與第一人稱,絕對性用詞則較少;此外,模型對隱喻及變形字詞的辨識仍不理想。
業配偵測應用 被正面詞彙誤導
在業配文判斷上,研究發現生成式AI可能過度依賴正面詞彙,因此很容易就將一般正面評論誤判為業配。但相較之下,改用傳統模型搭配語言特徵後反而表現較好,其中祈使句、誇張字詞與對比詞提供更多判斷業配相關的判斷線索。這也說明,面對不同文本分析研究問題需要的資訊並不相同,較新的模型未必就是最適合的選擇。
從蒐集資料到解讀結果,AI能協助處理許多工作,卻也可能在一句比喻、一個變形字,或一段看似正面的描述中誤判。張教授的分享提醒聽眾,在使用AI進行文字分析時,不能僅是把工作交由模型處理,也需要將理論概念轉化為明確且可執行的判斷規則,也要回到文本進行結果的詮釋,理解模型為何出錯,仍是研究者不可省略的工作。
最後的問答環節中,張教授指出,現階段AI工具仍難以取代針對特定研究問題建立的分析架構,以及研究者在問題定義、模型選擇與結果詮釋上的專業判斷。對研究者來說,仍須保有自身研究素養,運用專業知識檢視分析結果,並在實際應用中持續探索與AI合作的可能性。
(撰文、攝影/邱子宧、游詩芸、王沛晴)