Personalizacija odgovora u konverzacijskim AI sustavima: između korisničkog iskustva i etičkih izazova

Uvod

Personalizacija odgovora u konverzacijskim AI sustavima nije jedna tehnika, nego skup različitih postupaka. Sustav može prilagođavati odgovor korisnikovim izričitim preferencijama, prethodnim interakcijama, komunikacijskom stilu, trenutačnom kontekstu ili procijenjenom emocionalnom stanju. U literaturi se razlikuju eksplicitni korisnički profili, implicitno zaključivanje o korisniku, korištenje memorije, prilagodba stila, persona agenta, afektivno računarstvo te podatkovna i modelna personalizacija (Chen i sur., 2024; Li, Waleed i Salam, 2023).

Personalizacija je u pojedinim zadacima i populacijama povezana s boljom relevantnošću ili doživljajem interakcije, ali otvoreni izvori ne podupiru opću tvrdnju da je personalizirani odgovor bolji od generičkog. Učinak personalizacije ovisi o zadatku, populaciji i vrsti prilagodbe; otvoreni izvori dodatno upućuju na važnost konteksta, objašnjenja i korisničke kontrole, ali ne potvrđuju sve navedene čimbenike u jedinstvenom eksperimentu.

Ova se tvrdnja odnosi na pojedine oblike prilagodbe, a ne na personalizaciju kao jedinstvenu intervenciju. Zbog toga se korisničko iskustvo i etički rizici ne mogu procjenjivati samo na razini pitanja je li sustav personaliziran. Potrebno je pitati koje se značajke korisnika koriste, kako se izvode, koliko se dugo čuvaju, kako utječu na odgovor te može li ih korisnik vidjeti, ispraviti ili izbrisati.

Pojmovno razgraničenje

Personalizacija korisnika odnosi se na prilagodbu pojedincu ili skupini na temelju osobnih karakteristika, preferencija ili povijesti. Kontekstualna prilagodba može biti kratkotrajnija i ograničena na trenutačni cilj, prethodnu poruku, kanal ili situaciju. Persona agenta odnosi se na stil, društvenu ulogu ili osobnost koju sustav preuzima, dok personalizacija korisnika znači modeliranje osobe s kojom sustav razgovara. Te se razine ne smiju poistovjetiti.

Pregled personaliziranog dijaloga obuhvaća personu agenta, kao i eksplicitne i implicitne korisničke signale. Sustav se zato može činiti personaliziranim zato što nastupa kao određena persona, zato što koristi korisničke preferencije ili zato što iz razgovora zaključuje o korisniku (Chen i sur., 2024).

Bolja ocjena personaliziranog odgovora ne dokazuje da je sustav točnije razumio korisnika. Osobni detalji mogu povećati doživljenu relevantnost i uvjerljivost odgovora, ali to samo po sebi ne potvrđuje njegovu sadržajnu točnost. Zbog toga treba razlikovati stvarnu personalizaciju od percipirane personalizacije (Feng, Feuerriegel i Shrestha, 2026).

Metode personalizacije

Eksplicitni profil

Korisnik može izravno navesti jezik, stručnu razinu, interese, preferirani ton, duljinu odgovora ili cilj razgovora. Takav pristup olakšava uvid u izvor prilagodbe, ali uneseni podaci mogu biti netočni, zastarjeli ili preširoko protumačeni. Njegova se vrijednost zato ne može procijeniti odvojeno od mogućnosti korisničke kontrole.

Implicitno zaključivanje

Sustav može iz prethodnih poruka zaključivati o interesima, znanju, osobnosti, emocionalnom stanju ili komunikacijskim navikama korisnika. U radu Cho i suradnika implicitna persona korisnika izvedena je iz povijesti dijaloga i predstavlja modelsku procjenu, a ne izravno opaženu činjenicu (Cho i sur., 2022).

Takva procjena može poboljšati rezultate u konkretnim evaluacijskim uvjetima, ali ne predstavlja opću potvrdu pouzdanosti implicitnog modeliranja. Ovaj rezultat odnosi se na modelsko ponašanje ili evaluacijske uvjete, a ne sam po sebi na stvarno korisničko iskustvo.

Memorija i prethodne interakcije

Sustav može koristiti činjenice iz prethodnih razgovora, njihove sažetke ili obrasce ponašanja. Trajanje pohrane, profiliranje i prava korisnika ovise o konkretnom dizajnu sustava.

Oblici personalizacije koji koriste profile, memoriju ili zaključene osobine uključuju obradu osobnih podataka, dok se neke kontekstualne prilagodbe mogu odvijati bez trajnog profila. Ta razlika važna je za procjenu svrhe obrade, opsega podataka, roka čuvanja i mogućnosti ispravka ili brisanja.

Prilagodba komunikacijskog stila

Odgovor se može prilagoditi formalnosti, duljini, razini stručnosti, jeziku, količini primjera ili emocionalnoj toplini. Istraživanje na pacijentima s kroničnom opstruktivnom plućnom bolešću pokazalo je da dob i osobno iskustvo s bolešću moderiraju učinke različitih stilova interakcije. U drugoj studiji sudjelovala su 123 pacijenta; mlađi sudionici i oni s manje recentnom dijagnozom imali su bolje interakcijske ishode uz deliberativni stil (Gross i sur., 2021).

Riječ je o kontekstualnom nalazu u specifičnoj populaciji, a ne o univerzalnoj prednosti jednog stila. Iz tog se istraživanja ne može zaključiti da personalizacija općenito povećava učinkovitost svih konverzacijskih AI sustava.

Persona agenta

Sustav može preuzeti određenu osobnost, društvenu ulogu, razinu formalnosti ili način izražavanja. Kwon i suradnici opisuju arhitekturu koja kombinira podatkovne i kontrolne postupke za rad s korisničkim personama. Rezultati Kwonova rada pokazuju uspješnost ispitane arhitekture u njezinim evaluacijskim uvjetima; sami po sebi ne daju opći dokaz o učinku personalizacije na dugoročno korisničko iskustvo (Kwon i sur., 2023).

Afektivna personalizacija

Afektivna personalizacija pokušava procijeniti emocije, angažman, frustraciju ili druge afektivne pojave te prema toj procjeni prilagoditi odgovor. Pregled Li, Waleed i Salam razlikuje sedam skupina pristupa: ciljno-specifične modele, modele za skupine, metode ponderiranja, fino ugađanje, multitask učenje, generativne modele i augmentaciju značajki (Li, Waleed i Salam, 2023).

Afektivno prepoznavanje treba tretirati kao kontekstualno ograničenu procjenu koja sama po sebi nije dovoljna za sigurnu prilagodbu interakcije. Njegova se uspješnost ne može automatski prenijeti iz jednog korisnika, kanala ili situacije na drugu (Li, Waleed i Salam, 2023).

Modelna personalizacija

Personalizacija se može provoditi promjenom podataka, korisničkog profila, konteksta, prompta, dohvaćanja podataka, parametara ili zasebnog modela. Pregled personaliziranog afektivnog računarstva razlikuje podatkovne i modelne pristupe. Fino ugađanje i multitask učenje pokušavaju prenijeti opće znanje na pojedinca ili skupinu, dok grupiranje i ponderiranje mijenjaju način korištenja ulaznih podataka (Li, Waleed i Salam, 2023).

Korisničko iskustvo i učinkovitost

Relevantnost i kvaliteta odgovora

Povećanje relevantnosti jedan je od mogućih učinaka personalizacije, ali njegova stabilnost među zadacima i populacijama nije utvrđena. Relevantnost nije jednaka točnosti. Odgovor može djelovati prikladno zbog osobnih detalja, a da pritom ne bude sadržajno točan.

Učinkovitost treba mjeriti izvršenjem zadatka, učinkovitošću, vremenom, brojem izmjena i potrebom za ponavljanjem; kognitivno opterećenje zahtijeva zasebnu mjeru. Ako je korisnički model netočan, prilagodba može proizvesti dodatne korekcije umjesto učinkovitije komunikacije.

Zadovoljstvo

Zadovoljstvo nije jedinstvena mjera. U istraživanju task-orijentiranih dijaloških sustava analizirane su relevantnost, zanimljivost, razumijevanje, izvršenje zadatka, učinkovitost i pobuđivanje interesa. Važnost tih dimenzija razlikovala se među korisnicima i dijalozima, pa ukupna ocjena zadovoljstva nije dovoljna za procjenu kvalitete interakcije (Siro, Aliannejadi i de Rijke, 2022).

Povjerenje i ponovljene interakcije

Longitudinalno istraživanje sa 179 sudionika pratilo je antropomorfizam, povjerenje, kvalitetu dijaloga, percipirane privatnosne rizike, relevantnost, vjerodostojnost informacija, samootkrivanje i pridržavanje preporuka. Takav pristup pokazuje važnost ponovljenih interakcija, ali ne opravdava pretpostavku da je dugotrajna personalizacija uvijek korisna (Araujo i Bol, 2024).

Topliji i osobniji stil može biti povezan s većom društvenom prisutnošću ili povjerenjem, ali navedene varijable ne dokazuju same po sebi uzročni lanac prema antropomorfizmu, samootkrivanju i privatnosnom riziku.

Očekivanja korisnika

Istraživanje očekivanja prema afektivnim konverzacijskim agentima obuhvatilo je 745 sudionika i 32 scenarija. Preferencije su ovisile o kontekstu. Sudionici su afektivne sposobnosti češće povezivali s ljudskom interakcijom, emocionalnom podrškom i kreativnim zadacima, dok su prihvatljivost oblikovale i osobine ličnosti te način emocionalne regulacije (Hernandez i sur., 2023).

Ti nalazi odnose se na očekivanja i preferencije, a ne na dugoročnu učinkovitost agenata. Očekivanja korisnika nisu isto što i stvarni korisnički ishodi.

Suprotni nalazi i etičke napetosti

Privatnost i korisnička kontrola

Oblici personalizacije koji koriste profile, memoriju ili zaključene osobine mogu povećati privatnosne i profilacijske rizike. Ti se rizici odnose na opseg podataka, svrhu obrade, pohranu, sekundarnu uporabu i mogućnost povezivanja profila s drugim podacima.

Za dugotrajne personalizirane interakcije početna suglasnost sama po sebi ne rješava pitanje kontrole ako korisnik ne može vidjeti koje su informacije pohranjene, zašto se koriste te kako ih može ispraviti ili izbrisati. Hendrickx i suradnici stoga naglašavaju korisničku kontrolu pohranjenih osobnih podataka unutar razgovora (Hendrickx i sur., 2021).

Potreba za podacima ili zaključivanjem ovisi o načinu personalizacije; trajna memorija i profiliranje stvaraju veći opseg obrade nego prilagodba trenutačnom kontekstu ili izričitom zahtjevu korisnika.

Autonomija i manipulacija

Personalizacija može povećati uvjerljivost sustava. Ako prilagođeni odgovor koristi informacije o korisnikovim preferencijama ili ranjivostima, nastaje pitanje prelazi li prilagodba granicu korisne asistencije i utječe li na autonomiju korisnika. To je etički rizik koji treba razlikovati od dokaza da je manipulativni učinak nastupio.

Persona-pristranost

Određeni oblici profiliranja i zadavanja persone mogu povećati pristranostne rizike, dok se učinak drugih oblika personalizacije mora zasebno mjeriti. Wan i suradnici ispitivali su četiri dijaloška modela i pet kategorija persona-pristranosti. Njihovi nalazi pokazuju da se štetno ponašanje može razlikovati ovisno o zadanoj demografskoj personi (Wan i sur., 2023).

Persona-pristranost nije nužan ishod svake personalizacije. Sheng i suradnici pokazali su da persona u nekim slučajevima može smanjiti štetne odgovore u odnosu na sustav bez persone, dok je izbor persone istodobno mijenjao razinu i vrstu štete (Sheng i sur., 2021).

Slični se problemi mogu pojaviti i bez eksplicitne personalizacije. Dijaloški modeli trenirani na ljudskim dijalozima mogu reproducirati razlike povezane s rodom i rasom (Liu i sur., 2020). Prosječna kvaliteta sustava zato nije dovoljna; ishode treba analizirati po skupinama i vrstama štete.

Zaštita podataka

Opća uredba o zaštiti podataka u članku 5. postavlja načela zakonitosti, poštenosti i transparentnosti, ograničenja svrhe, smanjenja količine podataka, točnosti, ograničenja pohrane te cjelovitosti i povjerljivosti. Članak 6. uređuje pravne osnove obrade. Personalizirane sustave treba zato procjenjivati prema svrsi, nužnosti, opsegu i roku čuvanja podataka, a ne samo prema njihovoj praktičnoj koristi (Uredba (EU) 2016/679).

Članak 22. odnosi se na odluke temeljene isključivo na automatiziranoj obradi, uključujući profiliranje, kada proizvode pravne učinke ili slično značajno utječu na osobu. Nije svaka personalizirana poruka takva odluka. Personalizirani konverzacijski sustav može, međutim, postati dio procesa koji utječe na pristup značajnim uslugama. U takvim su slučajevima važne zaštitne mjere poput ljudske intervencije, mogućnosti iznošenja stajališta i osporavanja odluke (Uredba (EU) 2016/679).

Mišljenje Europskog odbora za zaštitu podataka 28/2024 bavi se pravnom osnovom, anonimizacijom i pseudonimizacijom u kontekstu AI modela. Odvajanje identiteta korisnika od sadržaja nije automatski jednako potpunoj anonimizaciji ako se osoba može ponovno identificirati ili se profil može povezati s drugim skupovima podataka (European Data Protection Board, 2024).

Transparentnost i objašnjivost

Transparentnost se može razlikovati na tri razine. Identitetska transparentnost znači da korisnik zna razgovara li s AI sustavom. Podatkovna transparentnost odnosi se na informacije koje se koriste za prilagodbu, njihov izvor i trajanje pohrane. Učinska transparentnost odnosi se na razumijevanje načina na koji personalizacija mijenja konkretan odgovor ili preporuku.

Akt o umjetnoj inteligenciji Europske unije u članku 50. uređuje obavijest da osoba komunicira s AI sustavom, osim kada je to iz okolnosti očito. Obavijest da korisnik komunicira s AI sustavom uređuje identitetsku transparentnost, ali sama po sebi ne daje objašnjenje o memoriji, profiliranju ili utjecaju tih elemenata na odgovor (Uredba (EU) 2024/1689).

Objašnjenje nije nužno vjeran prikaz unutarnjeg procesa modela. Guesmi i suradnici razlikuju opravdanje, koje korisniku daje razumljiv razlog, od transparentnosti, koja bi trebala vjerno prikazati kako sustav dolazi do rezultata. Prirodno formulirano objašnjenje može se shvatiti kao dokaz stvarnog razloga iako je riječ o naknadno generiranom tekstu (Guesmi i sur., 2023).

Kontekstualizirana objašnjenja u sustavima preporuka mogu povećati doživljenu relevantnost, kognitivnu i afektivnu vrijednost te namjeru prihvaćanja preporuke. Učinak pritom ovisi o usklađenosti s interesima korisnika i njegovu povjerenju u sustav (Feng, Feuerriegel i Shrestha, 2026). Objašnjenje stoga može poboljšati iskustvo, ali i povećati uvjerljivost neželjenog ili netočnog rezultata.

Sigurniji dizajn trebao bi razmotriti korisničku kontrolu, ograničavanje podataka, ispravak i brisanje profila, praćenje pristranosti te odvojeno testiranje korisničkog iskustva i štetnih ishoda. To je normativni i upravljački prijedlog, a ne empirijski potvrđen paket mjera.

Metodološka ograničenja

Pregledani radovi često koriste benchmark-skupove, automatske metrike ili kratke korisničke studije, dok je dugoročna procjena stvarnih korisnika rjeđa u otvorenom korpusu. Ovaj rezultat odnosi se na modelsko ponašanje ili evaluacijske uvjete, a ne sam po sebi na stvarno korisničko iskustvo.

Benchmark može mjeriti usklađenost s personom ili kvalitetu generiranja, ali ne nužno zadovoljstvo, sigurnost ili dugoročnu korist. Kratka i skriptirana interakcija ne mora odgovarati višemjesečnoj uporabi. Samoprocjena može pokazati veće povjerenje ili zadovoljstvo i kada je objektivna kvaliteta odgovora ista ili lošija.

Učinak personalizacije može se pomiješati s učinkom toplijeg tona, veće duljine odgovora ili antropomorfizma. Uz to, prosječni rezultat može rasti dok se ponašanje prema određenoj manjinskoj skupini pogoršava. Zbog toga treba testirati pogrešne, zastarjele i kontradiktorne korisničke profile te rezultate prikazivati po skupinama.

NIST-ov okvir za upravljanje rizicima umjetne inteligencije preporučuje istodobno razmatranje valjanosti i pouzdanosti, sigurnosti, otpornosti, transparentnosti, objašnjivosti, privatnosti i pravednosti kroz cijeli životni ciklus sustava (Autio i sur., 2024).

Preporučene mjere za buduće eksperimente

Buduća istraživanja trebala bi odvojeno mjeriti stvarnu kvalitetu odgovora i doživljenu personalizaciju, jer korisnici mogu pozitivnije ocijeniti isti sadržaj kada misle da je personaliziran (Feng, Feuerriegel i Shrestha, 2026).

Mjere korisničkog iskustva mogu uključivati relevantnost, razumijevanje, točnost, potpunost, broj izmjena, vrijeme, uspjeh izvršenja zadatka, percipiranu korisnost, zadovoljstvo, povjerenje, osjećaj kontrole i spremnost na nastavak uporabe. Etička evaluacija trebala bi dodatno obuhvatiti privatnost, pristranost, pogrešne memorije, osjetljive atribute, odbijanje personalizacije i štetne ishode.

Hipoteza o smanjenju kognitivnog opterećenja: prilagodba razine detalja i formata mogla bi smanjiti potrebu za dodatnim pojašnjenjima, ali to zahtijeva zasebno mjerenje.

Zaključak

Personalizacija u konverzacijskim AI sustavima može biti povezana s boljom relevantnošću ili doživljajem interakcije u pojedinim zadacima i populacijama. Ti nalazi, međutim, ne podupiru opću nadmoć personaliziranih odgovora nad generičkima. Različite metode personalizacije imaju različite učinke i rizike: eksplicitni profil, implicitna persona, memorija, prilagodba stila, afektivna procjena i persona agenta ne smiju se tretirati kao jedna intervencija.

Najvažnije ograničenje odnosi se na razliku između modelske evaluacije i stvarnog korisničkog iskustva. Benchmark-rezultati, očekivanja korisnika i kratke studije ne mogu se bez dodatnih dokaza pretvoriti u tvrdnje o dugoročnoj učinkovitosti, autonomiji ili sigurnosti.

Odgovorna analiza zato mora istodobno razmatrati relevantnost, točnost, privatnost, pristranost, transparentnost i korisničku kontrolu. Zaključno, odgovorna i proporcionalna personalizacija može se razmatrati samo uz istodobno ispitivanje njezinih koristi, ograničenja, rizika i mogućnosti korisničke kontrole.

Literatura

1. Araujo, Theo; Bol, Nadine. 2024. “From Speaking Like a Person to Being Personal: The Effects of Personalized, Regular Interactions with Conversational Agents.” Computers in Human Behavior: Artificial Humans, 2(1), 100030. Poveznica
2. Autio, Chloe i sur. 2024. “Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile.” NIST AI 600-1. Poveznica
3. Chen, Yi-Pei; Nishida, Noriki; Nakayama, Hideki; Matsumoto, Yuji. 2024. “Recent Trends in Personalized Dialogue Generation: A Review of Datasets, Methodologies, and Evaluations.” LREC-COLING 2024, str. 13650–13665. Poveznica
4. Cho, Itsugun; Wang, Dongyang; Takahashi, Ryota; Saito, Hiroaki. 2022. “A Personalized Dialogue Generator with Implicit User Persona Detection.” COLING 2022, str. 367–377. Poveznica
5. European Data Protection Board. 2024. “Opinion 28/2024 on certain data protection aspects related to the processing of personal data in the context of AI models.” 18 December 2024. Poveznica
6. Feng, Yuanjun; Feuerriegel, Stefan; Shrestha, Yash Raj. 2026. “Contextualizing Recommendation Explanations with LLMs: A User Study.” Proceedings of the Twentieth International AAAI Conference on Web and Social Media.
7. Guesmi, Amine i sur. 2023. Rad o razlikovanju opravdanja i transparentnosti u konverzacijskom AI-ju. Poveznica
8. Gross, Christoph i sur. 2021. “Personalization of Conversational Agent-Patient Interaction Styles for Chronic Disease Management: Two Consecutive Cross-sectional Questionnaire Studies.” Journal of Medical Internet Research, 23(5), e26643. Poveznica
9. Hendrickx, Iris i sur. 2021. “Take Back Control: User Privacy and Transparency Concerns in Personalized Conversational Agents.” CEUR Workshop Proceedings, 2903.
10. Hernandez, Javier; Suh, Jina; Amores, Judith; Rowan, Kael; Ramos, Gonzalo; Czerwinski, Mary. 2023. “Affective Conversational Agents: Understanding Expectations and Personal Influences.” Poveznica
11. Kwon, Deuksin i sur. 2023. “What, When, and How to Ground: Designing User Persona-Aware Conversational Agents for Engaging Dialogue.” ACL Industry Track 2023, str. 707–719. Poveznica
12. Li, Jialin; Waleed, Alia; Salam, Hanan. 2023. “A Survey on Personalized Affective Computing in Human-Machine Interaction.” Poveznica
13. Liu, Haochen i sur. 2020. “Does Gender Matter? Towards Fairness in Dialogue Systems.” COLING 2020, str. 4403–4416. Poveznica
14. Sheng, Emily i sur. 2021. “Revealing Persona Biases in Dialogue Systems.” Poveznica
15. Siro, Clemencia; Aliannejadi, Mohammad; de Rijke, Maarten. 2022. “Understanding User Satisfaction with Task-oriented Dialogue Systems.” SIGIR 2022.
16. Wan, Yixin i sur. 2023. “Are Personalized Stochastic Parrots More Dangerous? Evaluating Persona Biases in Dialogue Systems.” Findings of EMNLP 2023, str. 9677–9705. Poveznica
17. Uredba (EU) 2016/679, Opća uredba o zaštiti podataka. Poveznica
18. Uredba (EU) 2024/1689, Akt o umjetnoj inteligenciji. Poveznica