Nacrt seminarskog rada: Personalizacija odgovora u konverzacijskim AI sustavima: između korisničkog iskustva i etičkih izazova
Proces izrade seminarskog rada
Personalizacija odgovora u konverzacijskim AI sustavima: između korisničkog iskustva i etičkih izazova
Uvod
Personalizacija odgovora u konverzacijskim AI sustavima nije jedna tehnika, nego skup različitih postupaka. Sustav može prilagođavati odgovor korisnikovim izričitim preferencijama, prethodnim interakcijama, komunikacijskom stilu, trenutačnom kontekstu ili procijenjenom emocionalnom stanju. U literaturi se razlikuju eksplicitni korisnički profili, implicitno zaključivanje o korisniku, korištenje memorije, prilagodba stila, persona agenta, afektivno računarstvo te podatkovna i modelna personalizacija (Chen i sur., 2024; Li, Waleed i Salam, 2023).
Personalizacija je u pojedinim zadacima i populacijama povezana s boljom relevantnošću ili doživljajem interakcije, ali otvoreni izvori ne podupiru opću tvrdnju da je personalizirani odgovor bolji od generičkog. Učinak personalizacije ovisi o zadatku, populaciji i vrsti prilagodbe; otvoreni izvori dodatno upućuju na važnost konteksta, objašnjenja i korisničke kontrole, ali ne potvrđuju sve navedene čimbenike u jedinstvenom eksperimentu.
Ova se tvrdnja odnosi na pojedine oblike prilagodbe, a ne na personalizaciju kao jedinstvenu intervenciju. Zbog toga se korisničko iskustvo i etički rizici ne mogu procjenjivati samo na razini pitanja je li sustav personaliziran. Potrebno je pitati koje se značajke korisnika koriste, kako se izvode, koliko se dugo čuvaju, kako utječu na odgovor te može li ih korisnik vidjeti, ispraviti ili izbrisati.
Pojmovno razgraničenje
Personalizacija korisnika odnosi se na prilagodbu pojedincu ili skupini na temelju osobnih karakteristika, preferencija ili povijesti. Kontekstualna prilagodba može biti kratkotrajnija i ograničena na trenutačni cilj, prethodnu poruku, kanal ili situaciju. Persona agenta odnosi se na stil, društvenu ulogu ili osobnost koju sustav preuzima, dok personalizacija korisnika znači modeliranje osobe s kojom sustav razgovara. Te se razine ne smiju poistovjetiti.
Pregled personaliziranog dijaloga obuhvaća personu agenta, kao i eksplicitne i implicitne korisničke signale. Sustav se zato može činiti personaliziranim zato što nastupa kao određena persona, zato što koristi korisničke preferencije ili zato što iz razgovora zaključuje o korisniku (Chen i sur., 2024).
Bolja ocjena personaliziranog odgovora ne dokazuje da je sustav točnije razumio korisnika. Osobni detalji mogu povećati doživljenu relevantnost i uvjerljivost odgovora, ali to samo po sebi ne potvrđuje njegovu sadržajnu točnost. Zbog toga treba razlikovati stvarnu personalizaciju od percipirane personalizacije (Feng, Feuerriegel i Shrestha, 2026).
Metode personalizacije
Eksplicitni profil
Korisnik može izravno navesti jezik, stručnu razinu, interese, preferirani ton, duljinu odgovora ili cilj razgovora. Takav pristup olakšava uvid u izvor prilagodbe, ali uneseni podaci mogu biti netočni, zastarjeli ili preširoko protumačeni. Njegova se vrijednost zato ne može procijeniti odvojeno od mogućnosti korisničke kontrole.
Implicitno zaključivanje
Sustav može iz prethodnih poruka zaključivati o interesima, znanju, osobnosti, emocionalnom stanju ili komunikacijskim navikama korisnika. U radu Cho i suradnika implicitna persona korisnika izvedena je iz povijesti dijaloga i predstavlja modelsku procjenu, a ne izravno opaženu činjenicu (Cho i sur., 2022).
Takva procjena može poboljšati rezultate u konkretnim evaluacijskim uvjetima, ali ne predstavlja opću potvrdu pouzdanosti implicitnog modeliranja. Ovaj rezultat odnosi se na modelsko ponašanje ili evaluacijske uvjete, a ne sam po sebi na stvarno korisničko iskustvo.
Memorija i prethodne interakcije
Sustav može koristiti činjenice iz prethodnih razgovora, njihove sažetke ili obrasce ponašanja. Ovaj pristup može služiti kontinuitetu razgovora, ali trajanje pohrane, profiliranje i prava korisnika ovise o konkretnom dizajnu sustava.
Oblici personalizacije koji koriste profile, memoriju ili zaključene osobine uključuju obradu osobnih podataka, dok se neke kontekstualne prilagodbe mogu odvijati bez trajnog profila. Ta razlika važna je za procjenu svrhe obrade, opsega podataka, roka čuvanja i mogućnosti ispravka ili brisanja.
Prilagodba komunikacijskog stila
Odgovor se može prilagoditi formalnosti, duljini, razini stručnosti, jeziku, količini primjera ili emocionalnoj toplini. Istraživanje na pacijentima s kroničnom opstruktivnom plućnom bolešću pokazalo je da dob i osobno iskustvo s bolešću moderiraju učinke različitih stilova interakcije. U drugoj studiji sudjelovala su 123 pacijenta; mlađi sudionici i oni s manje recentnom dijagnozom imali su bolje interakcijske ishode uz deliberativni stil (Gross i sur., 2021).
Riječ je o kontekstualnom nalazu u specifičnoj populaciji, a ne o univerzalnoj prednosti jednog stila. Iz tog se istraživanja ne može zaključiti da personalizacija općenito povećava učinkovitost svih konverzacijskih AI sustava.
Persona agenta
Sustav može preuzeti određenu osobnost, društvenu ulogu, razinu formalnosti ili način izražavanja. Kwon i suradnici opisuju arhitekturu koja kombinira podatkovne i kontrolne postupke za rad s korisničkim personama. Rezultati Kwonova rada pokazuju uspješnost ispitane arhitekture u njezinim evaluacijskim uvjetima; sami po sebi ne daju opći dokaz o učinku personalizacije na dugoročno korisničko iskustvo (Kwon i sur., 2023).
Afektivna personalizacija
Afektivna personalizacija pokušava procijeniti emocije, angažman, frustraciju ili druge afektivne pojave te prema toj procjeni prilagoditi odgovor. Pregled Li, Waleed i Salam razlikuje sedam skupina pristupa: ciljno-specifične modele, modele za skupine, metode ponderiranja, fino ugađanje, multitask učenje, generativne modele i augmentaciju značajki (Li, Waleed i Salam, 2023).
Afektivno prepoznavanje treba tretirati kao kontekstualno ograničenu procjenu koja sama po sebi nije dovoljna za sigurnu prilagodbu interakcije. Njegova se uspješnost ne može automatski prenijeti iz jednog korisnika, kanala ili situacije na drugu (Li, Waleed i Salam, 2023).
Modelna personalizacija
Personalizacija se može provoditi promjenom podataka, korisničkog profila, konteksta, prompta, dohvaćanja podataka, parametara ili zasebnog modela. Pregled personaliziranog afektivnog računarstva razlikuje podatkovne i modelne pristupe. Fino ugađanje i multitask učenje pokušavaju prenijeti opće znanje na pojedinca ili skupinu, dok grupiranje i ponderiranje mijenjaju način korištenja ulaznih podataka (Li, Waleed i Salam, 2023).
Korisničko iskustvo i učinkovitost
Relevantnost i kvaliteta odgovora
Povećanje relevantnosti jedan je od mogućih učinaka personalizacije, ali njegova stabilnost među zadacima i populacijama nije utvrđena. Relevantnost nije jednaka točnosti. Odgovor može djelovati prikladno zbog osobnih detalja, a da pritom ne bude sadržajno točan.
Učinkovitost treba mjeriti izvršenjem zadatka, učinkovitošću, vremenom, brojem izmjena i potrebom za ponavljanjem; kognitivno opterećenje zahtijeva zasebnu mjeru. Ako je korisnički model netočan, prilagodba može proizvesti dodatne korekcije umjesto učinkovitije komunikacije.
Zadovoljstvo
Zadovoljstvo nije jedinstvena mjera. U istraživanju task-orijentiranih dijaloških sustava analizirane su relevantnost, zanimljivost, razumijevanje, izvršenje zadatka, učinkovitost i pobuđivanje interesa. Važnost tih dimenzija razlikovala se među korisnicima i dijalozima, pa ukupna ocjena zadovoljstva nije dovoljna za procjenu kvalitete interakcije (Siro, Aliannejadi i de Rijke, 2022).
Povjerenje i ponovljene interakcije
Longitudinalno istraživanje sa 179 sudionika pratilo je antropomorfizam, povjerenje, kvalitetu dijaloga, percipirane privatnosne rizike, relevantnost, vjerodostojnost informacija, samootkrivanje i pridržavanje preporuka. Takav pristup pokazuje važnost ponovljenih interakcija, ali ne opravdava pretpostavku da je dugotrajna personalizacija uvijek korisna (Araujo i Bol, 2024).
Topliji i osobniji stil može biti povezan s većom društvenom prisutnošću ili povjerenjem, ali navedene varijable ne dokazuju same po sebi uzročni lanac prema antropomorfizmu, samootkrivanju i privatnosnom riziku.
Očekivanja korisnika
Istraživanje očekivanja prema afektivnim konverzacijskim agentima obuhvatilo je 745 sudionika i 32 scenarija. Preferencije su ovisile o kontekstu. Sudionici su afektivne sposobnosti češće povezivali s ljudskom interakcijom, emocionalnom podrškom i kreativnim zadacima, dok su prihvatljivost oblikovale i osobine ličnosti te način emocionalne regulacije (Hernandez i sur., 2023).
Ti nalazi odnose se na očekivanja i preferencije, a ne na dugoročnu učinkovitost agenata. Očekivanja korisnika nisu isto što i stvarni korisnički ishodi.
Suprotni nalazi i etičke napetosti
Privatnost i korisnička kontrola
Oblici personalizacije koji koriste profile, memoriju ili zaključene osobine mogu povećati privatnosne i profilacijske rizike. Ti se rizici odnose na opseg podataka, svrhu obrade, pohranu, sekundarnu uporabu i mogućnost povezivanja profila s drugim podacima.
Za dugotrajne personalizirane interakcije početna suglasnost sama po sebi ne rješava pitanje kontrole ako korisnik ne može vidjeti koje su informacije pohranjene, zašto se koriste te kako ih može ispraviti ili izbrisati. Hendrickx i suradnici stoga naglašavaju korisničku kontrolu pohranjenih osobnih podataka unutar razgovora (Hendrickx i sur., 2021).
Potreba za podacima ili zaključivanjem ovisi o načinu personalizacije; trajna memorija i profiliranje stvaraju veći opseg obrade nego prilagodba trenutačnom kontekstu ili izričitom zahtjevu korisnika.
Autonomija i manipulacija
Personalizacija može povećati uvjerljivost sustava. Ako prilagođeni odgovor koristi informacije o korisnikovim preferencijama ili ranjivostima, nastaje pitanje prelazi li prilagodba granicu korisne asistencije i utječe li na autonomiju korisnika. To je etički rizik koji treba razlikovati od dokaza da je manipulativni učinak nastupio.
Persona-pristranost
Određeni oblici profiliranja i zadavanja persone mogu povećati pristranostne rizike, dok se učinak drugih oblika personalizacije mora zasebno mjeriti. Wan i suradnici ispitivali su četiri dijaloška modela i pet kategorija persona-pristranosti. Njihovi nalazi pokazuju da se štetno ponašanje može razlikovati ovisno o zadanoj demografskoj personi (Wan i sur., 2023).
Persona-pristranost nije nužan ishod svake personalizacije. Sheng i suradnici pokazali su da persona u nekim slučajevima može smanjiti štetne odgovore u odnosu na sustav bez persone, dok je izbor persone istodobno mijenjao razinu i vrstu štete (Sheng i sur., 2021).
Slični se problemi mogu pojaviti i bez eksplicitne personalizacije. Dijaloški modeli trenirani na ljudskim dijalozima mogu reproducirati razlike povezane s rodom i rasom (Liu i sur., 2020). Prosječna kvaliteta sustava zato nije dovoljna; ishode treba analizirati po skupinama i vrstama štete.
Zaštita podataka
Opća uredba o zaštiti podataka u članku 5. postavlja načela zakonitosti, poštenosti i transparentnosti, ograničenja svrhe, smanjenja količine podataka, točnosti, ograničenja pohrane te cjelovitosti i povjerljivosti. Članak 6. uređuje pravne osnove obrade. Personalizirane sustave treba zato procjenjivati prema svrsi, nužnosti, opsegu i roku čuvanja podataka, a ne samo prema njihovoj praktičnoj koristi (Uredba (EU) 2016/679).
Članak 22. odnosi se na odluke temeljene isključivo na automatiziranoj obradi, uključujući profiliranje, kada proizvode pravne učinke ili slično značajno utječu na osobu. Nije svaka personalizirana poruka takva odluka. Personalizirani konverzacijski sustav može, međutim, postati dio procesa koji utječe na pristup značajnim uslugama. U takvim su slučajevima važne zaštitne mjere poput ljudske intervencije, mogućnosti iznošenja stajališta i osporavanja odluke (Uredba (EU) 2016/679).
Mišljenje Europskog odbora za zaštitu podataka 28/2024 bavi se pravnom osnovom, anonimizacijom i pseudonimizacijom u kontekstu AI modela. Odvajanje identiteta korisnika od sadržaja nije automatski jednako potpunoj anonimizaciji ako se osoba može ponovno identificirati ili se profil može povezati s drugim skupovima podataka (European Data Protection Board, 2024).
Transparentnost i objašnjivost
Transparentnost se može razlikovati na tri razine. Identitetska transparentnost znači da korisnik zna razgovara li s AI sustavom. Podatkovna transparentnost odnosi se na informacije koje se koriste za prilagodbu, njihov izvor i trajanje pohrane. Učinska transparentnost odnosi se na razumijevanje načina na koji personalizacija mijenja konkretan odgovor ili preporuku.
Akt o umjetnoj inteligenciji Europske unije u članku 50. uređuje obavijest da osoba komunicira s AI sustavom, osim kada je to iz okolnosti očito. Obavijest da korisnik komunicira s AI sustavom uređuje identitetsku transparentnost, ali sama po sebi ne daje objašnjenje o memoriji, profiliranju ili utjecaju tih elemenata na odgovor (Uredba (EU) 2024/1689).
Objašnjenje nije nužno vjeran prikaz unutarnjeg procesa modela. Guesmi i suradnici razlikuju opravdanje, koje korisniku daje razumljiv razlog, od transparentnosti, koja bi trebala vjerno prikazati kako sustav dolazi do rezultata. Prirodno formulirano objašnjenje može se shvatiti kao dokaz stvarnog razloga iako je riječ o naknadno generiranom tekstu (Guesmi i sur., 2023).
Kontekstualizirana objašnjenja u sustavima preporuka mogu povećati doživljenu relevantnost, kognitivnu i afektivnu vrijednost te namjeru prihvaćanja preporuke. Učinak pritom ovisi o usklađenosti s interesima korisnika i njegovu povjerenju u sustav (Feng, Feuerriegel i Shrestha, 2026). Objašnjenje stoga može poboljšati iskustvo, ali i povećati uvjerljivost neželjenog ili netočnog rezultata.
Sigurniji dizajn trebao bi razmotriti korisničku kontrolu, ograničavanje podataka, ispravak i brisanje profila, praćenje pristranosti te odvojeno testiranje korisničkog iskustva i štetnih ishoda. To je normativni i upravljački prijedlog, a ne empirijski potvrđen paket mjera.
Metodološka ograničenja
Pregledani radovi često koriste benchmark-skupove, automatske metrike ili kratke korisničke studije, dok je dugoročna procjena stvarnih korisnika rjeđa u otvorenom korpusu. Ovaj rezultat odnosi se na modelsko ponašanje ili evaluacijske uvjete, a ne sam po sebi na stvarno korisničko iskustvo.
Benchmark može mjeriti usklađenost s personom ili kvalitetu generiranja, ali ne nužno zadovoljstvo, sigurnost ili dugoročnu korist. Kratka i skriptirana interakcija ne mora odgovarati višemjesečnoj uporabi. Samoprocjena može pokazati veće povjerenje ili zadovoljstvo i kada je objektivna kvaliteta odgovora ista ili lošija.
Učinak personalizacije može se pomiješati s učinkom toplijeg tona, veće duljine odgovora ili antropomorfizma. Uz to, prosječni rezultat može rasti dok se ponašanje prema određenoj manjinskoj skupini pogoršava. Zbog toga treba testirati pogrešne, zastarjele i kontradiktorne korisničke profile te rezultate prikazivati po skupinama.
NIST-ov okvir za upravljanje rizicima umjetne inteligencije preporučuje istodobno razmatranje valjanosti i pouzdanosti, sigurnosti, otpornosti, transparentnosti, objašnjivosti, privatnosti i pravednosti kroz cijeli životni ciklus sustava (Autio i sur., 2024).
Preporučene mjere za buduće eksperimente
Buduća istraživanja trebala bi odvojeno mjeriti stvarnu kvalitetu odgovora i doživljenu personalizaciju, jer korisnici mogu pozitivnije ocijeniti isti sadržaj kada misle da je personaliziran (Feng, Feuerriegel i Shrestha, 2026).
Mjere korisničkog iskustva mogu uključivati relevantnost, razumijevanje, točnost, potpunost, broj izmjena, vrijeme, uspjeh izvršenja zadatka, percipiranu korisnost, zadovoljstvo, povjerenje, osjećaj kontrole i spremnost na nastavak uporabe. Etička evaluacija trebala bi dodatno obuhvatiti privatnost, pristranost, pogrešne memorije, osjetljive atribute, odbijanje personalizacije i štetne ishode.
Hipoteza o smanjenju kognitivnog opterećenja: prilagodba razine detalja i formata mogla bi smanjiti potrebu za dodatnim pojašnjenjima, ali to zahtijeva zasebno mjerenje.
Zaključak
Personalizacija u konverzacijskim AI sustavima može biti povezana s boljom relevantnošću ili doživljajem interakcije u pojedinim zadacima i populacijama. Ti nalazi, međutim, ne podupiru opću nadmoć personaliziranih odgovora nad generičkima. Različite metode personalizacije imaju različite učinke i rizike: eksplicitni profil, implicitna persona, memorija, prilagodba stila, afektivna procjena i persona agenta ne smiju se tretirati kao jedna intervencija.
Najvažnije ograničenje odnosi se na razliku između modelske evaluacije i stvarnog korisničkog iskustva. Benchmark-rezultati, očekivanja korisnika i kratke studije ne mogu se bez dodatnih dokaza pretvoriti u tvrdnje o dugoročnoj učinkovitosti, autonomiji ili sigurnosti.
Odgovorna analiza zato mora istodobno razmatrati relevantnost, točnost, privatnost, pristranost, transparentnost i korisničku kontrolu. Zaključak: kriteriji za razmatranje odgovorne i proporcionalne personalizacije.
Literatura
- Araujo, Theo; Bol, Nadine. 2024. “From Speaking Like a Person to Being Personal: The Effects of Personalized, Regular Interactions with Conversational Agents.” Computers in Human Behavior: Artificial Humans, 2(1), 100030. Poveznica
- Autio, Chloe i sur. 2024. “Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile.” NIST AI 600-1. Poveznica
- Chen, Yi-Pei; Nishida, Noriki; Nakayama, Hideki; Matsumoto, Yuji. 2024. “Recent Trends in Personalized Dialogue Generation: A Review of Datasets, Methodologies, and Evaluations.” LREC-COLING 2024, str. 13650–13665. Poveznica
- Cho, Itsugun; Wang, Dongyang; Takahashi, Ryota; Saito, Hiroaki. 2022. “A Personalized Dialogue Generator with Implicit User Persona Detection.” COLING 2022, str. 367–377. Poveznica
- European Data Protection Board. 2024. “Opinion 28/2024 on certain data protection aspects related to the processing of personal data in the context of AI models.” 18 December 2024. Poveznica
- Feng, Yuanjun; Feuerriegel, Stefan; Shrestha, Yash Raj. 2026. “Contextualizing Recommendation Explanations with LLMs: A User Study.” Proceedings of the Twentieth International AAAI Conference on Web and Social Media.
- Guesmi, Amine i sur. 2023. Rad o razlikovanju opravdanja i transparentnosti u konverzacijskom AI-ju. Poveznica
- Gross, Christoph i sur. 2021. “Personalization of Conversational Agent-Patient Interaction Styles for Chronic Disease Management: Two Consecutive Cross-sectional Questionnaire Studies.” Journal of Medical Internet Research, 23(5), e26643. Poveznica
- Hendrickx, Iris i sur. 2021. “Take Back Control: User Privacy and Transparency Concerns in Personalized Conversational Agents.” CEUR Workshop Proceedings, 2903.
- Hernandez, Javier; Suh, Jina; Amores, Judith; Rowan, Kael; Ramos, Gonzalo; Czerwinski, Mary. 2023. “Affective Conversational Agents: Understanding Expectations and Personal Influences.” Poveznica
- Kwon, Deuksin i sur. 2023. “What, When, and How to Ground: Designing User Persona-Aware Conversational Agents for Engaging Dialogue.” ACL Industry Track 2023, str. 707–719. Poveznica
- Li, Jialin; Waleed, Alia; Salam, Hanan. 2023. “A Survey on Personalized Affective Computing in Human-Machine Interaction.” Poveznica
- Liu, Haochen i sur. 2020. “Does Gender Matter? Towards Fairness in Dialogue Systems.” COLING 2020, str. 4403–4416. Poveznica
- Sheng, Emily i sur. 2021. “Revealing Persona Biases in Dialogue Systems.” Poveznica
- Siro, Clemencia; Aliannejadi, Mohammad; de Rijke, Maarten. 2022. “Understanding User Satisfaction with Task-oriented Dialogue Systems.” SIGIR 2022.
- Wan, Yixin i sur. 2023. “Are Personalized Stochastic Parrots More Dangerous? Evaluating Persona Biases in Dialogue Systems.” Findings of EMNLP 2023, str. 9677–9705. Poveznica
- Uredba (EU) 2016/679, Opća uredba o zaštiti podataka. Poveznica
- Uredba (EU) 2024/1689, Akt o umjetnoj inteligenciji. Poveznica
PROVJERA BROJEVA
| Broj u tekstu | Mjesto u tekstu | Izvor |
|---|---|---|
| 2024 | Chen i suradnici; godina izvora | Chen i sur., 2024 |
| 2023 | Li, Waleed i Salam; godina izvora | Li, Waleed i Salam, 2023 |
| 2022 | Cho i suradnici; godina izvora | Cho i sur., 2022 |
| 123 | Broj pacijenata u istraživanju stila interakcije | Gross i sur., 2021 |
| 2021 | Godina istraživanja stila interakcije | Gross i sur., 2021 |
| 2022 | Godina izvora o zadovoljstvu | Siro, Aliannejadi i de Rijke, 2022 |
| 179 | Broj sudionika u longitudinalnom istraživanju | Araujo i Bol, 2024 |
| 2024 | Godina longitudinalnog izvora | Araujo i Bol, 2024 |
| 745 | Broj sudionika u istraživanju očekivanja | Hernandez i sur., 2023 |
| 32 | Broj scenarija u istraživanju očekivanja | Hernandez i sur., 2023 |
| 2023 | Godina istraživanja očekivanja | Hernandez i sur., 2023 |
| 4 | Broj dijaloških modela u istraživanju persona-pristranosti | Wan i sur., 2023 |
| 5 | Broj kategorija persona-pristranosti | Wan i sur., 2023 |
| 5 | Članak GDPR-a | Uredba (EU) 2016/679 |
| 6 | Članak GDPR-a | Uredba (EU) 2016/679 |
| 22 | Članak GDPR-a | Uredba (EU) 2016/679 |
| 28/2024 | Broj mišljenja EDPB-a | European Data Protection Board, 2024 |
| 50 | Članak Akta o umjetnoj inteligenciji | Uredba (EU) 2024/1689 |
| 2026 | Godina izvora o kontekstualiziranim objašnjenjima | Feng, Feuerriegel i Shrestha, 2026 |
| 2023 | Godina izvora o objašnjivosti | Guesmi i sur., 2023 |
| 2023 | Godina izvora o NIST-ovu okviru | Autio i sur., 2024; godina u bibliografskom zapisu je 2024 |
| 2024 | Godina NIST-ova izvora | Autio i sur., 2024 |
| 2020 | Godina izvora o rodnim i rasnim pristranostima | Liu i sur., 2020 |
| 2021 | Godina izvora o persona-pristranosti | Sheng i sur., 2021 |
| 2023 | Godina izvora o persona-pristranosti | Wan i sur., 2023 |
| 2023 | Godina izvora o arhitekturi persona-agenta | Kwon i sur., 2023 |
| 2023 | Godina pregleda afektivne personalizacije | Li, Waleed i Salam, 2023 |
RUPE U POKRIVENOSTI
| Područje | Status | Posljedica za tekst |
|---|---|---|
| Eksplicitni korisnički profil | Tanko pokriveno | Odjeljak je zadržan kao opis metode, bez empirijske tvrdnje o učinku na korisničko iskustvo. |
| Memorija i dohvaćanje prethodnih interakcija | Tanko pokriveno | Odjeljak je skraćen na kontinuitet, trajanje pohrane, profiliranje i prava korisnika. |
| Opća učinkovitost personalizacije | Nije potvrđena | Izbačena je svaka opća tvrdnja o učinkovitosti svih konverzacijskih AI sustava. |
| Kognitivno opterećenje | Hipoteza | Područje je zadržano samo kao hipoteza koja zahtijeva zasebno mjerenje. |
| Dugoročni učinak na autonomiju | Otvoreno pitanje | Nije napisan zaključak o dokazanom učinku. |
| Univerzalna korist afektivne personalizacije | Nije potvrđena | Afektivno prepoznavanje opisano je kao kontekstualno ograničena procjena. |
| Četiri obvezna eksperimentalna uvjeta | Izbačeno | Odjeljak je preimenovan u „Preporučene mjere za buduće eksperimente”. |
| Pogrešna atribucija sposobnosti sustavu | Izbačeno | Tvrdnja nije uključena jer za nju nije priložen zaseban izvor. |
PRIMIJENJENE ZAKLJUČANE ODLUKE
| Odluka | Mjesto u tekstu |
|---|---|
| Br. 3 | Uvod: personalizacija je u pojedinim zadacima i populacijama povezana s boljom relevantnošću ili doživljajem interakcije, bez opće tvrdnje o nadmoći nad generičkim odgovorom. |
| Br. 4 | Uvod: učinak je ograničen na zadatak, populaciju i vrstu prilagodbe. |
| Br. 5 | Odjeljci o privatnosti i etičkim napetostima: rizici su ograničeni na privatnost, profiliranje, pristranost i autonomiju. |
| Br. 17 | Tvrdnja o višim ocjenama filmskih preporuka nije napisana. |
| Br. 21 | Odjeljak o implicitnom zaključivanju: implicitna persona opisana je kao modelska procjena. |
| Br. 27 | Odjeljak o personi agenta: Kwonov nalaz ograničen je na ispitanu arhitekturu i evaluacijske uvjete. |
| Br. 29 | Odjeljak o afektivnoj personalizaciji: afektivno prepoznavanje opisano je kao kontekstualno ograničena procjena. |
| Br. 32 | Odjeljak o relevantnosti: osobni detalji mogu povećati doživljenu relevantnost i uvjerljivost, ali ne potvrđuju točnost. |
| Br. 35 | Odjeljak o učinkovitosti: kognitivno opterećenje zahtijeva zasebnu mjeru. |
| Br. 39 | Metodološka ograničenja: pregledani radovi često koriste benchmark-skupove, automatske metrike ili kratke studije. |
| Br. 44 | Odluka nije primijenjena kao zasebna tvrdnja jer bibliografski zapis Pollmanna i suradnika nije potpun u ulazu. |
| Br. 53 | Tvrdnja o pohrani osjetljivih informacija koje korisnik nije očekivao nije napisana. |
| Br. 61 | Odjeljak o transparentnosti: obavijest o AI sustavu ograničena je na identitetsku transparentnost. |
| Br. 84 | Četiri eksperimentalna uvjeta nisu navedena. |
Kontrolna lista iz debate
| Stavka | Status |
|---|---|
| Središnja teza ograničena je na pojedine oblike, zadatke i populacije. | Prošlo |
| Nema tvrdnje da je personalizirani odgovor općenito bolji od generičkog. | Prošlo |
| Izraz „najstabilniji učinak” nije upotrijebljen. | Prošlo |
| Relevantnost nije izjednačena s točnošću. | Prošlo |
| Memorija nije prikazana kao nužni trajni profil. | Prošlo |
| Nije navedeno da svaki oblik personalizacije zahtijeva osobne podatke. | Prošlo |
| Privatnosni rizici vezani su uz konkretne oblike obrade. | Prošlo |
| Persona-pristranost nije prikazana kao nužan ishod svake personalizacije. | Prošlo |
| Afektivno prepoznavanje opisano je kao ograničena procjena. | Prošlo |
| Očekivanja korisnika nisu prikazana kao dugoročna učinkovitost. | Prošlo |
| Siro i suradnici nisu korišteni kao dokaz učinka personalizacije. | Prošlo |
| Kognitivno opterećenje označeno je kao hipoteza. | Prošlo |
| Nema dokazanog uzročnog lanca prema privatnosnom riziku. | Prošlo |
| Nema linearnog pravila o osobnosti sustava i količini podataka. | Prošlo |
| Grossov nalaz ograničen je na specifičnu populaciju i zdravstveni kontekst. | Prošlo |
| Benchmark-rezultati nisu predstavljeni kao dugoročno korisničko iskustvo. | Prošlo |
| Naslov glasi „Preporučene mjere za buduće eksperimente”. | Prošlo |
| Četiri eksperimentalna uvjeta nisu vraćena. | Prošlo |
| Upravljačke mjere formulirane su kao preporuka, a ne kao dokazani paket. | Prošlo |
| Pravni, upravljački i empirijski izvori nisu izjednačeni. | Prošlo |
| Otvorena pitanja nisu pretvorena u zaključene nalaze. | Prošlo |
| Nije naveden dokazani standard proporcionalnosti. | Prošlo |
| Završna formulacija govori o kriterijima za razmatranje proporcionalnosti. | Prošlo |
| Nema tvrdnje o višim ocjenama personaliziranih filmskih preporuka. | Prošlo |
| Nema tvrdnje o neočekivanoj trajnoj pohrani osjetljivih podataka. | Prošlo |
| Nema tvrdnje o pogrešnoj atribuciji sposobnosti sustavu. | Prošlo |
| Zaključak ne širi doseg nalaza izvan izvora i uvedenih ograda. | Prošlo |