Stručna recenzija nacrta: Personalizacija odgovora u konverzacijskim AI sustavima: između korisničkog iskustva i etičkih izazova

1. Kontrolna lista iz debate, ispunjena

• Prošlo: Središnja teza ograničena je na pojedine oblike, zadatke i populacije. Mjesto: „Personalizacija je u pojedinim zadacima i populacijama povezana...”
• Prošlo: Nema opće tvrdnje da je personalizirani odgovor bolji od generičkog. Mjesto: „...ne podupiru opću tvrdnju da je personalizirani odgovor bolji od generičkog.”
• Nije prošlo: Izraz „najstabilniji učinak” ipak se pojavljuje. Mjesto: „Najstabilniji očekivani učinak personalizacije jest povećanje relevantnosti...”
• Prošlo: Relevantnost nije izjednačena s točnošću. Mjesta: „Relevantnost nije jednaka točnosti.” i „...ne potvrđuju njegovu sadržajnu točnost.”
• Nije prošlo: Memorija je prikazana kao nešto što stvara trajni profil. Mjesto: „Ovaj pristup može smanjiti ponavljanje informacija i povećati kontinuitet, ali stvara trajni profil...”
• Prošlo: Nije navedeno da svaki oblik personalizacije zahtijeva osobne podatke. Mjesto: „...neke kontekstualne prilagodbe mogu se odvijati bez trajnog profila.”
• Prošlo: Privatnosni rizici u pojedinim odjeljcima vezani su uz profile, memoriju i zaključene osobine.
• Prošlo: Persona-pristranost nije prikazana kao nužan ishod svake personalizacije. Mjesto: „Persona-pristranost nije nužan ishod svake personalizacije.”
• Prošlo: Afektivno prepoznavanje opisano je kao kontekstualno ograničena procjena. Mjesto: „Afektivno prepoznavanje treba tretirati kao kontekstualno ograničenu procjenu...”
• Prošlo: Očekivanja korisnika nisu prikazana kao dugoročna učinkovitost. Mjesto: „Ti nalazi odnose se na očekivanja i preferencije, a ne na dugoročnu učinkovitost agenata.”
• Prošlo: Siro i suradnici nisu uporabljeni kao dokaz učinka personalizacije.
• Nije prošlo: Kognitivno opterećenje nije dosljedno označeno samo kao hipoteza. Mjesto: „Smanjenje kognitivnog opterećenja: prilagodba razine detalja i formata može smanjiti potrebu za dodatnim pojašnjenjima.”
• Nije prošlo: U tekstu postoji uzročni lanac od toplijeg stila preko antropomorfizma i samootkrivanja do privatnosnog rizika. Mjesto: „Topliji i osobniji stil može biti povezan...” te odjeljak „9. Mehanizmi”.
• Nije prošlo: Linearno pravilo o osobnosti sustava i količini podataka nije uklonjeno. Mjesto: „Što je sustav osobniji, to je veća potreba za podacima ili zaključivanjem o korisniku.”
• Prošlo: Grossov nalaz ograničen je na specifičnu populaciju i zdravstveni kontekst.
• Nije prošlo: Benchmark-rezultati nisu svugdje odvojeni od tvrdnji o korisničkom iskustvu. Mjesto: „Relevantnost: ako sustav koristi točne i relevantne podatke o korisniku, odgovor se može bolje uskladiti s ciljem.”
• Prošlo: Naslov „Preporučeni istraživački standard za budući rad” ne glasi „Minimalni eksperimentalni dizajn”.
• Prošlo: Četiri eksperimentalna uvjeta nisu vraćena kao četverostruki dizajn.
• Prošlo: Upravljačke mjere u završnom dijelu formulirane su kao ono što bi sigurniji dizajn trebao razmotriti.
• Prošlo: Pravni, upravljački i empirijski izvori nisu izrijekom izjednačeni.
• Prošlo: Otvorena pitanja ostaju otvorena pitanja.
• Nije prošlo: Završna formulacija nije provedena kao zaključak u dogovorenom obliku. Mjesto: „Zaključak: kriteriji za razmatranje odgovorne i proporcionalne personalizacije.” Tekst je umetnut kao fragment, a ne kao dovršena zaključna rečenica.
• Prošlo: Nema tvrdnje o višim ocjenama personaliziranih filmskih preporuka.
• Prošlo: Nema tvrdnje o neočekivanoj trajnoj pohrani osjetljivih podataka.
• Prošlo: Nema formulacije o pogrešnoj atribuciji sposobnosti sustavu.
• Nije prošlo: Zaključak i odjeljak o mehanizmima ponovno šire doseg pojedinačnih nalaza. Mjesto: „Relevantnost: ako sustav koristi točne i relevantne podatke o korisniku...”

2. Poštivanje zaključanih odluka

• Br. 3 — prošlo. Središnja teza ostaje ograničena na pojedine zadatke i populacije te ne tvrdi opću nadmoć personaliziranih odgovora.
• Br. 4 — prošlo u središnjoj tezi, ali nije dosljedno provedeno. U uvodu je opseg sužen, no odjeljak o mehanizmima ponovno uvodi šire mehanističke tvrdnje koje nisu ograničene na isti opseg.
• Br. 5 — nije prošlo u cijelom tekstu. U uvodu je formulacija sužena, ali odjeljak „Personalizacija nasuprot privatnosti” počinje širim tvrdnjama: „Što je sustav osobniji, to je veća potreba za podacima...”
• Br. 17 — prošlo. Tvrdnja o višim ocjenama filmskih preporuka nije vraćena.
• Br. 21 — prošlo. Choov nalaz opisan je kao modelska procjena: „...predstavlja modelsku procjenu, a ne izravno opaženu činjenicu.”
• Br. 27 — prošlo. Kwonov nalaz ograničen je na ispitanu arhitekturu i evaluacijske uvjete.
• Br. 29 — prošlo u odjeljku o afektivnoj personalizaciji. Afektivno prepoznavanje opisano je kao kontekstualno ograničena procjena. Ograda, međutim, nije dosljedno prenesena u odjeljak o mehanizmima.
• Br. 32 — prošlo. Osobni detalji povezani su s doživljenom relevantnošću i uvjerljivošću, bez zaključka o sadržajnoj točnosti.
• Br. 35 — nije prošlo. U odjeljku „Mehanizmi” kognitivno opterećenje ponovno je opisano kao mogući učinak, ali bez dovoljno jasnog statusa hipoteze.
• Br. 39 — prošlo. U metodološkim ograničenjima rabi se formulacija „Pregledani radovi često koriste...”, a ne zabranjeni kvantifikator „većina”.
• Br. 44 — nije prošlo u artefaktu literature. Pollmann i suradnici navedeni su u tekstu, ali njihov zapis nije uključen u popis literature.
• Br. 53 — prošlo. Tvrdnja o pohrani osjetljivih informacija koje korisnik nije očekivao nije vraćena.
• Br. 61 — prošlo. Ograda uz članak 50. zadržana je u odgovarajućem obliku.
• Br. 84 — prošlo. Četiri eksperimentalna uvjeta nisu vraćena.

3. Nalazi

1. Mjesto: „Najstabilniji očekivani učinak personalizacije jest povećanje relevantnosti...”

   Problem: Zaključana odluka iz br. 31 izričito je zahtijevala uklanjanje komparativa „najstabilniji”. Ova formulacija ponovno uvodi upravo tvrdnju koja je trebala biti izbačena.

   Ispravak: Riječ je o tvrdnji s opsegom i modalitetom dokaza. Prema §3 za nju se ne daje zamjenski tekst; potrebno je ukloniti komparativnu tvrdnju i ne predstavljati relevantnost kao stabilniji učinak među metodama, zadacima i populacijama.

2. Mjesto: „Ovaj pristup može smanjiti ponavljanje informacija i povećati kontinuitet, ali stvara trajni profil koji mora imati jasnu svrhu, rok čuvanja, mogućnost uvida i mogućnost brisanja.”

   Problem: Rečenica vraća dvije zaključane tvrdnje: empirijski ili funkcionalni učinak memorije („može smanjiti ponavljanje...”) i nužno stvaranje trajnog profila („stvara trajni profil”). To proturječi ranijem razgraničenju prema kojem se neke prilagodbe mogu odvijati bez trajnog profila, a ujedno krši zaključanu odluku br. 23.

   Ispravak: Nalaz nosi opseg tvrdnje i zato se ne daje zamjenska formulacija. Potrebno je ukloniti tvrdnju o smanjenju ponavljanja, povećanju kontinuiteta i nužnom stvaranju trajnog profila ili je vratiti provjeri literature.

3. Mjesto: „Što je sustav osobniji, to je veća potreba za podacima ili zaključivanjem o korisniku.”

   Problem: To je linearno pravilo koje je zaključanom odlukom izričito odbačeno. U istom tekstu postoji suprotna, uža tvrdnja da se neke kontekstualne prilagodbe mogu odvijati bez trajnog profila. Riječ je i o unutarnjoj proturječnosti.

   Ispravak: Tvrdnja nosi opseg i zato se ne daje zamjenski tekst. Potrebno je ukloniti linearno pravilo i zadržati razlikovanje konkretnih načina personalizacije, bez generalizacije na personalizaciju kao cjelinu.

4. Mjesto: „Relevantnost: ako sustav koristi točne i relevantne podatke o korisniku, odgovor se može bolje uskladiti s ciljem. To je tehnički plauzibilno i poduprto rezultatima na nekim benchmarkovima, ali nije univerzalno dokazano u stvarnim interakcijama.”

   Problem: Ovaj odlomak u odjeljku „Mehanizmi” ponovno uvodi opći mehanistički zaključak i povezuje benchmark-nalaze s boljim usklađivanjem odgovora. Zaključana odluka zahtijeva da se takvi nalazi ograniče na konkretne evaluacijske uvjete i ne prenose na stvarne korisničke ishode.

   Ispravak: Tvrdnja nosi opseg dokaza i ne daje se zamjenski tekst. Potrebno je ukloniti ili suziti mehanistički zaključak tako da ne govori o općem poboljšanju usklađenosti ni o stvarnim interakcijama izvan uvjeta u kojima je nalaz dobiven.

5. Mjesto: „Smanjenje kognitivnog opterećenja: prilagodba razine detalja i formata može smanjiti potrebu za dodatnim pojašnjenjima.”

   Problem: U tekstu se ista ideja pojavljuje kao mogući mehanizam, dok je zaključanom odlukom br. 35 određeno da mora ostati hipoteza koja zahtijeva zasebno mjerenje. Modalitet „može smanjiti” nije dovoljan ako se tvrdnja i dalje predstavlja kao objašnjenje koristi.

   Ispravak: Tvrdnja nosi modalitet dokaza. Ne daje se zamjenski tekst; potrebno je jasno označiti da je riječ o hipotezi za buduće testiranje, a ne o potvrđenom mehanizmu.

6. Mjesto: „Socijalna prisutnost: topliji i osobniji stil može povećati doživljaj društvene prisutnosti i povjerenja. Međutim, antropomorfizam može potaknuti pretjerano povjerenje i veće samootkrivanje, što povećava privatnosni rizik.”

   Problem: Druga rečenica uspostavlja uzročni lanac od antropomorfizma preko povjerenja i samootkrivanja do privatnosnog rizika. Zaključana odluka zahtijeva razlikovanje povezanosti, istodobnog mjerenja i uzročnosti; u tekstu se ograda iz odjeljka o longitudinalnom istraživanju ovdje ne zadržava.

   Ispravak: Tvrdnja nosi uzročni opseg i zato se ne daje zamjenski tekst. Potrebno je ukloniti uzročni lanac ili ga vratiti u provjeru literature; ne smije se prikazati kao potvrđeni slijed učinaka.

7. Mjesto: „Afektivna prilagodba: procjena emocija može pomoći u izboru tona ili strategije, ali je mjerna pogreška velika i ovisi o osobi, kulturi, kanalu i situaciji.”

   Problem: Ovaj odlomak proširuje zaključak o afektivnoj procjeni na više konkretnih izvora pogreške i na mogući učinak na izbor strategije. U ranijem odjeljku afektivno prepoznavanje pravilno je ograničeno kao kontekstualna procjena, ali ovdje se ograda i status pojedinih tvrdnji ne zadržavaju jednako jasno.

   Ispravak: Tvrdnja nosi opseg i dokazni status. Ne daje se zamjenski tekst; potrebno je uskladiti odlomak s užom formulacijom o kontekstualno ograničenoj procjeni i ne prikazivati korist za izbor tona ili strategije kao potvrđeni učinak.

8. Mjesto: „Li, Jialin; Elgarf, Maha; Waleed Mahmoud, Alia; Salam, Hanan. 2023. Beyond One-Size-Fits-All: A Survey of Personalized Affective Computing in Human-Agent Interaction.”

   Problem: Bibliografski zapis umetnut je kao samostalna rečenica unutar proze odjeljka o afektivnoj personalizaciji. To je radni ostatak iz prethodne faze, a ne čitljiva prozna rečenica ili standardna citatna oznaka.

   Ispravak: Dopušten je jezični i strukturni zahvat. Bibliografski zapis treba ukloniti iz proze i zamijeniti dosljednom citatnom oznakom koja odgovara zapisu u popisu literature.

9. Mjesto: „sustav može pohranjivati činjenice o korisniku...”

   Problem: Rečenica počinje malim slovom. To je završni artefakt iz faze pisanja.

   Ispravak: „Sustav može pohranjivati činjenice o korisniku...”

10. Mjesto: „...zastarjelim, kontradiktornim ili pogrešno zaključеним korisničkim osobinama.”

    Problem: U riječi „zaključеним” nalazi se ćirilično slovo. To krši završnu kontrolu artefakta i može uzrokovati nedosljedno kodiranje ili prikaz.

    Ispravak: „...zastarjelim, kontradiktornim ili pogrešno zaključenim korisničkim osobinama.”

11. Mjesto: „Pollmann i suradnici personaliziranu interakciju razmatraju kao kompromis između pozitivnih učinaka na korisničko iskustvo i rizika za autonomiju i manipulaciju.”

    Problem: Pollmann i suradnici citirani su u prozi, ali nisu navedeni u popisu literature. Zaključana odluka br. 44 zahtijeva puni zapis izvora, a završna kontrola zahtijeva da svaki citat u tekstu ima bibliografski zapis.

    Ispravak: Ovo nosi atribuciju i zato se ne daje zamjenski tekst. Nalaz se vraća provjeri literature radi potpunog i provjerenog bibliografskog zapisa.

12. Mjesto: „([arxiv](https://arxiv.org/abs/2303.18176))”

    Problem: U tekstu se koristi izvor o afektivnom prepoznavanju, ali taj izvor nije naveden u popisu literature. Osim toga, oznaka je ostala u sirovom Markdown-obliku unutar HTML-a.

    Ispravak: Nalaz se vraća provjeri literature jer se odnosi na identitet i bibliografski zapis izvora. U uredničkoj fazi može se ukloniti sirova Markdown-sintaksa, ali se ne smije samostalno konstruirati ili dodavati bibliografski zapis.

13. Mjesto: više mjesta, primjerice „([aclanthology.org](https://aclanthology.org/2024.lrec-main.1192/))”, „([jmir.org](https://www.jmir.org/2021/5/e26643))” i „([eur-lex.europa.eu](https://eur-lex.europa.eu/eli/reg/2016/679/oj?locale=EN))”.

    Problem: Tekst je strukturiran kao HTML, ali citatne oznake ostale su u Markdown-obliku. To stvara neujednačen artefakt i u objavljenoj prozi može ostaviti vidljive sirove oznake.

    Ispravak: Dopušten je urednički zahvat u obliku citata. Sve sirove Markdown-oznake treba pretvoriti u dosljedne HTML poveznice ili u dosljedan sustav citiranja, bez promjene sadržaja tvrdnji.

14. Mjesto: „Zaključak: kriteriji za razmatranje odgovorne i proporcionalne personalizacije.”

    Problem: Završetak je fragment, a ne koherentna zaključna rečenica. Ne slijedi jasno iz prethodnog odlomka i ostavlja zaključak bez dovršene sintaktičke veze.

    Ispravak: Dopušten je strukturni i jezični zahvat. Završnu formulaciju treba uklopiti u dovršenu zaključnu rečenicu bez širenja tvrdnje o tome da su kriteriji već izvedeni ili dokazani.

15. Mjesto: odjeljak „Pojmovno razgraničenje”: „Persona agenta odnosi se na stil, društvenu ulogu ili osobnost koju sustav preuzima...” i odjeljak „Metode personalizacije”: „Persona i stil agenta”.

    Problem: Naziv za isti ili vrlo blizak pojam mijenja se između „persona agenta”, „personalizacija agenta” i „persona i stil agenta”. Tekst pritom razlikuje personu agenta od personalizacije korisnika, pa terminološka promjena može zamagliti to razgraničenje.

    Ispravak: Preporučena je dosljedna uporaba oblika „persona agenta” za personu ili stil sustava, a „personalizacija korisnika” za modeliranje i prilagodbu korisniku.

16. Mjesto: odjeljci „Modelna personalizacija” i „Modelna personalizacija” u ostatku teksta: „dohvaćanja podataka”, „retrieva” i „vanjskim retrieverima”.

    Problem: Isti tehnički pojam pojavljuje se kao hrvatski opis („dohvaćanje podataka”), anglizirani oblik („retriev”) i engleski naziv („retrieveri”). To narušava terminološku konzistentnost.

    Ispravak: Preporučuje se pri prvom spominjanju navesti „dohvaćanje podataka (retrieval)”, a zatim dosljedno rabiti jedan odabrani oblik, primjerice „dohvaćanje podataka” i „sustavi za dohvaćanje podataka”.

17. Mjesto: „AI-ju”, „AI sustavima” i „Akt o umjetnoj inteligenciji”.

    Problem: Tekst naizmjence rabi kraticu „AI” i puni hrvatski naziv bez jasnog pravila za prvo spominjanje i daljnju uporabu.

    Ispravak: Pri prvom spominjanju preporučuje se navesti „umjetna inteligencija (AI)”, a zatim dosljedno rabiti „AI” ili puni naziv, ovisno o odabranom uredničkom pravilu.

4. SPOR

• Tvrdnja o memoriji: Rečenice „Ovaj pristup može smanjiti ponavljanje informacija i povećati kontinuitet...” i „...stvara trajni profil...” nose empirijski i opsegni sadržaj koji se ne može riješiti samo stilskim uređivanjem. Vraćaju se provjeri literature.
• Tvrdnja o mehanizmu relevantnosti: Odlomak „Relevantnost: ako sustav koristi točne i relevantne podatke...” pripisuje benchmark-nalazima širi mehanistički značaj. Potrebno je provjeriti dopušteni opseg tvrdnje; pisac ga ne može sam proširivati ili sužavati.
• Tvrdnja o afektivnoj prilagodbi: Odlomak koji govori da procjena emocija „može pomoći u izboru tona ili strategije” i da je mjerna pogreška „velika” sadržava više tvrdnji koje zahtijevaju provjeru izvora.
• Pollmann i suradnici: Tekst ima atribuciju, ali popis literature nema puni zapis. To se vraća provjeri literature, a ne piscu, jer se bibliografski podatak ne smije rekonstruirati.
• Izvor uz afektivno prepoznavanje: Poveznica na arXiv:2303.18176 nema odgovarajući zapis u popisu literature. Identitet, naslov i bibliografski oblik izvora treba riješiti u provjeri literature.

5. Nedostajuća literatura

• Empirijska evaluacija memorije i dohvaćanja prethodnih interakcija: nedostaje pokrivenost koja bi zasebno razlikovala kontinuitet razgovora, smanjenje ponavljanja, trajni profil i kratkotrajno korištenje konteksta.
• Učinak personalizacije na kognitivno opterećenje: nedostaje izravna empirijska potpora za mjerenje kognitivnog opterećenja u konverzacijskim AI sustavima.
• Uzročni odnosi između topline, antropomorfizma, povjerenja, samootkrivanja i privatnosnog rizika: nedostaje longitudinalna ili eksperimentalna pokrivenost koja bi razlikovala povezanost od uzročnosti.
• Učinkovitost afektivne prilagodbe nakon procjene emocija: nedostaje pokrivenost koja bi odvojila točnost afektivnog prepoznavanja od stvarnog korisničkog ishoda.
• Ujednačena evaluacija relevantnosti i stvarne točnosti odgovora: nedostaje pokrivenost koja bi izravno usporedila doživljenu relevantnost, sadržajnu točnost i dugoročno korisničko iskustvo.

6. Odluka i blokirajući nalazi

Odluka: nije spreman.

Blokirajući su nalazi koji krše kontrolnu listu ili zaključane odluke, unutarnje proturječnosti te nalazi završne kontrole artefakta:

• nalaz 1 — vraćen je izraz „najstabilniji učinak”;
• nalaz 2 — memorija je prikazana kao izvor potvrđenih učinaka i kao nešto što nužno stvara trajni profil;
• nalaz 3 — vraćeno je linearno pravilo o osobnosti sustava i potrebi za podacima;
• nalaz 4 — benchmark i mehanistički zaključak nisu dosljedno razdvojeni od stvarnog korisničkog iskustva;
• nalaz 5 — kognitivno opterećenje nije dosljedno označeno kao hipoteza;
• nalaz 6 — ponovno je uveden uzročni lanac prema privatnosnom riziku;
• nalaz 7 — u tekstu je ostao ćirilični znak;
• nalaz 8 — Pollmannov citat nema zapis u popisu literature;
• nalaz 9 — izvor o afektivnom prepoznavanju nema odgovarajući zapis u popisu literature;
• nalaz 10 — završni zaključak sadrži fragment i nije koherentno dovršen.

Terminološki nalazi, sirove Markdown-poveznice i oblikovanje završne rečenice također zahtijevaju uredničku doradu, ali sami po sebi nisu razlog za odluku „nije spreman” ako se uklone nakon rješavanja blokirajućih nalaza.