Bakgrunn for Studien
Yuchen Cao og Xiaorui Shen begynte sin forskningsreise ved Northeastern Universitys campus i Seattle. Duoen, drevet av et ønske om å undersøke nærmere hvordan maskinlæring og dyp læringsmodeller brukes i studier av psykisk helse, samarbeidet med kolleger fra andre universiteter for kritisk å evaluere eksisterende akademisk litteratur. Deres felles innsats resulterte i en systematisk gjennomgang av 47 artikler, med fokus på hvordan AI brukes til å oppdage depresjon hos brukere over ulike sosiale medieplattformer. Dette omfattende arbeidet har funnet sin plass i tidsskriftet Journal of Behavioral Data Science.
Metodiske Feilgrep
Analysen avdekket flere feil i AI-modellene som ble vurdert. En betydelig funn indikerte at bare 28% av studiene gjorde passende hyperparameterjusteringer. Denne forsømmelsen undergraver ytelsen til disse AI-verktøyene. Videre brukte omtrent 17% av studiene feil datainndelingspraksis, noe som øker risikoen for overtilpasning, hvor modellen lærer støy i stedet for mønstre, noe som fører til upålitelige prediksjoner.
Avvik i Data og Konsekvensene
Sosiale medieplattformer som Twitter, Reddit og Facebook gir en overflod av brukergenerert innhold som er klar for denne typen analyse. Imidlertid var studiene sterkt avhengige av data fra et begrenset demografisk område—primært engelsktalende brukere i USA og Europa. Overrepresentasjonen av vestlige brukere reiser spørsmål om hvor representativ studienes konklusjoner er på global skala. Bruken av plattformer var ubalansert ettersom X (tidligere Twitter) ble mest brukt, med data-aggregeringsstrategier i bare åtte studier som kombinerte flere plattformer.
Det Nyanserte Språkets Natur
Å adressere språklige detaljer som ligger i menneskelig tale forblir en av de største utfordringene. Studiene klarte ofte ikke å håndtere nyanser som negasjoner og sarkasme tilstrekkelig—elementer som er kritiske for å presist oppdage tegn på depresjon. Bare 23% av de vurderte studiene artikulerte hvordan de håndterte disse språklige utfordringene, noe som fremhever et gap i metodene.
Veien til Forbedring
Som fremhevet av de nyutdannede, resulterer unnlatelsen av å følge visse grunnleggende prinsipper som er kjent for datavitenskapsfolk ofte i unøyaktigheter. Deres kritiske gjennomgang brukte PROBAST-verktøyet, designet for å evaluere et prediktivt modells åpenhet og reproduserbarhet. Ikke overraskende ble mange studier funnet manglende i å gi nøkkelinformasjon, og dermed hindre deres vurdering og replikasjon. For å gjøre fremskritt mot mer nøyaktige AI-verktøy, går forskerne inn for å fremme samarbeidsinnsats, og foreslår utvikling av pedagogiske ressurser som wikier eller veiledninger for effektivt å spre ekspertkunnskap.
Disse innsiktene er en oppfordring til handling for det vitenskapelige miljøet om å revurdere og forbedre AI-modeller som brukes i psykisk helseapplikasjoner. En mer variert datasett, bedre justerte modeller og klare metoder vil bane vei for AI-verktøy som betjener et genuint globalt publikum. Som angitt i Northeastern Global News, ser de frem til å dele sine funn og oppmuntre til et skifte mot mer grundig AI-modellbygging på den kommende International Society for Data Science and Analytics-samlingen i Washington, D.C.