Progetti

I problemi con il NewChapter

Che cos’è Rosetta e come è legata ai problemi di Foldit?

Rosetta è il software sviluppato dal Baker Lab per il design proteico e per la previsione strutturale delle stesse: il software ha dei moduli di base per misurare l’energia di una proteina in una determinata configurazione e un numero di protocolli automatici che usano questi moduli di base per fare cose specifiche (es. prevedere una struttura da una sequenza, progettare una sequenza che ripieghi in una struttura desiderata, progettare una interfaccia vincolante, ecc). Per ragioni che sono state descritte in una serie di post nel blog della fisica di Foldit, gli scienziati cercano di migliorare costantemente i moduli base di Rosetta. Come migliorano questi moduli, così devono cambiare anche le nostre strategie per prevedere le strutture e per progettarle. Questo può essere frustrante per noi, dal momento che significa rivisitare e revisionare protocolli stabiliti (e consolidati), ma alla fine si traduce in una maggior potenza predditiva e in nuove capacità progettuali.

Gli utenti di Foldit usano i moduli base di Rosetta per il calcolo dell’energia proteica, ma permette all’ingegno dei giocatori umani di sostituire l’intelligenza artificiale (e limitata) dei protocolli automatizzati. Questo aiuta la scienza in due modi: i giocatori spesso offrono migliori previsioni rispetto ai protocolli automatici e, studiando come i giocatori fanno ciò che fanno, noi (gli scienziati) possiamo rendere migliore la parte automatica. E’ ovvio che, a differenza di quest’ultima, i giocatori abbiano bisogno di una interfaccia tra loro e i moduli base di Rosetta: l’attuale motore del gioco Fold.IT, che include la GUI e tools specifici con cui gli utenti possono manipolare le strutture proteiche. Tutto questo è stato creato dagli sviluppatori “Center for Game Science” dell’università di Washington.

Periodicamente, al migliorare dell’abilità di Rosetta nel calcolo proteico, è importante aggiornare Foldit con gli ultimi moduli base. Nell’ultimo anno abbiamo avuto importanti miglioramenti nelle funzioni energetiche di Rosetta e il rilascio “NewChapter” (Nuovo Capitolo) è volto a trasportare queste in Fold.It. Il processo di portare i moduli aggiornati di Rosetta in Fold.It, d’altro canto, può creare problemi.

Quali sono i problemi?

I problemi che sono usciti con l’adeguamento alla nuova funzionalità si possono suddividere in alcune categorie:

1) Bugs. Sono errori presenti nel programma (crash, problemi di stabilità, file di log enormi, ecc.). Questo deriva dal fatto che i tools speciali, scritti per permettere ai giocatori di interfacciarsi con il “cuore” di Rosetta, devono essere compatibili con queste librerie e che ogni modifica ad esse può rompere la connessione con l’interfaccia del gioco. La maggior parte dei bugs sono stati risolti prima del rilascio del NewChapter. In alcuni casi è stato necessario cambiare un po’ i tools per renderli compatibili con il nuovo codice, come per esempio il nuovo Wiggle. Alcuni bug intermittenti (legati in maniera particolare alla stabilità) sono più difficili da diagnosticare senza un gran numero di utenti che li segnalino e vengono affrontati e risolti man mano che gli sviluppatori ne vengono a conoscenza.

2. Lentezze o performance alterate: Il nuovo Rosetta calcola l’energia proteica in maniera molto più accurata di prima, con pochi artefatti o falsi positivi, ma richiede un maggior costo computazionale. Questo significa che, in assenza di altre modifiche, il gioco può essere più lento e meno divertente. Per cercare di correggere questo problema, i tools sono stati rivisti (per esempio, un tool particolare potrebbe aggiornare la visualizzazione della proteina dopo pochi cicli computazionali, permettendo una ragionevole interattività nonostante un più lento calcolo per ciclo). Il feedback su larga scala dei giocatori è necessario, comunque, per stabilire il giusto bilanciamento tra reattività e convergenza verso una soluzione. Non potremo avere ancora trovato il bilanciamento, ma possiamo migliorare grazie a quello che ci avete detto.

3. I tools sono meno “funzionali”: in alcuni casi, un tool è funzionante (ergo, quando ci si clicca, fa quello che uno si aspetta che faccia), ma non ha più quel particolare comportamento che il giocatore si attende, ed è forse meno utile di quanto non lo fosse prima. Molte questioni sono state sollevate circa il tool per la costruzione delle eliche: le cause possono essere complesse, legate alla interazione tra lo strumento creato dagli sviluppatori del gioco e i moduli di base sviluppati dagli scienziati. Questi sono problemi che gli sviluppatori del gioco possono risolvere (e risolveranno), ma questo si basa sul chiedere a molti giocatori cosa significhi esattamente per loro “meno funzionale”. Là dove i bugs evidenti sono facili da riconoscere, non è sempre semplice per gli sviluppatori che non conoscono le strategie preferite dei giocatori, riconoscere le funzionalità “ridotte” di un tool.

4. Gli script o le strategie non funzionano più come prima: anche se questo può essere frustrante, questo non è uno dei problemi che gli sviluppatori possono risolvere, ma piuttosto è una sfida all’ingegno dei giocatori. Da un punto di vista scientifico, è simile al fatto che gli sviluppatori di rosetta devono spesso rivedere i protocolli automatici per accogliere le modifiche ai moduli base di Rosetta di cui intendono migliorare l’accuratezza o la precisione. Da un punto di vista ludico, potete vederla in questa maniera: abbiamo leggermente cambiato le regole del gioco, così come le regole degli scacchi cambierebbero se fosse allungata di una riga la scacchiera o fosse introdotto un nuovo pezzo. I giocatori sono invitati, quindi, ad usare la propria intelligenza e esperienza per rivedere le strategie esistenti, o per svilupparne di nuove, per massimizzare i propri punteggi forniti dal nuovo ambiente.

Perché non implementare la nuova funzione, ma lasciare i vecchi tools com’erano?

Alla fine, le modifiche NewChapter rappresentano le modifiche minime necessarie per introdurre gli aggiornamenti mantenendo intatto il gioco. Vale a dire, che stiamo cercando di non cambiare la vostra esperienza di gioco (se possiamo) e siamo costretti a fare queste modifiche, dal momento che senza di loro i cambiamenti sarebbero ancora maggiori.

Perché non possiamo tornare al vecchio gioco, aspettando che gli sviluppatori risolvano i problemi?

Per rendere Foldit uno strumento scientificamente valido (in maniera particolare rapportandolo con l’altro nostro strumento Rosetta), abbiamo bisogno dell’ultima e più scientificamente accurata funzionalità di base, con particolare attenzione alla misurazione energetica delle proteine. Tutto questo rende l’uscita del NewChapter critica. Le modifiche sono state testate dagli sviluppatori per eliminare i bug evidenti e altri bug sono stati identificati e risolti durante il pre-rilascio; alcuni bug rari e subdoli non possono essere identificati finchè non ci saranno molte persone a giocare. La giocabilità, d’altronde, può essere testata solo da esperti nel gioco: i giocatori stessi. Come detto prima, i giocatori di Foldit non aiutano solo la scienza nelle previsioni proteiche, ma insegnano a noi (scienziati) come spiegare ai nostri computer a rendere migliori le previsioni. In parte, è imparando dalla comunità che cosa rende un gioco “utilizzabile”, che completiamo il secondo punto; in cambio faremo tutto il possibile per rendere giocabile il più possibile Foldit. Una volta che la giocabilità sarà sistemata, le modifiche NewChapter permetteranno agli utenti di creare previsioni molto accurate riguardo le strutture proteiche, così come la progettazione di ciò che andrà a foldare, rendendo NewChapter un passo essenziale per Foldit. Tornare indietro, comunque, vorrebbe dire non avere la possibilità di valutare l’utilizzabilità e di affrontare le questioni che stanno sorgendo ora: questo significherebbe mettere voi, giocatori, ancora nelle stesse frustrazioni nel momento in cui andremmo a fare il rilascio successivo- cioè si ripresenterebbero i problemi che non possono essere risolti senza l’ausilio della comunità dei giocatori e senza feedback sull’usabilità.

Riconosciamo che un grande cambiamento per il “cuore” del gioco crea molti problemi che possono essere frustranti per i giocatori, e quindi apprezziamo molto la vostra pazienza e le vostre risposte, mentre lavoriamo per rendere il gioco più funzionale, giocabile e divertente possibile. Grazie per aver continuato a giocare a Foldit, e per aver contribuito a far progredire la scienza non solo con le soluzioni vincenti, ma anche con le vincenti strategie di gioco!