Claude sorpassa ChatGpt: per la prima volta il chatbot migliore non è quello di Open AI

Giudicare le capacità di un chatbot di intelligenza artificiale generativa non è facile. Non ci sono metriche specifiche se non la qualità delle risposte che dà agli utenti. Ecco allora che un gruppo di università americane ha sviluppato una piattaforma che ha proprio questo obiettivo: raccogliere una quantità critica di feedback sulle performance dei diversi chatbot in circolazione per capire quale sia quello che si distingue per la correttezza delle sue risposte. Sin dal suo primo giorno di vita, il 3 maggio 2023, Chatbot Arena - così si chiama la piattaforma - ha sempre eletto a re dell'AI generativa uno degli strumenti di Open AI, ovvero il modello di linguaggio GPT nelle sue varie versioni aggiornate. Il 26 marzo «il re è morto», come ha twittato lo sviluppatore Nick Dobos. Per la prima volta in testa la classifica si è piazzato un concorrente di ChatGpt, che si chiama Claude.

Claude 3 in testa alla classifica

Claude è il chatbot di intelligenza artificiale generativa realizzato da Anthropic, l'azienda dei fratelli italoamericani Amodei su cui Amazon ha investito miliardi. L'ultimo modello, Claude 3, nella sua versione più potente - la versione Opus - è risultata essere migliore rispetto al modello GPT-4 Turbo, ovvero il più potente di casa Open AI. 1253 punti contro 1251. Ma anche la versione più snella, Claude-3 Haiku, ha impressionato i creatori di Chatbot Arena, raggiungendo il livello della versione più snella di GPT-4. Gemini Pro, di Google, si posiziona invece al quarto posto. «Per la prima volta i migliori modelli disponibili provengono da un fornitore che non è Open AI - ha detto ad Ars Technica il ricercatore Simon Willison - Questo è rassicurante». Ed è rassicuramente perché, dopo l'improvvisa accelerata di Open AI che ha lasciato indietro qualsiasi altro concorrente, ora si sta creando attorno alla tecnologia più dirompente del prossimo futuro una sana compezione.

Cos'è ChatBot Arena

Abbiamo detto che Claude 3 ha totalizzato due punti in più di GPT-4. Questi punti vengono assegnati in base ai risultati ottenuti su Chatbot Arena. E tutti possono partecipare a questi risultati. La piattaforma è stata creata dalla Large Model Systems Organization, un gruppo di ricerca che opera in collaborazione con gli studenti e le facoltà dell'università della California, dell'università di Berkeley, dell'università di San Diego e dell'università Carnie Mellon. Si presenta un po' come un videogioco (qui per provarla): sul ring si sfidano i chatbot. Noi poniamo una domanda e due AI generative rispondono, ma noi non sappiamo quali. Per dichiarare il vincitore - chi ha risposto meglio - possiamo basarci solo sul testo che ha prodotto. Con tanti giudizi soggettivi, i ricercatori sono in grado così di dare una metrica oggettiva e stilare una classifica che viene aggiornata costantemente. 

E poi arriva GPT-5

Se è vero che il sorpasso di Claude 3 è un gran risultato, dobbiamo anche però ricordare che GPT-4 è un modello ormai vecchio di un anno. Mentre quello di Anthropic è stato lanciato a inizio marzo. La competizione c'è, ma arriva ancora in ritardo. Considerato anche che a un certo momento di quest'anno - dovrebbe succedere quest'estate - Open AI è già pronto a lancia il suo nuovo modello di linguaggio, GPT-5.