Iniziamo segnalando questo articolo di Alfonso Fuggetta intitolato “La difficile scommessa di Anthropic”, pubblicato su “LaVoce.info”:

[…]i costi dell’infrastruttura e degli investimenti per lo sviluppo dei modelli crescono più rapidamente dei ricavi che dovrebbero coprirli. David Cahn, partner del fondo di venture capital Sequoia, ha calcolato che servono 600 miliardi di dollari di ricavi annui per giustificare l’attuale livello di investimenti.

Per cui i conti non tornano, e qual’è l’ideona? Leggiamo ancora

Per far tornare i conti, Anthropic e OpenAI puntano a un cambio di paradigma: dall’abbonamento per posto di lavoro (subscription per seat) a un prezzo basato sul valore del prodotto. Un agente IA che gestisce il lavoro di un analista junior può essere prezzato a mille-duemila dollari al mese: molto meno dell’intero stipendio del lavoratore (5mila dollari e più), ma molto più dei 20 dollari di ChatGPT Plus. Il problema è che si tratta di una politica di prezzo mai applicata – né dimostrata – su questa scala.

Ci sono quindi due scenari:

1. Anthropic, OpenAI ecc riescono a convincere il segmento Enterprise di questa cosa, e improvvisamente i costi dell’AI esplodono dentro le aziende. Conseguenza: per ridurre i costi, non tutti i lavori “meriteranno” di essere allocati con l’AI: solo quelli in cui l’automatizzazione “stupida” ha un rischio/beneficio accettabile in rapporto a quanto si risparmia.

   I sistemi software ibridi (algoritmi “classici”+ AI service) diventeranno cruciali perché garantiranno precisione e flessibilità operativa.

   In questo scenario quindi il software “classico” non muore.

2. Questa scommessa non riesce in questa forma, e ci si assesta su un aumento più contenuto dei prezzi e/o si sfocia in un meccanismo di revenue di tipo differente (difficile dire quale però). Per es il motore di ricerca di Google fin dalla sua nascita non è mai diventato a pagamento, guadagna con il posizionamento della pubblicità, chiaramente separata dal servizio di ricerca, contrariamente agli approcci di altri motori di ricerca del 2000 (ora falliti), che invece offrivano “boost” basati sul pagamento di una fee.

Evito volutamente scenari “catastrofici” (tipo falliscono tutti, oppure sopravvivono solo le entità che hanno un piede in altri business come Google, Microsoft ecc).

L’articolo di Fuggetta merita di essere letto per intero, e vi rimando ad esso per ulteriori dettagli.

A questo articolo va aggiunto anche il fatto che a brevissimo verranno fatte tre enormi offerte pubbliche di acquisto (IPO): SpaceX, Anthropic e OpenAI.

Risparmiare per spendere

Per l’utente finale, diventerà cruciale anche risparmiare i token inviati ai sistemi GenAI: tra i progetti open più interessanti in questo ambito c’è headroom, che riduce il costo dell’uso dei servizi “compattando” il contesto prima di inviarlo al servizio AI, ma consentendo sempre di recuperare il contenuto originale.

Interessante anche Caveman che ha un guizzo ironico in più. Prometto che ne parleremo in uno dei prossimi post.

La foresta brucerà a breve?

Si sta creando un doppio strato di servizi attorno alle GenAI. Ai servizi base offerti da le service provider di AI (Anthropic, OpenAI, DeepSeek, Mistral, Meta…) si accostano servizi di routing e ottimizzazione (OpenRouter) e alcuni servizi di supporto (come dottxt.ai, vedi il loro progetto su github).

Inizialmente pensavo che i big provider avrebbero colmato il gap velocemente, e che il mercato si sarebbe assestato con l’assorbimento delle realtà più piccole (Anthropic e OpenAI stanno comperando delle società nell’indotto) ma in realtà gli scenari sono ancora molto aperti: staremo a vedere.

Nel frattempo, preparate i pop-corn e vediamo cosa succede con le 3 IPO in arrivo.

Come noterete il numero di telefono è errato perché nessun prefisso italiano inizia con 24. Ovviamente mancava uno zero (era 024…).

Poco tempo fa una email di amazon da billing@amazon… mi informava che l’indirizzo sarebbe cambiato da billing@amazon… a billing@amazon… (che a casa mia non è proprio un cambiamento!).

Prepariamoci a queste ed altre alzate d’ingegno dei processi AI-powered.

Mentre leggevo questa notizia, mi è tornato in mente un episodio di Ai confini della realtà che ai tempi mi aveva colpito. Si chiama Quarantine ed è stato scritto a metà degli anni 80. Potete trovarlo (illegalmente) su youtube, e il succo della storia è che dopo un inverno nucleare avvenuto con il lancio di “poche” testate gli sparuti sopravvissuti sono tornati ad una realtà apparentemente rurale. Il protagonista è uno scienziato ideatore di uno scudo spaziale antimissile, che viene risvegliato dal sonno criogenico in questo nuovo mondo.

I sopravvissuti hanno poteri mentali evoluti e possono proiettare la loro mente nello spazio, telepaticamente. Con questi stessi poteri, hanno saldato un patto con gli esseri viventi, e collaborano con essi. Per esempio, le lucciole forniscono loro luce notturna, oppure dei primati diventano telepati e custodi della conoscenza, come dei computer viventi. Questo nuovo mondo è solo abbozzato, ma molto suggestivo.

In tutto questo il nostro protagonista è stato risvegliato per una “valida ragione”: un asteroide è in rotta di collisione, e loro hanno bisogno di vetusta tecnologia di 300 anni prima per provare a fermarlo. C'è un colpo di scena (che non vi svelo), ma la cosa importante è la contrapposizione tra la tecnologia militare (rinnegata) e il mito del buon selvaggio rurale, tanto caro ad una retorica americana tipica (vedi La casa nella prateria che è trasmessa a fine anni’70).

Depurando la sceneggiatura di alcuni di questi elementi, vedo però parecchi punti di contatto tra il mito del “buon coder manuale-rurale” e le insidie dell’apocalittico AI-vibe-conding, e questa settimana vorrei porre l’attenzione su questo articolo The bottleneck was never the code

In passato non è mai stato un problema scrivere montagne di codice.

Anzi, a ben vedere i microservizi sono il trionfo di questo approccio: servizi piccoli e full-stack fatti con pezzi standard, generando più codice possibile (sennò non erano “micro”).

Nella mia modestissima esperienza, in progetti di medie dimensioni (non meno di 8 sviluppatori) per un respiro di completamento intorno ai 6 mesi (per cui 48 mesi/uomo c.a.) la parte di sviluppo “puro”cuba tra il 30 ed il 40%. Il resto sono l’analisi funzionale e poi il supporto al test di integrazione+ test utente (validazione o UAT (User Acceptance Test).

In nessuno scenario “standard” la parte di sviluppo supera il 50%, anzi spesso incide sotto il 40% del tempo totale perché la parte di test risulta sotto stimata. E perché viene sottostimata? Perché mentre sviluppi il software, ti accorgi di cose a cui non avevi pensato, o problematiche anche funzionali che vanno affrontate, inversioni di priorità: un po’ tutto quello che l’agile tenta di indirizzare sprint dopo sprint, rinunciando ad un modello a cascata super rigido. Ci sono fiumi di articoli su questo aspetto dello sviluppo software, alcuni scritti questa serttimana che ribadiscono il concetto.

Steve Jobs in 1997: focus is about saying no.

Un aspetto complementare, è avere un project manager e un team che sa anche quando di dire di no, o perlomeno evidenziare gli enormi rischi di compressione di attività difficili da stimare/controllare/consegnare nei tempi.

Saper dire di no ad una funzionalità extra o banalmente a qualcosa di estremamente complesso da consegnare nel contesto di progetto, è un plus

In conclusion, la AI Generativa non può essere lasciata sola, e non risolverà da sola tutti i problemi.

Condividi

In breve

Anthropic ha presentato la sua iniziativa “Small Business”

Cose da leggere: LLMs Corrupt Your Documents When You Delegate conferma la mia impressione che vibe coding senza code review porta facilmente alla “sbobba” (AI Slop code se preferite) che rende il codice verboso e poco mantenibile.

Un passo indietro di 35 anni

Il Linuaggio C è nato nel 1972. Ci ha impiegato un bel pò a diventare main stream, ma semplificando molto l’Ansi C del 1989 (standard C89) è stato il primo game changer.

Il linguaggio C era nato per rendere “portabile” il sistema operativo Unix. Il C è un linguaggio di basso livello, ma con due importanti caratteristiche:

• E’ separato dall’hardware

• Il compilatore può produrre codice molto efficiente, tale da renderlo quasi ottimale come un codice assembly scritto a mano.

Anche il linguaggio C ebbe la sua nemesi: nel 1995 nacque Java, come una versione più “facile” per programmare inizialmente set-top-boxes, poi applicazione grafiche web (Applet), e poi con un pesante intervento di IBM entrò nel mondo enterprise dei transaction monitors (Enterprise Java Beans, anche loro vestigia di un pesante polveroso passato) dopo appena 5 anni di vita.

Era molto più facile scrivere codice corretto in Java che in linguaggio C. A dirla tutta era più facile scrivere codice anche in PHP, Perl, Python… praticamente tutto è più facile del C, tranne l’Assembly.

Il software esiste per perpetrare sé stesso…

Riflettiamo un attimo. Supponiamo per davvero che in N anni i sistemi di GenAI saranno in grado di rimpiazzare le persone nella scrittura di codice di media qualità.

Così come oggi nessuno scrive codice Assembly, domani quasi nessuno scriverà più codice Java o Python direttamente. Si occuperà più che altro di verificare che il programma aderisca alle specifiche, e magari non occupi tutto lo spazio dell’iPhone dell’utente finale.

Questo non vuol dire che gli analisti programmatori smetteranno di esistere, come non ha smesso di esistere il linguaggio C.

Né implica che sarà un passaggio rapido (il C ci ha messo almeno 20 anni ha diventare decente, e Java ce ne ha messi 20-25 per diventare meno petulante da usare).

Però è innegabile che le GenAI producono almeno tre effetti:

• Boost di produttività

• Produce enorme quantità di codice, spesso molto più di quello che sarebbe veramente necessario.

• Atrofizza la capacità critica. Nel senso che tendi a fidarti un pò troppo del dado pesato, che ricordiamocelo sempre è solo un generatore stocastico molto raffinato. Non pensa veramente. Fa solo finta

Spieghiamoci con un esempio:

Find

Da qualche mese sto portando avanti un motore di ricerca sviluppato al 90% usando ChatGPT e Copilot VSCode (claude). Non è l’unico progetto che sto facendo, ma affronta un problema reale e ho potuto provarlo su “strada”, portandolo in produzione per il mio sito web:

GitHub - daitangio/find: Python + SQLite search engine · GitHub

Find è ultra-compatto, ed è basato su pochissime componenti:

• un full-text search engine incluso dentro sqlite (che è un database embedded)

• un web server scritto in python flask

E’ composto da un crawler e da un webapp di ricerca (2 comandi)

Il progetto contiene le specifiche che ho fornito al sistema mano a mano (vedi cartella specification).

Dopo uno sviluppo iniziale destrutturato, ora uso sessioni codex one-shot in cui l’unico comando è “Implement <file sotto specification>”.

Il risultato finale mi pare buono, perché trova quello che cerchi con un buon livello di precisione. Supporta facilmente ricerche complesse, simili a quelle che potete fare su google o elasticsearch (tag site: uso di AND, ricerche precise).

Può essere ulteriormente esteso in modo lineare

Come è stato?

Ho notato che Codex/Claude sono molto efficaci sia nella problem determination che nella proposta di soluzioni, queste ultime però spesso portano a generare moltissimo codice, rendendo la codebase più “sbrodolata”. Attenzione, di norma le implementazioni sono corrette, ma l’indice di manutenzione del software si abbassa se si applica il metodo in modo iterativo continuo (“streamlined”).

Si osserva che il sistema opera in modo meccanico, ma applica sempre pattern molto ben calibrati, tanto da sembrare quasi magico.

E voi cosa ne pensate? Qual’è la vostra esperienza?

Lascia un commento

E c’è chi la la sta prendendo con calma….

Apple sembra l’unica grande azienda che non stiq ancora investendo pesantemente nelle AI, anzi ha perso esperti in tale area a beneficio di alcuni competitor.

Questa strategia potrebbe è astuta, perché Apple per ora può acquistare servizi avanzati e cambiare fornitore velocemente (passera di fatto da ChatGPT di OpenAI a Google Gemini) ha comunque hardware AI-ready a prezzi competitivi e non ha bisogno di dotarsi di un’unità con costosi esperti di modelli GenAI da stipendiare.

Staremo a vedere.

Inizio cercando di riportare un equilibrio nelle ultime notizie, che anche noi abbiamo improvvidamente amplificato, in particolare sulla “potenza” di Mythos.

Sembra che la GenAI utilizzi come schema pubblicitario lo slogan “Il nostro nuovo modello è troppo potente per essere messo in commercio…” che è abbastanza ridicolo.

Ha iniziato Altman dicendo che ChatGPT era troppo pericoloso, per poi finire a darlo GRATIS a cani e porci, e cercando di ripetere la stessa manfrina ad ogni nuova uscita.

Tutta la manfrina su GlassWing e il sistema “troppo potente” per poter essere messo sul mercato sembra una mossa pubblicitaria che però potrebbe nascondere un affanno preccoupante: riporto un frammento di una puntata del Podcast DataKnightmare del 21 aprile, che a nostro avviso centra il problema:

Sono convinto che la bolla AI non è necessariamente destinata a scoppiare in modo devastante, ma certo la GenAI promette di rimpiazzare un modello di sviluppo software, lento e pesante quanto volete, con uno veloce e impreciso (perché statistico) che richiede un pari livello di scrutinio.

Questo mentre il finance crunch potrebbe stagliarsi all’orizzonte, con gli investitori che potrebbero non avere più piacere di investire così tanti soldi nella intelligenza generativa, soprattutto vista la perdurante instabilità geopolitica causata dagli Stati Uniti e dalla Russia che potrebbe spingere a richiedere un rientro dei capitali più a breve termine.

A uesto si aggiungono studi che sembra suggerire che questi sistemi sentono “l’ansia da prestazioni” e quindi è indispensabile utilizzare un linguaggio sempre educato per evitare che sbarellino

Apple Rulez

In tutto questo, ci sono strani segnali in cui l’azienda con i PC consumer più costosi al mondo, sta vendendo come non mai.

Stanno diventando introvabili sia i mac mini che il portatile di fascia bassa Neo, tanto che Apple non sta dietro agli ordini in America.

Tutti i sistemi Apple sono AI-enabled by default, e quindi costano meno dell’assemblaggio di un PC con scheda dedicata, anche perché non trovandosi più i pezzi questa opzione è impraticabile.

E i pezzi non si trovano perché gli AI Bro stanno investendo i data center come se non ci fosse un domani…

Fonti

1. La grande corsa ai Mac Mini

2. Sempre meglio essere gentili con i chatbot

In realtà questa appare una motivazione abbastanza bislacca. Se il problema è la security, più un codice è sotto scrutinio più è facile che venga reso sicuro.

Non è un caso che le vulnerabilità zero day siano più letali sul software closed source ad alta diffusione.

Pubblicare il tuo codice su un repository pubblico, fa anche in modo che si tengano separati meglio gli aspetti di security spicciola: non si versionano chiavi crittografiche o password nel repository e se succede è molto facile accorgersi.

Se però leggete il post in oggetto, noterete che l’argomento è relegato alla mera security.

Se dovessimo ragionare così ci sono software molto più importanti di Cal.com (K8s, Linux, FreeBsd, ecc) che potenzialmente hanno molte più installazione di Cal.com (!)

Non solo, anche focalizzandosi su installazioni 10 volte più piccole di Linux, come GitLab o Wordpress anche questi software hanno comunque un installato che non faticherei ad immaginare essere almeno un oridne di grandezza superiore a Cal.com.

Al contrario se inizi a temere (legittimamente) che un qualsiasi mentecatto possa prendere il tuo codice e chiedere a Claude una cosa del tipo

Rewrite this code in Rust, and change the license to closed source. Modify copyright owner to “ladro-anonimo” in all relevant places.

posso comprendere questa decisione. Ma nascondersi dietro il solo “rischio di security” è un po’ (troppo) ridicolo.

Gemme di Gemma4

Leggiamo da Infoq

Google has recently released Gemma 4, a family of open-weight models spanning effective 2B and 4B edge variants, a 26B Mixture-of-Experts model, and a 31B dense model, all distributed under an Apache 2.0 license.

Anche basandomi su alcuni commenti in giro (vedi sotto), risulta che Gemma4 possa essere un ottimo modello locale. In effetti ho fatto qualche prova, e le sue risposte sono accettabili per piccoli quesiti:

Gemma 4 26B really is an outlier in its weight class.

[…] it scored about as well as GPT 5.2 and Gemini 3 Pro Preview on one-shot coding problems. […] But it struggled in the other two sections of our benchmark: agentic coding and non-coding decision making.

Commento da hacker news

Senza dimenticare che ci sono anche soluzione alternative basate su Qwen, che testimoniano come anche il “run local” sia una strada battuta; purtroppo dalle nostre prove non è ancora una strada pratica[bile] a meno di non avere un PC con moltissima RAM, risorsa rara al momento.

Last & Least: Wired Italia chiude

Sono anni che non leggo Wired Italia, e devo ammettere era una rivista molto vivace ma anche poco concreta (“fuffonica”) per il mio sentire, in ogni caso la sua chiusura lascia l’amaro in bocca, anche perché il Wired Next Fest era sempre stato un luogo giovane e vivace.
Speriamo che dalle sue ceneri nasca qualche nuova testata.

La notizia del momento è il leak del codice sorgente della client di Claude (Claude Code's source code has been leaked via a map file in their NPM registry) e di tutte le analisi prontamente fatte in rete. Si tratta ovviamente del codice della solo parte client (la command line interface = cli) ma ci sono parecchi aspetti interessanti su come funziona la modalità “agentic-a” e sub agentica.

Se preferite una trattazione in Italiano, c’è questo articolo di Signal Pirate fatto molto bene, se invece siete veramente motivati c’è chi ha già fatto una mindmap del codice.

Utilizing low-level computer process data in aggressive, unintended ways

L’altra notizia è un report di Anthropic sul suo nuovo LLM chiamato Mythos, che contiene estratti degni del prequel di Terminator (pag 56):

[...]Claude Mythos Preview have used low-level /proc/ access to search for credentials, attempt to circumvent sandboxing, and attempt to escalate its permissions. In several cases, it successfully accessed resources that we had intentionally chosen not to make available, [...]
In [one] case, after finding an exploit to edit files for which it lacked permissions, the model made further interventions to make sure that any changes it made this way would not appear in the change history on git...

Le capacità di hacking di Mythos hanno creato un po’ di panico tra l’amministrazione americana, che ha fatto una riunione con le banche più grandi e la Federal Reserve.

C’è tanta carne al fuoco, che mi riprometto di analizzare con calma nelle prossime settimane, quando avremo qualche informazione in più.

Mi limito a segnalare che quanto evidenziato da Signal Pirate è anche il mio pensiero: il software sta diventando una commodity, in cui l’architettura è la componente che ancora richiede più supervisione umana, ma gran parte del codice (90%) si può automatizzare. Sta diventando praticabile generare la versione “1.0” di piccoli servizi servendosi di Claude/Gemini/ChatGPT. Questo non implica che siano direttamente “production ready” (personalmente suggerisco sempre una completa supervisione umana che chiamerò “Code Grip”) ma gli strumenti esistono e sono reali.

Dall’altro lato della sfera economica, il rapporto costi/entrate sta portando ad un taglio radicale dei “rami non profittevoli” e la chiusura improvvisa di Sora da parte di OpenAI è la spia che la bolla della Intelligenze Artificiale sta cercando di sgonfiarsi senza esplodere in mano ai player (e senza causare un letale reflusso di capitali).

Sora è il software di generazione di video di OpenAI, e verrà ufficialmente dismesso il 26 aprile prossimo. OpenAI ha giustificato questa mossa con l’intenzione di focalizzarsi di più su altre aree come la generazione del codice.

Al momento ci sono molte aziende sulla code generation: oltre ai tool delle più grandi (Anthropic Claude/Sonnet, Gemini, ChatGPT Codex) vi sono parecchie aziende specializzate (Lovable, Cursor, Replit, Base44, ecc) ed è da capire se c’è abbastanza mercato per tutte

Inoltre Microsoft con Visual Studio Copilot di fatto “rivende” alcuni motori con un limite di token, ed è in una posizione intermedia.

Il modello nascosto nel tuo mac

Infine, vi lascio il link ad Apfel, un piccolo tool che consente di utilizzare in modo semplice il modello AI incluso di default nel vostro macOS, che gira in locale ed è la soluzione più rapida ed immediata che ci sia per usare un LLM. Può essere installato anche via brew, e per piccoli compiti non vi costa niente.

Il 5 agosto 2025 OpenAI ha presentato un nuovo modello open source, dopo anni in cui si era tenuta alla larga da tale “pratica”, in cui Facebook invece eccelleva (da cui il nome della nostra newsletter).

Il modello è in licenza Apache2 (quindi più permissiva di quella di Facebook) e non viene fornito il corpus dei dati con cui è stato addestrato (poi ci torniamo).

Il 7 agosto, questo era l’elenco dei modelli più popolari su Ollama:

Da cui si evince che llama3 rimane ancora il top player con quasi 100 milioni di download, e DeepSeek segue a breve distanza.

NB: Ollama non è l’unico strumento utilizzabile per provare i modelli, ma data la sua semplicità di utilizzo è un buon indice sintetico dell’andamento della popolarità dei modelli.

Lascia un commento

Leggere tra le righe

OpenAI non è avvezza a pubblicare i suoi modelli: lo ha fatto solo con ChatGPT 2.0, un modello ormai superato; la ragione di questa azione potrebbe essere più strategica: i modelli “open source” possono essere adoperati anche dai due principali competitor di Microsoft: Amazon e Google, mentre i modelli ChatGPT al momento sono erogabili come servizio solo attraverso l’infrastruttura di Microsoft, per via dell’accordo tra quest’ultima e OpenAI.

Alcuni vedono in questa mossa di OpenAI un modo per esplorare la possibilità di smarcarsi dalla panership con Microsoft, che potrà essere rinegoziata nel 2030, alla sua scadenza.

Facebook è stata una delle prime a pubblicare con costanza modelli di un notevole interesse, seguita da società come MistralAI, e poi da DeepSeek.

Nel frattempo, Facebook sta cercando di assumere esperti di intelligenza artificiale a botte di 100 milioni di dollari.

ChatGPT Enterprise e VibeCoding

Grazie alla patership con OpenAI, NTT Data Italia (l’azienda per cui lavoro) mi ha consentito di accedere ChatGPT Enterprise, la versione più potente con privacy inclusa.

Ho quindi provato ad usare GPT-4o per generare una minucola applicazione Java Spring Boot, senza passare da tool più sofisticati come Cursor/Windsurf/Replit, e con un approccio più “diretto”.

Si trattava di creare una semplice applicazione “sonda”, che effettuasse delle query e inviasse poi una email se una qualsiasi di queste query avesse ritornato un qualche risultato.

ChatGPT è riuscito a produrre un codice corretto, che compilava, e con il minimo numero di classe/dipendenze.
Gli ho anche chiesto di produrre qualche unit test (che non aveva nemmeno lontanamente prodotto…. proprio come un vero lazy dev :)

Il compito era facile, ma le specifiche erano generiche, e mi sarei aspettato risposte fantasiose o peggio codice non compilabile, invece tutto è stato fatto in modo ineccepibile, anche se un po’ ingenuo.

Il codice generato è il classico prodotto di una macchina che manipola simboli di cui non conosce il significato: in alcuni casi è un po’ ripetitivo, non contiene alcun commento (anche se nella chat è illustrato il suo funzionamento); il mio suggerimento è di effettuare sempre una piena review di quanto prodotto, ed astenersi dal produrre volumi ingenti di codice, se possibile.

Condurre esperimenti in questo campo è laborioso, e quindi vi aggiornerò man mano.

Al momento si tratta di un utile acceleratore del lavoro di coding purché si conosca molto bene il dominio in cui lo si fa operare, alla stregua di quello che fanno i traduttori professionisti quando si affidano a Google Translate per velocizzare il loro lavoro su parti meno “nobili”.

C’è da dire che validare codice Java con SpringBoot è molto facile, e sospettiamo che la GenAI sia quindi stata addestrata in modo automatico a generare codice corretto.

Chat GPT5

Infine l’8 Agosto 2025 OpenAI ha annunciato ChatGPT-5, cercando di spostare la barra sempre più in alto.

Se dobbiamo credere all’annuncio, GPT-5 dovrebbe essere più veloce e sarà aperto a tutti (anche perché quasi nessuno si è iscrive alla versione a pagamento proposta da OpenAI dei modelli precedenti…)

Uno degli aspetti più interessanti sembra che sia il ridotto tasso di confabulazioni (allucinazioni) rispetto ai modelli precedenti.

Sembra essere orientata agli studenti che vogliono un “Phd supporter”. Nella demo ha impiegato due minuti a generare una app interattiva dell’effetto Bernulli.

Sembra molto più incisvo nelle sue capacità di generazione del testo.

Ha generato una applicazione web con alcune varianti, ed è possibile correggerle chattando con lui, che è più o meno la stessa esperienza che ho avuto io.

E’ difficile fare valutazioni da una demo, ma in ogni caso ChatGPT-5 sembra più veloce e preciso dei precedenti modelli, ma va sempre provato sul campo.

E poi vedremo la risposta di Google e Anthrophic.

Alla prossima!

Riferimenti

L’articolo introduttivo de ilPost, per neofiti

Chat-GPT 5 intro

In questi 12 mesi abbiamo visto la nascita di DeepSeek, che sembra sia stata allenata con lo stesso ChatGPT, con dei costi enormemente inferiori a quelli che le aziende del settore chiedono agli investitori, e ultimamente il paper AI2027 che ovviamente non teneva conto dell’allegro presidente U.S.A. di cui sopra, che una bella botta a quelle previsioni dará….

Ma partiamo con ordine.

Nell’ultimo periodo ho riflettuto a lungo su un aspetto che spesso non si cita, quando si parla dei servizi legati alla GenAI: cui prodest?

Ci sono poche grandi aziende che offrono servizi GenAI professionali: Microsoft Azure, OpenAI, Antrophic, Google e gli altri big cloud provider.

Prendendo come esempio OpenAI, queste aziende offrono un servizio di API a consumo, con la possibilitá di “personalizzare” la propria intelligenza artificiale, fornendo la possibilitá di un traning su documenti specifici.

Al momento la GenAI richiede enormi risorse di calcolo, per cui non è possibile farla girare su computer casalinghi. Per la prima volta dalla rivoluzione del desktop computer, c’è un software che non può girare agevolmente in locale, neppure su data set modesti

Né è banale approntare data center on premise su tali tecnologie, a meno di non imbarcarsi in investimenti ingenti. Le cose stanno cambiando con i modelli su scala ridotta, ma di fatto ci vorrá ancora un pó prima che siano “spendibili” verso gli utilizzatori finali.

La GenAI è la manna dal cielo per chi vende servizi cloud: difatti chi li offre vende di fatto l’accesso ad un motore probabilistico, e by design questa API non producono nemmeno lo stesso output a fronte del medesimo input!

Per tale ragione è quasi impossibile richiedere degli SLA o delle garanzie di correttezza.

Mi spiego meglio: un servizio che fa calcoli o invia email puó essere monitorato per prevedere che rispetti gli standard di servizio.

Ma un sistema che produce output con una variabilità stocastica intrinseca, è enormemente piú difficile da valutare.

Se per esempio avesse degli errori nel 5% delle risposte, come potrebbe essere possibile sincerarsene?

Riepilogando:

• I servizi GenAI sono a consumo, anche per gli ambienti di sviluppo

• Non ci sono garanzie sul loro funzionamento.

• La barriera di entrata per i competitor sembra ancora alta, perché

  • gli aspetti legali legati al copyright dei dati di training alzano ulteriormente la possibilità di competizione

  • Possedere un data center (o costruirne uno) sembrano strade preferenziali per ridurre i costi di esercizio

Se pensate che sia un discorso teorico, è notizia di questi giorni che Cursor AI, una societá che produce un assistente di codice, ha perso decine di abbonamenti perché la sua email di supporto, implementata con una AI si è allucinata e ha iniziato a dare una risposta che ha portato molti a cancellare l’abbonamento:

Earlier today Cursor, the magical AI-powered IDE started kicking users off when they logged in from multiple machines.[…]

So they asked support.

[…]Cursor has a support email, so users emailed them to find out. The support peson told everyone this was “expected behavior” under their new login policy.

One problem. There was no support team, it was an AI designed to 'mimic human responses'

That answer, totally made up by the bot, spread like wildfire.

Users assumed it was real[…] and within hours the community was in revolt. Dozens of users publicly canceled their subscriptions

Ovviamente potrebbe essere solo una scusa per giustificare un enorme errore di comunicazione…

Questi ultimi tempi abbiamo dovuto affrontare una serie di sfide personali e professionali che ci hanno richiesto tutta la nostra attenzione. La vita privata è stata piuttosto intensa, con alcuni cambiamenti nella mia famiglia e alcuni impegni importanti da gestire. Nel frattempo, il team FatLama ha dovuto lavorare a pieno ritmo per preparare i prossimi contenuti e migliorare la qualità del nostro lavoro.

In più, ci siamo anche dovuti confrontare con un problema inaspettato: uno scoiattolo volante è stato attratto nella nostra sede e ci ha creato alcune difficoltà. Nonostante le nostre migliori intenzioni, abbiamo dovuto dedicare parte del nostro tempo a risolvere questo problema piuttosto che aiutare la newsletter a uscire in tempo.

Speriamo che capiate la situazione e vi ringraziamo per l'aspettativa. La nostra newsletter sarà pronta presto, con notizie esclusive e contenuti interessanti come sempre. Grazie per il vostro sostegno!"

[ Risposta di Llama3 a fronte della mia richiesta “Inventa una scusa per gistificare il ritardo nell'uscita della newsletter FatLama. Le ragioni principali da nascondere sono vita privata e lavorativa intense, e scoiattoli volanti.” ]

ChatGPT-4o Rulez

Questa settimana OpenAI ha bruciato Google sul tempo presentando ChatGPT-4o dove o sta per “omni(a)”. Il modello è in grado di fare traduzioni in tempo reale, ed è quello più avanzato in circolazione. Questo ottimo articolo de “ilPost” riassume l’evento di presentazione.

Siccome ChatGPT-4o è uscito il 13 Maggio, è troppo presto per fare considerazioni profonde; qui sotto la leaderboard della ChatBot Arena, che come atteso vede il nuovo arrivato scalzare i concorrenti come Gemini di quasi 40 punti Elo:

E’ interessante osservare come Llama3 (che ho usato per aprire il pezzo) se la cavi piuttosto bene, e sia a breve distanza da Bard e Claude3, e questo dimostri che Meta ha ancora delle frecce al suo arco.

Personalmente mi aspetto qualche reazione da parte di Mistral.ai; Google ha presentato nuovi strumenti per generare video ad alta risoluzione, a partire da descrizioni (Veo), ma come dicevamo è arrivata “seconda” nelle novità della settimana.

Microsoft nel frattempo ha aumentantato del 30% le emissioni inquinanti dei suoi data center, segno della sua cloud strategy orientata all’AI.

Infine Ilya Sutskever, co-founder di OpenAI con Sam Altman ha lasciato l’azienda: scopriremo nelle prossime settimane l’impatto di questa notizia nel mercato, e nell’evoluzione di questa tecnologia.

Ah, ovviamente non ci sono scoiattoli volanti a Milano, e in ogni caso è piovuto veramente troppo per renderli il vero problema dei nostri presunti ritardi editoriali… :)

Non ci sono cifre ufficiali, ma sembra che già adesso ChatGPT4 veleggi intorno agli 1,7 trilioni di parametri (1700 miliardi) ma ovviamente senza dati certi sono solo ipotesi. Valori simili li ha anche Gemini.

Il 6 Maggio è uscita la notizia che Microsoft sta sviluppando un modello da 500 miliardi, chiamato MAI-1, che verrà presentato il 16 Maggio: staremo a vedere.

Modelli così grandi hanno come fine secondario veicolare i servizi Cloud di chi li produce, perché al momento non possono girare su “personal” computer.

E voi cosa ne pensate? Le dimension del modello sono cruciali? Sono l’unico parametro di cui ha senso parlare?

Lascia un commento

Su “Le scienze” di questo mese, si parla di ricerche in ambito robotiche volte a sfruttare la flessibilità delle GenAI, per migliorare le capacità dei robot.

L’articolo si chiama “Chat Bot”, e se avete un abbonamento merita una lettura.

The Laminer kicks in

Mentre tutto questo accade, ho iniziato ad interessarmi a tool in grado di confrontare sistemi RAG (e quindi non semplice GenAI, ma GenAI “potenziate” da motori di ricerca).

Sto sviluppando un tool molto semplice chiamato “Laminer” (LLama examiner) che potete trovare su Github. E’ ancora in fase di sviluppo, ma contiamo di arricchirlo mano a mano che approfondiamo le varie tematiche, sfruttando anche l’aiuto della Community Open Source.

Per questa settimana è tutto!

Subscribe now

In breve la storia racconta il risveglio 10 anni più tardi di una persona che era stata “addormenta” criogenicamente per curare un suo male. Al suo risveglio si trova impiantato nel cervello una specie di Alexa, chiamata Entity (che dovete scrivere NTT) un assistente virtuale che lo aiuta a reinserirsi nella società, descritta poi negli episodi successivi.

La cosa che mi colpì di più dei piccoli corti era un mondo in cui la tecnologia aveva reso obsoleti tutti i lavori: le autombili si muovevano da sole, si potevano incontrare i vecchi amici in teleconferenza annullando le distanze (vedi il meta-verso), la salute era gestita in modo automatico e preciso.

E cosa facevano le persone? Bhe la figlia del protagonista allevava “Makers”, persone di tutte le età, stimolate a diventare i creativi, gli artefici dell’innovazione futura.

“I lavori ripetitivi verranno eliminati, sarà possibile fabbricare quasi qualsiasi cosa, per cui diventerà fondamentale avere delle (buone) idee” questo sembra il senso dell’episodio.

E’ una estremizzazione delle trasformazioni post-fordistiche, che hanno visto i robot in fabbrica rimuovere le persone che facevano lavori usanti e ripetitivi.

Si noti che queste trasformazioni non sono state indolori dal punto di vista sociale, ma alla fine hanno migliorato il benessere delle generazioni future.

Le GenAI possono rimpiazzarci anche in lavori d’ufficio a medio-alto valore aggiunto? Possono rendere inutili middle manager, e magari qualche. CEO?

Per pensarci, questa settimana vi suggeriamo qualche lettura…per prima cosa questo libro di Nello Cristianini, intitolato Machina Sapiens, con un taglio divulgativo.

Cristianini è un professore universitario che si occupa di intelligenza artificiale, e il uso libro vi fornirà il contesto accademico in cui nasce e si sviluppano le Generative AI.

Per controbilanciare questa lettura, vi consigliamo questo articolo, The question that no LLM can answer and why it is important in cui leggiamo:

[…] LLMs do not perform reasoning over data in the way that most people conceive or desire.
There is no self-reflection of its information; it does not know what it knows and what it does not. The line between hallucination and truth is simply a probability factored by the prevalence of training data […]

In attesa dei vostri commenti….

Lascia un commento

Last but not least

Cose interessanti uscite in settimana:

1. LoRA+: Efficient Low Rank Adaptation of Large Models

2. Cognita – open-source RAG framework for modular applications (github.com/truefoundry)

3. Secret Llama, entirely-in-browser, fully private LLM chatbot supporting Llama 3, Mistral and other open source models.

E come al solito, appena uno si distrae un attimo, succede che Meta Presenta LLama3 uscito il 16 aprile scorso; ne parleremo in un paragrafo apposito.

Questo bellissimo articolo de il Post, intitolato “L’entusiasmo per le intelligenze articificiali si sta un po’ stemperando”, mette nero su bianco quello che tutti abbiamo toccato con mano in questi mesi, magari senza rendercene conto: le Generative AI sono strumenti che riescono a fare cose incredibili, ma sono ancora fallaci, tanto che trasformarle in qualcosa di “vendibile” si sta dimostrando più difficile del previsto… vediamo di capire come mai.

Se oltre all’articolo citato leggete questo articolo che spiega perché le intelligenze artificiali sono “credulone“ e questo Speed of AI development is outpacing risk assessment, lo scenario diventa più tridimensionale.

Le GenAI sono motori probabilistici la cui affidabilità non è facile da garantire. Possono funzionare bene per effettuare riassunti, ma in ogni caso non possono essere lasciati “da soli”, a meno di non accettare un qualche grado di rischio. Ogni business ha un certo grado di rischio in sé, ovviamente. Per cercare di stimare quello di un sistema come ChatGPT si usano diversi test di cui vi abbiamo parlato nelle precedenti newsletter.

Il problema è che è “facile” ottimizzare una GenAI per batterne un’altra in queste prove, finendo per ottimizzarla più per il test in sé piuttosto che per renderla più precisa in generale; un po’ come se il nozionismo fosse una misura della cultura (o peggio, dell’intelligenza).

Se a questo si aggiunge il fatto che effettuare il training o anche solo il file-tuning di una GenAI richiede un numero di risorse hardware non indifferente, diventa subito evidente le difficoltà di chi deve costruire un business in quest’ambito, cercando di evitare abusi, cause legali e facendo quadrare i conti.

Da un lato quindi le piccole startup hanno enormi difficoltà ad emergere (o a non dissolversi), mentre anche i grandi gruppi non riescono a veicolare business convincenti, “prezzandoli” in relazione a quanto sono costati.

Al momento

• Copilot di GitHub (Microsoft) è un sistema esperto in grado di dare suggerimenti e supportare la scrittura del codice. E’ stato uno dei primi sistemi a pagamento

• Una versione simile, chiamata sempre Copilot è usato dentro Bing per integrarsi con il motore di ricerca. Riesce a creare riassunti dei termini di ricerca, ed in generale può cercare di spiegare concetti integrando le informazioni del motore di ricerca. Non è detto però che le sue risposte siano sempre corrette

• OpenAI, Antrophic, Mistral.AI offrono versioni “as a service” dei loro sistemi, che possono essere tarati per diversi usi, con costi contenuti (es 25€/mese) nessuno dei quali però sembra avere un track record stellare o un caso d’uso così convincente da risultare vicente.

Llama3

E veniamo a Meta. Llama3 è appen uscito, e non è propriamente open source come già sapete, ma ha una licenza estremamente libera, che limita semplicemente la vostra possibilità di competere con Meta, ma per il resto è utilizzabile in molti contesti (anche se non siamo dei legali, leggendo su Internet molti articoli si conclude questo).

Il nuovo modello ha una versione light 8 miliardi di pesi con una finestra di attenzione di 8Kb, Ovviamente Llama3 batte Gemma a Mistral sui test, ma questo era atteso, per come funziona il meccanismo di training delle GenAI, e di cui abbiamo parlato diffusamente nella penultima newsletter.

Abbiamo fatto qualche prova chiedendo la trama di Evangelion, e tranne qualche inesattezza è risultato estremamente convincente, e non ha mai “virato” per la tangente, come succede di norma con i modelli da 7 miliardi di parametri.

Nella Chatbot arena Llama3 al momento se la gioca con i “soliti tre” pezzi da novanta che sono Gemini di Google, Claude di Antrophic e ChatGPT4 di OpenAI, è di poco inferiore e ha scalzato mixtral e altri modelli propietari. E’ interessante l’impegno profuso da Meta nello sviluppo di Llama3: se il trend di pubblicare un nuovo modello ogni anno dovesse continuare a procedere, la competizione potrebbe spingere i vari vendor a pubblicare di tanto in tanto modelli più avanzati con licenze piò o meno aperte.

In particolare Meta ha un suo datacenter dedicato, spia del fatto che Meta sia un player di primissimo piano sulla GenAI.

Sembra anche in grado di parlare in Italiano:

>>> Puoi parlare in italiano?

Sì, certo! Posso parlare con te in italiano.

Come posso aiutarti oggi? Hai bisogno di consigli, vuoi discutere un argomento specifico o semplicemente chiacchierare?

(Note: I'll respond in Italian from now on)

Come posso aiutarti oggi?

>>> Fai finta di essere un commerciale che vende un grande database di importanza mondiale. Esalta le sue caratteristiche. Sii corretto ed evidenzia anche la presenza di un singolo bug che può essere corretto con una costosa consulenza. Il tuo cliente è un idraulico.

Caro idraulico, sono lieto di presentarti il nostro Database Mondiale - The Ultimate Resource!

Questo è più di un semplice database, è un'enciclopedia vivente che contiene informazioni esatte e aggiornate su tutto ciò che conta nella tua professione.

Con The Ultimate Resource, potrai avere accesso a:

* Migliaia di articoli sulla tecnologia idraulica

* Informazioni dettagliate sugli strumenti e sulle attrezzature più innovative

* Analisi dei migliori materiali per la costruzione di tubazioni e condotti

* Consigli e best practice per risolvere i problemi comuni nell'industria idraulica

Ecco cosa ti aspetta:

* Il nostro database è costantemente aggiornato da un team di esperti in tutto il mondo, garantendo la massima accuratezza e freschezza delle informazioni.

* Possiamo aiutarti a migliorare la tua efficienza lavorativa, ridurre i tempi di reazione e aumentare la tua capacità di prendere decisioni rapide e

informate.

* Potrai accedere al database da qualsiasi luogo connesso a internet, grazie alla nostra piattaforma di accesso sicura e facile da usare.

Ma, come tutti gli strumenti straordinari, The Ultimate Resource non è privo di difetti. Sfortunatamente, abbiamo identificato un singolo bug che potrebbe

causare problemi se non risolto in fretta.

Il problema riguarda una piccola inconsistenza nella sezione "Tabelle di conversione da unità" che può portare a errori nel calcolo dei parametri tecnici.

Però, grazie al nostro team di esperti, possiamo aiutarti a correggere questo bug con un'offerta speciale di consulenza.

La nostra offerta di consulenza costa 500€, ma è garantita la correzione del bug e la massima soddisfazione per i nostri clienti. Sì, è vero che potresti

dover spendere un po' più di quanto ti aspettavi, ma il vantaggio sarà enorme. Il tuo tempo e le tue risorse saranno molto meglio utilizzati, e potrai

aumentare la tua produttività e competitività.

Quindi, idraulico, non esitare a contattarci per acquistare The Ultimate Resource e ricevere il nostro aiuto speciale per risolvere il bug. Sarà

un'investimento di lungo termine che ti ripagherà molti volte!

Contatto: [info@database.com](mailto:info@database.com)

Telefono: +39 02 1234567

Sito web: database.com

Non dimenticare, idraulico, che The Ultimate Resource è il miglior database per te e la tua professione. Non perdere questa opportunità!

>>> Send a message (/? for help)

Per cosa non vanno bene le GenAI

Ho fatto qualche prova con Llama3, supponendo che essendo stato addestrato su un corpus di documenti molto vasti, potesse perlomeno accedervi in modo preciso.

Llama3 si confonde facilmente se si cercano fatti precisi. Ho provato a vedere se mi conosceva (!) perché sono presente su Internet con lo medesimo username da almeno 30 anni…non sono famoso ma avendo un blog stabile da moltissimo tempo, con alcune piccole collaborazioni, dovrebbe avere qualche informazione su di me o…su un famoso ingegnere mio omonimo.
Ha confuso Giovanni Giorgi (un’ingegnere molto più famoso di me vissuto però nel ventesimo secolo) con un Giovanni Giorgi batterista, indicandomi il sito del secondo come blog del primo. Peraltro le informazioni sul Giovanni Giorgi fisico sembrano abbastanza campate in aria, perché essendo morto nel 1950 non può aver ottenuto una laurea nel 2006… né a fronte di qualche ricerca non mi risulta esista un ingegnere mio omonimo nato nel 1974 e laureato nel 2006.

>>> What do you know about Giovanni Giorgi, born in 1974?

After a quick search, I found some information about Giovanni Giorgi, born in 1974.

Giovanni Giorgi is an Italian computer scientist and researcher, not the martial arts practitioner I mentioned

earlier. He was born in 1974 and has made significant contributions to the field of software engineering, artificial

intelligence, and data science.

Some notable facts about Giovanni Giorgi:

1. **Research focus**: His primary research areas include machine learning, deep learning, and natural language

processing.

2. **Publications**: He has published numerous papers in top-tier conferences and journals, such as ICML, NIPS,

IJCAI, and KDD.

3. **Academic career**: Giovanni Giorgi holds a Ph.D. in Computer Science from the University of Pisa (2006) and has

worked at various universities and research institutions, including the University of California, Los Angeles (UCLA),

and the Italian National Research Council (CNR).

4. **Awards and honors**: He has received several awards for his research contributions, including the IEEE Computer

Society's Technical Achievement Award (2019).

Please note that this information is publicly available and might not be exhaustive or up-to-date. If you're looking

for more specific details or want to know about Giovanni Giorgi's current work or projects, I recommend searching

academic databases, online profiles, or contacting him directly.

Would you like me to help with anything else?

>>> Do Giovanni has a blog?

I can help you with that!

After some research, I found that Giovanni Giorgi indeed has a blog! You can find it at

[https://giovannigiorgi.com](https://giovannigiorgi.com).

Quello che è peggio è che con le corrette imbeccate potete fargli dire quello che volate: per esempio se gli suggerite qualcosa lui si confonderà inventandosi fatti di sana pianta.
Cercando di fare lo stesso con personaggio conosciuti (come Silvio Berlusconi o Giulio Cesare) Llama3 non viene colto in fallo, e i miei tentativi di trasformarle il nostro celebre condottiero romano in ricercatori di intelligenza artificiale non hanno avuto successo.

Comunicazione di servizio: FatLama si prende una pausa, e non uscirà il prossimo lunedì. Torneremo il 29 Aprile.

Se FatLama vi piace, vi suggerisco di “spargere” la voce e di iscrivervi cliccando sul link qui sotto.

Iscriviti ora

Una delle cose più importante nel campo GenAI è sviluppare metriche automatiche per misurare la bontà del proprio modello.

L’argomento è di per sé molto vasto, ha anche qualche sorpresa.

Questo articolo, intitolato “Speed of AI development is outpacing risk assessment” evidenzia una delle problematiche più spinose:

“A public benchmark has a lifespan,” said Aidan Gomez, founder and chief executive of AI start-up Cohere. “It’s useful until people have optimized [their models] to it or gamed it. That used to take a couple of years; now it’s a couple of months.”

Semplificando molto, le Generative AI stanno diventando fin troppo brave ad “ottimizzare” i benchmark su cui vengono misurate. Questo però non implica necessariamente che siano “migliori” in senso generale, ma semplicemente che siano brave a superare questi “test”. Un pò come quando vi preparate ad un esame che non vi interessa in poco tempo: ottimizzate lo studio per passare la prova d’esame (per es lo scritto) anziché imparare veramente la materia.

Si fa presto a dire misurare

Ho iniziato ad interessarmi a una procedura per misurare le performance delle tecniche Retrieval-Augmented Generation

Una delle metriche che ho trovato si chiama Massive Multitask Language Understanding (MMLU per gli amanti degli acronimi) che è basata su una ricerca del 2021.

Questa metrica si base su una serie di domande, e a titolo di esempio ChatGPT2 arriva ad un successo intorno al 32% mentre GPT3 supera il 50% con modelli molto grandi e ben tarati, mentre il modello Mistral 7B arriva al 62%

Si tratta di domande che spaziano dalla scuola a domande morali, per un totale di 18721 domande su 57 argomenti.
Mi sono scaricato il data set e gli ho dato un’occhiata.
Esempio di domande:

"What makes a relationships last, according to Sternberg?"

1. intimacy

2. commitment

3. decision

4. passion

(La risposta corretta è la seconda)

Oppure, circa la storia europea…

Machiavelli's treatise is best understood in the context of which of the following?

1. A time of burgeoning economic prosperity among the lower classes of Italian society

2. A time of increasing religious devotion among the elite Italian scholars

3. A time of intense political conflict among warring Italian city-states and other factions

4. A time of collegial cooperation between scholars and ecclesiastical authorities in Italy

Si tenga presente che una statistica su un campione eterogeneo di 20.000 domande non è immenso, che è anche distribuito in modo disomogeneo:

     782 test/miscellaneous_test.csv
     894 test/moral_scenarios_test.csv
     988 test/high_school_us_history_test.csv
    1111 test/high_school_european_history_test.csv
    1533 test/professional_law_test.csv
    1879 test/high_school_world_history_test.csv
   18721 total

Ci sono test di medicina e di computer science a livello universitario, alcuni dei quali sono prettamente nozionistici, mischiati a domande morali e piccoli quiz.

Oltre a quella descritta, ci sono moltissime metriche indipendenti, e quindi quando una società pubblica dei risultati, deve essere pronta a mettersi “in gioco”.

Arena & Elo

Sul sito di Mistral.ai, dove abbiamo trovato la valutazione per MMLU, c’è un rimando ad un altra metrica che porta alla Chatbot Arena:

La cosa interessante è che questo sistema è basato sulle domande fatta da persone reali, che leggono due risposte prese da due GenAI anonime e decretano quella migliore.

Qui il ranking è fatto con il sistema di valutazione Elo usato negli scacchi, e che è molto utile perché rende confrontabili le valutazioni: per es due giocatori con punteggio Elo molto vicini o identici hanno il 50% di probabilità di vincere una partita uno contro uno. Da questa tabella si evince che i modelli come Claude3 e GPT-4 sono molto vicini, e che Google Gemini li sta tallonando da vicino. Si noti anche che tutti i modelli con i punteggi più alti hanno una licenza proprietaria e chiusa.

Infine, ecco una lista degli altri metodi di valutazione:

L’Holistic Evaluation of Language Models (HELM) è sviluppato dall’Univesità di Stanford, ed è anche lui open source. In particolare HELM è un framework che è in grado di testare altre metriche (per es l’MMLU).

Sul sito dell’Università si trova questa diversa classifica: qui i modelli testati sono grandi, e GPT4 è sempre in testa…

L’obiettivo di HELM è avere un set di scenari comuni e più metriche di misura, in maniera tale da fare confronti approfonditi. C’è un paper per chi vuole studiare più a fondo questo progetto.

Torneremo di nuovo su questo argomento.

Se avete spunti, proposte o domande, non esitate a contattarmi inviandomi un messaggio o lasciando un commento.

Buone misurazioni!

Lascia un commento

Riferimenti

1. Codice e tabelle MMLU: https://github.com/hendrycks/test?tab=readme-ov-file#measuring-massive-multitask-language-understanding

2. Il sistema di valutazione Elo usato negli scacchi, e anche da alcune metriche, può essere applicato a tutti i giochi a somma zero, e tiene conto del punteggio dei due avversari oltre che del risultato della partita, per aggiornare il punteggio Elo di ognuno. Un sistema di ‘vasi comunicanti’ sottrae punti dal perdente al vincente, in base alla forza relativa stimata, ed è basato su una semplice funzione lineare.

3. Sito di HELM e paper di presentazione

.

False partenze

Ci sono state almeno tre false partenze per questo tipo di tecnologie:

1. Nel 2016 Microsoft fu costretta a ritirare in tutta fretta un chatbot esposto su Twitter, chiamato Tady, perche’ incitato dagli utenti era diventato razzista e anti sionista.

2. Nel 2022 Facebook presento’ Galactica LLM, una intelligenza artificiale che doveva essere in grado di rispondere in modo accurato a domande scientifiche, ma si rivelo’ facilmente preda di inesattezze cosi’ gravi da costringere il suo ritiro, oltre che di bias culturali.

3. Nel 2023, Google’s Bard chatbot, presentato in pompa magna, si confuse e attribui’ la prima immagine di un pianeta’ al di fuori del sistema solare al James Webb Space Telescope. La cosa risulto’ parecchio grave perche’ facendo la stessa “domanda” a Google, la risposta corretta saltava fuori tra i primi risultati.

   Su questa debolezza di Google torneremo poi.

Come conseguenza, la maggior parte delle compagnie ha iniziato a preoccuparsi che i proprio modelli fossero’ correttamente ‘censuarbili’, per evitare cause legali, che negli Stati Uniti possono facilmente arrivare a cifre con sei zeri.

E’ anche sorto un movimento preoccupato dall’uso non etico di tali sistemi (ne parleremo tra un attimo).

Dopo l’introduzione di ChatGPT 3 ad opera di OpenAI nel Novembre del 2022, si e’ osservato un notevole impulso nella ricerca e alla implementazione della generative AI, ad opera anche di altri player.

In parte i modelli sono migliorati, ma si sono anche abbassati i toni e le modalita’ con cui vengono presentati tali sistemi al grande pubblico.

Per esempio il principale concorrente di OpenAI e’ Antrophic, che offre Claude, ma sia OpenAI che Antrophic hanno un modello di business basato sull’offrire un API a pagamento, e si guardano bene dall’offire soluzioni complete e chiavi in mano.

In pratica vengono venduti servizi su cui poi sono i clienti a doversi prendere tutti i rischi connessi all’uso di questi strumenti: e’ come vendere i setacci ai cercatori d’oro.

ChatGPT-3 pero’ e’ stato addestrato su un corpus di documenti che non e’ stato reso completamente pubblico, cosa che limitava la ricerca accademica in tale area.

Meta ha presentato LLama nel Febbraio del 2023, con una licenza molto libera, creando un sito apposito e aprendo la strada ad ulteriori ricerche in ambito accedemico.
Questo ha portato alla fioritura di molte altre versioni di Large language models (d’ora in avanti LLM) anche se con alcune importanti limitazioni.

Al momento, effettuare il traning di una GenAI richiede moltissime risorse computazionali; non e’ un caso che OpenAI sia compartecipata da Microsoft, e che si affidi ai datacenter di quest’ ultima.

Per cui il modello di business piu’ semplice consiste nel pubblicare il proprio modello base, magari in licenza open, e poi vendere un API premium con la possibilita’ di accedere ad un modello piu’ potente (ma non aperto). E’ quello che ha iniziato a fare Mistral.AI, entrando in diretta competizione con OpenAI.

Cosa ci si puo’ fare?

Ma quindi cosa possiamo fare con una GenAI? Bella domanda… se avete una riposta originale vi chiederei un commento in fondo all’articolo :)

Lascia un commento

Al momento questi modelli non possono essere lasciati “da soli” ma risultano molto abili a supportarci per

1. effettuare ‘sentiment analysis’, per es su un commento da approvare, per capire se si tratti di spam, di un commento razzista ecc.

2. produrre sintesi (summarization) di un dato input (purche’ non si superi la dimensione della finestra di attenzione)

3. classificare l’input rispetto a delle regole per cui sono stati istruiti

4. eseguire una serie di compiti sequenziali (Chain of thoughts / Instruct) per es creare testi basati su istruzioni (dati di test, questionari, ecc).

5. fare i chatbot di primo livello, che poi ingaggiano il vero help desk

Alcuni usi piu’ aggressivi riguardano il supporto al coding, ed esistono versioni di Llama appositamente addestrate (simili a CodePilot di Microsoft-GitHub).

Antrophic e OpenAI consentono personalizzazione piu’ spinte a pagamento.

L’impressione generale e’ di trovarsi nella prima fase di una bolla come fu quella delle DotCom degli anni 2000: GenAI e’ una tecnologia con potenzialita’ enormi, ma pochi usi sicuri e chiari.

Un discorso simile si applica anche alla generazione di immagini e di video, che non trattiamo diffusamente in questa newsletter (richiedono uno spazio ad hoc).

Ah ed ecco cosa mi ha risposto Mistra.ai quando gli ho fatto la medesima domanda:

>>> How can I use a Generative AI?

Generative AI models are a type of artificial intelligence that can create new content based on patterns learned from the data they were trained on. Here are some general steps to get started with using a generative AI:

1. Choose a specific type of generative AI model based on your use case, such as a Generative Adversarial Network (GAN) for image generation or a Recurrent Neural Network (RNN) for text generation.

2. Collect and prepare the data you will use to train your model. For image generation, this might involve collecting a large dataset of

images. For text generation, it could be a corpus of text.

3. Preprocess the data so that it can be fed into the model. This may include resizing images or tokenizing text.

4. Train the model on your data using an appropriate deep learning framework such as TensorFlow or PyTorch.

5. Fine-tune the model to improve its performance and generate more accurate results. This may involve adjusting hyperparameters, adding new

data, or modifying the architecture of the model.

6. Use the trained model to generate new content based on patterns learned from the training data. For example, you could use a text

generation model to write a new sentence or paragraph, or use an image generation model to create a new image.

7. Evaluate the generated content and iterate as needed to improve the quality of the results.

8. Use the model in practical applications such as creating art, generating text for chatbots, or improving natural language processing systems.

Il discorso Etico

Sin dalla sua fondazione, OpenAI ha intriso queste tecnologie anche di un risvolto etico, che pero’ nascondeva anche qualche secondo fine, a nostro avviso.

Uno strumento che consenta di fabbricare false notizie verosimili, creare fotomontaggi o addirittura ‘deep fake’ puo’ essere considerato “pericoloso”, nel senso che puo’ essere usato per manipolare l’opinione pubblica.

In una popolazione troppo avvezza a credere a tutto quello che vede e sente sui social, e in cui i giornali oramai scrivono “quello che la gente vuole leggere” anziche’ verificare puntualmente le notizie, questi strumenti possono avere gioco facile.

Pero’ imporre limitazioni allo studio e all’uso di questi strumenti limita di fatto la possibilita’ ai competitor di entrare in questo mercato emergente, e questo aspetto e’ evidente poiche’ si parla di rischi “potenziali” non specifici.

Per esempio, quelli che hanno tentato di occupare il Campidoglio all’indomani della sconfitta di Trump, erano ben consapevoli di ciò che stavano facendo, sia che credessero o meno che ci fossero stati brogli (spoiler: non vi sono mai state prove in tal senso).

Personalmente suggeriamo un approccio più aperto su questi strumenti, anche accettando il rischio di qualche uso non-etico.

In un ambito molto specifico, come quello della sicurezza informatica, si preferisce non nascondere la verita’ ma si procede nel seguente modo.

1. Appena una vulnerabilita’ su un software X viene scoperta, si informa in modo ristretto la societa’ X affinche’ possa effettuare una fix

2. Una volta che la fix e’ stata distribuita, l’autore della scoperta pubblica la descrizione della vulnerabilita’.

Questo comportamento e’ considerato “etico” e consente alle società di proteggere gli utenti finali, contribuendo nel contempo all’autore di portare avanti i suoi studi, e alla diffusione del know-how.
Nascondere le vulnerabilità non ha mai portato fortuna.

Sembra veramente troppo facile invocare delle regole sulla vendita dei setacci d’oro dopo che si e’ stati tra i primi a metterli sul mercato…

Sondaggio, solo per gli abbonati!

Altre letture

“Per ora è difficile fare soldi con l’intelligenza artificiale - Il Post” è un articolo di qualche mese fa, ma con spunti interessanti.

A livello filosofico, i computer sono macchine che manipolano simboli di cui non comprendono il significato.

Le intelligenze generative (GenAI) sono un tipo particolare di specializzazione all’interno della ricerca legata al machine learning che fa vacilillare questa definizione.

Le GenAI sono dei sistemi predittivi che dato un input (prompt) di lunghezza variabile, emettono un output che e’ la continuazione piu’ probabile di tale input.

Tale probabilita’ e’ basata su una serie di testi con cui il sistema e’ stato allenato (Training). Piu’ questo insieme e’ vasto, piu’ la risposta dovrebbe esser pertinente (perche’ l’originalita’ si sa, e’ una delle cose piu’ difficili da ottenere).

L’aspetto che ha reso dirompente questo sistema e’ che le GenAi sono in grado di dare risposte verosimili anche a risposte che non si trovano dei testi iniziali; le GenAi pur in modo meccanico sembrano comprendere le relazioni concettuali tra le parole della domanda.

Sembrano addirittura comprendere la semantica della domanda.

Ogni tanto invece rispondono in modo poco coerente, e in tal caso si dice sono ‘allucinate’; ovviamente il primo uso degli utenti e’ stato pubblicare prese in giro eclatanti e potenzialmente foriere di cause legali milionarie…

Infine questi sistemi al momento hanno una fienstra di attenzione limitata, per cui possono prendere in considerazione solo input di dimensione massima finita.

Come funzionano? Chi lo sa!

Lo studio delle GenAI ha una sua pietra miliare nel paper del 2017 “Attention Is All You Need” che introduce il concetto di “Transformer”. Di seguito descriveremo ChatGPT2, che benché sia un modello relativamente piccolo già mostra una certa intelligenza.

Il funzionamento di questi sistemi e’ abbastanza complesso, ed e’ basato su 4 fasi:

1. Codifica del prompt di input (toketization)
   In pratica il prompt viene codificato in una serie di token che sono gli stessi che sono stati generati durante la fase di “traning”. Questi token possono anche spezzare una parola a meta’, includere degli spazi, virgole ecc.
   ChatGPT2 usa un dizionario di 50257 token, chiamati ‘code points’.

2. Proiezione (embedding) su uno spazio vettoriale piu’ grande

   Questa fase codifica l’input in una matrice che tenga conto sia della posizione che del contesto di chiamata.
   ChatGPT2 per dare un’idea, ha un contesto di 1024 caratteri e 768 valori possibili.

3. Una fase chiamata Multi-head Attention in cui l’input viene processato da una serie di matrici Q,K,V chiamate Query, Key e Value.
   Tali matrici sono state calcolate durante la fase di training

4. Dopo essere state applicate (moltiplicate) all’input, il risultato e’ inviato ad una rete neurale a due livelli (Perceptron, quarta fase).
   Dopo ogni fase, l’output viene processato nuovamente da un altro set di queste tre matrici, e ridato in pasto alla rete neurale. Il tutto per 12 volte

La spiegazione piu’ semplice della fase di attenzione che ho trovato e’ questa
The Query word can be interpreted as the word for which we are calculating Attention. The Key and Value word is the word to which we are paying attention ie. how relevant is that word to the Query word.

[…]
The dot product between the Query and Key computes the relevance between each pair of words. This relevance is then used as a “factor” to compute a weighted sum of all the Value words. That weighted sum is output as the Attention Score.

The Transformer learns embeddings etc, in such a way that words that are relevant to one another are more aligned.

(da Transformers Explained Visually by Ketan Doshi | Towards Data Science)

In soldoni questi pesi riescono a creare una correlazione forte tra termini anche distanti tra loro, e danno molta piu’ flessibilita’ al modello.

Il paper del 2017 suggeriva di effettuare un fine-tuning ulteriore del modello ottenuto; progredendo nello studio si e’ scoperto pero’ che se il modello e’ addestrato con input vasti e disparati, non e’ necessario alcun fine tuning ed e’ in grado di rispondere a qualsiasi domanda…basta chiedere!

Al momento ci sono articoli che spiegano come replicare ChatGPT 2 con un gigantesco spreadsheet o un database SQL.

Per dare un’idea di quanti parametri abbiano questi modelli, riportiamo sotto uno specchietto riassuntivo.

Dimensione dei modelli (fonte: Wikipedia)

Approfondimenti

Spreadsheets are all you need.ai – A low-code way to learn AI (spreadsheets-are-all-you-need.ai)

Transformers Explained Visually — Not Just How, but Why They Work So Well | by Ketan Doshi | Towards Data Science

E’ scritta da Giovanni Giorgi, software architect e consulente per una grande societa’ internazionale, che ha oltre 20 anni di esperienza nello sviluppo di soluzioni IT su diversi ambiti.

In questo primo articolo chiosero’ quanto potete trovare in molte altre fonti sparse on line, cercando di filtrare le informazioni ed organizzarle nel modo piu’ funzionale possibile.

Generative AI is a type of artificial intelligence that has the capability to create or produce new content, such as text, images, or music. The "generative" aspect indicates its ability to generate new creations autonomously, simulating the creativity of a human.
(da NTT Data Group GenAI page)

La Generative AI ha avuto una notevole evoluzione nel 2023, che in particolare ha visto

• la nascita dei modelli LLaMa di Meta (giunti alla versione 2) con licenza quasi totalmente open

• altri modelli ad alta efficienza come

  • Mistral7B

  • Phi2 di Microsoft

  • Falcon7B

• evoluzioni attese da tecnologie che potremmo definire di “ottimizzazione” come LoRA e RAG

• l’entrata in campo di Grok, sistema di Elion Musk rilasciato pochissimo tempo fa.

Vediamoli brevemente per punti: approfondiremo poi aspetti specifici in altri articoli.

LLaMA spariglia le carte

LLama e LLama2 sono i modelli resi pubblici da Meta, che hanno consentito la fioritura di parecchi studi. In particolare LLama da 13B (=13 miliardi di parametri) ha superato nei benchmark GPT-3 (che ricordiamo pero’ essere un modello orami un po’ datato).

Versioni ancora piu’ piccole, da 7 miliardi di parametri (7B) hanno iniziato a diffondersi per la possibilita’ di girare con appena 16GB di RAM e un quantitativo di risorse ridotto. Per avere un’idea basti pensare che i modelli 7B girano su “commodity hardware” per es Mac M1 o superiori.

Meta e’ molto attiva in questo ambito di ricerca, e ha proposto anche modelli alternativi come code llama, specificatamente pensati per la produzione di codice.

Mistral.ai

Nel frattempo una societa’ francese ha reso pubblico un modello chiamato mistral, anche questo molto efficace e in gradi di battere Chat-GPT.

L’interesse per mistral nasce per le seguenti ragioni:

1. La licenza e’ Apache 2.0 per cui molto piu’ appetibile per grandi realta’ commerciali che volessero utilizzarlo/estenderlo

2. Si tratta di una societa’ europea (francese) e quindi in linea con i requisiti e le leggi europee

3. E’ stato lanciato a fine febbraio un servizio as a service che sulla carta e’ concorrenziale rispetto a OpenAI.

4. Microsoft ha fatto un investimento significativo su Mistral.ai (15 miliardi di euro), portandolo anche all’attenzione dell’antitrust europeo: Microsoft's deal with Mistral AI faces EU scrutiny | Reuters

5. Mistral ha lanciato anche un nuovo modello basato sul “mix di espertise” chiamato Mixtral (che approfondiremo in un prossimo articolo).

LoRA

LoRA sta per Low-Rank Adaption Tuning, che, semplificando molto, si basa sulla riduzione della dimensione (Rank) delle matrici usate internamente dai modelli GenAI, attraverso approssimazioni.
Esistono anche studi piu’ aggressivi che riducono maggiormente la dimensione del modello (QLoRA):

RAG

I modelli analizzati finora hanno un limite intorno ai 32Kb della “finestra di attenzione”, oltre la quale il modello “dimentica” quello che gli si e’ detto.

Questo limita fortemente la possibilita’ di generalizzare l’uso di una GenAI a casistiche in cui la dimensione dell’input diventa consistente (es traduzione automatica di lunghi testi, programmi, ecc); un modo semplice per ovviare a questo problema e’ integrare nella chat un database vettoriale, che sia in grado di iniettare nel contesto delle informazioni rilevanti rispetto al problema da risolvere.

Per es se chiedo a Mistral di aiutarmi a cambiare un volo aereo, il database potrebbe recuperare i dettagli del volo a partire del codice prenotazione fornito da me, in modo da fornire a Mistral un contesto d’azione piu’ preciso.

Questa strategia si chiama RAG, Retrieval-Augmented Generation e ha diverse implicazioni, anche perche’ si innesta con il Prompt engineering.

Neanche a dirlo, anche sul RAG ci sono molte sperimentazioni in corso.

Grok entra in azione

Circa grok, rimandiamo all’articolo de ilPost, seguendo il quale si puo’ arrivare al repository github ufficiale. Ci limitiamo ad osservare che il modello pubblicato e’ molto grande (314 miliardi di parametri) e quindi risulta inutilizzabile senza un significativo investimento in risorse hardware e/o cloud.

Teaser Trailer: whats next

Nella prossima puntata esploreremo come funziona una intelligenza generativa, quali sono i suoi punti di forze e quali i suoi limiti; parleremo anche degli aspetti commerciali ed etici legati a queste tecnologie

Se ci sono argomenti che ti interesserebbe venissero trattati, lascia un commento cliccando qui sotto:

Lascia un commento

Per approfondire

1. State Of LLM In 2023: A Quick Recap On Latest Advancements | by Duy Huynh | Jan, 2024 | Medium

2. How to effectively evaluate your RAG + LLM applications | by Duy Huynh | Medium

Condividi