Ciao a tutti, dopo una pausa fatlama riprende!
E come al solito, appena uno si distrae un attimo, succede che Meta Presenta LLama3 uscito il 16 aprile scorso; ne parleremo in un paragrafo apposito.
Questo bellissimo articolo de il Post, intitolato “L’entusiasmo per le intelligenze articificiali si sta un po’ stemperando”, mette nero su bianco quello che tutti abbiamo toccato con mano in questi mesi, magari senza rendercene conto: le Generative AI sono strumenti che riescono a fare cose incredibili, ma sono ancora fallaci, tanto che trasformarle in qualcosa di “vendibile” si sta dimostrando più difficile del previsto… vediamo di capire come mai.
Se oltre all’articolo citato leggete questo articolo che spiega perché le intelligenze artificiali sono “credulone“ e questo Speed of AI development is outpacing risk assessment, lo scenario diventa più tridimensionale.
Le GenAI sono motori probabilistici la cui affidabilità non è facile da garantire. Possono funzionare bene per effettuare riassunti, ma in ogni caso non possono essere lasciati “da soli”, a meno di non accettare un qualche grado di rischio. Ogni business ha un certo grado di rischio in sé, ovviamente. Per cercare di stimare quello di un sistema come ChatGPT si usano diversi test di cui vi abbiamo parlato nelle precedenti newsletter.
Il problema è che è “facile” ottimizzare una GenAI per batterne un’altra in queste prove, finendo per ottimizzarla più per il test in sé piuttosto che per renderla più precisa in generale; un po’ come se il nozionismo fosse una misura della cultura (o peggio, dell’intelligenza).
Se a questo si aggiunge il fatto che effettuare il training o anche solo il file-tuning di una GenAI richiede un numero di risorse hardware non indifferente, diventa subito evidente le difficoltà di chi deve costruire un business in quest’ambito, cercando di evitare abusi, cause legali e facendo quadrare i conti.
Da un lato quindi le piccole startup hanno enormi difficoltà ad emergere (o a non dissolversi), mentre anche i grandi gruppi non riescono a veicolare business convincenti, “prezzandoli” in relazione a quanto sono costati.
Al momento
Copilot di GitHub (Microsoft) è un sistema esperto in grado di dare suggerimenti e supportare la scrittura del codice. E’ stato uno dei primi sistemi a pagamento
Una versione simile, chiamata sempre Copilot è usato dentro Bing per integrarsi con il motore di ricerca. Riesce a creare riassunti dei termini di ricerca, ed in generale può cercare di spiegare concetti integrando le informazioni del motore di ricerca. Non è detto però che le sue risposte siano sempre corrette
OpenAI, Antrophic, Mistral.AI offrono versioni “as a service” dei loro sistemi, che possono essere tarati per diversi usi, con costi contenuti (es 25€/mese) nessuno dei quali però sembra avere un track record stellare o un caso d’uso così convincente da risultare vicente.
Llama3
E veniamo a Meta. Llama3 è appen uscito, e non è propriamente open source come già sapete, ma ha una licenza estremamente libera, che limita semplicemente la vostra possibilità di competere con Meta, ma per il resto è utilizzabile in molti contesti (anche se non siamo dei legali, leggendo su Internet molti articoli si conclude questo).
Il nuovo modello ha una versione light 8 miliardi di pesi con una finestra di attenzione di 8Kb, Ovviamente Llama3 batte Gemma a Mistral sui test, ma questo era atteso, per come funziona il meccanismo di training delle GenAI, e di cui abbiamo parlato diffusamente nella penultima newsletter.
Abbiamo fatto qualche prova chiedendo la trama di Evangelion, e tranne qualche inesattezza è risultato estremamente convincente, e non ha mai “virato” per la tangente, come succede di norma con i modelli da 7 miliardi di parametri.
Nella Chatbot arena Llama3 al momento se la gioca con i “soliti tre” pezzi da novanta che sono Gemini di Google, Claude di Antrophic e ChatGPT4 di OpenAI, è di poco inferiore e ha scalzato mixtral e altri modelli propietari. E’ interessante l’impegno profuso da Meta nello sviluppo di Llama3: se il trend di pubblicare un nuovo modello ogni anno dovesse continuare a procedere, la competizione potrebbe spingere i vari vendor a pubblicare di tanto in tanto modelli più avanzati con licenze piò o meno aperte.
In particolare Meta ha un suo datacenter dedicato, spia del fatto che Meta sia un player di primissimo piano sulla GenAI.
Sembra anche in grado di parlare in Italiano:
>>> Puoi parlare in italiano?
Sì, certo! Posso parlare con te in italiano.
Come posso aiutarti oggi? Hai bisogno di consigli, vuoi discutere un argomento specifico o semplicemente chiacchierare?
(Note: I'll respond in Italian from now on)
Come posso aiutarti oggi?
>>> Fai finta di essere un commerciale che vende un grande database di importanza mondiale. Esalta le sue caratteristiche. Sii corretto ed evidenzia anche la presenza di un singolo bug che può essere corretto con una costosa consulenza. Il tuo cliente è un idraulico.
Caro idraulico, sono lieto di presentarti il nostro Database Mondiale - The Ultimate Resource!
Questo è più di un semplice database, è un'enciclopedia vivente che contiene informazioni esatte e aggiornate su tutto ciò che conta nella tua professione.
Con The Ultimate Resource, potrai avere accesso a:
* Migliaia di articoli sulla tecnologia idraulica
* Informazioni dettagliate sugli strumenti e sulle attrezzature più innovative
* Analisi dei migliori materiali per la costruzione di tubazioni e condotti
* Consigli e best practice per risolvere i problemi comuni nell'industria idraulica
Ecco cosa ti aspetta:
* Il nostro database è costantemente aggiornato da un team di esperti in tutto il mondo, garantendo la massima accuratezza e freschezza delle informazioni.
* Possiamo aiutarti a migliorare la tua efficienza lavorativa, ridurre i tempi di reazione e aumentare la tua capacità di prendere decisioni rapide e
informate.
* Potrai accedere al database da qualsiasi luogo connesso a internet, grazie alla nostra piattaforma di accesso sicura e facile da usare.
Ma, come tutti gli strumenti straordinari, The Ultimate Resource non è privo di difetti. Sfortunatamente, abbiamo identificato un singolo bug che potrebbe
causare problemi se non risolto in fretta.
Il problema riguarda una piccola inconsistenza nella sezione "Tabelle di conversione da unità" che può portare a errori nel calcolo dei parametri tecnici.
Però, grazie al nostro team di esperti, possiamo aiutarti a correggere questo bug con un'offerta speciale di consulenza.
La nostra offerta di consulenza costa 500€, ma è garantita la correzione del bug e la massima soddisfazione per i nostri clienti. Sì, è vero che potresti
dover spendere un po' più di quanto ti aspettavi, ma il vantaggio sarà enorme. Il tuo tempo e le tue risorse saranno molto meglio utilizzati, e potrai
aumentare la tua produttività e competitività.
Quindi, idraulico, non esitare a contattarci per acquistare The Ultimate Resource e ricevere il nostro aiuto speciale per risolvere il bug. Sarà
un'investimento di lungo termine che ti ripagherà molti volte!
Contatto: [info@database.com](mailto:info@database.com)
Telefono: +39 02 1234567
Sito web: database.com
Non dimenticare, idraulico, che The Ultimate Resource è il miglior database per te e la tua professione. Non perdere questa opportunità!
>>> Send a message (/? for help)
Per cosa non vanno bene le GenAI
Ho fatto qualche prova con Llama3, supponendo che essendo stato addestrato su un corpus di documenti molto vasti, potesse perlomeno accedervi in modo preciso.
Llama3 si confonde facilmente se si cercano fatti precisi. Ho provato a vedere se mi conosceva (!) perché sono presente su Internet con lo medesimo username da almeno 30 anni…non sono famoso ma avendo un blog stabile da moltissimo tempo, con alcune piccole collaborazioni, dovrebbe avere qualche informazione su di me o…su un famoso ingegnere mio omonimo.
Ha confuso Giovanni Giorgi (un’ingegnere molto più famoso di me vissuto però nel ventesimo secolo) con un Giovanni Giorgi batterista, indicandomi il sito del secondo come blog del primo. Peraltro le informazioni sul Giovanni Giorgi fisico sembrano abbastanza campate in aria, perché essendo morto nel 1950 non può aver ottenuto una laurea nel 2006… né a fronte di qualche ricerca non mi risulta esista un ingegnere mio omonimo nato nel 1974 e laureato nel 2006.
>>> What do you know about Giovanni Giorgi, born in 1974?
After a quick search, I found some information about Giovanni Giorgi, born in 1974.
Giovanni Giorgi is an Italian computer scientist and researcher, not the martial arts practitioner I mentioned
earlier. He was born in 1974 and has made significant contributions to the field of software engineering, artificial
intelligence, and data science.
Some notable facts about Giovanni Giorgi:
1. **Research focus**: His primary research areas include machine learning, deep learning, and natural language
processing.
2. **Publications**: He has published numerous papers in top-tier conferences and journals, such as ICML, NIPS,
IJCAI, and KDD.
3. **Academic career**: Giovanni Giorgi holds a Ph.D. in Computer Science from the University of Pisa (2006) and has
worked at various universities and research institutions, including the University of California, Los Angeles (UCLA),
and the Italian National Research Council (CNR).
4. **Awards and honors**: He has received several awards for his research contributions, including the IEEE Computer
Society's Technical Achievement Award (2019).
Please note that this information is publicly available and might not be exhaustive or up-to-date. If you're looking
for more specific details or want to know about Giovanni Giorgi's current work or projects, I recommend searching
academic databases, online profiles, or contacting him directly.
Would you like me to help with anything else?
>>> Do Giovanni has a blog?
I can help you with that!
After some research, I found that Giovanni Giorgi indeed has a blog! You can find it at
[https://giovannigiorgi.com](https://giovannigiorgi.com).
Quello che è peggio è che con le corrette imbeccate potete fargli dire quello che volate: per esempio se gli suggerite qualcosa lui si confonderà inventandosi fatti di sana pianta.
Cercando di fare lo stesso con personaggio conosciuti (come Silvio Berlusconi o Giulio Cesare) Llama3 non viene colto in fallo, e i miei tentativi di trasformarle il nostro celebre condottiero romano in ricercatori di intelligenza artificiale non hanno avuto successo.