AI Generativa

Summary

The video script discusses the transformative impact of generative AI, focusing on its potential to enhance business processes and overall quality of life. It highlights a study by Microsoft and Ambrosetti on the economic impact of generative AI, suggesting it could boost Italy's GDP by 18% and save nearly 6 billion hours annually. The speaker, Valentina, a Microsoft data intelligence expert, delves into the evolution of AI, from its inception in 1956 to the present day, where models like GPT have shown 'emerging capabilities' beyond content generation. She emphasizes the importance of responsible AI, outlining Microsoft's approach to ethical guidelines and the use of tools like the Content Safety API. The discussion also covers the CoPilot software by Microsoft, which integrates AI to assist users within applications, and the rising trend of Small language Models that are more adaptable for specific use cases. The script concludes with a call to action for leveraging AI responsibly and collaboratively to improve lives, reflecting on the importance of understanding and controlling the use of AI technologies.

Takeaways

• 📈 The impact of generative AI on the Italian GDP could be as high as 18%, indicating a significant potential for economic growth through AI integration.
• ⏱️ Generative AI services could save nearly 6 billion hours annually by automating tasks that are time-consuming but have low added value.
• 🤖 AI models like GPT are general-purpose and can adapt to various tasks based on user requests, unlike traditional AI models that are specialized for specific tasks.
• 🧠 Large language models have over 100 billion parameters, making them highly efficient at connecting different domains of knowledge, similar to a general practitioner in medicine.
• 🔍 They introduce a new method of research called 'vector search,' which converts text into numeric vectors that represent the semantics of words in a vector space.
• 💬 The conversational interface of these models is disruptive, allowing users to interact with complex scientific objects without needing in-depth knowledge.
• 🧰 The models can be integrated with other tools and services through plugins, which can be used to navigate the internet or interact with proprietary data.
• 🛠️ Microsoft's Azure OpenAI service provides access to advanced AI models and is aligned with enterprise-scale application requirements, ensuring data protection and privacy.
• 🔗 The Transformer architecture, introduced by Google in 2017, has been fundamental in the development of large language models, enabling the creation of more sophisticated AI systems.
• 🌐 Multimodality and multiagency are emerging trends where AI models can interact with both text and visual data, and collaborate with other specialized models to perform tasks.
• 🧐 Responsible AI is a key focus, with Microsoft implementing content safety, prompt engineering, and other mitigation techniques to ensure AI applications are unbiased and safe for users.

Q & A

What is the main focus of the webinar series mentioned in the transcript?

The main focus of the webinar series is the use of AI for inclusion purposes, aiming to enhance accessibility and inclusivity in various aspects such as frontend development, design, and cloud services.

What is the significance of the 'AI for Inclusion' event on June 17, 2024?

The 'AI for Inclusion' event is significant as it features talks on the use of AI in various fields, including medicine, and offers a 50% discount on ticket purchase with the coupon code 'ai for inclusion', providing an opportunity to learn about AI's impact across different sectors.

How does Valentina describe the potential impact of generative AI on the Italian economy?

Valentina highlights that generative AI could have an impact on the Italian GDP equivalent to 18% and could save nearly 6 billion hours annually by automating tasks that are time-consuming but have low added value.

What is the role of Microsoft in the development and application of AI technologies as discussed in the transcript?

Microsoft has heavily invested in AI, achieving milestones in various AI systems and partnering with OpenAI. It has integrated OpenAI models into its Azure platform, offering services like Azure OpenAI that align with enterprise-scale application needs, including data protection and role-based access control.

What are the key components of the 'CoPilot' application developed by Microsoft?

The 'CoPilot' application is composed of large language models that act as the 'brain', user data or application data, and plugins for interacting with the external world, all connected through a conversational interface.

How does the concept of 'multimodality' enhance the capabilities of AI models?

Multimodality introduces the concept of inputs and outputs that are not only textual but also visual, such as images. This allows AI models to interact with and understand a combination of textual and visual data, enhancing their ability to process and generate responses.

What is the 'Content Safety' API, and how does it contribute to responsible AI?

The 'Content Safety' API filters content entering and exiting the AI models, categorizing it into risk levels. It helps in filtering out content that is associated with unacceptable risk levels, thus contributing to the responsible use of AI by mitigating potential harm.

What is the role of 'prompt engineering' in guiding the behavior of AI models?

Prompt engineering involves specifying instructions to the AI model in natural language, which can guide the model's behavior in terms of style and constraints on what it should or should not do. This helps in aligning the model's responses with the desired outcomes and maintaining ethical standards.

How does the 'CoPilot Stack' architecture facilitate the development of applications with large language models?

The 'CoPilot Stack' architecture provides a high-level framework that includes foundational models, infrastructure, front-end components, and extensibility with plugins. It allows developers to build 'CoPilot' features into their applications by grounding the model's responses on specific data and providing tools for interaction.

What are 'Small language Models', and how do they differ from large language models?

Small language Models maintain the same Transformer architecture as large language models but are more compact and lightweight, making them easier to fine-tune or even train from scratch. They offer a viable alternative for applications where customization and verticalization are necessary.

What is the 'Aurelium Studio', and how does it aid in the development of generative AI applications?

Aurelium Studio is a platform introduced by Microsoft that consolidates various AI services and provides a catalog of models beyond Azure OpenAI. It facilitates end-to-end project management for generative AI, including monitoring and testing of applications, making it easier to develop applications with large language models.

Outlines

00:00

😀 Introduction to the Webinar Series on AI for Inclusion

The first paragraph introduces the webinar series on using AI for inclusion purposes. It mentions the series is being organized in conjunction with the AI for inclusion event. The first three sessions covered topics like accessible frontend development, inclusive design, and an introduction to cognitive AI services. The speaker advises watching previous sessions for foundational knowledge and thanks the partners involved in organizing the event, including Microsoft, the Italian Dyslexia Association, and others. They also encourage the audience to follow their social media channels for updates on upcoming events and projects.

05:00

📈 Impact of Generative AI on the Economy and Business Processes

Valentina discusses the impact of generative AI on various business divisions across industries. She cites a study by Microsoft and Ambrosetti that found generative AI could potentially increase Italy's GDP by 18% and save nearly 6 billion hours of work annually. Valentina explains that generative AI is a subset of artificial intelligence and builds upon machine learning and deep learning models. She also touches on the evolution of AI, from its inception in 1956 to the recent advancements with models like Chat GPT.

10:02

🤖 General Purpose Models and Emerging Capabilities of AI

The third paragraph delves into the characteristics of general purpose AI models like GPT, which are trained on diverse datasets and can adapt to various tasks based on user input. Valentina emphasizes the importance of understanding these models' training process, which involves a pre-training phase on the internet and a fine-tuning phase using human feedback. She also highlights the models' ability to perform reasoning and generate sophisticated content, setting them apart from traditional AI models.

15:03

🧠 Large Language Models as the Brain of Modern Applications

Valentina talks about the role of large language models (LLMs) as the 'brain' behind modern applications. She discusses the concept of a 'CoPilot Stack' architecture where the LLM serves as the core engine, integrated with application data and external tools. The speaker also mentions the benefits of LLMs, such as their ability to make connections between different knowledge domains, enable vector-based research, and provide conversational interfaces for natural language interactions.

20:03

🌐 Integration of AI Models with Azure OpenAI and Other Cognitive Services

The fifth paragraph focuses on the integration of OpenAI models with Microsoft Azure's AI services. Valentina explains that Microsoft has licensed OpenAI models to offer as part of Azure Cognitive Services. This allows developers to access and fine-tune OpenAI models, including GPT-3.5 and GPT-4 Vision, within the Azure ecosystem. She also discusses the advantages of this integration, such as data protection, enterprise-scale application features, and the ability to leverage other Azure AI services for enhanced capabilities.

25:04

🔍 Market Analysis and Development of a Trend-Aligned Video Game

In the sixth paragraph, Valentina provides an example of using multi-agent architecture to develop a video game that aligns with market trends. She outlines the roles of different agents, such as a market researcher, storyteller, developer, critic, and test engineer, each with specific tasks and tools. The speaker emphasizes the benefits of having specialized agents working together, which can improve performance, enable better quality control, and create a more collaborative environment.

30:06

🤖 Introducing Microsoft's AI-Powered CoPilot Software

The seventh paragraph introduces Microsoft's CoPilot software, which is powered by large language models and designed to act as a virtual assistant for users. Valentina explains that CoPilot is built using the components discussed earlier, such as the LLM, application data, and external plugins. She also mentions the 'CoPilot Stack' architecture that Microsoft has adopted across its applications like Office, Dynamics, and Windows. The speaker highlights the disruptive nature of CoPilot's conversational interface and its potential to change how users interact with applications in the future.

35:07

🛡️ Responsible AI: Ensuring Unbiased and Safe AI Applications

The eighth paragraph discusses the importance of responsible AI practices to ensure that AI applications are unbiased and safe for users. Valentina talks about Microsoft's commitment to responsible AI since 2016 and the introduction of guidelines and principles to guide the development of AI applications. She also covers various techniques for mitigating risks, such as using unbiased datasets, implementing content safety filters, specifying prompt engineering, and designing secure frontend interfaces. The speaker emphasizes the need for continuous monitoring and improvement to enhance the safety of AI applications.

40:08

📚 Valentina's Insights on Responsible AI and Upcoming Microsoft Events

In the final paragraph, Valentina shares her thoughts on responsible AI and the need for developers to stay informed about the ethical considerations and potential risks of AI applications. She also mentions some of her talks available on the website and encourages the audience to watch them for more insights. The speaker highlights an upcoming Microsoft event called 'Global Azure' and invites everyone to join for a coffee and discussion. Valentina concludes by thanking the audience for their participation and expressing her hope that the webinar was informative and engaging.

Keywords

💡Inclusion

Inclusion refers to the practice of involving all individuals, particularly those who may be marginalized or underrepresented, in an organization or society. In the context of the video, the webinar series is dedicated to using AI for purposes of inclusion, aiming to make technology more accessible and equitable for all users.

💡AI for Inclusion

AI for Inclusion is a concept that involves the use of artificial intelligence technologies to promote inclusivity. The video discusses a series of webinars focused on this theme, highlighting initiatives and discussions on how AI can be leveraged to enhance accessibility and diversity.

💡Webinar Series

A webinar series is a sequence of online seminars or lectures, often conducted in real-time and accessible over the internet. The video script mentions a specific series of webinars about the use of AI for inclusion, indicating a structured program to educate and inform participants on the topic.

💡Microsoft

Microsoft is a leading technology company that develops, manufactures, licenses, and supports a wide range of software products and services. In the script, Microsoft is mentioned as a partner in organizing the webinar series and as a key player in the development and application of AI technologies for inclusion.

💡Generative AI

Generative AI refers to a subset of artificial intelligence that can create new content, such as text, images, or music, that is similar to the content it was trained on. The video discusses the potential impact of generative AI on various business processes and its role in enhancing the quality of life.

💡Accessibility Days

Accessibility Days is an event that focuses on raising awareness about accessibility, particularly in the digital realm. The video mentions this conference as an important date for discussing and promoting accessibility standards and practices.

💡Large Language Models (LLMs)

Large Language Models are a type of AI model that can process and understand vast amounts of language data. They are capable of performing tasks such as text generation, translation, and even complex reasoning. The video discusses the role of LLMs in the evolution of AI and their application in various fields.

💡Transformers

Transformers are a type of AI model architecture that is particularly effective for handling sequence-to-sequence tasks, such as translation and text generation. The script mentions Transformers as a pivotal development in the field of generative AI, enabling the creation of large language models.

💡Responsible AI

Responsible AI is an approach to the development and deployment of AI systems that emphasizes ethical considerations, fairness, transparency, and accountability. The video touches on the importance of responsible AI practices, especially when deploying AI services and considering their potential impact on users.

💡Azure OpenAI

Azure OpenAI refers to the integration of OpenAI models within Microsoft's Azure cloud computing platform. This allows developers to access and utilize advanced AI models, such as those from OpenAI, for their applications. The video discusses Azure OpenAI as a service that aligns with enterprise-level applications and data protection standards.

💡CoPilot

CoPilot, in the context of the video, refers to a software concept introduced by Microsoft that uses AI to assist users in their tasks, much like a copilot assists a pilot. It is designed to leverage large language models to enhance productivity and user experience within various applications.

Highlights

The webinar series is dedicated to the use of AI for inclusion purposes.

Previous webinars covered topics like accessible frontend development, inclusive design, and an introduction to AI with future cognitive services.

The importance of watching previous webinar recordings for foundational knowledge.

Gratitude expressed to partners like Microsoft, the Italian Dyslexia Association, and others for their collaboration.

Recommendation to follow their social media channels for updates on events and initiatives.

Details about the 'accessibility Days' conference, held annually in May to raise awareness for accessibility.

An introduction to Valentina, who works with Microsoft on AI and data intelligence and has a focus on generative AI.

A study by Microsoft and Ambrosetti on the impact of generative AI across industries, highlighting a potential 18% increase in Italy's GDP.

Generative AI could save nearly 6 billion hours annually by automating repetitive tasks.

AI has evolved from the initial concept in 1956 to modern deep learning and transformer models capable of complex tasks.

The transformative potential of AI in various sectors, including medicine, as discussed in various talks.

An overview of the AI for Inclusion event on June 17, 2024, emphasizing the importance of responsible AI.

A 50% discount on tickets to the AI for Inclusion event using the coupon code 'ai for inclusion'.

The architecture of modern applications with large language models acting as a 'brain' and plugins extending their capabilities.

The rise of 'multimodal' and 'multiagent' systems, where AI can interact through text, images, and collaborate between different specialized agents.

The introduction of Azure OpenAI, Microsoft's service that aligns with OpenAI models and offers fine-tuning and multimodal capabilities.

The concept of 'CoPilot' in Microsoft applications, acting as AI assistants to enhance user interaction and productivity.

The importance of responsible AI, including unbiased datasets, content safety, and prompt engineering to guide AI behavior.

The 'CoPilot Stack' architecture that Microsoft has been using to integrate AI into its applications like Office and Dynamics.

The emergence of 'Small language Models' that are more lightweight and easier to fine-tune for specific tasks.

The launch of Azure AI Studio, a platform for managing and developing applications with large language models, including a catalog of models and integration with Open Source.

Transcripts

Eccoci bentornate E bentornati alla

nostra serie di webinar dedicate al

l'uso di ai per scopi di inclusione

Questa è una serie di webinar che stiamo

organizzando in accompagnamento all'ac

ton ai for inclusion che che stiamo

organizzando abbiamo

già iniziato con la nostra serie di

webinar quindi le prime tre puntate che

abbiamo avuto con Diana Bernabei per la

parte di sviluppo di frontend

accessibile con Chiara Longobardi per

design inclusivo e con Manuela Polimeno

che ci ha introdotto ad

Aure tema che ci tornerà ovviamente

utile sia oggi sia nel nella prossima

puntata sui cognitive ai Services perché

ci ha dato i fondamenti dell'uso di

servizi Cloud così possiamo darlo come

prerequisito il consiglio è di

guardare le puntate precedenti perché ci

fanno l'affondamento c'è una

propedeuticità

Ovviamente un doveroso ringraziamento ai

nostri compagni di viaggio nella

organizzazione di questo Akon e cioè

Microsoft associazione italiana

dislessia fondazione aspia

internazionale Sordi l'unione italiana

cchi po vedenti perché semplicemente

senza i compagni di viaggio questa

iniziativa nella quale crediamo

moltissimo Non sarebbe

stata possibile quindi veramente kudos e

cuore

grande Rimaniamo in contatto quindi il

consiglio per tutte e tutti è boh

dipendentemente dove ci state seguendo

in questo momento LinkedIn Twitter T

followate e poi canale telegram e gruppo

telegram Perché tutte le novità Le

pubblichiamo lì per

esempio pubblicheremo

a breve diciamo così

la la data e la location dove

effettueremo la data finale del dell'at

Quindi dove ci sarà la presentazione dei

progetti finalisti e quant'altro Io

ricordo sul nostro sito

www improv Tech trovate in h page la

card dell laton e potete vedere sia i

progetti già proposti ai quali potete

aderire partecipare Oppure potete

proporne di nuovi col vostro Team oppure

progetti dei quali siete owner

adottabili dalla Community questa cosa

funziona tanto più quanti E quante più

siamo

a fare qualche cosa a scopo di uso della

tecnologia per

inclusione sempre sul tema di inclusione

accessibilità ricordo che il 16 e il 17

maggio come tutti gli

anni si svolge il la conferenza

accessibility Days come tutti gli anni è

l'ottavo anno e sempre la terza

settimana di maggio Perché il terzo

giovedì di maggio è il God Global Access

awareness Day cioè la giornata mondiale

per la awareness consapevolezza

dell'accessibilità per il secondo anno

di fila si svolgerà a Roma presso

l'edificio Marco Polo dell'università La

Sapienza ma è accessibile frequentabile

partecipabile anche in live streaming

quindi www. accessibility days.it ci si

scrive

facile Questo è un aaton ai for

inclusion ed è la serie di webinar ai

for inclusion quindi inclusion ma anche

ai invece segnaliamo il nostro ehm e

Conf il nostro evento non c'è scritto

perché sono un pollo ma è 17 giugno di

quest'anno ovviamente 2024

e un sacco di talk molto interessanti

sull'uso di ai in vari ambiti per

esempio anche in ambito medico Cè un

Talk di quelli che io per primo vorrò

vorrò frequentare Vorrò vedere

e uno sconto con tra l'altro c'è c'è un

errore perché in realtà lo sconto è del

50% sull'acquisto del biglietto col

coupon a ai for inclusion è un'altra

buona opportunità e Finalmente direi che

ho concluso il mio pentolame e veniamo

alla parte interessante la parte

interessante è quello che ci mostrerà

oggi una non dico una persona dico una

dico una amica perché perché questo

questo è

Valentina Valentina è un'amica con la

quale

abbiamo fatto già alcune cose molto

interessanti che trovate nel video

browser e quindi al con al all'urlo

nerdom metro 9000 non Ecco con noi

Valentina

ciao ciao ciao Andrea e ambizione di

oggi ovviamente è superare il 9000

Quindi wow Esatto molto

committal virtuale io mi metto in

ascolto in visione Ma anche a guarderò

la la chat Quindi se avete domande per

Valentina scrivete nella chat le le

raccolgo e poi alla fine ne parliamo

vale

Vai Grazie Andrea e Ciao a tutti Buon

pomeriggio io sono Valentin alto e

lavoro in Microsoft mi occupo di dati

intelligenza artificiale sulla

piattaforma di Aure cloud e diciamo che

nell'ultimo anno sia per passione che

per lavoro mi sono verticalizzata molto

in ambito generative ai ed è infatti di

questo che oggi andiamo a parlare

comincio con

qualche nozione un po' Noiosa ma che ci

ritornerà utile quando parleremo di

tecnologia quello che vi sto mostrando è

il risultato di una ricerca che

Microsoft ha condotto assieme allo

studio Ambrosetti qualche mese fa

relativamente all'impatto che la

generative ai può avere per divisione di

business all'interno di organizzazioni

che sono cross Industry quindi in questa

griglia di fatto vediamo quello che

potrebbe essere il potenziale della

generative ai nei processi aziendali ve

lo sto mostrando sia perché è una

bellissima ricerca che di cui poi vi

posterò il link se volete leggere per

intero ma soprattutto perché il

contenuto di queste Celle È stato

compilato di fatto da CPT cioè CPT è

stato un protagonista ne tra i relatori

che hanno di fatto contribuito all'

stesura di questa ricerca quindi già qui

vediamo un primo impatto concreto

l'impatto serio diciamo l'output non

prodotto da Cat GPT in questa ricerca è

è un output numerico in termini di

impatti concreti che queste tecnologie

possono avere a livello non solo di

industrie ma proprio a livello di

sistema paese di sistema Italia e qui

vediamo due numeri pazzeschi Il primo è

l'impatto che la generative ai può avere

sul PIL pari al

18% parliamo del 18% del PIL italiano Il

secondo è l'ammontare di ore risparmiate

ore annuali risparmiate che si possono

computare nel momento in cui i servizi

di generative ai vanno a automatizzare

tutti quei Task che occupano molto tempo

nelle nostre giornate lavorative ma sono

Di poco valore aggiunto e queste ore

ammontano a quasi 6 miliardi annuali che

è un numero incredibile Quindi due

diciamo numeri che ci danno un'idea di

quanto la generative ai possa

effettivamente lasciare un impatto a

livello di sistema paese e come

l'obiettivo ultimo sia quello di rendere

migliore diciamo la qualità della vita

di noi esseri umani

ora quando parliamo di generative ai

Parliamo di un sotto sotto sottoinsieme

dell'intelligenza artificiale

Probabilmente questa slide l'avrete

vista 402 volte nell'ultimo anno quindi

ho cercato di renderla un po' diversa eh

dando un significato alle date che sono

rappresentate anzitutto quando parliamo

di intelligenza artificiale Parliamo di

un dominio di ricerca che nasce nel 1956

da un'affermazione di tale mccarthy

veramente interessante L'affermazione è

che qualsiasi processo cognitivo

dell'essere umano se propriamente

descritto può essere replicato da una

macchina e sulla base di questo assunto

nasce questo dominio di ricerca che si

chiama appunto intelligenza artificiale

ora per rendere le macchine capaci di m

riprodurre dei processi cognitivi

servono dei modelli matematici e questi

modelli fanno parte del dominio del

machine Learning il machine Learning

comincia a catturare l'attenzione nel 97

quando

un un super un modello ospitato su un

super computer riesce a battere la Lora

campione di scacchi E quando questi

modelli di Machine Learning diventano

così profondi e così potenti da

rientrare in un contesto che si chiama

Deep Learning Deep Perché queste reti

neurali sono appunto questi modelli sono

fatti da diversi strati da tantissimi

strati sono profondi per questo Deep

Learning ecco quando i modelli Deep

Learning diventano così potenti da

batter

non solo un campione di scacchi ma anche

un campione di Go che è un gioco con un

numero di combinazioni e un livello di

complessità molto maggiore rispetto al

gioco degli scacchi Ecco che ci rendiamo

conto che ci stiamo muovendo verso degli

oggetti dei sistemi con una potenza

incredibile fino ad arrivare poi al

novembre 2022 quando

openi lancia sul mercato un'applicazione

consumer quindi vuol dire che tutti noi

l'abbiamo potuta testare Sen dal giorno

un che che si chiama chat GPT chat GPT è

la manifestazione di intelligenza

artificiale generativa Cosa vuol dire

generativa vuol dire che il modello

dietro chat GPT che nello specifico è un

Transformer quindi i modelli dietro

questi oggetti di generere tvi si

chiamano Transformer Ecco questi modelli

sono in grado di comprendere l'intento

dell'utente il linguaggio naturale e di

produrre di generare del contenuto

exnovo questa diciamo è la definizione

super generica vedremo che questi

modelli sono molto di più di quello che

vi ho appena detto ma lo vedremo diciamo

nelle slide successive prima di andare

avanti Volevo solo mostrarvi come

Microsoft che in openi ha investito

massivamente con due in due date

principali che sono il 2019 e il

2023 Microsoft ha di fatto iniziato a

lavorare in ambito di intelligenza

artificiale Ben prima del 2019 e quelle

che vedete sullo schermo sono le date in

cui Microsoft raggiunto nei vari sistemi

di intelligenza artificiale la

cosiddetta Human parity ossia generare

dei sistemi di ai che sono in grado di

performare almeno tanto bene quanto un

essere umano in un determinato dominio

e la cosa interessante di questi modelli

di generative ai che oltre a generare

contenuto come siamo detti Stanno

cominciando a mostrare le cosiddette

emerging capabilities quindi delle

capacità che

eh in qualche modo esulano dalla pura

generazione di contenuto ma che vanno

quasi a manifestare dei ragionamenti

rispetto all richiesta dell'utente ed è

qui che c'è subito da distinguere quello

che è un modello cosiddetto base e

quello che è un un modello Assistant

come c'ha GPT il primo mito da sfatare

appunto è questi modelli sono dei

pappagalli stocastici che completano le

frasi senza Real ente capire qual è

l'intento dell'utente la risposta è sni

nel senso che il processo di training di

questi modelli di generative ai è molto

complesso ma è importante comprendere

anzitutto che questi modelli si

differenziano dai modelli tradizionali

di intelligenza artificiale per il fatto

di essere General purpose Questo vuol

dire che questi modelli non sono

verticalizzati per un tas specifico che

può essere estrazione di name identity

Recognition piuttosto che

classificazione di immagini ma sono

modelli che sono stati trainati su una

base di dati estremamente eterogenea e

vasta tale per cui il modello si adatta

al Task rispetto alla richiesta

dell'utente Quindi io a c GPT posso

chiedere di classific armi le review

di prodotti Amazon e fare sentiment

analysis così come posso chiedergli di

generare un paragrafo relativamente a un

argomento di mio interesse quindi

parliamo di due Task totalmente distinti

in passato sarebbero serviti due modelli

per F fare questa cosa con risultati

probabilmente inferiori in termini di

performance oggi si può fare con un solo

modello grazie al fatto che questi

modelli appunto sono in grado di

catturare l'intento dell'utente e

adattarsi a Task variegati per il fatto

di essere General purpose ora Eh ho

detto che il training di questi modelli

è molto complesso e ci sono però diciamo

c'è un aspetto che è importante cogliere

per capire quanto questi oggetti non

siano semplicemente dei predittori della

parola successiva

la prima fase del training di questi

modelli la chiamiamo pre-training

consiste di fatto in una fase non

supervisionata di training su tutto

l'internet i modelli di tipo GPT Ma

anche gli altri modelli che stanno

uscendo sul mercato Lama 2 Mistral sono

trainati sull'internet quindi sanno di

fatto tutto quello che accade di

pubblico fino alla data in cui sono

trinati l'output di questa fase di

training è un modello che viene

cosiddetto definito base Model il base

Model è un modello di completamento

quindi il modello andrà a predirre la

parola successiva rispetto alle parole

che noi scriviamo e che diamo come input

a questo modello E come lo fa lo fa

sulla base statistica di tutto quello

che ha visto sull'internet quindi se noi

compiliamo la donzelletta vien dalla il

modello previr verosimilmente campagna

perché campagna è la parola con una

probabilità associata più alta rispetto

a tutto il resto sulla base di quello

che il modello ha visto su internet ora

il punto è quando noi utilizziamo Cat

GPT ci rendiamo conto che non stiamo eh

parlando con un modello di completamento

Cè GPT è in grado di fare dei

ragionamenti e di produrre dei contenuti

molto raffinati e complessi e questo

avviene grazie alla seconda fase di

training che prevede una serie di fasi

in cui si fa del fine Tuning del modello

per renderlo più adatto a un tipo di

interazione conversazionale e e una fase

di rewarding del modello sulla base di

input dati da un team di esseri umani

come se noi giudicassero il modello e il

modello si aggiornasse sulla base di

quello che piace a noi è per questo che

G GPT In qualche modo ci ha catturati

così tanto nel momento in cui all'inizio

abbiamo cominciato a utilizzarlo E

personalmente continua a a stupirmi ogni

volta che che lo uso Ecco quest'ultima

fase che si chiama nello specifico

reinforcement Learning with Human

feedback

è fondamentale nel momento in cui noi

vogliamo dei modelli che in gergo si

definiscono Human aligned quindi

allineati con gli esseri umani con

quello che ci aspetteremmo da un modello

come se parlassimo con un altro essere

umano da qui ci rendiamo conto che

questi modelli non sono solamente dei

predittori Ma hanno delle capacità che

vanno ben oltre la prima che è propria

di questi modelli è il fatto che m Beh

questi modelli sono enormi hanno un

quantitativo di parametri che va oltre i

100 miliardi Tuttavia sono meno

parametri meno connessioni di quanto ne

abbiamo noi nel cervello ma nonostante

questo questi modelli sono molto più

efficienti ed efficaci di noi nel

compattare informazioni in queste

connessioni quindi sono molto bravi

nell'arte dell'unire puntini tra Domini

di conoscenza diversi e questo è

fondamentale immaginiamoci il classico

esempio di un medico generalista che

deve avere delle nozioni molto verticali

su vari Domini e soprattutto deve essere

in grado di collegare sintomi tra di

loro che possono essere pertinenti Di

aree di studio diverse avere un

assistente che è estremamente rapido

nell'identificare le connessioni tra

aree di studio diverso è estremamente

utile il secondo tema è quello di

ricerca i large language Models

introducono un nuovo modo di fare

ricerca che nello specifico Si chiama

ricerca vettoriale Perché Perché questi

modelli sono in grado di

convertire il testo in vettori numerici

che vivono in uno spazio vettoriale

rappresentativo della semantica di

questi di queste parole associate Cosa

vuol dire vuol dire che in uno spazio

vettoriale noi avremo vettori che

rappresentano parole che sono più o meno

vicini a seconda di quanto sia la

vicinanza semantica dei loro concetti

quindi i large language Models di fatto

introducono questo nuovo metodo di

ricerca che si è dimostrato estremamente

per formante la terza capacità è

l'interfaccia conversazionale lo abbiamo

detto dall'inizio il fatto che noi

possiamo parlare con questi modelli il

linguaggio naturale è un qualcosa di

disruptive perché stiamo accedendo a un

oggetto scientifico molto complesso

senza averne minimamente conoscenza

quindi è se volete un abbattere la

barriera tra un concetto complesso e un

utente che può non arrivare a quella

complessità di

conoscenza ultimo elemento che però è

alla base di tutto quello che sta

accadendo in questo momento Nel mondo è

il fatto che grazie alla loro capacità

di orchestrazione di ragionamento questi

modelli sono i perfetti cervelli da

mettere nelle nostre applicazioni

rendendo le applicazioni moderne e llm

powered se vogliamo dire e come Vedremo

Questo è il pattern che si sta vedendo

nelle varie applicazioni moderne che

stanno nascendo in questi mesi che

abbiamo visto nascere appunto in questi

mesi

m quando dico che il large language

Models è il cervello dell'applicazione

intendo se immaginiamo un'architettura

ad alto livello che il modello diventa

una sorta di layer di disaccoppiamento

tra quello che è un front-end

conversazionale e quello che è un

backend fatto di

dati proprietari o comunque dati che non

fanno parte del training set perché

saranno dati dell'organizzazione o

nostri privati che non abbiamo voluto

ovviamente dare Nel training set del

modello Ma che allo stesso tempo

Vorremmo che il modello sapesse in modo

che può rispondere rispetto a quei dati

ecco quindi Questi sono i dati che

vengono navigati dal modello sotto forma

di embedding di vettori come abbiamo

visto prima e la seconda parte del

backend sono i connettori i Plugin

quindi quegli strumenti che noi diamo al

modello per fare cose per navigare

nell'ecosistema attorno al modello

stesso ad esempio nella versione di C

GPT noi interagiamo con un modello che

non ha accesso ad internet Se invece

volessimo avere uno strumento che sulla

base di richieste che presuppongono una

risposta aggiornata sappiamo che i

modelli sono trainati fino a una certa

data in quel caso il modello avrà

bisogno di uno strumento per poter

navigare internet e la cosa meravigliosa

È che noi diamo gli strumenti al modello

e il modello è in grado di capire quando

usare un determinato strumento rispetto

la richiesta dell'utente ed è qui che è

il potere emergente di questi modelli

capiscono l'intento E capiscono di non

essere in grado di soddisfare l'intento

e quindi hanno bisogno di uno strumento

e questo è diciamo una architettura

Super High level di come si di come Di

fatto si costruiscono le applicazioni

con gli LMS ora Entrando nello specifico

m tra i modelli che in questo momento si

stanno affermando maggiormente sul

mercato sono Senz'altro i GPT openi è

L'azienda che ha lanciato cgpt e openi e

Microsoft hanno una partnership che è

nata Appunto nel 2019 come abbiamo visto

D linea del tempo è nata nel 2019 ed è

continuata nel corso degli ultimi anni

fino a che Microsoft non ha diciamo

ottenuto la licenza di poter esporre i

modelli di openi sulla propria

piattaforma Azure quindi questo cosa

vuol dire vuol dire che all'interno dei

servizi di ai di Aure quindi gli ex

servizi cognitivi

esiste anche il servizio di Aure openi

che è allineato con tutte le

caratteristiche che openi espone come

azienda stand alone quindi all'interno

del servizio di ure openi ci saranno i

modelli dal GPT 3.5 in avanti incluso il

GPT 4 Vision quindi il modello

multimodale ci saranno ci sarà la

possibilità di fare fine Tuning ci sarà

la possibilità di utilizzare il modello

da lì per la generazione di immagini

Quindi tutti i modelli di openi sono

disponibili sulla piattaforma Azure il

che comporta una serie di eredità che

questo servizio eredita appunto in virtù

del fatto che si trova sul Cloud di

Microsoft La prima è la protezione dei

dati nonché il fatto che questi dati

quindi le conversazioni che noi abbiamo

con i modelli non concorrono in alcun

modo a migliorare o comunque modificare

il modello stesso e tutte le logiche di

Enterprise scale application quindi Role

Based Access control private IP eccetera

eccetera che caratterizzano tipicamente

le applicazioni di scala Enterprise

quindi utilizzare i modelli di asure

openi suè di openi da Aure consente Un

accesso e una diciamo un ecosistema che

è tipico delle applicazioni di grandi

organizzazioni ora Nello specifico

quando parliamo di Aure openi parliamo

appunto di un servizio che si colloca in

un portafoglio molto ampio di Microsoft

di servizi di intelligenza artificiale

perché come abbiamo visto prima è dal

2016 che Microsoft comunque lavora in

ambito lavora nel settore Quindi accanto

ad de openi Ci saranno anche altri

servizi più verticali come ad esempio i

servizi di visione piuttosto che i

servizi di speech to text e Text to

Speech qual è la cosa interessante è che

in quanto ecosistema ure openi può

beneficiare dell'esistenza di questi

altri servizi perché sono nativamente

integrati quindi si possono Arricchire

le capacità dell'uno piuttosto che

dell'altro grazie al fatto fatto che

sono delle api che vengono richiamate

dal medesimo cloud e che possono essere

integrate all'interno delle applicazioni

in modo appunto

nativo ora facciamo un

attimo diciamo una fotografia di da dove

siamo partiti e dove siamo

ok ho menzionato prima che i modelli

dietro CH GPT e in generale dietro i

large language Model sono una

particolare categoria di modelli che si

chiamano Transformers i Transformers

hanno hanno segnato un passaggio

fondamentale nell'architettura dei

modelli di Deep learning in questo caso

generative ai perché hanno reso

possibile la nascita de large language

Models l'introduzione

Transformers nasce con un Paper di

Google nel giugno 2017 tra giugno 2017 e

cgpt passano 5

anni tra il lancio di cgpt e oggi in cui

adesso andremo a vedere quali sono i

Trend di mercato più popolari passano

Meno di 2 anni questo dà un'idea del

ritmo di sviluppo di queste tecnologie

nel negli ultimi Meno di 2 anni negli

ultimi 18 mesi ed è incredibile e questo

andrà come dire ancora più veloce nei

prossimi mesi verosimilmente quindi

stiamo assistendo a una rivoluzione

incredibile con un proprio passo di

sviluppo estremamente

accelerato qui vediamo che da lancio di

GPT ad oggi ci sono sono emersi diversi

patter

architetturali e in particolare ne

menziono un paio Il primo è il rag

preferiva all' augmented Generation

questo

pattern va ad indirizzare il primo

problema che emerge con i large language

Models ossia che non conoscono i nostri

dati per fortuna aggiungerei Quindi cosa

vuol dire vuol dire andare a innestare

una conoscenza cosiddetta non

parametrica quindi una conoscenza

esterna rispetto al modello Sul modello

in modo che il modello possa cercare la

risposta all'interno di questa

documentazione che noi gli forniamo

documentazione che viene vettorizzato

quindi torniamo al tema della ricerca

intelligente e e questo è il primo

pattern che si afferma abbiamo poi il

tema dei plugin lo abbiamo menzionato

prima quindi dare gli strumenti ai

modelli affinché possano navigare e

interagire con l'ecosistema

circostante abbiamo poi la multimodalità

quindi introdurre il concetto di input e

output di dati non solo testuali ma

anche ad esempio visuali quindi le

immagini e ed è diciamo è il periodo in

cui viene lanciato sul mercato GPT for

Vision quindi il GPT che con cui noi

possiamo interagire sia Testualmente che

tramite immagini e infine il tema dei

multiagent quindi costruire applicazioni

in cui abbiamo diversi agenti paati da

large language Models ognuno

specializzato in una determinata

attività che collaborano tra di loro

orchestrati da un llm che fa da brain

sulla base della richiesta dell'utente e

qui vedremo qualcosa proio nello

specifico focalizziamoci un attimo sulla

multimodalità e sulla sul multiagency

visto che sono i due temi forse più

interessanti al momento per darvi

qualche esempio di Cosa vuol dire

multimodalità vediamo qualche screenshot

dal Playground di asure openi quindi in

questo momento mi trovo nella chat di

asure openi e do al modello un'immagine

di un problema di fisica e e gli chiedo

di risolverlo per me e qui vediamo che

il modello è in grado anzitutto di fare

un ragionamento matematico che parte da

un input misto sia tramite un grafico

un'immagine sia tramite una descrizione

testuale quindi ragionamento matematico

sulla base di input testuali e visivi

poi questo Vabbè questa applicazione

magari non è super moderna Però io ho

dato un'immagine no del di un gioco che

volevo creare a cgpt for Vision vi ho

detto Eh creami il codice per riprodurre

questa applicazione non vi ho dovuto

spiegare come funzionasse cioè il fatto

che un giocatore vince o perde se o

colpisce o meno la pallina perché il

modello è stato in grado di capirlo

dallo screenshot che gli ho mandato

perché Ha ragionato Avrà visto questa

cosa da qualche parte nell'internet su

Quest stato trinato e quindi sa già Qual

è la logica del gioco quindi mi ha

prodotto il codice e e questa è

l'applicazione finale

poi qui c'è anche l'integrazione con i

servizi cognitivi che vi citavo prima

disponibili sulla piattaforma Aure in

questo caso con un servizio che si

chiama video indexer e qui di fatto

abbiamo la possibilità di andare a

descrivere un video il linguaggio

naturale Quindi io qui ho caricato un

video di montaggio di una bicicletta

della Decathlon Gli ho chiesto di generi

un tutorial rispetto a questo video e il

modello è stato in grado di di farlo

step by step e qui Se poi aggiungiamo

anche la possibilità di uno di un Text

to Speech potremmo perché no rendere

questo tutorial vocal in modo che

chiunque stia montando una bicicletta

possa eh di fatto ascoltare ascoltare

questo tutorial e poi in generale come

ogni servizio cognitivo ogni ai service

su asure c'è sempre la possibilità come

abbiamo visto di esportare il codice in

modo da imbed questi modelli nelle

proprie applicazioni secondo trending

topic multiagency Quindi abbiamo detto

cos'è la multiagency è una ehm

architettura in cui noi andiamo a

definire delle entità che si chiamano

agenti Cosa sono gli agenti gli agenti

sono appunto delle entità con i seguenti

ingredienti un large language Model che

funziona da cervello della gente

un'istruzione o meta prompt che gli in

qualche modo verticalizza su una

specializzazione ben Specifica e una

serie di strumenti che possono

utilizzare ora la domanda è perché

dobbiamo avere degli agenti e non

possiamo far fare tutto a un unico large

language Model si potrebbe ma la verità

è che anzitutto

avere dei modelli con delle istruzioni

più specifiche aumenta diciamo la

performance in quelo specifico Task In

secondo luogo veder collaborare questi

agenti innesca una serie di meccanismi

anche di controllo Double check

miglioramento che un modello da solo

sull'output prodotto da se stesso non

sarebbe in grado di fare con con le

medesime performance Quindi ad esempio

Noi qui potremmo dire

ehm noi utenti voglio generare un

videogioco che sia in linea con i Trend

di mercato proprio il top Trend Quindi

di cosa ho bisogno avrò bisogno di un

ricercatore che mi fa un'analisi di

mercato e Probabilmente avrà un plugin

verso il web avrò bisogno di uno

storyteller che mi racconti No la trama

del gioco sulla base delle analisi che

sono state fatte da ricercatore e avrò

bisogno di un sviluppatore che sulla

base della storia e della Meccanica dei

movimenti sia in grado di sviluppi il

codice e poi qui potremmo aggiungere

anche un agente che chiameremo Il

critico che va a vedere se ad esempio la

storia è effettivamente in linea con i

Trend di mercato piuttosto che un test

engineer che va a rivedere il codice

prodotto dall'agente ingegnere e fare

magari dei test prima di dire ok il

codice va bene quindi vedete che si va a

a creare un contesto in cui di fatto

andiamo a dare delle dei compiti andiamo

a creare proprio delle professioni

all'interno di un team fatto da da

agenti E questo potrebbe essere un altro

esempio in cui di fatto andiamo a creare

un team per la prenotazione di un

viaggio in cui ogni agente ha una

descrizione e un un compito un compito

specifico nonché un set di Tool questi

agenti potrebbero orch estrar tra di

loro per poi andare a risolvere la

domanda dell'utente che potrebbe essere

Prenotami un

viaggio per Los Angeles il prossimo

autunno quindi si orchestrano capiscono

chi deve fare cosa e poi ritornano

all'utente la destinazione finale Quindi

questi sono un po' i due macro temi

che su cui oggi si sta forse

concentrando La maggior parte della

ricerca detto questo in tutto ciò

Microsoft come diciamo Toto l'ondata dei

generative VII perché abbiamo detto la

generative VII può avere un impatto

nelle organizzazioni nei processi

eccetera Ecco che impatto ha avuto

all'interno di

Microsoft Microsoft ha colto la

generative ai introducendo un nuovo

concetto applicativo quindi un vero e

proprio pezzo di software che prima non

esisteva che è chiamato CoPilot il nome

rende benissimo CoPilot perché perché

sono degli assistenti virtuali che

copiloto l'utente che rimarrà sempre il

primo pilota in qualsiasi attività si

possa si possa pensare ora Eh il CoPilot

è come abbiamo detto un pezzo di

software che è fatto da ingredienti che

abbiamo di fatto coperto nelle slide

precedenti Quindi Parliamo di un oggetto

che ha un large language Models che

funziona da roning Engine Quindi da

cervello come abbiamo detto prima i dati

i vostri dati o nello specifico i dati

della applicazione l'applicazione

verosimilmente un'applicazione in cui si

va a montare il CoPilot e infine i

Plugin gli strumenti con cui interagire

nel mondo esterno questo fruito tramite

un'interfaccia conversazionale in cui

l'utente può andare a eh fare le sue

domande rispetto all'applicazione che

sta utilizzando e questo m è

estremamente disruptive dal punto di

vista di come gli utenti si aspettano di

interagire con le applicazioni del

futuro e per farvi un esempio Vi mostro

come Fastweb ha introdotto sul suo sito

web una funzionalità che consente agli

utenti di interagire con i dati del del

loro abbonamento quindi di fare domande

in linguaggio naturale e ricevere

risposte non in modalità chatbot quindi

Ok vai qui vai là ma in modalità

conversazionale e questo funziona

tramite il il pattern che abbiamo visto

prima tramite il concetto di retrieval

augmented Generation qui stiamo dicendo

che questa interfaccia conversazionale è

perimetrata sui dati che Fastweb ha dato

impasto al database dove il modello può

andare a navigare e il modello risponde

solamente nel perimetro dei dati

pertinenti Ecco questo eh È un CoPilot a

tutti gli effetti è un CoPilot che ha

un'anatomia è il cosiddetto questa

anatomia si chiama CoPilot Stack cos'è

il CoPilot Stack un architetto vettura

ad alto livello che Microsoft ha

divulgato nel momento in cui ha lanciato

i CoPilot quindi Microsoft ha utilizzato

questa architettura per costruirsi i

suoi CoPilot dentro le sue applicazioni

quindi Office dynamics Windows eccetera

ma l'ha divulgata Perché di fatto è

un'architettura agnostica tale per cui

chiunque nelle proprie applicazioni si

può andare a costruire un CoPilot e qui

vediamo che ci sono degli elementi

applicativi nuovi che prima non

esistevano partendo dal basso

Sicuramente avremo i modelli i

Foundation Model o large language Model

che poggeranno su infrastruttura eii

questa infrastruttura potrà essere Cloud

quindi potrebbero essere semplicemente

delle api dei modelli oppure potrebbero

essere addirittura dei modelli ostati on

prem perché

no la parte sopra Vediamo la componente

di front-end e di estensibilità con i

Plugin mentre la parte Se volete più

interessante è la parte centrale dove ci

sono appunto tutte quelle componenti

tipiche dello sviluppo di applicazioni

come large language Models come il

prompt e il meta prompt quindi le

istruzioni che diamo al modello

fondamentale nonché la componente di

grounding Quindi come abbiamo visto

prima nel caso di Fasto andare a

perimetrare le risposte dei modelli su

documentazione che noi forniamo nel caso

dei CoPilot di Microsoft 365 per farvi

un esempio il grounding Avviene sul

Microsoft Graph quindi i CoPilot

rispondono sulla base dei dati che sono

presenti sul Microsoft Graph e e poi

anche qui plugin per per per l'

stendibilità No delle azioni che che

possono fare questi modelli Ora

Ehm abbiamo siamo parlato di questi

modelli come entità immodificabili La

verità è che essendo dei modelli enormi

ed essendo così General purpose quello

di cui ci siamo resi conto è che nella

gestione di questi modelli per renderli

molto verticali per lo use Case che si

propone Non è necessario arrivare ad una

modifica delle modello Ma nella maggior

parte dei casi è sufficiente O

aggiungere i propri dati in modalità

retrieval augmented Generation oppure

lavorare fortemente di prompt

Engineering quindi andare a specificare

al modello come deve comportarsi in

rarissimi casi capita che si voglia

procedere ad un fine Tuning il fine

tuning di fatto è come se fosse un mini

training rifatto su un modello già

trainato in ottica di verticalizzazione

su uno specifico dominio o addirittura

un training da zero poi di nuovo

parliamo di modelli enormi quindi di

centinaia

di miliardi di parametri fare un

training o anche un fine tuning di un

modello del genere non è un qualcosa che

chiunque può fare a livello proprio di

costo di investimento nonché di

infrastruttura Tuttavia stanno emergendo

dei Trend e degli oggetti che si

chiamano Small language Model che vanno

nella direzione di avere appunto dei

modelli che hanno la medesima

architettura Transformers dei l language

Models ma sono più piccoli più leggeri e

quindi più facilmente fine tabili o

addirittura trainabili da zero quindi

alla domanda Cosa devo utilizzare nella

mia applicazione un modello già trainato

Oppure ne ne traino uno da zero dipende

dipende da da Che tipo di applicazione è

e anche da Qual è l'approccio di

sviluppo in questo caso dal punto di

vista di piattaforma ehm Microsoft per

utilizzare i modelli diure openi e per

lavorare con dei modelli Open Source per

fine tunar trarli o semplicemente

consumarli tramite tramite managed

endpoint ha introdotto una nuova

piattaforma che si chiama aurei studio

leure studio è il punto Lab dove vengono

convogliate tutte le piattaforme su cui

Microsoft faceva ai prima di Aure Open

ai ed è quindi l'ab in cui anzitutto si

può sfogliare un catalogo di modelli che

va ben oltre i modelli di Aure openen ai

ma vede tutta l'integrazione con il

mondo Open Source Quindi con Agent sub

nonché l'integrazione con dei modelli di

aziende con cui Microsoft ha stretto una

partnership come Mistral oppure Nvidia o

meta quindi ci saranno Mistral Lama 2 e

i modelli eii di Nvidia e e questo

diciamo rende più semplice la gestione

end to End di un progetto di generative

ai ossia anche il monitoraggio

dell'applicazione che verrà sviluppata

all'interno di questo portale e quindi

il test il testing di questa

applicazione quindi diciamo che leury

studio Abilita e facilita lo sviluppo di

applicazioni con large language Models

Ecco ci appr propinqui all'ultimo tema

della

presentazione non per importanza

ovviamente che è quello della

responsible i Ecco la la responsible I è

una password anche questa forse è il

terzo nome dopo multiagency e

multimodality però è un tema che

Microsoft ha molto ha molto a cuore dal

2016 quindi parliamo di un tema che è

stato introdotto quasi 10 anni fa e che

è stato indirizzato Ben prima che

governi E istituzioni si muovessero in

termini ufficiali con con delle vere e

proprie Leggi le ha Act è roba di 2024

si era stato introdotto qualche anno fa

però di fatto sta entrando in vigore

solo adesso Microsoft ha cercato un po'

di colmare questo vuoto normativo

ovviamente non con delle leggi ma con

dei i principi e anche con delle linee

guida che ha raccolto da esperienza su

clienti e ha poi in qualche modo

formalizzato sia in commissioni etiche

che andate a creare sia in veri e propri

principi che si possono trovare sulla

documentazione sulle blueprint di ai che

Che divulghiamo come come W Paper e

questo avveniva pre C GPT e openi e come

vediamo si declina appunto in quelli che

sono sia dei Principi ma anche delle

vere e

proprie tecniche ingegneristiche che si

calano nei prodotti affinché siano

unbiased e non dannosi per l'utente

finale poi però Arriva la generative ai

e quindi a maggior ragione il tema

diventa estremamente attuale e

fondamentale Da indirizzare perché

questi modelli sono già disponibili per

il pubblico e in qualche modo Tutti li

stanno già utilizzando Bisogna In

qualche modo capire come usarli al

meglio e per il meglio ecco quando

parliamo di eh

generate VII e dlms ci sono almeno

quattro layer su cui si può ragionare in

termini di safety il i primi due fanno

parte proprio della piattaforma e

l'ultimo diciamo i secondi du fanno

parte di come andiamo a costruire

l'applicazione quando parliamo di

piattaforma ci riferiamo al modello in

sé e a come andiamo a contornare il

modello con

eventuali diciamo layer di sicurizzato

adesso capiamo cosa vuol dire il livello

di sicurezza del modello è il più

difficile se volete da raggiungere

perché come abbiamo visto prima parliamo

di modelli già trainati quindi in

qualche modo ci dobbiamo rifare a a chi

ha fatto il training Tuttavia dal

portale di aurei studio come vi vedevamo

prima soprattutto nei casi in cui si

vuole utilizzare un modello Custom e

quindi magari trainare da zero un

modello piuttosto che utilizzare dei

modelli Open Source è possibile prendere

visione del training set o di decidere

il training set da utilizzare e qui è

fondamentale perché i modelli imparano a

nostra immagine a somiglianza quindi un

modello trainato sull'internet

ovviamente sarà biased così come è

l'internet quindi è fondamentale avere

dei dataset che siano unbiased vi faccio

un esempio i modelli GPT

sono fortemente biased verso la lingua

inglese la conoscono meglio perché

l'internet è rappresentato

principalmente da contenuto in inglese e

questo è già di per sé un un qualcosa se

volete di esclusivo Ok immaginate poii

cosa vorrebbe dire su temi molto più

delicati quindi il primo livello è

quello del modello il secondo livello è

appunto cosa mettiamo a contorno del

modello per renderlo più sicuro e qui

Microsoft propone il content Safety

cos'è il content Safety è un api che va

di fatto a filtrare il contenuto in

ingresso in

uscita verso questi modelli e lo va a

categorizzare in fasce ehm Diciamo in

categorie di rischio con dei livelli di

rischio associati va di fatto a filtrare

tutti quei contenuti che hanno un

livello di rischio associato non non

gestibile quindi che va oltre

l'accettabili e questo se ci pensate è

esattamente in linea con il contenuto

delle AA Cioè l'act ha un approccio Risk

Based il content Safety ha un approccio

Risk Based quindi utilizzare di nuovo

utilizzare questi modelli da questa

piattaforma in qualche modo facilita

L'essere in linea con quelle che sono le

aspettative che adesso si stanno

affermando in

Europa livello di prompt Engineering qui

è fondamentale perché il Prom Il Meta

prompt abbiamo detto che sono quelle

istruzioni che noi diamo al modello in

linguaggio naturale ed tendenzialmente è

quella parte che l'utente finale non

vede è come se fosse il backend di

un'applicazione in queste istruzioni noi

possiamo anche specificare al modo

modello Come comportarsi in termini di

stile e anche in termini di cosa non

fare ad esempio possiamo dire al modello

Non rispondere se la domanda dell'utente

è inopportuna oppure non rispondere se

la domanda dell'utente non è in linea

con i documenti che io ti ho dato quindi

possiamo andare ad inserire dei

guardrail a livello di Meta prompt

Quindi anche questa fase è fondamentale

l'ultimo layer di mitigation è quello

del front end che può sembrare il meno

importante però in realtà se ci pensiamo

il modo in cui l'utente fruisce le

applicazioni determina molto il livello

di rischio a cui si espone appunto

l'utente finale perché ad esempio

un'applicazione in cui si può

chattare diciamo con con domande aperte

come può essere cgpt o CoPilot di Edge

ovviamente espone a domande di qualsiasi

tipo però anzitutto il proporre ad

esempio delle domande di followup

preconfigurate Oppure delle domand

domande di inizio conversazione

preconfigurate può già incanalare

l'utente verso una direzione che in

qualche modo è securizzato e inoltre

andare a riportare le fonti di quello

che si risponde all'utente faccio sempre

riferimento al caso di del CoPilot di

Edge dà in qualche modo dei riferimenti

che l'utente può utilizzare per andare a

convalidare il contenuto di queste

risposte Quindi se anche abbiamo un

rischio di allucin C'è comunque la

rassicurazione

che ente può effettivamente verificare

la veridicità dell'informazione che è

stata riportata quindi diciamo che su

quattro livelli di mitigation

sicuramente non possiamo andare ad avere

la ricetta segreta per avere un modello

e un'applicazione che sia sicura al 100%

ma abbiamo un margine di miglioramento

incredibile e quindi il tema della

responsible lei di nuovo un insieme di

principi ma anche un insieme di tecniche

proprio di design architetturale che

vale la pena impostare in una blueprint

nel momento in cui si vanno a

predisporre delle applicazioni con con i

large language Models e vedremo immagino

prossimamente nei prossimi mesi come

Questi strumenti già parte della

piattaforma ritorneranno molto utili nel

momento in cui ci sarà un tema di no

esposizione di quello diciamo

dell'intento di di uno sviluppo di

un'applicazione con la generative ai in

ottica appunto di ai Act in Europa bene

Io con questo concludo ringrazio molto

per l'ospitalità e spero che sia stato

utile e interessante e non so se ci sono

domande O mi al mio host Allora no non

ci

sono

domande c'è tanto contenuto

da da assorbire

e mi hai fatto fare anche un un viaggio

proprio indietro Cioè

tipo l'introduzione dell'architettura

Transformer nel 2017 da parte di Google

ieri ero in aula e È proprio uno dei

temi cui trattavo e mi hai fatto venire

in mente che uno dei vantaggi di essere

interessato

a diciamo ai quando non era ancora così

figo come argomento è che su Netflix

c'era Alpha Mind è vero Il docufilm che

non c'è più Cioè Meno male che a suo

tempo ho detto Me lo guardo subito

perché è davvero molto molto

interessante tutta la vicenda che hai

citato

prima della Vittoria sul campione

mondiale di Alf Go di di Go esattamente

Ale e se ti dovessi chiedere dare un

consiglio a chi ci

ascolta relativamente

a da dove partire volendo applicare

queste cose Dove dove consiglieresti all

No abbiamo una domanda abbiamo Luca

Mauri che chiede di fare spoiler ci puoi

raccontare le prossime novità di

Microsoft qualche anticipazione Uh no

Sorry schero non non le ho quindi

non non non sono informata fino a questi

livelli Ecco sicuramente i pattern che

che vi ho un po' raccontato sono le

direzioni in cui Microsoft si sta

muovendo Ma sono anche le direzioni

della della ricerca Quindi da questo

punto di vista io vedo un sicuramente

una grande attenzione sul tema

multiagency

e però a livello di roadmap dovremo

aspettare entrambi Ecco allora invece do

io dei

consigli Datemi un attimino il tempo di

condividere lo schermo vi do io dei

consigli Allora se venite sul nostro

sito e andiamo nel browser dei video

Talk

tecnici

c'è oltre al di Valentina al recente

Day del che abbiamo organizzato il 30 di

gennaio proprio su GPT 4 turbov

Vision la

registrazione della Round table sulla

responsible

ai dove abbiamo avuto proprio Valentina

tra i panelist abbiamo avuto l'avvocato

Palumbo abbiamo avuto Alessandro vitale

che è un imprenditore un data Scientist

diventato imprenditore quindi ha parato

il punto di vista imprenditoriale e

Carlotta Orsenigo che è professoressa

del Politecnico di Milano e Cod

direttrice di di alcuni

Master del del Politecnico di Milano

Abbiamo parlato in maniera

vivace dell'argomento citato da prima

Prima la Valentina quello della

responsible ai che è un tema che ci

dovremmo

rord di di considerare po il discorso

della potenza e nulla senza controllo

che diceva la la pubblicità ma anche

perché vi faccio un esempio quando fate

il deploy di un servizio ai su Aure

e e fate il check sul sulla notice o

sulle perché in alcuni casi ne propone

anche più di una

del le no della responsible

ai e non le e nessuno di noi le legge

nessuno di noi le legge e poi capita che

ti arriva una mail nella quale ti dicono

che stai usando il servizio Face che

diventerà gated a partire da una certa

data e o tu fai applicazione qu il form

e chiedi di usarlo oppure te lo

spegneranno e se la tua applicazione lo

usava si ritrova a fare delle chiamate a

ricevere Forbidden Perché Perché

responsible ai

significa

anche continuare a guardare con un

occhio critico l'uso dell' ai capire che

qualcosa che si è fatta fino al giorno

prima ha dimostrato di poter avere delle

conseguenze indesiderabili E allora

prendere la scomoda scelta come Fe

Micros serv Face potenzialmente far

arrabbiare dei propri clienti che lo

stanno usando che sentono

dire riguardiamo assieme Qual è il caso

d'uso perché il caso d'uso potrebbe non

rientrare più all'interno di quello che

consideriamo essere un utilizzo

responsabile del dell'ai Questa è una

fase storica nella quale stiamo

imparando

a ad usare questo nuovo strumento e

dobbiamo anche imparare ad

[Musica]

autolimitarsi

Vale è la è era un T di A parte che

oramai fortunatamente nel video browser

ci sono un po' di contenuti di di

Valentina al Talk di web day dell'anno

scorso il Tok g.net dell'anno scorso

Quindi il consiglio è stoler Valentina

sul sito Esatto Non non live ma no

quello è illegale quello è illegale non

è responsabile non è responsabile sul

sito Sì i contenuti di Valentina che vi

ricordo è essere

anche un nostro Mentor e quindi io per

primo devo prenotare delle mentorship

con Valentina perché ne ho tanto tanto

tanto bisogno

e e vi ricordo il

lacaton Ok quindi Proponete un vostro

progetto aderite a uno dei progetti già

in gara

semplicemente lavoriamo tutti assieme

per dimostrare e dimostrarci che ai non

è quella roba che ci toglierà il lavoro

che Terminator e quant'altro ma è che è

qualcosa che si può usare per per fare

per migliorare la vita di ognuno di noi

di tutte e tutti

vale che dici Ce l'abbiamo fatta ce

l'abbiamo fatta si dice si è fatta una

certa Questa

certo Beh noi ci vediamo dopodomani Ale

sì in perché ricordo a tutte e tutti che

c'è il Global

Aure evento in Microsoft quindi per per

chi sarà presente beviamoci un caffè

assieme Io e Vale ce lo beviamo

sicuramente Grazie a tutte e tutti per

essere state e stati con noi oggi alla

prossima Grazie mille ciao sì