Microsoft Copilot Stack: il framework dei propri “copiloti”

Lo Stack Copilot di Microsoft sta emergendo come un potente framework per le aziende che sviluppano soluzioni basate sull'intelligenza artificiale. Man mano che le organizzazioni esplorano questa tecnologia innovativa, comprenderne l'architettura diventa fondamentale per un'implementazione efficace.

Al suo cuore, lo stack Copilot è composto da quattro livelli interconnessi: Esperienza Utente, Orchestrazione, Esecuzione e Modelli di Base. Ciascun livello svolge un ruolo essenziale nella creazione di assistenti AI personalizzati, in grado di migliorare la produttività e il processo decisionale in diversi settori.

In questo articolo, vedremo di chiarire le caratteristiche e il ruolo degli elementi che compongono lo stack, dando anche uno sguardo alle novità che lo hanno interessato di recente.

Microsoft Copilot Stack: un'introduzione

Il mondo dell’intelligenza artificiale generativa è tanto eccitante quanto complesso e non è raro che aziende di tutto il globo si ritrovino di fronte ad uno scenario che può apparire estremamente confusionario ed in continuo mutamento dall’oggi al domani.

La maggior parte delle aziende che cercano di integrare l'IA nelle proprie applicazioni aziendali non sa da dove o come iniziare. Con così tante nuove tecnologie disponibili, è difficile distinguere quali siano realmente preziose e quali potrebbero rivelarsi un disastro.

Nel rapporto Global AI Adoption Index 2023, IBM ha evidenziato che le principali cause di fallimento dei progetti di intelligenza artificiale includono la limitata esperienza in ambito AI, la complessità dei dati e le questioni etiche.

Per Independent Software Vendor (ISV) e partner di Microsoft, questa sfida può sembrare ancora più ardua, data l'enorme dimensione e complessità dell'ecosistema tecnologico della casa di Redmond.

Il ritmo costante e rapido dell'innovazione dei prodotti, unito a una condivisione della conoscenza talvolta vaga o di difficile interpretazione, può generare sentimenti di confusione, frustrazione, preoccupazione e persino negazione.

Fortunatamente, esiste un concetto che può fungere da guida per semplificare questo processo: il Copilot Stack e nelle prossime sezioni andremo a vedere che cosa lo compone e come può aiutarci a navigare il complesso panorama dello sviluppo e implementazione di soluzioni AI.

Che cos’è Microsoft Copilot

Prima di cominciare, prendiamoci un attimo di tempo per rimettere al passo chi si fosse perso qualche passaggio negli ultimi mesi e presentiamo brevemente l’assoluto protagonista di questo articolo.

Copilot è l’assistente digitale AI progettato per semplificare le attività quotidiane degli utenti, aumentare la produttività e stimolare la creatività. Il suo obiettivo principale è la generazione di codice, l'assistenza alla scrittura e la collaborazione. Integrato perfettamente con le applicazioni Microsoft 365 più diffuse, come Word, Excel, PowerPoint, Outlook e Teams, Copilot offre suggerimenti contestuali e aiuta gli utenti a comprendere le informazioni in modo efficace.

Microsoft Copilot non è solo un altro strumento di produttività; è un catalizzatore per una trasformazione profonda nel modo in cui lavoriamo e interagiamo con la tecnologia. Segna un passaggio dalle attività manuali e ripetitive verso un futuro in cui esseri umani e intelligenza artificiale collaborano insieme. Liberandoci da molte attività superficiali, Copilot ci permette di concentrarci su pensiero strategico, creatività e innovazione.

Sotto il cofano, Microsoft Copilot è un cervello potenziato da tecnologie AI all’avanguardia. Il tutto inizia con i modelli di linguaggio di grandi dimensioni (LLM), in particolare quelli della serie GPT sviluppati da OpenAI, come GPT-4. Questi sofisticati algoritmi, addestrati su enormi set di dati di testo e codice, consentono a Copilot di comprendere e generare linguaggio umano con notevole fluidità.

Microsoft migliora ulteriormente questi modelli con i propri dati e tecniche proprietarie, denominate "modello Prometheus", ottimizzando le capacità di Copilot per un funzionamento ideale all’interno dell’ecosistema Microsoft 365.

Ma gli LLM sono solo l’inizio. Copilot sfrutta anche il machine learning, un ramo dell’IA che permette ai sistemi di apprendere e migliorare con l’esperienza senza essere esplicitamente programmati. Questo significa che Copilot diventa sempre più intelligente, adattandosi al tuo stile di lavoro e alle tue preferenze nel tempo.

Le funzionalità dell’assistente digitale AI di Microsoft si rivolgono a una vasta gamma di utenti e professionisti, inclusi sviluppatori, creatori di contenuti e lavoratori che cercano assistenza alimentata dall'intelligenza artificiale per le loro attività.

Le principali modalità per usufruire di Microsoft Copilot sono:

• Adottare Copilot: Microsoft offre diversi assistenti Copilot per incrementare la produttività e la creatività. Integrato in svariati prodotti e piattaforme Microsoft, Copilot trasforma lo spazio di lavoro digitale in un ambiente più interattivo ed efficiente.
  ‍
• Estendere Copilot: gli sviluppatori hanno la possibilità di incorporare dati esterni, semplificando le operazioni degli utenti e riducendo il bisogno di cambiare contesto. Questo non solo migliora la produttività, ma favorisce anche una maggiore collaborazione. Attraverso Copilot, è semplice integrare questi dati nei comuni prodotti Microsoft che si utilizzano ogni giorno.
  ‍
• Costruire il proprio Copilot: oltre all’adozione e all’estensione, è possibile creare un Copilot personalizzato per un’esperienza conversazionale unica, utilizzando Azure OpenAI, Cognitive Search, Microsoft Copilot Studio e altre tecnologie del Cloud di Microsoft. Un Copilot personalizzato può integrare dati aziendali, accedere in tempo reale a dati esterni tramite API e integrarsi nelle applicazioni aziendali.

Microsoft Copilot è disponibile in varie forme, con pacchetti di prezzi specifici per diversi casi d'uso, come:

• Copilot (Free): la versione gratuita di Copilot offre accesso a funzionalità di IA generativa per la gestione del computer (in Windows), la ricerca online (in Edge) e conversazioni generali con il chatbot sul web.
  ‍
• Copilot Pro: pensato per gli utenti individuali che vogliono sfruttare al meglio il prodotto di IA generativa. Per una cifra corrispondente a circa 20 dollari al mese, per utente, si ottiene l'accesso a Copilot in vari strumenti, come Outlook, Word, Excel, PowerPoint e OneNote.
  ‍
• Copilot per Microsoft 365: Copilot per Microsoft 365 è pensato per individui e team che lavorano con le app Microsoft. Fornisce accesso a Copilot Studio, sicurezza, privacy e conformità di livello enterprise, e capacità avanzate.

Oltre a ciò, esistono varie versioni di Copilot progettate per strumenti Microsoft specifici. Ad esempio, ci sono soluzioni Copilot integrate in Microsoft Dynamics per i team di vendita e assistenza clienti, e soluzioni di sicurezza Copilot integrate in Microsoft Purview.

Di recente Microsoft ha anche iniziato a lanciare e aggiornare una serie di “Agent” specifici per determinati settori aziendali come la finanza, il customer service e il marketing, con addestramento e funzionalità specifiche per questi particolari ambiti.

Secondo Microsoft, quasi il 60% delle aziende Fortune 500 utilizza ora Copilot e il numero di dipendenti che utilizzano l'assistente AI ogni giorno è quasi raddoppiato di trimestre in trimestre. L'azienda ha inoltre dichiarato che il numero di clienti di Copilot è aumentato di oltre il 60% di trimestre in trimestre e che il numero di clienti con più di 10.000 postazioni è più che raddoppiato nello stesso periodo.

Microsoft Copilot Stack: i 4 pilastri fondamentali

Il Copilot Stack è un modello architetturale per la creazione di applicazioni o copilot personalizzati che offrono esperienze basate sul linguaggio naturale, grazie all'uso di Large Language Models (LLM). Serve come framework che abbraccia ogni prodotto Microsoft Copilot.

L’ascesa di strumenti come gli AI chatbot sta trasformando il modo in cui gli utenti interagiscono con il software.

Piuttosto che navigare tra molteplici schermate o eseguire numerosi comandi, gli utenti preferiscono interagire con un agente intelligente in grado di completare i compiti in modo efficiente.

Microsoft ha rapidamente riconosciuto l'importanza di integrare un chatbot AI in ogni applicazione. Dopo aver sviluppato questo framework comune per la creazione di Copilot su diversi prodotti, ora sta estendendo questo approccio alla sua community di sviluppatori e Independent Software Vendor (ISV).

Sotto molti aspetti, il Copilot Stack può essere paragonato a un moderno sistema operativo.

Funziona su un'infrastruttura hardware potente, basata su una combinazione di CPU e GPU. I foundation models rappresentano il kernel dello stack, mentre il livello di orchestrazione svolge un ruolo simile alla gestione dei processi e della memoria. Infine, il livello di user experience è paragonabile alla shell di un sistema operativo, esponendo le funzionalità attraverso un'interfaccia.

Esaminiamo ora più da vicino come Microsoft ha strutturato il Copilot Stack, senza entrare troppo nei dettagli tecnici.

Infrastruttura

Il supercomputer AI che opera su Azure, il cloud pubblico, è la base della piattaforma. Questa infrastruttura progettata appositamente, alimentata da decine di migliaia di GPU all'avanguardia di NVIDIA, fornisce la potenza necessaria per eseguire modelli complessi di deep learning in grado di rispondere ai comandi in pochi secondi.

La stessa infrastruttura alimenta l'app di maggior successo del nostro tempo: ChatGPT.

Foundation Models

I Foundation Models sono il kernel dello Copilot Stack: modelli di intelligenza artificiale di grande dimensione e complessità, addestrati su vasti corpus di dati per svolgere una varietà di compiti in modo generico, come comprendere e generare linguaggio naturale, immagini o audio. Questi modelli possono essere applicati a numerosi settori e adattati a scenari specifici attraverso un processo chiamato fine-tuning.

Vengono addestrati su un ampio corpus di dati e sono in grado di svolgere compiti diversi. Esempi di foundation models includono GPT-4, DALL-E e Whisper di OpenAI.

Alcuni dei LLM open source, come BERT, Dolly e LLaMa, potrebbero far parte di questo livello. Microsoft sta collaborando con Hugging Face per portare su Azure un catalogo di modelli open source curati. I foundation models dipendono fortemente dall'infrastruttura GPU sottostante per eseguire l'inferenza.

Sebbene i Foundation Models siano potenti di per sé, possono essere adattati a scenari specifici. Ad esempio, un LLM addestrato su un ampio corpus di contenuti testuali generici può essere affinato per comprendere la terminologia utilizzata in settori specifici, come la sanità, il legale o la finanza.

L'Azure AI Studio di Microsoft e Copilot Studio ospitano vari foundation models, tra cui anche modelli personalizzati addestrati da aziende esterne ad Azure.

Orchestrazione

Questo livello funge da tramite tra i modelli di base sottostanti e l'utente.

Poiché l'intelligenza artificiale generativa si basa sui prompt, il livello di orchestrazione analizza il prompt inserito dall'utente per comprendere l'intento reale dell'utente o dell'applicazione. Prima di tutto, applica un filtro di moderazione per assicurarsi che il prompt rispetti le linee guida di sicurezza e non induca il modello a rispondere con risposte irrilevanti o pericolose.

Lo stesso livello è anche responsabile di filtrare la risposta del modello che non è allineata con l'esito previsto.

Il passo successivo nell'orchestrazione è completare il prompt con meta-prompting, ovvero aggiungendo contesti specifici per l'applicazione.

Ad esempio, l'utente potrebbe non aver richiesto esplicitamente di formattare la risposta in un formato specifico, ma l'esperienza utente dell'applicazione potrebbe richiedere quel formato per visualizzare correttamente il risultato. Pensa a questo come a un'iniezione di informazioni specifiche per l'applicazione nel prompt, per renderlo contestualizzato all'applicazione stessa.

Una volta costruito il prompt, potrebbe essere necessario fornire dati fattuali aggiuntivi al LLM per ottenere una risposta accurata. Senza questi dati, i LLM potrebbero tendere a "hallucinate", rispondendo con informazioni imprecise o inesatte. I dati fattuali tipicamente risiedono al di fuori del dominio dei LLM, in fonti esterne come il web, database esterni o un bucket di storage oggetti.

Due tecniche sono comunemente utilizzate per portare il contesto esterno nel prompt e assistere il LLM nel rispondere in modo accurato. La prima consiste nell'usare una combinazione di modelli di embedding delle parole e un database vettoriale per recuperare informazioni e iniettare selettivamente il contesto nel prompt.

Il secondo approccio invece è costruire un plugin che colma il divario tra il livello di orchestrazione e la fonte esterna. ChatGPT utilizza il modello di plugin per recuperare dati da fonti esterne e arricchire il contesto.

Microsoft chiama questi approcci Retrieval Augmented Generation (RAG). I RAG sono progettati per conferire stabilità e ancoraggio alle risposte dei LLM, costruendo un prompt con informazioni fattuali e contestuali.

Microsoft ha inizialmente adottato la stessa architettura di plugin utilizzata da ChatGPT per costruire un contesto ricco nel prompt. Progetti come LangChain, il Semantic Kernel di Microsoft e Guidance diventano i componenti chiave del livello di orchestrazione.

User Experience

Il livello UX dello Copilot Stack ridefinisce l'interfaccia uomo-macchina attraverso un'esperienza conversazionale semplificata. Molti elementi complessi dell'interfaccia utente e i menu annidati saranno sostituiti da un semplice widget discreto che si trova nell'angolo della finestra.

Questo diventa il livello di frontend più potente per portare a termine compiti complessi, indipendentemente da ciò che fa l'applicazione, siano esser semplici siti web consumer fino ad arrivare ad applicazioni aziendali più complesse.

Microsoft Copilot Stack: opzioni per lo sviluppo di un “copilota” custom

Le applicazioni Copilot utilizzano l'infrastruttura AI, i modelli e i dati per offrire strumenti e intuizioni preziose agli utenti aziendali, proprio come un ristorante utilizza la sua cucina, il personale e gli ingredienti (infrastruttura, team e forniture) per creare piatti che soddisfano i clienti.

Queste applicazioni sono i prodotti finali, che si tratti di uno strumento che assiste nelle interazioni del servizio clienti, nella creazione di contenuti di marketing o nell'analisi dei dati di vendita per fornire intuizioni strategiche. Sono i beni finiti utilizzati dagli utenti aziendali per soddisfare esigenze specifiche, migliorare l'efficienza o generare valore.

Come ISV o Partner Microsoft, ci sono tre opzioni principali per costruire un Copilot personalizzato:

1. Costruire un Copilot completamente personalizzato tramite Azure: questo approccio implica l'uso della suite completa di servizi di Azure, inclusi gli strumenti di AI e machine learning, per costruire una soluzione AI completamente personalizzata da zero. Questo è adatto per gli ISV o i partner che necessitano di soluzioni altamente su misura per settori specifici o processi aziendali unici.
   ‍
2. Costruire sopra ciò che è disponibile in Copilot Studio: Copilot Studio offre un ambiente più strutturato con modelli e strumenti pre-costruiti progettati per integrare facilmente le capacità AI nelle applicazioni. Questo approccio è ideale per chi desidera un processo di sviluppo semplificato con meno complessità nella distribuzione, ma ha ancora bisogno di un certo livello di personalizzazione.
   ‍
3. Usare un po' di entrambi per allinearsi agli obiettivi aziendali: un approccio ibrido sfrutta sia le ampie capacità di Azure che gli strumenti pronti all'uso in Copilot Studio. Questa potrebbe essere la scelta giusta per le aziende che cercano un equilibrio tra personalizzazione e facilità d'uso, permettendo loro di adattare le funzionalità AI pur accelerando i tempi di sviluppo utilizzando risorse preesistenti.

Cosa c'è di nuovo nel Copilot Stack

Alla Microsoft Build dello scorso anno, la conferenza annuale degli sviluppatori dell'azienda, i temi principali erano l'IA e il Copilot, con l’annuncio di molti più dettagli e novità riguardanti il Copilot Stack. L'azienda ha anche annunciato miglioramenti ai suoi vari prodotti Copilot, tra cui il supporto per i modelli più recenti di Gen AI come il GPT-4 di OpenAI.

Ma il focus maggiore è stato sugli strumenti per sviluppatori, inclusi miglioramenti a Copilot Studio (come la possibilità di creare estensioni per altre applicazioni e agenti personalizzati per funzioni specifiche) e al più ampio Azure AI Studio, che include molti modelli ed è ora generalmente disponibile, oltre a importanti cambiamenti in GitHub.

Il cambiamento più grande per il Copilot Stack riguarda l’inclusione del Windows Copilot Runtime. Questo permette alle applicazioni di chiamare i vari componenti AI e, in futuro, abiliterà funzionalità AI in più applicazioni, molte delle quali eseguite localmente su PC Copilot+.

“Ciò che Win32 è stato per l'interfaccia grafica, noi crediamo che il Windows Copilot Runtime sarà per l'IA,” ha detto Satya Nadella, CEO di Microsoft.

Questo include una nuova Copilot Library con oltre 40 modelli come Phi-Silica e molti altri modelli di linguaggio piccoli (SLM), insieme alle API per integrare questi modelli nelle applicazioni e alcune integrazioni senza codice per le applicazioni più semplici.

Gli sviluppatori sembrano entusiasti del fatto che PyTorch ora girerà nativamente su Windows alimentato da Direct ML e che la Web Neural Network (WNN) API girerà anche direttamente su Windows.

Azure AI Studio, che era stato annunciato in precedenza ma ora è generalmente disponibile, offre ora molti nuovi modelli, tra cui GPT-4, il modello di linguaggio piccolo Phi-3-vision di Microsoft e altri modelli Phi-3. Inoltre, modelli come Llama e quelli di Cohere, Mistral e altre startup sono ora estesi tramite una partnership con Hugging Face.

Come accennavamo in precedenza, l’azienda ha introdotto nuove funzionalità per estendere Copilot più facilmente all'interno di Copilot Studio. Questo include un connettore per applicazioni dalla Power Platform a vari strumenti di terze parti da Adobe, Service Now, Snowflake e altri.

Avrà anche la capacità di creare "Agent" che lavorano per conto dell'utente in modo asincrono e, infine, automatizzare attività aziendali a lungo termine.

Microsoft ha parlato dell'implementazione dei servizi Azure AI in più paesi e dell'offerta degli ultimi acceleratori da Nvidia, AMD e il proprio Microsoft Maia.

In generale, il CEO di Microsoft ha affermato che il costo per fare una chiamata a GPT-4 è diventato 12 volte più economico e sei volte più veloce da quando è stato lanciato, un buon segno per quella fetta di sviluppatori preoccupati per i costi.

Conclusioni

Lo sviluppo in ambito Gen AI è un campo in costante movimento e dalla community vibrante ma che senza un framework solido rischia di diventare confusionario e frustrante con grande rapidità, alienando potenziali developer dallo sfruttare le potenzialità di queste nuove tecnologie per i loro progetti.

Per questo l’introduzione del Copilot Stack è stata importantissima per il futuro dello sviluppo dell’assistente AI targato Microsoft. La presenza di una mappa che delinei e fornisca un modello di riferimento per partner e sviluppatori è fondamentale affinché il “copilota” della casa di Redmond possa prosperare in futuro anche grazie alla sua community.

Che cosa riservi il futuro di Copilot nei prossimi anni nessuno può saperlo, ma per tutti quei developer che vogliono parteciparvi una mappa è già disponibile per cominciare a settare la rotta verso i suoi prossimi obbiettivi già oggi.

FAQ sul Microsoft Copilot Stack

Che cos’è il Microsoft Copilot Stack?

‍Il Microsoft Copilot Stack è un framework architetturale creato da Microsoft per supportare lo sviluppo di applicazioni AI conversazionali. Serve come base tecnica per costruire assistenti intelligenti, noti come “copilot”, che si integrano perfettamente nei prodotti Microsoft 365 e in soluzioni personalizzate. Questo stack semplifica la creazione di esperienze basate sul linguaggio naturale e garantisce scalabilità, sicurezza e coerenza nell’adozione di tecnologie generative.

Quali sono i livelli principali che compongono lo Stack?

‍Lo Stack si articola su quattro livelli interconnessi. La base è costituita dall’infrastruttura AI su Azure, che fornisce la potenza di calcolo necessaria grazie a GPU di ultima generazione. Al di sopra troviamo i modelli fondamentali, come GPT-4, che rappresentano il cuore computazionale dello Stack. Il livello di orchestrazione è responsabile dell’interpretazione dei prompt, dell’integrazione dei dati esterni e della gestione delle risposte. Infine, l’interfaccia utente introduce una modalità conversazionale che trasforma l’interazione con le applicazioni in un dialogo fluido ed efficiente.

Come aiuta gli sviluppatori il Copilot Stack?

‍Offrendo un’architettura chiara e strumenti riutilizzabili, il Copilot Stack consente agli sviluppatori di concentrarsi sugli aspetti logici e contestuali delle loro soluzioni, senza dover reinventare l’infrastruttura tecnica alla base dell’intelligenza artificiale. Il framework supporta l’integrazione di dati aziendali, l’adattamento dei modelli ai contesti specifici e l’implementazione di meccanismi di sicurezza e controllo.

È possibile creare un Copilot personalizzato?

‍Sì, Microsoft mette a disposizione diverse modalità. Si può realizzare un Copilot completamente personalizzato tramite Azure, sfruttando l’intera suite di servizi AI e di machine learning. In alternativa, si può utilizzare Copilot Studio per creare soluzioni più guidate e con meno complessità tecnica. Infine, è possibile combinare questi due approcci per bilanciare flessibilità e rapidità nello sviluppo.

Qual è il ruolo di Copilot Studio nello Stack?

‍Copilot Studio rappresenta lo strumento visuale e semplificato per creare, personalizzare ed estendere Copilot senza dover scrivere codice avanzato. Facilita la costruzione di interfacce conversazionali, l’integrazione con servizi esterni e la distribuzione controllata delle soluzioni. Inoltre, supporta la creazione di agenti asincroni in grado di eseguire azioni automatizzate per conto dell’utente.

In che modo il Copilot Stack gestisce i dati esterni?

‍Il livello di orchestrazione analizza il prompt dell’utente e, se necessario, lo arricchisce con dati provenienti da fonti esterne come database, API o web. Per fare ciò, vengono adottate tecniche come il Retrieval Augmented Generation (RAG), che permette di inserire nel prompt informazioni contestuali e aggiornate, migliorando la precisione delle risposte. In alternativa, si possono utilizzare plugin per collegare dinamicamente il modello AI alle fonti dati richieste.

Che cosa sono i Foundation Models nello Stack?

‍I Foundation Models sono modelli di intelligenza artificiale di grandi dimensioni e complessità, progettati per eseguire attività come la comprensione e la generazione di linguaggio, immagini o audio. Questi modelli, tra cui GPT-4, Phi, DALL-E e Whisper, vengono addestrati su enormi quantità di dati e possono essere adattati a domini specifici. Microsoft ospita questi modelli all’interno di Azure AI Studio, offrendo anche il supporto a modelli open source attraverso partnership come quella con Hugging Face.

Qual è la differenza tra Copilot Pro e Copilot per Microsoft 365?

‍Copilot Pro è pensato per utenti individuali e offre funzionalità AI all’interno delle applicazioni Microsoft 365 con un abbonamento mensile. Copilot per Microsoft 365, invece, è rivolto a team e organizzazioni e include strumenti avanzati come Copilot Studio, maggiore integrazione con i sistemi aziendali, oltre a garanzie di sicurezza e conformità per l’ambiente enterprise.

Quali sono le novità recenti legate al Copilot Stack?

‍Microsoft ha introdotto il Windows Copilot Runtime, che permette alle applicazioni di eseguire componenti AI localmente. È stata annunciata la Copilot Library, che raccoglie decine di modelli pronti all’uso, e sono stati integrati nuovi modelli come Phi-3 e altri di terze parti tramite Hugging Face. Sono state migliorate anche le capacità di Copilot Studio, rendendo più semplice estendere i copiloti a strumenti esterni come Adobe o Snowflake. Infine, Microsoft ha ridotto significativamente i costi di utilizzo dei modelli più avanzati, rendendo le soluzioni AI più accessibili per sviluppatori e aziende.