Cenni preliminari (StreamInsight)
Microsoft StreamInsight fornisce una piattaforma potente per lo sviluppo e la distribuzione di applicazioni di elaborazione di eventi complessi (CEP). CEP è una tecnologia per l'elaborazione di flussi di eventi con velocità effettiva elevata e bassa latenza. Le tipiche origini del flusso di eventi sono i dati provenienti da applicazioni di produzione, applicazioni finanziarie, analisi operativa o sul Web. Grazie a un'architettura di elaborazione di flusso a velocità elevata e alla nota piattaforma di sviluppo basata su .NET Framework di StreamInsight, gli sviluppatori possono implementare rapidamente applicazioni di elaborazione eventi molto efficienti e affidabili.
StreamInsight include i seguenti vantaggi chiave:
Prestazioni e velocità effettiva dei dati estremamente ottimizzate
StreamInsight implementa un'architettura di flusso leggera che supporta l'esecuzione estremamente parallela di query continue su dati veloci. L'utilizzo della cache in memoria e il calcolo incrementale dei risultati fornisce prestazioni eccellenti con velocità effettiva di dati elevata e latenza bassa. La latenza bassa viene conseguita perché gli eventi vengono elaborati senza operazioni costose di archiviazione o caricamento dei dati nel percorso di elaborazione critico. Con StreamInsight, ogni elaborazione viene lanciata automaticamente dagli eventi in ingresso. In particolare, le applicazioni non devono incorrere in un overhead per il polling degli eventi. La piattaforma fornisce la funzionalità per la gestione di eventi non ordinati. Inoltre, è possibile eseguire l'accesso ai dati cronologici o di riferimento statici che possono essere inclusi nell'analisi di latenza bassa.
Ambiente di sviluppo .NET
Gli sviluppatori possono scrivere le applicazioni CEP utilizzando il linguaggio .NET di Microsoft quale Visual C#, sfruttando la piattaforma del linguaggio avanzata LINQ (Language Integrated Query) come un linguaggio di query incorporato. Considerando la vasta community di sviluppatori già esperti in queste tecnologie, questa funzionalità riduce i costi e i tempi di sviluppo dallo sviluppo alla produzione delle applicazioni. Nella versione corrente StreamInsight supporta solo C# come linguaggio host.
Tramite LINQ, gli sviluppatori esperti in SQL possono scrivere rapidamente query in modo dichiarativo per elaborare e correlare dati di più flussi in risultati significativi. Le utilità di ottimizzazione e pianificazione del server StreamInsight assicurano a loro volta prestazioni ottimali per l'esecuzione di query.
Funzionalità di distribuzione flessibile
StreamInsight supporta tre scenari di distribuzione:
Completamente integrato nell'applicazione come DLL ospitata (incorporata).
Come server autonomo con più applicazioni e utenti che condividono il server. Nella configurazione autonoma il server StreamInsight viene eseguito in un wrapper, ad esempio un file eseguibile. In alternativa, può essere eseguito sotto forma di pacchetto come servizio Windows.
Il server StreamInsight ospitato o autonomo può far parte di una server farm.
Gestione
Le caratteristiche di monitoraggio e gestione incorporate nel server StreamInsight garantiscono un basso costo totale di proprietà delle applicazioni CEP. L'interfaccia di gestione e le viste diagnostiche disponibili nel server StreamInsight consentono all'amministratore di monitorare e gestire l'applicazione CEP. Il framework di gestione consente inoltre a integratori di sistema e ISV di monitorare in modalità remota e supportare i sistemi distribuiti da StreamInsight nelle installazioni di produzione e in altre installazioni con scalabilità orizzontale.
StreamInsight include un debugger del flusso di eventi autonomo che può essere utilizzato per analizzare, diagnosticare e risolvere i problemi relativi alle query utilizzate nelle applicazioni StreamInsight.
Scenari CEP
L'esigenza di elaborazione di flussi di eventi a velocità effettiva elevata e a bassa latenza è comune agli scenari aziendali seguenti:
Monitoraggio e controllo del processo di produzione
Analisi clickstream
Servizi finanziari
Servizi di alimentazione
Integrità
Monitoraggio IT
Logistica
Telecomunicazioni
Nelle sezioni seguenti vengono discussi alcuni di questi scenari ed esaminati i requisiti per l'elaborazione dell'evento.
Monitoraggio e controllo del processo di produzione
Per assicurarsi che i prodotti e i processi siano in esecuzione in maniera ottimale e con tempi d'interruzione minimi, le società di produzione richiedono la raccolta dei dati a bassa latenza e l'analisi dei sensori e dei dispositivi dell'impianto di produzione. Lo scenario di produzione tipico include i requisiti seguenti:
Monitoraggio basato sul cespite e aggregazione di dati creati dal computer.
Osservazione basata sul sensore delle attività dell'impianto di produzione e output.
Osservazione e reazione tramite controller del dispositivo.
Capacità di gestire fino a 10.000 eventi di dati al secondo.
Generazione di eventi e avvisi quando un'operazione non riesce.
Manutenzione attiva, basata sulla condizione sull'attrezzatura chiave.
Analisi a bassa latenza dei dati aggregati (scale di log e a finestre).
Analisi clickstream
Un'esperienza utente ottimale da un sito Web commerciale richiede l'elaborazione a bassa latenza del comportamento dell'utente e delle interazioni nel sito. La tipica applicazione di analisi clickstream include i requisiti seguenti:
Capacità di impostare il layout di pagina, la navigazione e la presentazione in base all'analisi clickstream a bassa latenza.
Capacità di gestire fino a 100.000 eventi di dati al secondo durante i momenti di picco del traffico.
Rilevamento immediato del modello clickstream e risposta con visualizzazione indirizzata.
Commercio algoritmico in un ambiente di servizi finanziari
Commercio algoritmico, con le necessità di elaborazione di volumi elevati di dati, dispone in genere dei requisiti seguenti:
Capacità di gestire fino a 100.000 eventi di dati al secondo.
Elaborazione di query in base al tempo.
Monitoraggio e capitalizzazione delle condizioni correnti di mercato con finestre di possibilità molto brevi.
Filtro smart dei dati di input.
Possibilità di definire modelli su più origini dati e nel tempo per lanciare automaticamente decisioni di acquisto/vendita/mantenimento per cespiti in un portafoglio.
Servizi di alimentazione
Il settore dei servizi richiede un'infrastruttura efficiente per la gestione delle griglie elettriche e di altre utilità. Generalmente questi sistemi dispongono dei seguenti requisiti.
Risposta immediata alle variazioni di consumo di energia o acqua, per ridurre o evitare periodi di interruzione o altri malfunzionamenti del servizio.
Ottenimento di efficienza operativa e ambientale tramite lo spostamento delle griglie smart.
Più livelli di aggregazione lungo la griglia.
Capacità di gestire fino a 100.000 eventi di dati al secondo da milioni di origini dati.