Wat zijn de uitdagingen van massale dataverzameling en wanneer wordt het teveel?
25 oktober 2022 11:39
Digitale transformatie is in elke markt een belangrijke trend, waardoor bedrijven steeds afhankelijker worden van softwaregebaseerde diensten. Naarmate deze trend zich doorzet krijgen zowel klanten als medewerkers steeds hogere verwachtingen dat bedrijven sneller kwalitatief betere en veiligere digitale diensten kunnen leveren. Multicloud-omgevingen, die gemiddeld gebaseerd zijn op zo’n vijf verschillende platforms, vormen de kern van digitale transformatie. Ze vergroten de flexibiliteit van bedrijven, waardoor DevOps-teams de innovatiecyclus kunnen versnellen.
Multicloud-omgevingen hebben echter ook nieuwe uitdagingen met zich meegebracht op het gebied van complexiteit en schaalbaarheid. Applicaties zijn voortaan gebaseerd op meerdere technologieën, bevatten miljoenen coderegels en genereren meer afhankelijkheden. Daardoor lukt het DevOps-teams niet meer om deze omgevingen handmatig te monitoren, logs samen te voegen en te analyseren om de inzichten te krijgen die ze nodig hebben voor het leveren van optimale digitale ervaringen.
AIOps biedt uitkomst
Bedrijven gebruiken steeds vaker platforms met kunstmatige intelligentie voor hun operaties (AIOps), om de complexiteit van multicloud-omgeving te managen en genoemde uitdagingen te overwinnen. AIOps combineert technieken voor big data en machine learning om IT-activiteiten te automatiseren, zodat organisaties hun innovatie kunnen versnellen en ontwikkelaars tijd overhouden voor meer strategische taken.
AIOps is echter alleen zo slim als de kwaliteit en kwantiteit van de logs en andere data die teams erin stoppen, daarom is observatie zo essentieel. Bedrijven moeten gedetailleerde statistieken, logboeken en sporen van multicloud-applicaties en -infrastructuur vastleggen en deze in het AIOps-platform invoeren. Dan pas kan AI het DevOps-team de inzichten geven die ze nodig hebben om applicaties te optimaliseren, betere klantervaringen te leveren en bottom-line bij te dragen aan het verbeteren van de bedrijfsresultaten. Met betere kwaliteit observatiedata kunnen AIOps-oplossingen waardevollere context bieden. Op hun beurt kunnen teams op een meer agile en geïnformeerde wijze opereren.
Overal meer data
Het probleem is dat in de race om meer gegevens te verzamelen over gebruikerssessies, metadata en bedrijfsresultaten, organisaties worden overspoeld met data. De hoeveelheden data van duizenden microservices en containers in multicloud-omgevingen, door elke tik, klik of swipe van een gebruiker die digitale diensten gebruikt, zorgt ervoor dat bedrijven tegenwoordig overbelast raken. Ze vinden het moeilijk om bij te blijven met het gebruik van traditionele oplossingen voor logmonitoring en analyse, die niet gebouwd zijn voor de huidige explosie aan observatiedata.
Als gevolg van genoemde explosie aan beschikbare data wordt het voor bedrijven steeds moeilijker om observatiegegevens op de juiste schaal te verzamelen, op te slaan, te indexeren en te analyseren. De financiële en tijdsimplicaties daarvan zijn oneconomisch geworden. Andere uitdagingen ontstaan door het aantal datasilo's dat is gecreëerd omdat bedrijven zijn gaan vertrouwen op afzonderlijke monitoring- en analyseoplossingen voor verschillende doeleinden. Deze gefragmenteerde aanpak maakt het moeilijk om loggegevens in hun context te analyseren, wat de waarde beperkt van de AIOps-inzichten die bedrijven in staat zijn te ontsluiten.
De kosten van een primaire opslagoplossing dwingen organisaties tevens om historische logdata te verplaatsen naar minder interactieve systemen, of bepaalde data zelfs volledig te verwijderen. Hoewel deze aanpak loganalyses kosteneffectiever maakt, vermindert het ook de impact en waarde die logs bieden aan een moderne AIOps-gebaseerde oplossing. Logdata in secundaire opslag is vaak niet door AIOps-platforms te gebruiken voor on-demand realtime vragen en inzichten, of om context te bieden over de oorzaak van mogelijke problemen. Die data moet opnieuw worden beoordeeld en geïndexeerd voordat teams query's kunnen uitvoeren en inzichten kunnen krijgen, wat uren of zelfs dagen kan duren. Deze tijdsvertraging kan inzichten opleveren die inmiddels verouderd zijn, met dus beperkte waarde voor het voorkomen van problemen die de klantervaring negatief beïnvloeden.
Onbeperkte observatie in een cloud-native wereld
De afhankelijkheid van multicloud-omgevingen en AIOps-gestuurde automatisering neemt alleen maar toe, omdat de vraag naar digitale diensten in de wereld blijft toenemen. Als gevolg hiervan moeten bedrijven nieuwe manieren vinden om observatiedata te verzamelen, te indexeren, op te slaan en operationeel te benutten. Afgestemd op de huidige en toekomstige cloud-native wereld.
In een cloud-native wereld hebben bedrijven behoefte aan log-analysemodellen die zijn ontworpen om mee te groeien met de complexiteit van multicloud-omgevingen. Maar die ook schaalbaar zijn voor de enorme hoeveelheden metrieken, logs en sporen die ze creëren. Zogeheten data lakehouses zijn een krachtige oplossing die de structuur, het beheer en de queryfuncties van een datawarehouse combineert met de voordelige voordelen van een datalake. Ze elimineren voor DevOps- en IT-teams de noodzaak om meerdere databronnen te beheren, handmatig samen te voegen en te verplaatsen tussen primaire en secundaire opslagsystemen. Daarmee verhogen ze zowel de snelheid als de nauwkeurigheid van AIOps-inzichten verhoogt
Met behulp van een data lakehouse kunnen bedrijven alle data, loganalyses en de volledige context op een flexibel schaalbare wijze ontsluiten. Dat maakt snellere query's mogelijk die nauwkeurigere antwoorden opleveren. Bedrijven die met deze mogelijkheden zijn uitgerust, kunnen intelligente automatisering stimuleren voor het optimaliseren van alle digitale interacties met hun klanten, medewerkers en businesspartners. Bottom-line levert ze dat waardevol concurrentievoordeel op in een steeds meer verbonden wereld.
Auteur: Jeffrey De Rycke, Regional Director Benelux bij Dynatrace
Reacties op dit artikel
Reactie plaatsen? Log in met uw account.