Het meten van adoptie en verandering (deel 1)

Er wordt op veel momenten tijdens een IT-traject gesproken over ‘adoptie’. Tijdens het pre-sales traject, de project kick-off, gedurende het project en ook na de ingebruikname. Doordat er door zoveel mensen en invalshoeken naar wordt gekeken is het belangrijk om de volgende vraag te stellen: “Wanneer is het geadopteerd en hoe meet je dit?” Een veel gebruikte aanpak binnen een project is om afspraken, zoals resultaten en doelen, rondom de implementatie en adoptie vooraf vast te stellen. Zodra deze afspraken succesvol zijn doorlopen, en de adoptie hierdoor positief wordt beïnvloed zijn de juiste doelen behaald. Dit is op zich een prima aanpak, maar een belangrijke vraag hierin is: “In welke mate hebben de activiteiten daadwerkelijk een invloed op de organisatie en het project gehad?”. Want is met het uitvoeren van de acties daadwerkelijk ook de oplossing geadopteerd?” Bij implementatie en transitie trajecten naar de ‘nieuwe omgeving’ is dit een van de grootste uitdagingen. Hoe weet je hoeveel impact je inspanningen op de organisatie hebben? Hoeveel tijd moet je in de verschillende activiteiten steken? Een nieuwsbericht, training, demo of andere implementatieacties kunnen per organisatie, per doelgroep en natuurlijk per oplossing een compleet verschillende impact hebben. In twee blogs beschrijf ik twee verschillende benaderingswijzen hoe je het gebruik van Office 365 kunt meten en hoe je de adoptie hiervan vervolgens kunt meten. Hierbij gebruik ik veel voorbeelden van een aantal implementatietrajecten waar ik de afgelopen jaar bij betrokken ben geweest.

Meten is weten

Zoals het kopje "Meten is weten" al zegt zal je, om een antwoord te geven op deze vraag, data moeten verzamelen over het gebruik. Hierbij maak ik onderscheid tussen twee vormen van metingen.

Verzamelen van feitelijke data en cijfers

Dit is data die je uit systemen haalt. Dit zijn verschillende tellingen en usage-cijfers die je vanuit meerdere systemen kunt achterhalen. Vervolgens is het belangrijk om deze cijfers goed te bestuderen, waarna je mogelijk een aantal conclusies kunt trekken over het gebruik en de adoptie.

Inhoudelijk gebruik en (gebruikers)perceptie meten

Bepaalde adoptievraagstukken zijn helaas niet altijd via standaard rapportages op te halen. Deze rapportages kunnen namelijk meer gaan over methodiek en of de manier van werken, die met de oplossing ingevoerd wordt. Dergelijke vraagstukken dienen gemeten te worden door juist de dialoog op te zoeken met je gebruikers en te achterhalen wat hun beeld van de oplossing is. Beide vormen zijn relevant en kunnen elkaar complimenteren, maar elkaar ook ontkrachten. Het is daarom van belang om te bepalen welke vorm voor het betreffende traject het beste ondersteuning kan bieden. "Met een Yammer Usage Report kan door middel van feitelijke cijfers goed aangetoond worden of Yammer veel of weinig gebruikt wordt binnen een organisatie. Een hoog gebruik kan geïnterpreteerd worden als dat de adoptie van Yammer binnen de organisatie succesvol is verlopen. Echter, bij het uitvragen van gebruikers komt naar voren vooral grappige en privézaken worden gepost en dat Yammer weinig gebruikt wordt voor werk gerelateerde vraagstukken of voor kennisdeling. Is de adoptie geslaagd? Is de transitie geslaagd?" In deze blog benoem ik de verschillende mogelijkheden hoe je feitelijke data en cijfers kunt achterhalen om een beeld te krijgen van hoe de adoptie van een omgeving verloopt en hoe je deze cijfers kunt interpreteren. In een tweede blog ga ik in op de tweede vorm, namelijk het inhoudelijk gebruik en (gebruikers)perceptie meten. Belangrijke noot: De ontwikkelingen binnen Office 365 gaan zo hard, dat er ongetwijfeld nieuwe manieren bij zijn gekomen of simpelweg dat er nog andere manieren zijn die ik nog niet ken. Mocht je zo'n manier kennen, laat mij dit dan zeker weten!

Verzamelen van feitelijke data en cijfers

Met feitelijke data kan snel inzichtelijk gemaakt worden welke deel van de organisatie daadwerkelijke gebruik maakt van de applicaties, hoe vaak, hoeveel documenten opgeslagen zijn en welke functies van de applicaties nu echt gebruikt worden. Voorbeelden van mogelijke relevante rapportages zijn:

• Hoeveel (unieke) gebruikers loggen per maand in?
• Hoe vaak per dag/maand wordt de oplossing benaderd?
• Welke functionaliteiten worden gebruikt?
• Hoeveel opslag wordt er gebruikt?
• Welke groei zit erin?

Met het inzichtelijk maken van dergelijke data kan er een goed beeld gecreëerd worden van of het gebruik conform de verwachting verloopt of niet. Dergelijke gegevens zijn ideaal om te gebruiken bij het evalueren of de adoptie en of transitie goed verloopt. En om een advies en de vervolgacties op te baseren. In essentie ga je het 'gevoel' vertalen naar meetbare data. Een aantal praktische voorbeelden van rapportages die op basis van feitelijke data gemaakt kunnen worden, zijn:

• Rapportage van het gebruik van de huidige situatie (oude oplossing)
• Rapportage van het gebruik na livegang
• Periodiek uitvoeren van dezelfde rapportage om de voortgang te zien (groei te meten)
• Nulmeting
• Overzicht van actieve gebruikers
  • Bepalen hoeveel licenties nodig zijn
  • Bepalen welk deel van de organisatie actief gebruiker is

Hoe kan je feitelijke data en cijfers verzamelen?

Office 365 biedt een heel set aan tools aan om dit te achterhalen zonder dat je een rapportagetool moet inrichten of aanschaffen. Echter, niet alle tools zijn voor ieder beschikbaar. Office 365 biedt deze tools op verschillende locaties aan en die zijn weer op hun beurt enkel toegankelijk als je een bepaalde machtiging hebt. Idealiter wil je natuurlijk alle tools kunnen gebruiken, maar de realiteit is dat dit niet altijd het geval is. Daarom groepeer ik de verschillende mogelijkheden op basis van beschikbaarheid per machtiging. Met een dergelijk overzicht zie je snel welke tools direct beschikbaar voor je zijn en welke (nog) niet.

Rapportage mogelijkheden (beschikbaar met administrator-rechten)

1. Office 365 Usage Activity Reports

Binnen Office 365 kan je op de Tenant > Reports > Usage, waar een breed scala aan rapportages beschikbaar zijn waarmee je verschillende metingen van je Office 365 omgeving kunt bekijken en kunt exporteren. Deze lijst met rapportages wordt regelmatig door Microsoft aangepast en uitgebreid, en is een van je beste tools om het gebruik van de omgeving te meten. Hieruit zijn rapportages te halen per applicatie:

• Gebruikte licenties en aantal active users van Office 365
• Het gebruik van:
  • Exchange
  • OneDrive
  • SharePoint
  • Skype voor Bedrijven
  • Yammer

Deze rapportages geven je niet alleen een mooi beeld van hoe vaak een applicatie is benaderd, maar bieden je ook het inzicht over hoe een applicatie gebruikt wordt, zoals: hoeveel bestanden een gebruiker bekijkt of bewerkt, hoeveel bestanden gebruikers delen (intern of extern), etc. Dit soort gegevens kunnen je een veel beter beeld geven van hoe een applicatie daadwerkelijk gebruikt wordt. In het figuur is heel duidelijk te zien dat gebruikers voornamelijk documenten bekijken en bewerken, maar niet delen. Tevens zijn er drie grote pieken geweest en het gebruik is relatief stabiel gebleven. Deze informatie kan weer gebruikt worden om vervolgvragen te stellen en te onderzoeken

• Waarom wordt er niet gedeeld?
• Wat zouden de drie pieken kunnen zijn?
• Gebruik is overall vrij stabiel. Is er ruimte voor groei?

Dit soort rapportages zijn te exporteren naar Microsoft Excel en vormen een belangrijke bron om het gebruik te achterhalen. Probeer altijd deze lijsten te bemachtigen door of zelf hiernaartoe te gaan of door een call bij de desbetreffende beheerder in te dienen, en hierbij Microsoft Excel-exports aan te vragen.

2. Office 365 Usage Analytics Pack (voorheen 'Office 365 Adoption Pack')

De Usage Analytics Pack is een nieuwe rapportagefunctionaliteit voor Office 365, waarmee je via PowerBI een kant-en-klaar dashboard in PowerBI kunt openen waarin het gebruik van Office 365 van je organisatie - van de afgelopen 12 maanden - wordt weergeven. De Usage Analytics Pack maakt hiervoor gebruik van dezelfde data als de Office 365 Usage Activity Reports. De dashboards zijn in een aantal secties verdeeld die ieder inzoomen op een specifiek aandachtsgebied. Een belangrijk deel van de rapportages wordt als volgt gegroepeerd: Adoption De 'adoption' sectie groepeert data waarmee inzicht gekregen kan worden hoe gebruikers Office 365 gebruiken (usage) en geeft een overzicht van het gebruik van individuele diensten per maand. Storage use report Met de Storage Dashboard krijg je inzicht in hoeveel opslag daadwerkelijk gebruikt wordt en hierop kan je vervolgens acteren. Zorg ervoor dat je binnen de limiet(en) blijft of verhoog de opslaglimiet. Communication report De Communication Dashboard toont aan welke communicatiekanalen de organisatie het meest gebruikt. Indien er verschuivingen zijn in het communicatiegedrag zijn deze hier te observeren. (Email versus Skype versus Yammer) Collaboration Via het Collaboration Dashboard kan inzicht verkregen worden welke documentopslag-diensten worden gebruikt en hoe wordt samengewerkt. Dit wordt per maand getoond om mogelijke trends te herkennen. (OneDrive versus SharePoint versus Groups) Zoals hierboven reeds is benoemd maakt de Usage Analytics Pack gebruik van dezelfde data als de Office 365 Usage Activity Reports. De voordelen om gebruik te maken van de Usage Analytics Pack zijn:

• Data kan via PowerBI makkelijker gedeeld worden met gebruikers zonder administratorrechten (delen kan alleen indien de organisatie een PowerBI Pro-licentie heeft)
• De 'Adoption Pack' combineert Office 365, datagebruik en de AD-informatie waardoor je via Power-BI de informatie kunt 'Drillen' en de data per AD kenmerk kunt vergelijken. Denk hier aan gebruik meten per locatie, afdeling en/of divisie
• De rapportages zijn visueel weergegeven door middel van PowerBI
• Het is mogelijk om eigen rapportages en dashboards te maken met dezelfde data en te delen
• Er zijn geen periodieke exports van Microsoft Excel nodig om te delen. De data in PowerBI is altijd actueel (automatische refresh)

Wanneer een organisatie gebruik maakt van Office 365 is het activeren van de Usage Analytics Pack zeker een goed advies richting de klant. De Usage Analytics Pack is namelijk een uitstekende tool om in te zetten bij het monitoren van de adoptie en de transitie. Tip: Omdat bij het activeren van de Usage Analytics Pack enige voorbereiding nodig is, is het raadzaam dit in overleg met een technisch consultant op te pakken. De Usage Analytics Pack kan enkel met specifieke beheer accounts geactiveerd worden. Lees deze korte toelichting hoe de Usage Analytics Pack geactiveerd kan worden.

Gebruik meten met tools die beschikbaar zijn binnen SharePoint

Het kan voorkomen dat je je in een situatie bevindt, waar je geen volledig toegang hebt tot de omgeving. In dergelijke gevallen biedt SharePoint je nog steeds een set aan tools, die het mogelijk maken om het gebruik van deze omgeving te kunnen meten.

Site - Usage Reports (Popularity Trends)

Er zijn momenten waarbij het niet nodig is om een meting te doen over de hele omgeving, maar er juist behoefte is om een beeld te krijgen van het gebruik binnen een specifieke deel van een (SharePoint) omgeving. In deze situatie kan de Usage Reports oftewel de Popularity Trends rapportages mogelijk een geschikt middel zijn. Via het Site-instellingenmenu (van de sitecollectie) zijn er twee type rapportages die opgehaald worden door middel van een Excel-export uit SharePoint.

• Popularity Trends
• Popularity and Search reports (search rapportages)

Popularity Trends Deze rapportagepagina toont bezoekersinformatie, zoals bijvoorbeeld "number of views (hits) and unique users per day or month" van de site. Popularity and Search reports (search rapportages) Deze rapportagepagina toont verschillende rapportages waarmee het gebruikt van search van de omgeving kan worden geanalyseerd. Hier moet je denken aan bijvoorbeeld:

• Aantal keer dat search is gebruikt
• Populaire zoektrefwoorden
• Welke zoekwoorden hebben geen treffers gevonden

Door dit gedrag te analyseren is het mogelijk om een gevoel te krijgen waarop gezocht wordt en of deze content daadwerkelijk gevonden wordt. Hier kan vervolgens weer op geacteerd worden.

Documentmetingen

Document - Usage Reports (Popularity Trends)

Indien wenselijk kan er ook inzicht verkregen worden op het gebruik van documenten per bibliotheek of van een individuele document. Standaardrapportages die je kunt genereren zijn:

• Usage rapportage - per document(en)
• Meest populaire documenten binnen een documentenbibliotheek

Usage rapportage - per document(en)

Door een of meerdere documenten binnen een bibliotheek te selecteren wordt de optie Popularity Trends actief (binnen de ribbon 'documenten') Met deze optie wordt een Excel bestand gegenereerd, waarbij per document een Usage rapportage geproduceerd wordt. Een overzicht wordt vervolgens gemaakt van het gebruik per dag maar ook per maand.

 

Meest populaire documenten binnen een documentenbibliotheek

Een andere manier om snel een overzicht te genereren is via de Most Populair Items functie (via de ribbon 'Library'). Bij het activeren van deze functie krijg je een overzicht van documenten die je op drie verschillende manieren kunt sorteren.

• Most viewed
• Most viewed by unique users
• Most recommendation clicks

Er zijn twee soorten tellingen die iedere avond worden bijgewerkt, te weten Ever en Recent. Ever Geeft het totaalaantal views van het document weer. Hiermee kan geïnterpreteerd worden hoe vaak het document in totaal is bekeken. Recent Toont het totaalaantal views van de afgelopen 14 dagen. Hiermee kan geïnterpreteerd worden hoeveel views er onlangs waren vergeleken met het totaleaantal views (Ever).

Zorg ervoor dat je de data goed interpreteert!

Deze tools zijn bij uitstek geschikt om het gebruik van omgevingen meetbaar te maken. Hoewel het genereren van de data relatief simpel is geworden, ligt de uitdaging bij het correct interpreteren van deze cijfers. Soms lijkt het erop dat de cijfers een bepaald verhaal vertellen, maar door je te verdiepen in de cijfers en het gebruik kan je soms tot een verassende conclusie komen. Door dergelijke inzichten aan de klant en of het project te kunnen geven, genereer je echte 'additional value'. In een volgend blog ga ik dieper in op het meten van inhoudelijk gebruik en (gebruikers) perceptie. Hier zal ik ingaan op de benaderingswijze van hoe je het gebruik van Office 365 kunt meten en hoe je de adoptie hiervan vervolgens kunt meten.