Filter
ChatGPT De chatbot als klantenservice: zo meet je hoe effectief dat is [case]
Zoals bij alle onderwerpen die in het volle licht staan, wordt er nogal veel beweerd over chatbots en hoe ze klanten kunnen helpen. Dat ze menselijk contact kunnen vervangen of daar juist niet toe in staat zijn. Of 24 uur per dag beschikbaar zijn en we dus massaal ‘s avonds laat aan het chatten slaan. Bij CZ staat sinds 9 maanden een chatbot prominent op de klantenservicepagina en de data die daaruit komen, laten echte beelden zien. Een artikel over data en de interpretatie daarvan.
Toen de chatbot in december 2015 op de klantenservice pagina geplaatst werd, had ze al een flinke historie bij CZ. De eerste pilot was al ruim een jaar daarvoor begonnen en had geen duidelijk beeld gegeven over de prestaties. Dat kwam onder meer omdat de chatbot niet genoeg bezoekers trok en dat het lastig was om relevante KPI’s boven water te krijgen.
Dat stond bij CZ wel vanaf het begin vast: de chatbot moest meedoen in het goed bedienen van klanten zonder dat de klant moet switchen naar een ander (telefonisch) kanaal. Het zoeken naar relevante KPI’s bleek ook in de tweede pilot een lastige klus.
KPI-searching
Naast de businesscase-eis ‘de chatbot moet kostenneutraal kunnen werken’, was het zaak om een aantal kwalitatieve KPI’s te vinden waarmee het succes van de chatbot te bepalen was. Gedurende de pilot zijn er een aantal KPI’s onderzocht:
Aantal gebruikers van de chatbot
Dit is de meest basale KPI, die makkelijk te meten is. En als je goed meet en ook data hebt van andere kanalen (web, e-mail, telefoon), dan kun je hier het aandeel van de chatbot uit halen. En ook of klanten de chatbot gebruiken als de klantenservice niet open is.
Bij CZ pakte de chatbot gedurende de pilot gemiddeld 6,2 procent van het contactverkeer. Dat aandeel is aantoonbaar afkomstig van de telefonische klantenservice.
De vergelijking tussen de verdeling van het contactverkeer in het tweede kwartaal van 2014 (nog geen chatbot) en in het tweede kwartaal van 2016 (chatbot op klantenservice cz.nl) laat zien dat aandeel van de chatbot is afkomstig van Telefonie en E-mail.
De gebruikscijfers gedurende de dag laten zien dat het interactiepercentage binnen kantooruren 8 procent hoger ligt dan ’s avonds en in de weekenden: de chatbot bij CZ speelt geen grotere rol als de klantenservice dicht is.
Over de hele pilot is het gemiddelde interactiepercentage van de chatbot bij open klantenservice 8% hoger dan bij gesloten klantenservice. Dit laat zien dat de chatbot vaker tijdens kantooruren wordt gebruikt. De 24 uur beschikbaarheid wordt minder gebruikt dan verwacht.
Herkenning
Het herkennen van woorden of patronen uit de vraag is voor een chatbot een essentiële functie. De CZ chatbot maakt onderscheid tussen bruto herkenning (hoeveel vragen worden er herkend) en de recognition rate (bij hoeveel vragen wordt een relevant antwoord getoond). Voordat je daar goed over hebt nagedacht, zou je die allebei op 100% willen hebben. De praktijk laat zien dat een bruto herkenning van 90 procent heel netjes is (5 tot 10 procent van de vragen zijn zo vaag dat ze niet te herkennen zijn) en dat een recognition rate van 70 procent marktconform is. Het nadeel van deze KPI’s is dat ze worden berekend door de technische omgeving onder de chatbot en is dus een technische KPI’s zijn. Ze zeggen nog niets over hoe goed antwoorden zijn en hoe tevreden klanten er mee zijn.
Gebruik van links in antwoorden
Antwoorden van een chatbot zijn kort en bondig en verwijzen vaak door naar een plek waar meer informatie te vinden is. Als die extra informatie nodig is om een compleet antwoord te geven, is het logisch dat je het percentage doorkliks op links als KPI gebruikt. Maar als de chatbot zelf meer inhoudelijke antwoorden gaat geven, wordt de betekenis van het aantal doorkliks minder helder; een laag percentage is dan opeens beter. Bij CZ hebben we deze KPI daarom laten vallen.
Hetzelfde geldt voor de doorklikpercentages van dialogen. Feitelijk geven die aan hoe goed een dialoog past binnen de context van een gebruiker. In de praktijk blijkt dat doorklikpercentages per dialoog flink kunnen verschillen. En voor de oorzaak van die verschillen ontkom je niet aan diepgaande (en dus tijdrovende) analyses van het gebruik van de dialogen.
Wat geeft een chatbot voor antwoorden?
- Een direct antwoord op een vraag. Dit is de meest gebruikte interactie; klant stelt vraag, chatbot reageert op woorden of patronen en geeft het meest waarschijnlijke antwoord
- Een dialoog, als reactie op een vraag. Als een vraag onduidelijk is of er meerdere antwoorden mogelijk zijn, kan er een dialoog met meerdere paden handig zijn. Dit is ook meer zoals klantenservice-agents werken: bij een vraag een wedervraag stellen om tot een beter antwoord te komen.
- Een FAQ. Als alternatief voor het stellen van een vraag, al dan niet in een bekende context, kan de chatbot een aantal bekende vragen en antwoorden presenteren.
Tevredenheid
Het belangrijkste doel van de chatbot bij CZ is om goede antwoorden te geven, waardoor de vragen van klanten beantwoord worden en ze niet meer gaan bellen. De kwaliteit van de antwoorden van de chatbot meet je uiteindelijk alleen via de klanttevredenheid. De chatbot van CZ heeft een ingebouwd feedback-mechanisme, dat bij elk antwoord vraagt: Was dit antwoord behulpzaam? Ja/Nee. Daarnaast hebben we bij CZ een usabilla enquête ingezet waarin we meer specifieke vragen stellen.
De resultaten van de feedback bij CZ laten zien dat tevredenheid een lastige KPI is: de respons op beide feedbackloops was minder dan 4 procent en het merendeel van de respondenten (67 tot 75% procent) was negatief. Nadere analyse laat zien dat 70 procent van de negatieve feedback terecht is omdat de chatbot geen goed of een incompleet antwoord gaf. Dat percentage laat wel zien dat de kwaliteit van antwoorden nog niet aansluit op de vragen van klanten, maar geeft helaas geen representatief beeld van wat alle klanten van de chatbot antwoorden vonden. De klagers zijn in de meerderheid, tevreden klanten geven vaak überhaupt geen feedback.
Gewijzigde contactintentie na gebruik chatbot
Als resultaat van klanttevredenheid is de gewijzigde contactintentie van klanten een interessante KPI voor de chatbot. Het laat het netto effect van de chatbot zien: Hoeveel klanten waren van plan om te bellen (als de chatbot er niet geweest was) en gaan dat na een goed antwoord van de chatbot niet meer doen. De vraagstelling was onderdeel van de usabilla enquête.
Bij CZ kwamen we over de looptijd van de pilot op een gemiddelde van 9,8 procent, wat overeenkomt met 8200 calls en een potentiële besparing van € 45.000. Vanwege het genoemde negatieve sentiment bij het invullen van de usabilla enquête kan dit worden beschouwd als het meest pessimistische cijfer van callreductie.
Data versus content driven
De beschreven KPI’s geven vooral een beeld van hoe de chatbot het technisch doet. Als indicatie van hoe de chatbot klanten kan helpen of tevreden klanten zou kunnen opleveren.
Die technische blik komt voort uit de data driven approach van de leverancier van de chatbot. In het platform onder de chatbot worden heel veel data verzameld en het ligt voor de hand om vooral te sturen op basis van die data. Het platform biedt daarvoor een serie dashboards waarin de performance te volgen is.
De data driven approach wordt daarmee ook een belangrijk gegeven voor het onderhoud van de content. Data driven manifesteert zich dan als: alleen onderwerpen aanpakken die vaker dan x keer worden gevraagd. Met n=1 als belangrijkste klip om te omzeilen worden antwoorden toegevoegd of gecorrigeerd als ze bijvoorbeeld meer dan 8 keer per maand worden gevraagd. Vanuit de data wel te begrijpen, maar er hebben dan 7 klanten geen of een fout antwoord gekregen. En dat resulteert in negatieve feedback.
Eenzijdige aanpak
Hoewel data driven waarschijnlijk de enige manier is om grote aantallen vragenstellers te kunnen bedienen, leidt die drijfveer wel tot een eenzijdige aanpak. Met name de inhoud van gestelde vragen en de antwoorden geven een veel rijker beeld van de manier waarop klanten vragen bedenken, formuleren en een bepaalde slimheid verwachten van de chatbot. Om bewust met de UX van je dienstverlening om te gaan, moet je regelmatig diep in de content duiken. Al is het alleen maar om te begrijpen waarom klanten al dan niet tevreden zijn of om antwoorden aan te passen die écht niet kunnen.
In de pilot bleek dat de bijvangst van gerichte verbeteracties, die pas mogelijk werden toen we echt toegang kregen tot vragen en antwoorden. Relatief laat in de pilot hebben we diepgaande analyses van vragen en antwoorden gedaan en was het mogelijk om technische data en feedback cijfers van een inhoudelijke context te voorzien.
Een conclusie met mistflarden
In de negen maanden pilot met de chatbot bij CZ is het niet gelukt om met zekerheid vast te stellen of de chatbot kostendekkend kan werken. Met name de behaalde call reductie, die aan de verdienkant van de business case stond, was niet betrouwbaar vast te stellen door de te lage feedbackpercentages en de negatieve tendens van die feedback. Wel hebben we een bandbreedte kunnen vaststellen, tussen een pessimistisch scenario (gebaseerd op feedback) en een theoretisch optimistisch scenario en daaruit blijkt dat het niet waarschijnlijk is dat de chatbot er kostenneutraal uitspringt. Een kostenneutrale operatie was voor CZ overigens niet het belangrijkste argument om al dan niet met de chatbot door te gaan.
Een beeld dat in de evaluatiefase wel duidelijk is geworden is dat de chatbot bij CZ niet goed blijkt te zijn in het beantwoorden van alle mogelijke vragen van klanten. Als stand-alone vraagbaak is het adequaat beantwoorden van 57 procent van de vragen gewoon te weinig om een hoge tevredenheid te scoren. Het structureel verbeteren van die antwoorden kost relatief veel inspanning en is voorlopig nog edel handwerk. Een zelflerende chatbot die zelf actief kan meewerken aan het verbeteren van de dialoog is nog geen realiteit.
De toekomst voor de chatbot bij CZ
Is er dan nog emplooi voor de chatbot bij CZ? In de evaluatie is besloten om voorlopig door te gaan met de chatbot om te onderzoeken hoe de opgedane ervaring inzetbaar is bij toekomstige conversationele interfaces. Maar wel met de kanttekening dat klanten duidelijk gemaakt moet worden dat ze geen vragen stellen aan een mens maar aan een bot. Dat tempert in ieder geval de verwachtingen en zorgt hopelijk voor een hogere tevredenheid.
In de toekomst zal de chatbot waarschijnlijk een duidelijker toevoegde waarde hebben als voorpost van een bemande chat. De chatbot beantwoord dan vooral de laaghangend-fruit vragen en escaleert de gebruiker anders naar een medewerker die gewend is om complexe vragen te beantwoorden. En die krijgen bij CZ al jarenlang een dikke voldoende.
Afbeelding intro met dank aan 123RF.com
Over de auteurs
