Bereits bei den ersten Tests mit BenutzerInnen steht man bei der Entwicklung von Chatbots mit Hilfes des Microsoft Bot-Frameworks vor der Herausforderung, die einzelnen Konversationen bzw. Nachrichten zu analysieren. Ohne aussagekräftige Daten zur Analyse ist eine weitere Verbesserung der Bot Lösung, sowie der zugehörigen LUIS Applikation, kaum möglich. Zwar bietet das Bot-Framework in den Einstellungen bereits die Möglichkeit, den Bot mit Application Insights für Analysedaten zu verbinden, allerdings sind die abrufbaren Informationen im Analytics Bereich nur begrenzt hilfreich. So besteht aktuell beispielsweise keine Möglichkeit, Details zu den einzelnen Konversationen zu erhalten. Für die Weiterentwicklung sind neben dem Inhalt der übermittelten Nachrichten auch die erkannten LUIS Intends von Bedeutung.

Durch die Implementierung eines ActivityLoggers ist es möglich, einzelne Nachrichten je nach Bedarf mit zu loggen. Allerdings ist die Umsetzung einer solchen, selbst zu implementierenden Lösung recht aufwändig, hier wäre eine Erweiterung der bereits vorhandenen Application Insight Informationen wünschenswert. Genau diese Möglichkeit bietet das Modul BotBuilder Instrumentation. Damit kann ein bestehender Bot um diese Informationen erweitert werden, welche sich dann via  Application Insights abfragen lassen. Eine noch schönere Lösung für die Auswertung von Bot spezifischen Daten stellt das Ibex Dashboard dar. Hierbei bekommt man sehr übersichtlich alle relevanten Informationen dargestellt.

Gesendete Nachrichten werden nach Kanal gruppiert, visualisiert und neben den LUIS Intends und den zugehörigen Utterances, können bei Bedarf auch die einzelnenen Konversationen im Detail nachgelesen werden. Diese Analysemöglichkeiten erleichtern die Weiterentwicklung / Verbesserung der vorhandenen Bot Lösung immens und es wäre wünschenswert, dass dieses Dashboard auf die bereits vorhandene Analyseseite des Bot Frameworks implementiert wird.