Kritik an Marktstudien gab es schon häufiger. Wir haben z.B. in Beiträgen zur Einschätzung 2017 und 2019 angemerkt. Aktuell werden von indischen Unternehmen Studien zu Marktsegmenten des Informationsmanagements “wie sauer Bier” angeboten – teuer und von sehr zweifelhafter inhaltlicher Qualität. Aber auch die namhaften Analysten geraten immer wieder in den Fokus der Kritik, wie wir auch in den beiden obigen Beiträgen zu Forrester und Gartner erwähnt haben. Nun gibt es zu einer Gartner Magic Quadrant Studie einen kleinen Skandal, zumindest nach Meinung von Speicherguide.de: “Kurioser Streit um Gartner Magic Quadrant Backup & Recovery” und “Endlich: Hersteller wehren sich gegen Analysten“. Es geht um den Gartner Magic Quadrant “Data Center Backup and Recovery Solutions” vom 10.10.2019.

Im Magic Quadrant findet im “Visionaries” Segment die Firma Rubrik. Rubrik ist mit der Platzierung nicht zufrieden, bezieht sich auf die Übernahme von Mitarbeitern von Gartner (“After his sustained pursuit of a position with Rubrik, we declined to offer Analyst #5 a role, and he expressed his clear disappointment in light of his colleagues’ hirings at Rubrik”) und wettert (“Rubrik declares War on Gartner“) ebenso wie Arcplace, gegen die Einschätzung der Analysten S. Rao, C.  Mukhyala und N. Simpson von Gartner. Diese drei haben den im letzten Jahr stillgelegten Quadranten in 2019 wieder aufgegriffen.

Bipul Sinha von Rubrik geht Gartner im Rubrik-Blog hart an: “… to put it bluntly, it’s our opinion that the 2019 Backup and Recovery Solutions MQ is seriously flawed. … In 2018, five Gartner Analysts covering Backup and Recovery separately sought to leave Gartner and approached Rubrik for employment. Of the five, Rubrik eventually made offers to only four analysts. What happened to Analyst #5? After his sustained pursuit of a position with Rubrik, we declined to offer Analyst #5 a role, and he expressed his clear disappointment in light of his colleagues’ hirings at Rubrik. Approximately four months after communicating this displeasure, Analyst #5 would change teams and be named as a lead analyst on the MQ covering Rubrik. We expected that this conflict of interest would have been disclosed, as Gartner’s policy requires, and it was not. During our process with the Ombudsman, Gartner did not acknowledge the conflict of interest and bias issue and continued to justify their findings with new arguments, many of which were supplied by Analyst #5 and justified by Gartner’s Peer Review Process. When the conflict of interest was clear to Gartner, a second full review was conducted over a three week period, which concluded with a product that “provides no material change” and is now the current 2019 MQ. We are disappointed that Gartner’s proposed resolution was to rely upon a short three week review performed by a new analyst relying upon Analyst #5’s work, analysis, and data. This is in sharp contrast with the typical 4-5 month research process led by dedicated analysts with deep firsthand experience with customers and vendors in our industry. We also question the adequacy of Gartner’s analyst peer review considering the attrition since 2017 of 10 experienced analysts with over 100 years of experience in Backup and Recovery, Archiving, and Storage.“.

Speicherguide.de schreibt hierzu: <Zitat> Interessenskonflikt oder Krokodilstränen? … Die geplante Ausgabe 2018 musste zunächst abgesagt werden, da der größte Teil des damaligen Analysten-Teams von Rubrik rekrutiert worden war. Der nächste Veröffentlichungstermin, Mai 2019, konnte nicht gehalten werden, weil der Hersteller Rubrik Beschwerde bezüglich der Kriterien und Bewertungen eingelegt hatte. </Zitat>. Hierzu The Register: “Gartner lost four analysts to Rubrik and one to Veeam“. Die üblichen Verdächtigen im “Leaders-Quadrant”, Commvault, Veeam, Veritas, Dell EMC und IBM stört dies weniger. Sie halten ihre Positionen seit nahezu “ewigen” Zeiten. 

Ob nun die Vorlage beim Ombuds-Gremium von Gartner etwas für Rubrik bringt, ist offen. Gartner weist in einem ausführlichen Blogbeitrag die Vorwürfe zurück: “Despite our investigation showing no evidence of bias for or against Rubrik, or any other provider included in the Magic Quadrant, out of an abundance of caution we made the decision to remove the analyst from the report. We assigned another analyst, with extensive knowledge of the market and the technologies in it, to conduct a full review of all original data and briefing materials, the scoring of all vendors involved, and the strengths and cautions for each company. He, too, agreed with the team’s conclusions and helped to finalize the Magic Quadrant. The original lead analyst played no role in this process.” 

Wichtiger ist vielleicht die generelle Kritik dahinter.

Generelle Kritik an Marktstudien

Im Beitrag von DocStorage auf Speicherguide.de heißt es zur generellen Kritik an Studien: <Zitat> “Das wird auch langsam mal Zeit: Hersteller wehren sich gegen Analysten. Wäre nicht erst November, könnte man meinen, es sei schon Weihnachten. Endlich liest man einmal von Herstellern, die – man entschuldige meinen Ausdruck – die Eier besitzen, gegen die Beurteilung und Einstufung durch sogenannte »Analysten« vorzugehen. Im speziellen geht es momentan um den »magischen Quadranten« eines bestimmten Unternehmens, mit dem diese Firma seit Jahrzehnten meint, die Qualität der Produkte und der Roadmaps einzelner Hersteller beurteilen zu können. In diesem Quadranten gibt es »Leaders«, also Anführer, »Challengers«, also Herausforderer, »Visionaries«, also Visionäre und letztlich »Niche Players«, Nischenanbieter. Zur Beurteilung werden selbstkonstruierte Parameter herangezogen, die, so meinen die Analysten, im Ergebnis zur Einordnung an einem bestimmten Punkt weiter oben und rechts oder eben weiter unten und links im »Quadranten« dienen. Vor allem sind Parameter wie jährlicher Umsatz und verkaufte Produktmenge ausschlaggebend, aber auch die Menge des Produktangebotes und die Marktaktivitäten. Was das allerdings mit der Qualität der einzelnen Produkte zu tun haben soll, muss erst einmal jemand erklären. Ist ein Golf besser als eine S-Klasse, weil mehr davon auf der Straße rumfahren? Ist eine Casio-Uhr besser als eine Rolex, nur weil deren Hersteller damit mehr Umsatz generiert oder es eine größere Auswahl bei den Typen gibt? Wohl kaum. Aber genau diese Kriterien schieben einen Hersteller weiter nach oben rechts in einem der »magischen Quadranten«.”

Grundsätzlich gilt: nicht nur den Quadranten interpretieren sondern den ganzen Text des Reports lesen (der Quadrant ist nur eine mögliche Sicht auf die Daten). Die Bewertungskriterien sind veröffentlicht und orientieren sich am State-of-the-Art der betrachteten Anbieter und ihrer Branche selbst.
Nur ein ganz geringer Teil des Marktes wird entsprechend den Kriterien der großen Analystenhäuser berücksichtigt. Allein schon die Auswahl der Anbieter führt häufig zu Kritik. Dies ist bei Studien mit internationalem Fokus besonders auffällig, da aus manchen Ländern nur ein oder gar kein Anbieter berücksichtigt wird, obwohl diese national eine wichtige Rolle spielen. Das verklärt natürlich den Blick auf die Studie aus diesen Ländern.
Nicht alle Analysten legen ihre Kriterien offen oder definieren sie sauber. Bei großen Häusern wie Forrester und Gartner sind die Einschätzungen eigentlich immer nachvollziehbar – wenn man sich nicht auf die Grafik konzentriert sondern den ganzen Report liest. Die Grafik ist sowieso nur eine mögliche Sicht auf die zu Grunde liegenden Daten. Kunden von Gartner können entsprechend ihren individuellen Anforderungen ganz andere Sichten auf den Markt erhalten.
Und natürlich ist eine solche Studie immer eine Situationsaufnahme. Gerade aufwändige Untersuchungen mit Vor-Ort-Besuchen bei Anwendern dauern. So liegt der Zeitpunkt der Marktsicht gegebenenfalls für jedes bewertete Unternehmen bei einem anderen Zeitpunkt in der Vergangenheit.

Studien müssen nicht “schön geredet” werden, aber nicht jede Kritik ist berechtigt.

Bleibt die große Frage, wem nützen die Studien eigentlich.

Erstens natürlich den Anbietern zur Einschätzung ihrer Marktposition und des Wettbewerbes. Hinzu kommt der Marketing-Effekt bei “Analyst-xyz” ganz vorn gelistet zu sein. Dies erhört die Visibilität von Unternehmen und Produkt.

Zweitens orientieren sich gerade große Konzerne an den Analysten-Studien, da sie in der Regel auch ein Abo auf individuelle Beratung haben. Dort spielt das “Gelistet-sein” ein wichtige Rolle bei der Erstellung von “Short Lists” und IT-Strategien. Auch andere Anwender schauen auf die Quadranten – häufig ohne sie zu hinterfragen – und beziehen sie in ihre Entscheidungsfindung ein. Wenn man bei Funktionalität, Team und Preis keinen wesentlichen Unterschied mehr findet, dann nimmt man den aus den internationalen Studien und mit den besten Referenzen.

Aber es gibt noch einen dritten Aspekt. Die Studien definieren Märkte. Gleiche Kriterien, ähnliche Produkte mit vergleichbarer Funktionalität, Zusammenstellung der Anbieter – all dies definiert eine Branche und einen Markt. Man weiß anschließend zu welchen Kriterien und zu welchen anderen Unternehmen ein Anbieter mit seinem Produkt zuzurechnen ist. Ohne Analysten, ohne Messen und Kongresse, ohne Fachzeitschriften und ohne Verbände gäbe es keine Branchen oder Branchensegmente. Selbst wenn jetzt ein Unternehmen Kritik übt an seiner Platzierung oder dass es wieder mal nicht berücksichtigt ist, rechnet sich dieses Unternehmen automatisch dem Markt zu.

So gesehen haben die guten internationalen Studien ein erheblichen Wert. Und es lässt sich immer gut darüber diskutieren. Dass die Eine oder Andere mal nicht so gelungen ist, kann man verschmerzen – wenn denn vom Analystenhaus offen und ehrlich mit der Kritik umgegangen wird.