Steilvorlage Pisa

Da macht man sich tiefsinnige Gedanken, wie man die Nachteile von Konzepten wie Peer-Group-Benchmarks und Best-in-Class erklärt - und da liefert einem der Pisa Test alle Fakten und Argumente frei Haus.

Joachim Wuttke, Physiker aus München, erläutert uns zur Freude aller Radiosender, dass die Pisa-Studie keine relevanten Ergebnisse erbringt. U.a., so wird erläutert, rücke Deutschland von Platz 18 auf Platz 12 vor, wenn man die Ergebnisse der Sonderschulen ausser acht lasse. Und solcherlei Erläuterungen gibt es viele mehr.

Was lernen wir daraus? Na zunächst mal, dass die Kritik an diesem Benchmark wieder mal am falschen Ende ansetzt. Falsch war es, als primäres Ergebnis ein Ranking herauszugeben. Was bedeutet schon Platz 12 oder Platz 18 ? Und heisst Platz 1, dass man sich getrost zurücklehnen kann, weil man ja nichts besser machen kann? Ja, ja, genau so interpetieren die ewig Gestrigen der Benchmarkerzunft ihre eigenen Ergebnisse. Wie unsportlich , liebe Kollegen !

Ein Benchmark muss stets so aufgesetzt sein, dass das Messergebnis mit einem vom Auftraggeber selbst gesteckten (Sach)Ziel verglichen wird: Wir wollen zu niedrigsten Kosten produzieren, wir wollen bestmögliche Qualität verkaufen, wir wollen den schnellsten Service bieten, usw.

Nun, wir wollen Schüler haben, die mit 15 Jahren sinnverstehend 30 Zeilen Max Frisch lesen können oder mit 16 ein Integral bilden können, sofern es Gymnasiasten sind.

Und wenn wir nun einen Benchmark machen, dann ist es eben interessant, ob wir diese Ziele erreichen und wenn nicht, wie wir das denn anstellen müssen (handlungsorientierte Empfehlungen).

Und es ist interessant ob andere ihre Ziele erreichen und wie die das denn hinbekommen (was ziemliche Detailkenntnisse erfordert und nicht nur das Messen der Ergebnisse).

Zum dritten möchten wir dann noch wissen, ob die anderen ihrem Nachwuchs mehr oder weniger abverlangen.

Und da setzt meine Kritik an Pisa an. Um den Benchmark so weit zu treiben, dass handlungsorientierte Maßnahmen herauskommen, da fehlte bei Pisa der Mut. Das überließ man der interessierten Öffentlichkeit, die denn auch je nach Gusto die eigene politische Überzeugung in dem Benchmark bestätigt sah. Von der frühen Selektion der Talente bis zur Gesamtschule für alle und immerdar.

Ob wir die Kollegen von Pisa mal einladen zu sehen, wie gut das mit SAP-Benchmarking klappt, wenn man sich von Peer Groups und Rankings verabschiedet und DNA-level Benchmarks macht ? Oder sollten wir unser Business erweitern ....

Best in Class ?

Diskussion mit einem IT-Controller über Benchmarks. Erfreut vernehme ich den Anspruch des Unternehmens: Wir wollen "Best in Class" sein. Klingt doch gut. Hat aber ein bisschen Ähnlichkeit mit Alkohol. Mit Bedacht eingesetzt angenehm, birgt jedoch die Gefahr des Abrutschens in nicht akzeptable Verwendung beim Versuch übertrieben Stimmungsaufhellung zu betreiben.

Warum? Erinnern Sie sich doch mal an Ihre Schulzeit. Auch mal eine 5 geschrieben ? Da gab es drei verschiedene Interpretationen von Best in Class:

• Die eigene: "Peter hat auch eine 5".
• Die der Eltern: "Aber Lisa hat eine 2".
• Und die des Lehrers: "5 ist ziemlich übel - Du musst mehr tun"

Es kommt also ganz erheblich auf die Vergleichsgruppe an. Die des Lehrers ist nicht perfekt, aber aus der Auswahl die beste. Sie ist nämlich nicht beeinflusst vom Versuch den Probanden gut oder schlecht auszusehen zu lassen. Und sie ist (dank Geldmangels im bundesrepublikanischen Bildungssystem) relativ groß.

Alle anderen Vergleichsgruppen werden willkürlich und tendenziös gewählt. Unter anderen 5er Kandidaten sieht man doch gar nicht so schlecht aus. Und die überdehnte Wunschvorstellung der Eltern nach einem strebsamen Sprössling kann die empfindsame Schülerseele arg demotivieren.

Übersetzt in die Welt der Benchmarks: Soll in einem Projekt gegen "Best in Class" geprüft werden, kommt es sehr auf die unvoreingenommene Auswahl der Vergleichsgruppe an. Am besten: man trifft als (per Definition) voreingenommener Mensch gar keine Auswahl sondern lässt dem Benchmark-Verfahren freien Lauf.

Denn mal ehrlich, was nutzt es Delta Airlines, dass sie vielleicht etwas besser da stehen als Northwest - beide stehen unter Chapter 11, sind also insolvent. Das ist bei den Gefälligkeitsbenchmarkern aber heute gelebte Praxis. Den Begriff sollte ich vielleicht bei Gelegenheit auch noch mal erläutern .... Gefälligkeitsbenchmarker ....