Nieuwe level 2?

[lila]

Gevonden! Lang leve Google...is wel een heel verhaal, maar tóch leuk genoeg om het te plaatsen (denk ik ).

Listening to users considered harmful?


Is "listening to users" really the most important way to keep them happy and -- if we're lucky -- passionate? Is giving users what they ask for the best way to help them kick ass? Or should you create or modify a product based solely on what you believe in... even if it doesn't match what users tell you?

Last weekend I attended the sold-out Parelli Natural Horsemanship conference. I was surrounded by 2000 passionate fans (at least 75% of the people were wearing at least one Parelli-branded shirt, jacket, or hat). The conference was amazing (more on that in another post), but the real reason I went was to interview the founder/visionary Pat Parelli, for the Creating Passionate Users book. His hugely successful, multi-million dollar company is one of the few we've found that does virtually everything on our "reverse-engineering passion" checklists, without having first waited for the fans to do it themselves.

In the equestrian world (total annual impact of the horse industry on the US economy is $112 billion [yes, that's with a "b"]), Pat Parelli has so greatly outstripped the "horsemanship" competition that it doesn't even make sense to talk about competition. Software engineers will appreciate that horse training doesn't scale. So Parelli decided to teach others to do what he does, and of course sell those folks a ton of high-end equipment and training products to help them do it. Nobody -- absolutely no other individual "horse whisperer" or company -- comes anywhere near Parelli in size and scope of the business - Parelli has two training centers, one in Colorado and one in Florida (combined over 700 acres for the facilities), and hundreds of thousands of participants in the home-study programs, clinics, and club membership. Their Parelli Horseman's University is one of the only state-accredited "natural horsemanship" programs in the US.

So that's the backstory. I have weeks' worth of posts to make on what I learned from Pat about the ways in which they've become such a passionate user success story, but today's post is about something I had completely wrong when I interviewed him:

Me: "So, you've recently made drastic changes to your program--a program that was already extremely successful. It's obvious that you've been really listening to your members and taking their feedback and using that to make these sweeping changes."

Pat: "No, listening to our members was maybe 20% of it, but the other 80% was something else."

And then he said it:

"We changed our entire program because WE knew we could do better. Because WE were still frustrated that people weren't learning quickly enough or progressing through the higher levels as well as we thought they could. People still weren't having the kind of relationship with their horse that we knew they could have, even though our students were delighted with the progress they were making. So we changed it all."

It turned out that most of the major changes they made to their program came not from user requests and suggestions, but from the Parelli team's own innovations. He went on to explain that their members/students/users had no idea what was needed to make better, faster, deeper breakthroughs. In fact, many of the changes went against what their user feedback seemed to suggest. In other words, in many ways the Parelli team deliberately did not listen to users.

They trusted themselves, and did what they believed was right for their users, even if it meant doing things that on the surface seemed even less user-friendly.

Most of us realize that focus groups are notoriously ineffective for many things, but we still assume that listening to real feedback from real users is the best way to drive new products and services, as well as improve on what we have. But there's a huge problem with that -- people don't necessarily know how to ask for something they've never conceived of! Most people make suggestions based entirely around incremental improvements, looking at what exists and thinking about how it could be better. But that's quite different from having a vision for something profoundly new.

True innovation will rarely come from what users say directly.

This doesn't mean that you don't listen to users--because the truth is embedded in what they say...but you have to look for the deeper meaning behind what they ask for, rather than always taking them at their word. If they ask for "D", as an improvement to "C", you might have to dig deeper to find out what it is about "D" that they want. And in that answer, you might find the nugget that leads you--and only you--to come up with "S" as a solution. And the "S" solution looks nothing at all like "D", but gets to the heart of what users really wanted and needed when they asked for "D".
In the end, you might have to trust yourself, even in the face of users who either want more than you know would be good or something less or different than you know you can offer if you keep innovating in revolutionary--not just incremental--ways. Our Head First books are among the top-selling computer books today, virtually all of them occupy the #1 slot for their topic category. But not only did nobody ask for such a bizarre format for a technical book, we were warned that it would never work. We were told that people would hate these books. That they were too different, too pictorial, too... tacky to be taken seriously. But we knew the brain science and learning theory behind the format, and trusted that the principles worked. That for most (not all) readers, this format really did lead to faster, deeper learning. We trusted that people would look beyond the surface aspects of the implementation, and that if they got real results from the book, they'd tell others.

Two other publishers turned us down for the series before O'Reilly took the chance. And I was nearly fired from Sun for trying to sneak 5% of what's in Head First into Sun courseware.

Are users/readers too clueless to know what to ask for? Of course not. But it's not a potential Java programmer's job to be a learning theory expert, anymore than I could have helped conceive of the iPod. I could make incremental suggestions about most of the tools I use, sure, but I don't have the background, skills, or vision to suggest the kind of revolutionary changes that create breakthrough products and services outside of my own very narrow domain.

What sparked this post was a somewhat contentious (and bold) 37Signals post, but I also remembered this post by Wiley editor Joe Wilcox.

This is tricky, of course, because it's not always obvious which user complaints/suggestions are based on real problems with your product, vs. naive feature requests that would do more harm than good. (Don't forget the Happy User Curve)

And this is NOT about giving them simply what we know is good for them but that they really don't want, because they probably won't stick around. This is about giving them what they really DO want... but simply don't realize it because they had no way to imagine it.

So maybe the key is to listen not only to what users say, but more importantly to what is motivating what they say. The rest is up to us. If we really care about our users, they'll just have to trust us... but more crucially--we have to trust ourselves.

Posted by Kathy Sierra on September 15, 2005 |

[Marja]

Ik heb inmiddels even zelf bij Eddy geïnformeerd of je nog examen kunt doen volgens de oude eisen, en dat kan nog in elk geval tot het einde van dit jaar.
Nou dat gaat me dus nooit lukken, ik heb Atli nu al 4 maanden niet meer gereden (ben net weer een beetje voorzichtig begonnen), maar ik heb nog geen passend zadel (oude zadel gaf rugpijn) en geen bit. Eén van de oefeningen waar ik mee merkte dat Atli z'n oude bit niet fijn vond, was die waarbij je het hoofdstel om moet doen terwijl je op je paard zit. Atli draaide dan telkens weg als ik met het hoofdstel aankwam, waardoor ik er telkens vanaf donderde in een poging er toch nog bij te kunnen. Ik moet dus eerst een nieuw bit aanschaffen (wordt aan gewerkt) en dan zien dat ik die nare associatie met dat oude bit weg krijg. Maar daar gaat dus nog wel even overheen... In het nieuwe L2 zit die oefening niet meer. Ik denk er dus toch maar over om het nieuwe L2 te gaan doen...
(Heb ik voor niks geoefend op het in de vrachtwagen sturen terwijl ik er op een stoeltje achter zit.....)

Ja ik heb idd ook gehoord dat het nieuwe L2 is ontstaan vanuit de feedback die Pat van studenten kreeg. Hij brengt het nu alsof het pakket meer voldoet aan de behoeften. Maar ik denk, dat veel mensen het allemaal te moeilijk vonden en eeuwig bleven hangen in L2 (o.a. vanwege de vliegende galopwissels). En dat is niet goed voor de business hè, als mensen niet verder gaan, geen L3 pakket kopen en geen cursussen meer doen. Volgens mij is commercie dan ook de grootste reden dat het nu zoveel makkelijk is geworden...

[Marja]

Interessant verhaal Lila (lees het nu pas, na het posten van mijn vorige berichtje). Maar toch denk ik nog steeds dat er voor een heel groot deel commerciële belangen meespelen bij het uitbrengen van de nieuwe levels...

[lila]

Denk ik ook hoor, als het hém geld zou hebeen gekost, was hij mooi bij het oude pakket gebleven. Maar hij bréngt het leuk en vind het idee dat je heel creatief moet omgaan met het aangedragen probleem en dan met een oplossing probeert te komen ipv met een aanpassing wél heel erg interessant.
(vanaf een stoeltje Atli de vrachtwagen insturen, wauw! )

[Antiope]

Hee wat gaaf dat deze post van Kathy Sierra komt!! Nooit gedacht dat zij (ook) iets met paarden zou hebben. (nu ik erover nadenk, ik geloof dat ze een ijslander heeft).
Anyway, het Head First concept, ik denk dat Stephanie Burns dr nog best wat van kan leren.
Had al zitten bepeinzen dat je ook zoiets als Head First in horsemanship zou moeten kunnen maken.

Even googlen waar dit vandaan komt....

<edit>
Gevonden.
http://headrush.typepad.com/

Met o.a. leuke grafische weergave van "make the right thing easy & the wrong thing hard" : http://headrush.typepad.com/photos/unca ... ngeasy.jpg</edit>

[promptertje]

Hihi, voor het trailer laden voor level 1 heb ik dat gewoon op de level 2 manier gedaan hoor, dus zittend op de wielkast en Danny er zo in laten lopen. Ik was er zó trots op dat ze dat deed met een vrolijke gezichtsuitdrukking en volkomen rustig, dat ik het zo gefilmd heb - en het werd beloond met een "zeer goed!".

Dussss Marja, voor de taak "laad je paard in een trailer" in het nieuwe L2 gewoon op dat stoeltje achter die vrachtwagen gaan zitten hoor

[Marja]

Dussss Marja, voor de taak "laad je paard in een trailer" in het nieuwe L2 gewoon op dat stoeltje achter die vrachtwagen gaan zitten hoor

Ja Ans, dat had ik me ook al bedacht! Voor het nieuwe L2 moet je je paard óf onder een ding door laten lopen (deken ofzoiets), óf in de trailer sturen. Nou dan kies ik mooi voor het laatste, heb ik dat tenminste niet voor niets geoefend!

[P a i s]

Voor het nieuwe L2 moet je je paard óf onder een ding door laten lopen (deken ofzoiets), óf in de trailer sturen.

Dat vind ik wel weer een voordeel, dat je iig een keus hebt en een trailer niet vereist is. Dat vond ik ook zo vervelend van de oude level 1 - ze gaan er maar vanuit dat je een trailer kan regelen en zo niet - dan kun je niet filmen.

[Marja]

Tja Pais dat is misschien wel een voordeel, maar ik blijf het vreemd vinden dat het trailerladen eruit is. Naar mijn idee had dat gewoon in L1 moeten blijven. Je paard fatsoenlijk in een trailer hoort naar mijn idee toch wel bij de basisvaardigheden.

[P a i s]

Klopt ik vind het ook vreemd, maar daarnaast denk ik dat je gewoon te weinig savvy hebt in level 1 om een moeilijk te laden paard over zn angst/antipathie te helpen. Dat neemt echter niet weg dat zolang het niet in de pakketten staat, het overgrote deel van trailereigenaars verder gaat met laden zoals hij/zij gewend was, en er nog een hoop zal worden geforceerd.
Maar stel ik zou een moeilijk te laden paard hebben, wat heeft het dan voor prioriteit om in level 1 (zo'n vroeg stadium van horsemanship) mn paard op een lompe wijze met de trailer te confronteren (bij gebrek aan savvy) terwijl ik helemaal geen trailer heb, en niet van plan ben 1 te kopen?
Dan lijkt het me veel beter om standaard later met trailerladen te beginnen, met meer savvy. En wanneer je wél gebruik wilt maken van de trailer, kun je altijd de dvd trailerloading gebruiken. Dat vind ik veel nuttiger als het boekje van level1 en zo voorkom je dat level1 studenten onnodig zich storten in een nogal lastige taak waar in feite paard en mens nog niet aan toe zijn.

[sanne]

ben het helemaal met je eens pais!
Tas had zo'n groot trauma met de trailer, dat ik het uiteindelijk pas ver in level 2 op de level 1 manier kon. Daarvoor was het elke keer een groot gevecht. Elke keer hebben we het toen weer een paar maanden zo gelaten, en dan weer opnieuw geprobeert. Is een leuke test van je savvy

[Marja]

Ja daar zit ook wel wat in Pais. Ik heb gewoon ook makkelijk praten met Atli, die had van het begin af aan al geen problemen met trailerladen. Oké, hij was het op de "normale" manier gewend, maar al gauw liep hij gewoon voor me uit de trailer/vrachtwagen in.
Het is idd ook wel veel gevraagd van een beginner om een moeilijk ladend paard te leren laden, want daar komt wel heel wat timing en feeling bij kijken... En geduld, wat je als beginner ook nog lang niet altijd voldoende hebt...

[Mafhaf]

Beter laat dan nooit:

Pas onlangs laadde Susan eindelijk ECHT level 1 (herhaal 1) in de trailer. En we zijn ongeveer ergens in level 3 bezig...

Denk inderdaad dat trailerladen van ingewikkeld of getraumatiseerd paard (of erger nog: een combi! ) pas eind level 2 opgelost kan worden.

Maar ja, wie ben ik?