Nu mă înțelege greșit. Sunt un mare fan al MCC. Odată am declarat organizația cel mai mare experiment în evaluarea impactului și le-am lăudat angajamentul lor față de evaluări independente de înaltă calitate.

story

Așadar, când am primit o notă de la un coleg cu subiectul „n = 1” referitor la un comunicat de presă MCC, „O vacă plăcută a unui păstor îmbunătățește semnalul în Burkina Faso”, inițial am fost înclinat să o tratez ca pe o aberație. Într-adevăr, el a anticipat reacția mea:

„Știu ce ai de gând să spui, Bill:„ Nu aveți vacă. ”Sau poate„ Nu lăsați oamenii de relații publice ai MCC să vă ia capra ”.

Am citit piesa și am fost ușurat să găsesc câteva paragrafe care indicau că anecdota unică părea să aibă sprijinul unor dovezi mai ample. De exemplu, de când a început programul de formare agricolă, greutatea medie a vacilor a crescut „de la 213 lire sterline în 2008 la 549 lire sterline în 2013”. Acest lucru a sunat ca o dovadă destul de dramatică a succesului ... până când am primit un alt e-mail de la un coleg care a crescut în Far West și a văzut de fapt o vacă. Ea a scris:

"Este adevărat? Greutatea de bază a vacii a fost de 213 lb ? Este o vacă mică."

La care a răspuns primul meu coleg:

"... Vacile din țările sărace în curs de dezvoltare pot fi uneori puțin mai mari decât un mare danez. Dar poate că vacile de astăzi erau viței în 2008!"

Și se pare că ar putea avea dreptate. Al doilea coleg al meu a profitat de site-ul general informativ al MCC pentru a urmări date care ar putea explica această posibilă anomalie. Ea a scris înapoi:

"Nu s-au raportat date actuale. Am confirmat cifra inițială de 97 kg (sau 214 lbs). Dar ... raportul M&E spune că valoarea inițială a fost din 2012 (nu 2008) pentru o cohortă de viței a căror creștere în greutate ar fi monitorizată. Sună ca o creștere a adolescenților. "

Din păcate, am adăugat această poveste la fișierul meu despre „Exemple care demonstrează importanța contrafactualului” și am etichetat-o ​​„Caz bun pentru explicarea diferențelor în diferențe”. Apoi m-am uitat încă o dată la comunicatul de presă pentru informații pentru a-mi reda credința în standardele de rigoare ale MCC.

Acolo! Informații despre câștigurile din venituri:

„… Datorită instruirii finanțate de MCC, tehnicilor îmbunătățite și primirii unei vaci cu o genetică mai bună, Tall [fermierul cu vaca plinuță] așteaptă mai mult decât dublul producției sale zilnice de lapte - un impuls care i-ar aduce lui Tall încă 6 USD în fiecare zi, a spus el. "

De asemenea, Tall colectează gunoiul de vacă și îl vinde vecinilor săi pentru îngrășământ - o practică care i-a adus aproape 550 de dolari în ultimele 18 luni.

Le-am trimis prin e-mail prietenilor mei care au scris înapoi:

"Nu pare că vacile s-au îngrășat, dar fermierii au primit vaci noi și îmbunătățite. Și-au înlocuit Marele Danez cu Herefords!"

"Pentru ca programul de 142 milioane dolari să fie eficient din punct de vedere al costurilor, fermierii trebuie să vândă mai mult gunoi de grajd decât MCC!"

Acum acest lucru părea total nedrept. La urma urmei, un câștig net de 6 USD pe zi din creșterea producției de lapte plus 360 USD în plus din veniturile din îngrășăminte în aceleași 12 luni se ridică la aproximativ 2.500 USD pe an mai mult în profitul laptelui și în vânzările de gunoi de grajd. Am trimis un e-mail: Este posibil ca un fermier dintr-o zonă rurală a unei țări care are un venit pe cap de locuitor de 300 USD să aibă o creștere a venitului anual de 2.500 USD ca urmare a programului?

"Poate, dar numai dacă domnul Tall este un fermier neobișnuit de reușit. Dacă MCC ar avea date de monitorizare pentru a arăta câștigurile medii anuale ale venitului de aproximativ 1.000 de dolari pe fermier, s-ar putea justifica prețul de 36,5 milioane de dolari pentru această componentă. Asta ar fi mult mai util de știut decât povestea despre excepționalul domn Tall. "

"Numerele încă sună pește (vacile îmbunătățite sunt adesea hrănite cu făină de pește ...)."

Destul spus. Ne-am distrat jucându-ne cu articolul și punând în joc.

Glumind deoparte, MCC ar trebui să știe că reputația sa ca un alt tip de agenție de ajutor nu se bazează pe natura convingătoare a cazurilor speciale, ci mai degrabă pe experiența tuturor fermierilor. Anecdotele sunt în general înșelătoare. Ei tind să trâmbițeze povești de succes individuale, indiferent de costurile asociate și să atragă atenția asupra schimbărilor care s-ar fi putut întâmpla chiar și fără program. Atunci când MCC pretinde succes pe baza unor astfel de povești, aceasta erodează natura distinctă a angajamentului MCC de a avea un impact rentabil.

Dacă MCC a documentat acest proiect așa cum afirmă, atunci ar trebui să cunoască creșterea medie a veniturilor pentru toți fermierii necesară pentru a atinge nivelul minim de impact necesar pentru succes. Mai mult, datele lor de monitorizare ar trebui să dezvăluie dacă programul este pe drumul cel bun sau nu. Atunci cititorii ar putea înțelege dacă dl. Tall este un reprezentant al fermierilor din program sau unul de succes excepțional. S-ar putea să fie nevoie de un paragraf suplimentar sau două pentru a explica, dar fanii MCC se așteaptă ca analiza să susțină anecdotele. După cum a scris un coleg:

"... Acesta este lungul și cel mai înalt (domnul)".

Mulțumesc colegilor mei care îmi aruncă în mod regulat provocări dificile și informații analitice în pachete amuzante.