Terapide Psikometrik Değerlendirme: Ölçekler, Puanlama ve Klinik Yorum

Psikometrik ölçekler terapide sıkça kullanılır, ama ham skorlar klinik bağlam olmadan anlamsızdır. Bu rehberde, doğru ölçek seçiminden puanlama yorumuna, normatif karşılaştırmadan trend analizine ve tedavi planı entegrasyonuna kadar psikometrik değerlendirmenin tüm boyutlarını somut klinik örneklerle öğrenin.

Bir Sayı Ne Kadar Şey Anlatır?

Deniz'e Beck Depresyon Envanteri'ni (BDI-II) uyguladınız ve toplam skor 22 çıktı, "orta düzey depresyon" aralığında. Bu sayıyı dosyasına not ettiniz. Peki şimdi ne yapacaksınız? 22, üç ay önceki 28'e kıyasla bir iyileşme mi? Yoksa bu düşüş ölçüm hatası sınırları içinde kalıyor ve klinik olarak anlamlı bir değişim yok mu? Skor "orta" demek, ama orta kime göre? Klinik popülasyona göre mi, genel popülasyona göre mi? Ve en önemlisi: bu sayı tedavi planınız için ne anlama geliyor?

Psikometrik değerlendirme, terapide en sık kullanılan ama en az derinleşilen araçlardan biridir. Birçok terapist ölçekleri uygular, skorları not eder, ama yorumlamadan geçer. Ham skorlar bağlamdan yoksun sayılardır; klinik anlam, ancak yorum katmanıyla ortaya çıkar. Bir BDI-II skoru tek başına bir "depresyon seviyesi" değildir; o, belirli bir zamanda, belirli koşullarda, belirli bir bireyin deneyiminin standartlaştırılmış bir kesitine alınmış bir fotoğraftır. Ve her fotoğraf gibi, bağlamı bilmeden yorumlanamaz.

Bu yazıda, psikometrik değerlendirmenin "uygula ve not et" ötesindeki klinik derinliğini ele alacağız: doğru ölçeği doğru amaçla seçmek, skorları klinik kesme noktaları ve normatif verilerle yorumlamak, Jacobson ve Truax'ın (1991) Güvenilir Değişim İndeksi ile gerçek değişimi ölçüm hatasından ayırt etmek, zaman içindeki trendleri analiz etmek ve tüm bu veriyi tedavi planına entegre etmek. Amaç, sayıları klinik bilgeliğe dönüştürmektir.

Neden "Danışan İyi Görünüyor" Yeterli Değil?

Lambert ve Ogles'ın (2004) kapsamlı araştırması, terapistlerin klinik yargılarının sistematik ölçüm olmaksızın ciddi biçimde yanıltıcı olabildiğini ortaya koymuştur. Terapistler, danışanlarının durumunu değerlendirirken doğrulama yanlılığına (confirmation bias) eğilimlidir: iyileşme beklentisi olan bir terapist, iyileşme işaretlerini seçici olarak fark eder ve kötüleşme sinyallerini gözden kaçırır. Bu, kötü niyet değil insan bilişinin doğal bir özelliğidir, ama klinik sonuçlar açısından ciddi bir risktir.

Rutin Sonuç İzleme (Routine Outcome Monitoring, ROM), bu riski sistematik olarak düzeltmek için geliştirilmiş bir yaklaşımdır. Her seans öncesi veya belirli aralıklarla standartlaştırılmış ölçekler uygulanarak, danışanın ilerlemesi nesnel verilerle takip edilir. Lambert ve arkadaşlarının (2001) çalışmaları, ROM uygulayan terapistlerin danışanlarında tedavi sonuçlarının anlamlı düzeyde iyileştiğini ve özellikle kötüleşme riski taşıyan danışanların erken tespit edilebildiğini göstermiştir. Bir danışan klinik olarak kötüleşirken terapist "iyi gidiyoruz" diye düşünüyorsa, sistematik ölçüm bu kör noktayı aydınlatan fenerin ta kendisidir.

Ancak ROM'un değeri sadece "ölçmek" ile sınırlı değildir; asıl güç, ölçümü yorumlamak ve tedaviye entegre etmektedir. Duncan'ın (2010) Geri Bildirime Dayalı Tedavi (Feedback-Informed Treatment, FIT) modeli, ölçüm verilerinin danışanla birlikte paylaşılmasını ve tedavi kararlarının bu verilere dayandırılmasını vurgular. Bu yaklaşımda psikometrik değerlendirme, terapistin "hakkında" bilgi topladığı bir araç olmaktan çıkar ve danışanla "birlikte" kullandığı işbirlikçi bir karar destek sistemine dönüşür.

Doğru Ölçeği Doğru Amaçla Seçmek

Ölçek seçimi, psikometrik değerlendirmenin en kritik ve en sık atlanan adımıdır. "Depresyon ölçeceğim, BDI-II uygulayayım" refleksi anlaşılabilir ama yeterli değildir. Doğru ölçek seçimi, ölçülmek istenen yapıyı (construct), değerlendirmenin amacını (tarama mı, izleme mi, sonuç ölçümü mü?) ve danışanın özelliklerini (yaş, kültür, okuma düzeyi, semptom profili) dikkate alan bilinçli bir klinik karardır.

Depresyon alanında en yaygın iki ölçek, Beck Depresyon Envanteri-II (BDI-II; Beck ve ark., 1996) ve Hasta Sağlık Anketi-9 (PHQ-9; Kroenke ve ark., 2001) birbirinden farklı güçlere sahiptir. BDI-II, 21 maddeyle depresyonun bilişsel, duygusal ve somatik boyutlarını kapsamlı biçimde değerlendirirken, PHQ-9 dokuz maddesiyle DSM tanı kriterlerine doğrudan karşılık gelir ve kısa uygulama süresiyle rutin izleme için idealdir. Kaygı alanında Beck Anksiyete Envanteri (BAI) somatik belirtilere ağırlık verirken, Yaygın Anksiyete Bozukluğu-7 (GAD-7) bilişsel kaygıyı daha iyi yakalar. Genel işlevsellik için OQ-45 (Lambert ve ark., 1996) ve CORE-OM (Evans ve ark., 2002) geniş spektrumlu değerlendirme sunar. Travma alanında PCL-5 ve IES-R, terapötik ittifak için ise WAI (Working Alliance Inventory) kullanılabilir.

Ölçek seçiminde beş temel kriter değerlendirilmelidir: geçerlik (ölçeğin ölçmek istediği yapıyı gerçekten ölçüp ölçmediği), güvenirlik (tutarlı sonuçlar üretip üretmediği), değişime duyarlılık (klinik değişimi yakalayabilme kapasitesi), kısalık ve danışan yükü (danışanın ölçeği tamamlama motivasyonunu koruyacak uzunluk) ve kültürel uygunluk (Türkiye örnekleminde geçerlik-güvenirlik çalışmasının yapılmış olması). Her ölçek her amaç için uygun değildir: BDI-II kapsamlı bir başlangıç değerlendirmesi için mükemmeldir ama her seans uygulamak danışan yorgunluğuna yol açabilir; PHQ-9 ise rutin izleme için idealdir ama alt boyut analizi sınırlıdır.

Son olarak, ölçek kullanılmaması gereken durumları da bilmek önemlidir. Akut kriz durumlarında (intihar riski değerlendirmesi bir ölçekle yapılamaz, yapılandırılmış klinik görüşme gerektirir), danışanın ölçeklere karşı güçlü bir direnci olduğunda (terapötik ittifakı zedeleme riski), ve ölçeğin danışanın kültürel bağlamında geçerlilik çalışması yapılmamış olduğu durumlarda ölçek sonuçları yanıltıcı olabilir. Ölçek bir araçtır; ne her durumda gerekli, ne de tek başına yeterlidir.

Puanlama ve Klinik Yorum: Sayıların Arkasındaki Anlam

Ham skor, ölçeğin maddeleri üzerinden toplanan sayısal değerdir, ama tek başına klinik bir anlam taşımaz. Klinik anlam, ham skorun kesme noktaları, şiddet aralıkları ve normatif verilerle ilişkilendirilmesiyle ortaya çıkar. BDI-II'de 22 puan "orta düzey depresyon" aralığına düşer (14-19 hafif, 20-28 orta, 29-63 şiddetli). Ancak bu sınıflandırma bile yeterli değildir: "orta düzey" demek, bu danışan için neyin normalden sapma olduğunu ve klinik müdahale eşiğinin nerede başladığını söylemez.

Normatif karşılaştırma bu boşluğu doldurur. Klinik popülasyonda (tedavi arayan bireyler) BDI-II ortalaması genellikle 20-25 aralığındayken, genel popülasyonda bu ortalama 7-9 civarındadır. Deniz'in 22'lik skoru klinik popülasyonun ortalamasına yakınken, genel popülasyona göre belirgin biçimde yüksektir. Bu ayrım, "danışan ne kadar kötü" sorusuna değil, "danışan kime göre nerede" sorusuna yanıt verir ve tedavi hedeflerini belirleme açısından kritiktir.

Ancak psikometrik değerlendirmede en sık sorulan ve en zor yanıtlanan soru şudur: "Bu değişim gerçek mi?" Jacobson ve Truax'ın (1991) Güvenilir Değişim İndeksi (Reliable Change Index, RCI), bu soruya istatistiksel bir yanıt sunar. RCI, iki ölçüm arasındaki farkın ölçüm hatasından (measurement error) kaynaklanıp kaynaklanmadığını test eder. Formül, test-tekrar test güvenirliği ve ölçeğin standart sapmasını kullanarak bir "güvenilir değişim eşiği" hesaplar. BDI-II için bu eşik genellikle 8-9 puan civarındadır. Deniz'in skoru 28'den 22'ye düştüyse, 6 puanlık fark RCI eşiğinin altında kalır, yani bu değişim istatistiksel olarak güvenilir olmayabilir ve ölçüm hatasından kaynaklanıyor olabilir. Ancak 28'den 18'e düştüyse, 10 puanlık fark eşiğin üzerindedir ve klinik olarak anlamlı bir iyileşme olarak yorumlanabilir.

Alt ölçek analizi de toplam skorun gizlediği klinik bilgiyi ortaya çıkarır. BDI-II'nin bilişsel (suçluluk, değersizlik, kararsızlık) ve somatik (uyku, iştah, yorgunluk) alt boyutları farklı yönlerde hareket edebilir: toplam skor sabit kalırken bilişsel belirtiler azalmış ama somatik belirtiler artmış olabilir. Bu ayrıntı, tedavi odağını belirlemek için toplam skordan çok daha bilgilendiricidir.

Trend Analizi: Zamanın İçindeki Hikaye

Tek bir ölçüm bir fotoğraftır; tekrarlanan ölçümler bir filmdir. Psikometrik değerlendirmenin en güçlü boyutu, skorların zaman içindeki değişimini izleyerek tedavi sürecinin dinamiğini görünür kılmasıdır. Ancak trendler her zaman düz bir çizgi izlemez; klinik gerçeklik, doğrusal iyileşme modelinden çok daha karmaşıktır.

Araştırmalar birkaç temel yanıt örüntüsü tanımlamıştır. Erken yanıt (early response), tedavinin ilk birkaç seansında belirgin skor düşüşü gösteren danışanlarda görülür ve uzun vadeli iyi prognozla ilişkilidir. Kademeli iyileşme (gradual improvement), her ölçümde küçük ama tutarlı adımlarla ilerleyen ve en yaygın görülen örüntüdür. Tang ve DeRubeis'in (1999) tanımladığı ani kazanımlar (sudden gains), iki ardışık seans arasında büyük ve sürdürülebilir skor düşüşleri olarak ortaya çıkar; genellikle bir bilişsel yapıda kritik bir kaymayı (cognitive shift) yansıtır. Kötüleşme (deterioration) ise skorların tedavi sürecinde artış göstermesidir ve acil klinik dikkat gerektirir.

Doğrusal olmayan yörüngeleri yorumlamak klinik ustalık gerektirir. Bir danışanın skorları ilk dört seansta hızla düşer, sonra plato yapar: bu "iyileşmenin durması" mı yoksa "sürdürülebilir bir düzeye ulaşma" mı? Başka bir danışanın skorları zaman zaman tırmandıktan sonra düşer: bu "dalgalı seyir" aslında zorlu terapötik materyalin işlendiği dönemlerde geçici kötüleşmeyi ve ardından gelen konsolidasyonu yansıtıyor olabilir. Trend analizi, bu örüntüleri tanımak ve her biri için uygun klinik yanıtı belirlemek için vazgeçilmezdir.

İlerlemenin görselleştirilmesi (skorların grafikle gösterilmesi) hem terapist hem danışan için güçlü bir araçtır. Danışan, subjektif olarak "hiç iyileşmiyorum" hissederken, BDI-II skorunun 28'den 16'ya düştüğünü gösteren bir grafik somut ve tartışılmaz bir kanıt sunar. Bu görselleştirme terapötik ittifakı güçlendirir, motivasyonu artırır ve danışanın kendi ilerlemesini sahiplenmesini sağlar.

Tedavi Planı Entegrasyonu: Veriden Karara

Psikometrik verilerin klinik değeri, ancak tedavi kararlarına dönüştürüldüğünde gerçekleşir. Bu entegrasyonun ilk adımı, ölçüm verilerini tedavi hedefleriyle ilişkilendirmektir. Deniz'in BDI-II skoru 22 ise ve tedavi hedefi "depresif belirtileri hafif düzeyin altına indirmek" ise, hedef skor 13'ün altıdır ve mevcut skorla hedef arasındaki mesafe, tedavinin nerede olduğunu somutlaştırır.

Ancak burada kritik bir klinik paradoks devreye girer: skorlar iyileşirken danışan kendini daha iyi hissetmeyebilir, ya da danışan kendini çok daha iyi hissederken skorlar sabit kalabilir. Birinci durum, ölçeğin yakaladığı semptom azalmasının henüz subjektif iyilik haline dönüşmediğini, yani değişimin bilişsel düzeyde gerçekleştiğini ama duygusal düzeyde henüz hissedilmediğini gösterir. İkinci durum ise danışanın belirli bir alandaki iyileşmeyi abartma eğilimini veya ölçeğin danışanın deneyimini tam olarak yakalayamadığını düşündürür. Her iki durumda da doğru yanıt, veriyi danışanla paylaşmak ve birlikte anlamlandırmaktır.

Bu entegrasyonu sistemleştirmek için ölçüm verilerini her seans danışanla paylaşmak önemlidir. "Skorunuz geçen seansa göre 4 puan düştü, siz bunu nasıl deneyimliyorsunuz?" gibi bir soru, veriyi terapötik ilişkinin içine taşır ve skorların terapist tarafından tek taraflı analiz edildiği bir süreçten, danışanla birlikte anlamlandırılan işbirlikçi bir sürece geçişi sağlar.

Müdahale ayarlaması da veri odaklı olmalıdır. Skorlar düşmüyorsa veya kötüleşme eğilimi varsa, üç olasılık değerlendirilmelidir: müdahale uygun ama yetersiz dozda mı (seans sıklığı veya yoğunluğu artırılmalı mı?), müdahale bu danışanın ihtiyacına uygun değil mi (yaklaşım değişikliği gerekli mi?), yoksa terapötik ittifakta bir sorun mu var? Lambert ve arkadaşlarının (2001) araştırmaları, veri odaklı müdahale ayarlamasının özellikle tedaviye yanıt vermeyen danışanlarda sonuçları iyileştirdiğini göstermiştir.

Doldurulmuş Örnek: Deniz, 25, Depresyon + Kaygı

Aşağıdaki iki örnek, Mindora'nın psikometrik değerlendirme şablonlarıyla yapılandırılmış kayıtları göstermektedir. İlk örnek Standart Ölçek Sonucu şablonuyla bir BDI-II kaydını, ikinci örnek Ölçek Karşılaştırma ve Trend Analizi şablonuyla dört ölçümlük bir trend analizini göstermektedir.

Standart Ölçek Sonucu (BDI-II, 1. Seans)

Ölçek Adı: Beck Depresyon Envanteri-II (BDI-II)

Değerlendirme Tarihi: İlk değerlendirme (1. seans)

Ölçek Kategorisi: Depresyon (PHQ-9, BDI-II, HAM-D)

Toplam Skor: 28/63

Alt Ölçek Skorları: Bilişsel alt boyut (suçluluk, değersizlik, kararsızlık): 14/27; Somatik alt boyut (uyku, iştah, yorgunluk): 14/36. Bilişsel ve somatik belirtiler eşit ağırlıkta.

Klinik Şiddet Seviyesi: Orta (20-28 aralığı)

Klinik Yorum: Danışan orta düzey depresif belirtiler göstermektedir. Bilişsel boyutta özellikle değersizlik (madde 14: 3/3) ve kararsızlık (madde 13: 2/3) ön plandadır. Somatik boyutta uyku bozukluğu (madde 16: 3/3) ve yorgunluk (madde 20: 2/3) belirgindir. İntihar düşüncesi maddesi (madde 9) 0/3 ile risk düşük.

Önceki Ölçümle Karşılaştırma: İlk ölçüm, karşılaştırma için referans ölçüm olarak kaydedildi.

Ölçek Karşılaştırma ve Trend Analizi (BDI-II, 4 Ölçüm)

Ölçek Adı: Beck Depresyon Envanteri-II (BDI-II)

4. seans (1. ay): 24

Mevcut Ölçüm: 12. seans, Skor: 15/63

Genel Değişim Miktarı: 8/10 (önemli iyileşme yönünde)

Trend Paterni: Kademeli iyileşme, ilk dört haftada yavaş düşüş (28→24), ikinci ayda belirgin düşüş (24→19), üçüncü ayda sürdürülebilir iyileşme (19→15). Şiddetli→Orta→Hafif geçişi tamamlandı.

Trend Yorumu: 13 puanlık toplam düşüş, BDI-II için Güvenilir Değişim İndeksi eşiğini (yaklaşık 9 puan) aşmaktadır; değişim klinik olarak anlamlıdır. İlk aydaki yavaş yanıt, terapötik ittifak kurulma süreciyle örtüşmektedir. İkinci aydaki belirgin düşüş, bilişsel yeniden yapılandırma çalışmasının başlamasıyla zamanlama olarak uyumludur. Bilişsel alt boyuttaki iyileşme (14→6) somatik alt boyuttan (14→9) daha belirgindir; somatik belirtilere odaklanmak faydalı olabilir.

Etkili Psikometrik Değerlendirmenin 5 İlkesi

Sık Yapılan Hatalar

Ölçekleri Uygulamak Ama Yorumlamamak

En yaygın hata, ölçekleri "uyguladım, dosyaya koydum" refleksiyle kullanmaktır. Ham skor, klinik yorum olmadan bir sayıdan ibarettir. Bir BDI-II skoru not edilmiş ama kesme noktalarıyla karşılaştırılmamış, önceki ölçümle farkı analiz edilmemiş ve tedavi planına bağlanmamışsa, ölçek klinik değer üretmemiştir; sadece bir idari form doldurulmuştur. Her ölçüm, en az bir cümlelik klinik yorum içermelidir: "Skor 22, orta düzey, önceki ölçüme göre 6 puanlık düşüş RCI eşiğinin altında, somatik alt boyutta artış dikkat çekici."

Ölçekleri Tanı Aracı Olarak Kullanmak

PHQ-9'da 15 puan almak "major depresyon tanısı" koymak için yeterli değildir. Psikometrik ölçekler tarama ve izleme araçlarıdır, tanı araçları değildir. Tanı, yapılandırılmış klinik görüşme, öykü alma, ayırıcı tanı ve klinik yargı gerektiren çok boyutlu bir süreçtir. Ölçek skorları bu sürece veri sağlar ama sürecin kendisi değildir. "PHQ-9'da depresyon skoru yüksek" ifadesi klinik olarak doğrudur; "PHQ-9'a göre major depresyon" ifadesi ise metodolojik olarak hatalıdır.

Alt Ölçek Örüntülerini Görmezden Gelmek

Toplam skor, alt boyutlardaki farklı yönlü değişimleri gizleyebilir. Bir danışanın BDI-II toplam skoru iki ölçüm arasında 22'den 22'ye sabit kalmış olabilir, ama bilişsel belirtiler 14'ten 8'e düşerken somatik belirtiler 8'den 14'e çıkmış olabilir. Toplam skora bakarak "değişim yok" demek, klinik olarak son derece yanıltıcıdır. Alt ölçek analizi, tedavinin hangi boyutlarda etkili olduğunu ve hangi alanlara odaklanılması gerektiğini görünür kılar.

Yanıt Yanlılığını ve Sosyal Beğenirliği Hesaba Katmamak

Danışanlar ölçekleri her zaman tam olarak dürüst bir şekilde doldurmaz; bu kasıtlı bir aldatma değildir, çoğunlukla farkında olmadan gerçekleşen bir eğilimdir. Bazı danışanlar belirtilerini olduğundan az bildirir (minimizasyon), bazıları abartır, bazıları ise terapisti memnun etmek için iyileşme yönünde yanıt verir (sosyal beğenirlik). Skor ve klinik gözlem arasında tutarsızlık olduğunda, yanıt yanlılığı olasılığını değerlendirmek ve gerektiğinde danışanla bu konuyu açık ve yargılamayan bir dille ele almak önemlidir.

Mindora ile Psikometrik Değerlendirme

Mindora'nın Psikometrik Değerlendirme not türü, bu yazıda ele aldığımız ölçek kaydı, trend analizi ve klinik yorum süreçlerini yapılandırılmış bir akışa dönüştürmek için tasarlanmıştır. Üç şablon sunar:

Standart Ölçek Sonucu (Varsayılan): Dört bölümlü yapısıyla ölçek bilgileri (ölçek adı, uygulama tarihi, ölçek kategorisi kontrol listesi), skorlar (toplam skor, alt ölçek skorları, klinik şiddet seviyesi kontrol listesi), klinik yorum (terapist yorumu ve önceki ölçümle karşılaştırma) ve tedavi planı bağlantısı (ilgili hedefler, müdahaleler, sonraki ölçüm planı) alanlarını içerir. Yazıda vurguladığımız "skor + yorum + tedavi bağlantısı" bütünlüğünü yapısal olarak destekler.

Ölçek Karşılaştırma ve Trend Analizi: Üç bölümlü yapısıyla ölçüm geçmişi (ölçek adı, geçmiş ölçümler ve mevcut ölçüm), trend analizi (genel değişim miktarı ölçeği, trend paterni ve trend yorumu) ve klinik çıkarımlar (hedef skor ve ilerleme, tedavi planı revizyonu, sonraki adımlar kontrol listesi) alanlarını içerir. Doldurulmuş örneğimizdeki Deniz vakasının ikinci kaydı bu şablonla yapılandırılmıştır.

Ölçek Yorumu ve Klinik Çıkarımlar: Üç bölümlü yapısıyla ölçek sonucu (yorumlanan ölçek ve temel skor bilgileri), klinik yorum ve çıkarımlar (detaylı klinik yorum, vaka formülasyonu bağlantısı, ilgili temalar ve semptomlar) ve müdahale ve hedef önerileri (öncelikli müdahale alanları, hedef önerileri, tedavi planı önerileri) alanlarını içerir. Yazıda vurguladığımız "veriden karara" sürecini destekleyen en kapsamlı yorum şablonudur.

Her üç şablonda oluşturulan psikometrik değerlendirme notları, Mindora'nın Bilgi Ağı özelliğiyle tedavi planı, seans notu ve vaka formülasyonu notlarına bağlanabilir: böylece ölçüm verileri izole sayılar olarak kalmaz, tedavi sürecinin bütünüyle entegre edilir.

Kaynaklar

• Lambert, M. J. & Ogles, B. M. (2004). The efficacy and effectiveness of psychotherapy. In M. J. Lambert (Ed.), Bergin and Garfield's Handbook of Psychotherapy and Behavior Change (5th ed., pp. 139–193). Wiley.
• Jacobson, N. S. & Truax, P. (1991). Clinical significance: A statistical approach to defining meaningful change in psychotherapy research. Journal of Consulting and Clinical Psychology, 59(1), 12–19.
• Tang, T. Z. & DeRubeis, R. J. (1999). Sudden gains and critical sessions in cognitive-behavioral therapy for depression. Journal of Consulting and Clinical Psychology, 67(6), 894–904.
• Duncan, B. L. (2010). On Becoming a Better Therapist: Evidence-Based Practice One Client at a Time. American Psychological Association.
• Beck, A. T., Steer, R. A. & Brown, G. K. (1996). Manual for the Beck Depression Inventory-II. Psychological Corporation.
• Kroenke, K., Spitzer, R. L. & Williams, J. B. (2001). The PHQ-9: Validity of a brief depression severity measure. Journal of General Internal Medicine, 16(9), 606–613.
• Evans, C., Connell, J., Barkham, M., Margison, F., McGrath, G., Mellor-Clark, J. & Audin, K. (2002). Towards a standardised brief outcome measure: Psychometric properties and utility of the CORE-OM. British Journal of Psychiatry, 180(1), 51–60.
• Lambert, M. J., Whipple, J. L., Smart, D. W., Vermeersch, D. A., Nielsen, S. L. & Hawkins, E. J. (2001). The effects of providing therapists with feedback on patient progress during psychotherapy. Psychotherapy Research, 11(1), 49–68.