Anatolia: Turizm Araştırmaları Dergisi,
Yıl 12, Güz 2001, s. 17-34.

Sosyal Bilimlerde Pozitivist-Ampirik Akademik Araştırmaların Tasarım ve Yöntem Sorunları

İrfan Erdoğan

Öz

Günümüz Türkiye’sinde ampirik incelemeler hem akademi hem de akademi dışı yapılarda artan bir şekilde kullanılmaktadır. Bu makale bu kullanımın pozitivist-ampirik tasarım ve yöntem açısından bir analizini yaptı. Bu bağlamda, akademik dergilerde, tezlerde ve diğer mecralarda yayınlanan araştırmalardaki tasarım, uygulama, istatistik testler, bulgular ve yorumlarla ilgili sorunları akademik bilgiye katkıda bulunmak amacıyla inceledi. İncelemeye göre, amaç, önem, kuramsal çerçeve, gerekçeli hipotez ve araştırma hazırlama ve sunma, veri toplama yöntemi, istatistik kullanımı, sonuç ve değerlendirme, bir araştırmayı oluşturan temel öğeler arasında bağlantı kurarak sonuçlar çıkartma bakımlarından makalelerin akademik değerden ve bilimsel geçerlilikten oldukça yoksun olduğu görülmektedir. Bu nedenle, araştırmacıları eğitenlerin ve araştırmacıların yöntem konusunda çok daha bilgili, titiz ve ciddi olmaları gerekmektedir.

Giriş

Türkiye’de akademik hayat, kendini ve dışını üretim biçimi ve ilişkileriyle, incelenmesi ve çözülmesi gereken sayısız sorunlarla doludur. Ne yazık ki Türkiye’deki akademik yapıya özel teşebbüs okullarının katılmasıyla sorunlar çok daha artmıştır: Akademik hayatın emtialaştırılmasıyla eğitimde amaç ve kaliteyle ilgili soru ve sorunlar çok daha ciddi bir boyuta ulaşmıştır.

Türkiye’de akademik hayatın önemli bir yanını oluşturması gereken akademik incelemeler niceliksel bakımdan az olduğu gibi niteliksel bakımdan kuşku uyandırıcıdır. Akademik emek desteklenmediği ve teşvik edilmediği gibi, kitap basım endüstrisinde egemen olan (% 10 telif gibi) sömürgen ve (telifi zamanında ödememe, anlaşmayla belirlenen sayının gizlice üstünde basma ve kaçak basım gibi) sahtekar ticari kültürle en ucuza gasp ettiği değer durumundadır. Buna akademik personelin maaşlarının gülünç ve aşağılayıcı bir düzeyde olduğu eklendiğinde, pek de iç açıcı olmayan bir durumla karşılaşılır.

Türkiye’de egemen olan materyal ilişkiler yapısı ve iş etiği koşullarında, akademik inceleme yapma gereğini anlamsız ve yersiz bulan çalışmama kültürü gelişmiştir. Bu kültür özellikle çalışıp üretme gereği ve zorunluluğu ortadan kalkan profesörlük seviyesinde ve önlerindeki örneklere bakarak nasıl olsa geçeceklerini varsayan araştırma görevlileri arasında oldukça yaygındır. Daha kötüsü bu kültür, akademi dışı çevredeki ilgisizlik ve emeğin sömürüsünün etkisiyle birlikte, akademik alanda üreticiliği değil üretmemeyi, onun yerine materyal kazanç getiren yan işleri yapmayı yeğletmektedir. Elbette daima gönüllü kamu hizmeti veren insanlar vardır ve bunlar niceliksel olarak marjinal de olsa toplumun geleceği için daima umut vericidir.

Akademik camia, bazı devlet kurumları, uluslararası firmalar ve kuruluşların incelemelerinin önemli bir kısmı dahil, Türkiye’de değerli ampirik akademik incelemenin yeterli ve faydalı olduğu oldukça şüphelidir. Medyanın ve reklam endüstrisinin gelişmesi, turizm, tanıtma ve halkla ilişkilere verilen önemde kıpırdanışlar sonucu kamu oyu incelemelerinde elbette artışlar olmaktadır ve daha da artacağı beklenir. Fakat bu incelemelerin Türkiye gibi az gelişmişliğin çok geliştiği, tüketim olanaklarının demokrasi sanıldığı, haksız kazançla köşe dönmenin örnek olduğu, özel mülkiyetin kaldırım ve evinin önüne park etme önceliğine genişletildiği, kaldırımlara park edilip caddelerde yürüldüğü, iş yerine uğramadan aylık alındığı, laik müftüyle uyanıp televoleyle ve hırçın bakireyle yatıldığı, birilerine ve bir yere para aktarmak için araştırma, imaj çalışması, halkla ilişkiler ve eğitim yaptırıldığı bir ortamda, hem yöntem hem de etik bakımından büyük sorunlarla dolu olduğu varsayımı oldukça geçerli görünmektedir.

Çeşitli Üniversitelerde çıkan dergiler, son yıllarda akademik artan bir kıpırdanışın varlığını göstermektedir. Fakat bu ve benzeri dergilerin akademik değerlerinin incelenmesi gerekmektedir. Özellikle, tasarım ve yöntem yanında, aynı makalenin aynısını veya başlığını biraz değiştirerek farklı dergilerde yayınlama, profesörlerin inceleme yapmaması ve makale yazmaması gibi sorunlar üzerinde durulması gerekmektedir. Hele Turizm, Otelcilik, Reklam, tanıtım ve Halkla İlişkiler alanlarında çıkan dergilere bir göz atıldığında, bu dergilerdeki makalelerin büyük çoğunluğunun amaç, kuramsal çerçeve, veri toplama yöntemi, istatistik kullanımı ve sonuç ve değerlendirme bakımlarından akademik değerlerinin ve geçerliliklerinin oldukça sorunlu olduğu görülür. Bu dergilerdeki makalelerin bu bağlamda incelenmesi gerekliliği önem kazanır. İncelenmesi gereken bir diğer sorun da, hakemli dergilerdeki hakemlik sisteminin ideolojik bağnazlık, yanlılık, hakemlerin yeterince o alanda otorite olmaması, araştırmayı değerlendirebilmek için bilimsel tasarımı bilmemesi veya yanlış bilmesi veya tasarıma bakmaması, ampirik değerlendirmelerde örneklem, ölçme ve istatistik bilmemesi veya az bilmesi, ve makaleyi gereğince incelememesi, ardından hiç bir yardımcı öneri sunmadan keyfi olarak red veya kabul onayı vermesidir. Buna ek olarak editörlerin yanlılığı ve hakemlerin kararlarına uymaması da eklenebilir. Bu ve diğer nedenlerle, “Türkiye’deki hakemlerin makalelerin yayınlanabilirliliği ile ilgili olarak dünyadaki meslektaşları ile genellikle örtüşen konularda beklenti içerisinde oldukları” görüşüne hiç katılmıyorum. Eğer öyle olsaydı, özellikle sosyal bilimlerde “applied research” ve/veya “administrative research” yönelimli dergilerde yayınlanan makalelerin belki de yüzde doksanı kesinlikle yayınlanmazdı.

Sempozyumlarda ve çeşitli toplantılarda sunulan bildirilerin de akademik değerleri ciddi bir araştırma konusudur. Hele, özel teşebbüsün desteklediği sempozyumlar ve toplantılar, bilimin ikinci plana itildiği, şirket sistemine övgülerin yağdırıldığı ve siyasal ve ekonomik güçlerin kendi satışlarını yaptığı “ekmek ve sirk” panayırına dönüşmektedir.

Ayrıca, Türkiye’de sosyal bilimlerin gelişmesi ve itibar kazanması, araştırma yöntemlerini bilmeyenlerin, yarım bilenlerin ve gereği gibi kullanmayanların hem kamu kurumlarına hem özel teşebbüse yaptıkları incelemeler hem de medyada sunulan incelemelerin geçerliliği, güvenirliliği, uyduruk olmadığı, amaca ve çıkara göre pişirilmediği üzerinde durulması gereken sorunlar arasındadır.

Pozitivist-empiricisme dayanan araştırma tasarımı, özellikle “survey research” Türkiye’de artan bir şekilde akademisyenler, lisans üstü ve doktora öğrencileri, özel firmalar ve kamu kurumları tarafından kullanılmaktadır. Bu eleştirel değerlendirme, yukarıda sunulan durumlardan, varsayımlardan ve kuşkulardan hareket ederek ve akademik dergilerde, tezlerde ve çeşitli kaynaklarda yayınlanan araştırmalarda görünen metodoloji ve istatistik kullanımı hataları üzerinde tartışma sundu ve araştırma tasarımı, uygulaması, istatistik testler, bulgular ve yorumlarla ilgili sorunları irdeledi. Değerlendirmenin amacı, önemli yanlışlıkları işaret ederek, metodolojinin doğru kullanımı yönünde yardımcı bilgileri ve açıklamaları sunarak akademik alana katkıda bulunmaktır. Değerlendirme pozitivist-empricismin epistemolojik yapısının eleştirisi üzerinde durmadı, bu çerçevede hazırlanan tasarım ve kullanım sorunlarını, aynı kuramsal çerçeveden hareket ederek analiz etti.

Sunumu yaparken otoriteye başvurarak doğruluğumu kanıtlama gereği duymadım, çünkü kendi akademik becerisi ve bilgisini bir kenara itip, daima kendi akademik değerini başkalarından geçerek kanıtlamak, az gelişmişliğin yaratılmış az gelişmişlik özelliklerinden biridir. Elbette akademik bir araştırmada sorun biçimlendirme, kuram ve ilgili incelemelerle ciddi bir tasarım kurulması gerekir. Fakat amaç “çok otoriteye” dayanarak kendini kanıtlama değildir ve olmamalıdır. Benzer şekilde bir makalenin değeri tanınmış otoritelere başvurmasına ve bir sürü alıntılarla yapılan göz boyamaya göre değil, kendi sistemli ve tutarlı analiz ve sentezine göre ölçülmelidir.

Makalenin akışı ampirik tasarımının genel metodolojik sıralamasına göre yapıldı. Bu bağlamda önce araştırma tasarımında “sorun formülü” soruları ile başlandı ve bunu kuramsal çerçeve, ilgili incelemeler, araştırma soruları veya hipotezler, yöntem, bulgular ve kaynakça takip etti. Her tasarım aşaması hatalar, tutarsızlıklar, eksiklikler, yanlış kullanma ve yanlış uygulamalar bakımından incelendi ve olması gereken üzerinde duruldu. Böylece ciddi akademik girişimde bulunmak isteyenlerin bilgilerine katkıda bulunulmaya çalışıldı.

Sorunlara verilen örneklerin kaynakları, bunu yapan araştırmacılar birincil sorumlu olarak görülmediği ve birincil sorumluluğun eğitim sisteminde ve bu sistemin bir parçası olan editörlük ve “hakemlik sisteminin” iş yapış biçiminde olduğu için verilmedi. Ayrıca verilen örnekler sadece o örneğin alındığı makaleye özgü değildir; diğer makalelerde de aynı veya benzer sorunlar vardır. Bu bağlamda, amaç araştırmacıları suçlamak değil, daha dikkatli ve sorumlu bir akademik üretim gerekliliğini vurgulamaktır. Ancak bu yolla, anlamlı bilimsel girişim yapılabilir.

Sorun sunumu

Bilimsel araştırma öğrenmek, bilmek, tanımlamak, açıklamak, tahminde bulunmak ve sonunda şimdiye kadar olan birikmiş bilgiyi geliştirmek yönünde soru sormayla başlar. Elbette bilimsel araştırmayla elde edilen bulgular toplumun iyileştirilmesi ve geliştirilmesi yönünde kullanılma dışı kalamaz ve kalmamalıdır. Fakat toplumun iyileşmesi ve gelişmesini özel çıkarların gelişmesiyle özdeştiren ve özel çıkarlara hizmet eden girişimleri bilimsel ve profesyonel etik açısından irdelemek ve eleştirmek gerekir.

Araştırma sorularının veya hipotezlerin seçimi ve formüle edilme biçimi sonraki aşamaları etkiler, çünkü sorun sunumu belli bir soruşturmanın başlangıç noktasıdır. Bu nedenle, her araştırma bir giriş ile başlar. Giriş özellikle problem/sorun formüle etmeyi, amaç ve önemin belirtilmesini içerir. Problem formüle etme ampirik bakımdan sınanabilir sorular sunmadır. Girişle ilgili olarak akademik dergilerde oldukça çok ve ciddi sorunlar vardır:

Uygun bir şekilde başlığı olan araştırmaya rastlamak güçtür. Çoğu başlıklar ya kitap başlığı gibi kısa, ya araştırma hakkında temel bilgiyi verecek bir başlık değil, ya da başlıkta belirtilenle yapılan arasında uyum yok. “Sürdürülebilir kalkınma ve Türkiye”, “Terörizm ve turizm”, “Demokrasi ve Medya”, “Spor ve medya”, “İnternet ve Demokrasi”, “Bir alan araştırmasının sonuçları,” “Kavramsal inceleme” gibi başlıklar bir akademik araştırma başlığı niteliğinde değildir. “Turistlerin genel seyahat motivasyonları ve tatmin olma durumları” olarak isimlendirilen bir başlık bize tanımlayıcı bir araştırma olduğu izlemini verir. Fakat bu başlıkla yapılan bir inceleme amaç bölümünde bir ilişki analizi olduğunu belirtmektedir ki burada başlıkla içerik arasında uyum yoktur. Benzer şekilde, “Bir deneme” diye başlık atılan bir incelemeye bakıldığında, denemeyle ilgisi olmadığı görülür, çünkü makalede hiçbir şey denenmemiş. “Turizm harekelerinin sosyo-ekonomik yapıya etkisi” başlığı turizm hareketlerinin belirleneceği ve ölçüleceği ve sosyo-ekonomik yapının tanımlanacağı ve ölçüleceği; ardından turizm hareketini bağımsız değişken olarak ele alıp, sosyo-ekonomik yapıya etkisinin test edileceğini anlatır. Fakat insanlar üzerinde uygulanan ikincil anket verilerinden hareket ederek yapılan bu incelemede, insanların belli konularda görüşleri alınmış. Bu görüşlerden hareket edilerek, “sosyo-ekonomik yapının turizm hareketlerinden ne ölçüde etkilendiği” çıkartılamaz. Bunlar gibi bir çok örnekte, makaleye verilen başlık ile makalenin incelediği arasında örtüşme bulmak zordur. “Animasyon faaliyetlerinin hizmet satışlarına etkisi” başlıklı bir araştırma, bize bir etki incelemesi olduğunu anlatır. Bunun için gerekçeli hipotezler ortaya atılıp, uygulama veya saha araştırmasıyla etki aranması gerekir. Daha evvelce yapılmış incelemelerden alıntılar yaparak yapılan etki sunumu, ancak böyle başlıklı bir araştırmanın girişteki ilgili incelemeler bölümünü oluşturur; araştırmanın tümü böyle olmaz. Makalenin bu şekliyle anlamlı olabilmesi için, araştırmacıların kendi yaklaşım tarzlarına bağlı varsayımları olmalı ve bu varsayımları karşıt ve tartışmalı bulgulardan hareket ederek, onlar üzerinde tartışmalar sunarak değerlendirmelidirler.

Türkiye, Türk halkı, halk, Türk turizmi, Türk firmaları, Türk medyası, İngiliz turisti, Türk otelleri gibi kavramları başlıkta kullanmanın temel bir koşulu vardır: İncelemenin “parametric” bir karaktere sahip olması gerekir. Turizmle, halkla ilişkilerle, kamu oyuyla ilgili araştırmalar ya “non-parametric” araştırmalardır, ya da nüfusları belli bir bölgeyle veya grupla sınırlıdır; bu nedenlerle bu kavramlar kullanılamaz. Örneğin, “Türkiye’de Otel genel müdürlerinin iş devir süreleri ve nedenleri üzerine bir araştırma” diye bir başlık atıldığında, hiçbir oteli ve genel müdürü örneklemde olma olasılığı dışı bırakamayız. Bu nedenle, Türkiye’de yerine, araştırmanın nüfusu neyi veya nereyi kapsıyorsa ona göre başlık koyarız.

Araştırmaların çoğunda uygun bir şekilde sorun sunumu ve problem formülü yapılmamaktadır. Girişten sonraki bölümlerle, özellikle yöntem ve bulgularla bağıntısı olmayan ve kurulmayan birkaç veya bir sürü bağıntısız fikirler ve bilgiler sunulmaktadır. Bu sunumlardan hareket ederek önem, amaç ve araştırma sorularının çıkartılması gerekir; fakat böyle bir şeye çok ender rastlanır. Araştırmanın önemini turizm endüstrisinin, bir firmanın, kurumun veya örgütün başarısına bağlamak, araştırmayı sadece belli bir çıkar için işlevsel yapar, fakat akademik ve bilimsel yapmaz.

Araştırmanın amacı çoğu kez ya yanlış sunulmakta, ya yapılan incelemenin sunulan amaçla hiçbir doğrudan ilişkisi bulunmamakta, ya da araştırma süreçleriyle (örneğin ölçmeyle) karıştırılmaktadır. “Bu araştırmanın temel amacı Türkiye’yi ziyaret eden turistleri seyahat beklentilerine göre bir ayırım yapmaktır” denildiğinde, araştırmayla “ne yapılacağı” amaç olarak sunulmaktadır; ne veya nelerin yapılacağı araştırmanın amacını oluşturmaz. “Bu raporun amacı, Türkiye’deki medyanın kapsamlı ve ayrıntılı bir haritasını çıkartmaktır” sözü de amacın ne olduğunu göstermez, sadece ne yapıldığını anlatır. “Neyin” “neden yapıldığının” ikna edici bir şekilde sunumu amacı oluşturur. “Bu araştırma seyahat motivasyonlarıyla tatmin arasındaki ilişkinin incelenmesi amacı ile hazırlandı” denildiğinde gene bir amaç belirtilmiş olmamaktadır. Bir ilişkinin incelenmesi amaç değil, bir hipotez testidir, ne yapılacağıdır. Amaç “bu ilişkiyi neden inceliyorsun?” sorusuna verilen cevapla oluşur. “Bu araştırmanın amacı … alternatif bir rekabet stratejisi oluşturmaktır” deniyor, fakat inceleme yazılmış kaynaklara dayanan ve belli bir görüşü savunan betimletici (descriptive) bir araştırma karakterine sahip; yani egemen bir yapıyı destekleyici bir şekilde sunmanın ötesinde herhangi bir strateji geliştirilmiyor. Araştırmada bir değişkenin ölçülmesi ancak çok özel bir durum dışında amaç olamaz. Özel durum ise, örneğin ölçmenin (veya ölçeğin) geçerliliğinin test edilmesi olduğunda olabilir. Örneğin “araştırmanın amacı müşteri (turistler) açısından çeşitli otel özelliklerinin değerlendirilmesidir. Böylece, bir otelde aranılan özelliklerle bu özelliklerin önem derecelerinin belirlenmesi hedeflenmiştir” dendiğinde, araştırmanın amacı değil, bir ölçmeden bahsedilmektedir. Amaç bu ölçmenin ardında yatan neden veya nedenlerdir. Benzer şekilde, “ilişkinin varlığının ampirik değerlendirmesi” bir amaç değil, bir hipotez test demektir. Amaç bu ilişki değerlendirilmesinin neden yapıldığıdır.

Bazı amaç sunumları bilinçli veya bilinçsiz uyduru, daha doğrusu bilinç yönetimi karakterine sahiptir. Özellikle kamu kurumları veya özel teşebbüs için yapılan bazı kamu oyu araştırmalarında sunulan amaç ve gerekçeler, olması olasılığı olmayan sahte amaçlardır. Örneğin: “Bu araştırma sonuçları Türkiye’de enformasyon teknolojileriyle ilgili politikaların belirlenmesinde kullanmayı amaçlamaktadır” türü bir iddia bilinç yönetiminden öte bir gerçekliğe sahip değildir, çünkü teknoloji politikaları hiçbir zaman kamu oyunun isteğine göre biçimlenmez, biçimlenemez, biçimlendirilmemiştir. Onun yerine, eğer bulgular uygunsa, politikaları meşrulaştırmak için kullanılır.

Bir modelin, bir aracın veya bir sürecin kullanılmasının promosyonu ve reklamı için yapılan bir girişim ne olursa olsun bilimsel karaktere sahip olamaz. Bu girişimin bilimsel olabilmesi için örneğin modeli, sürecin veya aracın gerekçeli hipotezler veya araştırma sorularıyla test edilmesi gerekir. Bilimsel girişimin amacı “toplam kalite yönetiminin otel işletmelerinin rekabet güçlerini artırıcı bir yönetim anlayışı olarak kullanılabileceğini vurgulamak ve turizm işletmelerinin bilgilerine sunmak” olamaz; çünkü promosyon ve reklam ile bilimsel girişimi ayırt etmek gerekir. Toplam kalite yönetiminin geçerliliği ve değeri ancak bir veya birkaç gerçek deneyim tasarımının yapılması, uygulanması ve değerlendirilmesiyle belirlenebilir. Otel işletmelerindeki yöneticilere sorulan anket sorularıyla toplam kalite yönetiminin rekabet gücünü artırdığı açıklanamaz; onların düşüncelerinin yüzde dağılımlarına bakarak, toplam kalite hakkında çıkartılan sonuçların, geçerliliği ve güvenirliliği yoktur. Benzer şekilde “communication auditing” veya “kritik olaylar tekniği” araştırma için kullanılan araçlardır. Eğer bilimsel bir araştırma yapılacak ve “kritik olaylar tekniği” araştırmanın konusuysa, onun tanıtımı betimleyici bir araştırma karakterine bile sahip olamaz; yapılması gereken o aracın, örneğin güvenirliliği veya geçerliliğiyle ilgili gerekçeli hipotezler ortaya atmak, kısaca o aracı test etmek için bir araştırma tasarımı yapmaktır. Aksi taktirde “Hizmet kalitesi Ölçümünde Yeni bir Yaklaşım: Kritik Olaylar tekniği” araştırması basit bir promosyon-tanıtım ötesinde bilimsel bir değere sahip olamaz.

Model kurmak iki tane “flow chart” veya “yerel ölçekli sürdürülebilir turizm gelişme modeli” diye bir yönetimsel yapı kurmak ve bu yapının elemanlarının isimlerini yazmak ve görevlerini özetlemek ile olacak basit bir iş değildir. “ISO 9000 standartları İçinde Satıcıların analizi” ile “bu alanda uygulanabilecek olan kantitif bir model geliştirme” ve bunu basit bir formüle indirgeme gülünç bir söylemin ötesine gitmemektedir, çünkü bazı niteliksel değerlendirmelerle ancak ISO 9000’in propagandası yapılır ki bu da bilimsel karakterden uzak bir değerlendirmedir. Model bir kuramsal yapının temel öğelerini ve bu öğeler arasındaki ilişkiyi en özlü şekilde anlatır. Modelden amaç bu özü sunabilmesidir, fakat model sunumu veya model inşası birkaç sayfalık makale ile yapılabilecek bir iş değildir. Bilimsel kuramlardan haberi olmayanlar veya kuramlar hakkında yeterli bilgisi olmayanlar, ekonomik, kültürel ve siyasal yapılar ve bu yapıların yapısal ve ilişkisel gerçeği hakkında bilgisiz veya yalan yanlış bilgiye sahip olanlar, sorunlardan hareket ederek hipotezler veya araştırma sorularıyla testler yapamayanlar, ilgili incelemelerden ve kuramsal yapılardan faydalanarak bir senteze varamayanlar model geliştiremezler. Geliştirirlerse, bu model en iyi şekliye gerçekle ve bilimle ilişkisi geçerlilik sorunuyla dolu olan bir şema olur. Daha kötüsü yaşanan insan ve doğal peyzajı talan eden ve yaşanmaz hale getiren bir endüstriyel pazar yapısının bilinçli veya bilinçsiz, bedavaya, yamanmak için veya birkaç avuç lira için veya bu umutla sözcülüğünü yapar.

Bir modeli bilimsel araştırmada kullanmak demek modelin test edilmesi demektir; modelin betimlenmesiyle ve niteliksel değerlendirmelerle satışının yapılması değil. “İş özellikleri modeli yardımıyla hizmet kalitesinin artırılması” ile ilgi bir inceleme ancak modelin hizmette uygulanmasının incelenmesi ya da bir gerçek deney tasarımıyla sınanması ile olur, “kavramsal bir inceleme” ile değil. Kavramsal bir inceleme saçmalığı yerine kuramsal inceleme diye düzeltelim. O zaman modelin öğeleri ele alınır ve kuramsal açıdan tutarlılığı, yeterliliği, uyumluluğu, sistemliliği vb irdelenir. Bu da ancak kuramları ayrıntılı bir şekilde bilen bilim adamları tarafından yapılabilir.

Araştırmanın önemi ender olarak belirtilmektedir. Önem belirtme hem sosyal konuları anlama, açıklama ve öngörmede akademik bakımdan hem de konuyla ilgili çözümlere katkıda bulunma açısından gereklidir ve oldukça önemlidir. Araştırma konuları/soruları sosyal (ekonomik, siyasal ve kültürel) bağıntıya sahip olmalıdır. Araştırmacıların bir bölümü araştırmalarının sosyal (ve ideolojik) bağıntısı hakkında hiç bir fikre sahip değiller. Önemli bir bölümü ise bağı sadece belli bir firmanın veya endüstrinin belli sorunlarıyla ilgili özel çıkar çerçevesi içinde görmektedir.

Araştırma sorularının gerekçeli olarak çıkartılması akademik araştırmanın temel gereklerinden biridir. Bir soru ortaya atıp araştırma yapılmaz. Ne yazık ki araştırmalarda gerekçeli olarak inceleme sorularının çıkartılmamaktadır. Bu nedenle, araştırmalar akademik ciddiyet ve bilimsel karakterden yoksundur.

Araştırmalarda ilgili incelemeler ya hiç kullanılmamakta ya da yanlış kullanılmaktadır. İlgili incelemeler problem formüle etme, amaç belirleme ve önem belirtme aracı işlevini görür. Bu tür kullanıma araştırmalarda rastlamak çok güçtür. İlgili incelemelerden bahsetmek veya onları sıralamak hiçbir anlam ifade etmez. Bilimsel anlamda bence en üzücü yanlardan biri de, kullanılan kaynakların hemen hepsinin egemen bir ideolojik pazar yapısını destekleyen kaynaklar olması ve eleştirel olarak görünenlerin (örneğin sürdürülebilir kalkınma, çevre ile ilgili) ise aslında aynı egemen yapıların yeni-politikalarıyla ilgili olmasıdır. Daha kötüsü makalelerde herhangi bir nedenle kullanılan kaynakların yönetimsel ağırlıklı olması ve bilimsel kuramdan yoksun olması, daha da kötüsü kuram diye yönetimsel faaliyetlerden hareket eden ve geri dönerek bu yönetimsel faaliyetlere destekleyici veya eklemeler yapıcı inşaların sunulmasıdır. Örneğin turizmle ve çevreyle ilgili egemen pazar gerçeklerini tek yanlı bir şekilde, endüstriyel yapıların (örneğin turizm endüstrisinin) çıkarları çerçevesinden görmeyen, makro-sosyoloji ve siyasal ekonomiden hareket ederek ulus içi ve uluslararası durumları oldukça gerçekçi bir şekilde inceleyen ve sentezini yapan ciddi yapıtlar vardır ve bunlara bizim gibi ülkelerin aydınları arasında çok az rastlamak üzücüdür. Daha üzücü olan bizim gibi ülkelerde daha fazla olması gereken ve gelişmenin itici gücü olan eleştirellik gene bizim gibi ülkelerin üzerinde egemenlik kurmuş güçler içinde daha çok olmaktadır. Burada elbette üzücü bir diğer soru (ve sorun) ortaya çıkıyor: Günümüzde bir eğitim kurumuna kapağı atarak, kendi kölelik-ücretinin bile enflasyon karşısında ne kadar artacağına kendi dışındaki güçler tarafından verilen karara en küçük bir etkide bulunamayacak kadar güçsüzleştirilmiş ve acizleştirilmiş, bu güçsüzlük ve acizlik durumunu sağlıklı bir şekilde değerlendiremeyecek kadar bilinç yönetiminin parçası olmuş, kendini özgür sanan maaşlı\ücretli kölenin kendi kölelik durumunun farkında olmaması ve kölelik koşullarını kendisine ve kendi gibi olan başkalarına bahşedilmiş en büyük özgürlük ve nimet sanması, bunun sonucu olarak kölelik koşullarını sürdürmeye katılması sorunudur. En kötüsü de, bu bilişsel ve bilinçsel bakımdan başkalaşmış insanın köylere giderek oraların “ekoturizm potansiyelini” inceleyerek, sözde “yerelin gelişmesini” sağlamada katkıda bulunmaya çalışması, köylülere “evinizin bir odasını turiste ayırır mıydınız” gibi sorularla ticari-kültürel sondajlar ve sahte pazarlama yaparak, bilinçsizce (eğer bilinçliyse, edepsiz ve saygısızca) turizm pazarının satışını yapması ve yaygınlaştırılmasına çalışması, kapitalist mantığa bile aykırı düşen bir girişimdir. Belki de bundan daha kötüsü, yanlış yönlendirilmiş duyarlılıklarla doldurulmuş ücretli\maaşlı-köle, benim gibi biri çıkıp ona köleliğini, kölelik durumunu ve bu durumun koşullarını yaptıklarıyla yeniden-ürettiğini söylediğinde, çok rahatsız olması ve hemen klişeler yardımıyla saldırarak savunuya geçmesidir.

Girişte kullanılan materyalleri (enformasyonu, bilgiyi, ilgili incelemeleri, kuramları) ve sunulan fikirleri birbiriyle bağlayan ve incelenecek problemleri formüle eden bir araştırmaya rastlamak olasılık dışı denebilir.

Kuramsal Çerçeve

Bilimsel bir araştırmada incelenecek sorun (veya konu) kuramsal anlamlılığa sahip olmalıdır. Birbiriyle bağıntılı ampirik genelleştirmeler setiyle (kuramla) ilişkilendirilmelidir. Aksi taktirde kuramsal olarak hiç bir anlamı yoktur, teorisiz (atheoretical) bir girişimdir. Ancak post-pozitivist görüş için bu geçerli olabilir; fakat post-pozitivist yaklaşım çerçevesinde “survey research” girişimi post-pozitivizmin mantığına aykırı düşer.

“Applied research” veya “administrative research” tasarımı yapıldığında kuramsal çerçeve sunumu geleneksel olarak yapılmaz. Bunun anlamı kesinlikle onların kuramsal çerçeveden yoksun olduğu demek değildir. Onların kuramsal çerçevesi egemen bir pazar yapısının, bu yapıyı destekleyen ve gelişmesini amaçlayan, düşünsel bir yansımasıdır. Akademik amaçla yapılan araştırma ne tür olursa olsun kuramsal gerekçeye sahip olmalıdır. Kuramsal çerçeve ile ilgili temel sorunlar öncelikle şunlardır:

Akademik dergilerdeki araştırma tasarımlarında kuramsal çerçeve çok ender görülmektedir.

Bazı akademik incelemeler ve tezlerin çoğu kuramla ilgili sunum yapmaktadır. Bunlar arasında doğru ve yeterli olana rastlamak güçtür. Bu incelemelerin önemli bir kısmı kuramsal çerçeve (theoretical framework) ile kavramsal tanımlamayı (conceptual definition) birbiriyle karıştırmaktadır. İnceleme için kullanılan bir kavramın kuramsal veya işlevsel tanımı gereklidir. Kavramın kuramsal tanımlanmasıyla kavram kuramsal bir çerçeve içine yerleştirilir ve böylece ölçme yapabilmek için işlevsel bir tanımlamaya yol açılır. Kısaca, bir kavram önce kuramsal olarak tanımlanmalı ve ardından bu tanımlamadan hareket ederek işlevsel bir tanımlama sunulmalıdır. Böylece kavram ölçülebilir bir değişkene dönüştürülür. Aksi taktirde ölçme veya doğru ölçme yapılamaz; ampirik deney veya gözlem geçerli ve güvenilir olarak gerçekleştirilemez. Kuramsal çerçeve ve işlevsel tanımlama yeterli bilgi ve deneyim gerektirir. Bu tür bilgi ve deneyimi Türkiye’de sosyal bilimlerde özellikle “administrative” ve genellikle bilimsel araştırmalarda görmek olasılığı azdır.

Ampirik araştırma örneklerine bakıldığında, araştırmacıların bir incelemenin kuramsal yapısı hakkında hiç bir bilgiye sahip olmadığı veya çok az bilgiye sahip olduğu görülür. Kuramsal çerçeve sunulduğunda, az bilgi nedeniyle hatalar yapılmaktadır. Örneğin “elde edilen bilgi ve bulgulara dayanılarak çalışmanın kuramsal çerçevesi belirlenmiştir. Daha sonra ortaya konulan kuramsal çerçeveden hareketle bir alan araştırılması planlanmıştır” denildiğinde en az iki ciddi hata yapılmaktadır: Birincisi, kuramsal çerçeve literatür taraması veya ikincil verilerin analizinden elde edilen bilgilerle kurulmaz; kuramsal çerçeve araştırmanın başında kurulur ve araştırma bu çerçeveye dayandırılır. İkincisi, kuramsal çerçeveden hareketle alan araştırılması yapılmaz. Kuramsal çerçeveden hareketle kuramsal varsayımlar, oradan araştırma soruları ve hipotezler çıkartılır. “Kadın ve erkeklerin iş doyum düzeyleri arasında fark vardır” diyen bir alternatif hipotez varsa, bu kuramsal gerekçelerden hareket ederek çıkartılır. Benzer şekilde, eğer evli yöneticiler ile bekarlar arasında iş doyumu farkı olduğu test edilmek isteniyorsa, önce gerekçeli bir hipotez sunulması gerekir. Eğer alan araştırması yapılacaksa buna karar vermede belirleyici olan bu araştırma soruları veya hipotezlerdir. Araştırmanın türü ve veri toplama yöntemi bu şekilde belirlenir.

Pazarlama yönelimli kamu oyu araştırma tasarımlarında kuramsal gerekçe gereksiz görünür, çünkü tasarım belli bir somut sorunla ilgilidir. Bununla beraber, gereksiz veya atılabilir görünse bile, araştırmacı uygun tasarım yapabilmek, doğru ve güvenilir sonuçlar çıkartabilmek için kuramsal temelin önemini anlamalıdır.

Kuramsal çerçeve ile araştırma sorularının çıkartılması ve bulguların değerlendirilmesini bütünleştirmek gibi bir kaygı araştırmalarda görülmemektedir. Bu da doğal olarak araştırmayı bilimsel karakterden uzaklaştırmaktadır.

Hipotezlerin veya araştırma sorularının çıkartılması ve sunumu

Araştırma soruları ve hipotezler kendiliğinden gelmez veya beyinde birden bire meydana oluşmazlar. Her araştırma sorusu ve hipotez için bir gerekçe (rationale) olmalıdır. Hipotezler ve araştırma soruları kuramsal nedenselliklerle ve gerekçelerle belirlenen test edilebilir cümlelerdir. Bu bağlamda önde gelen sorunlar şunlardır:

İncelemelerin çoğu hiçbir araştırma sorusu veya hipotez sunmamaktadır. Bazıları nereden geldiği belli olmayan hipotezler veya araştırma soruları sunmaktadır. Bu sunumlarda hipoteze veya araştırma sorusuna giden bir tartışma ve gerekçe eksiktir. Dolayısıyla hipotez ve araştırma sorularının anlamının ne olduğu açık değildir.

Bazı incelemeler girişte ne yapacaklarını anlatmakta, fakat araştırma sorusu ve hipotez sunmamaktadır. Daha kötüsü, verilerin değerlendirmesi sırasında birden bire ne yapacaklarına yeni öğeler eklenmekte, gerekçesiz testler yapmaktadır. Bu durum hemen hemen araştırmaların büyük çoğunluğunda ortaya çıkmaktadır. Örneğin verilerin değerlendirilmesinde, “araştırma verileri yerli ya da yabancı olma ve gelir durumu değişkenleri dikkate alınarak irdelenmiştir. Ayrıca yaş, cinsiyet ve öğrenim durumu değişkenlerinin etkisi de araştırılmıştır. “ Daha önce, herhangi bir gerekçeli araştırma soruları sorulmadan, ilişki ve nedensellik analizi için hipotez sunmadan böyle bir şey yapılamaz. Daha kötüsü, bir yerde ilişkiden bahsederken, diğer yerde etkiden bahsetmek, iki ayrı tasarım ve hipotez serileri gerektirir. Bütün bunlara ek olarak, en kötüsü şöyle bir şey demektir: “ İstatistik analizi sonucunda, cinsiyet değişkeninin etkisi tüm sorular için önemsiz bulunduğundan, bu değişkene metin içinde değinilmemiştir.“ Bir kere, araştırmada nedensellik bağı kuran (veya etki arayan) böyle bir hipotez sunulmamış. Sunulsa bile, istatistik testi sonucunda anlamsız sonuç çıktı diye, değerlendirme dışı bırakılamaz. Değerlendirilmeli ve nedenleri üzerinde kuramsal çerçeveye bağlayarak ve ilgili incelemelerden örnekler vererek yorumlar yapılmalıdır. Benzer şekilde “Leontief matriksinden faydalanarak, turizmin toplam ileri-geri bağlantı katsayıları yardımıyla, ulusal ekonomi üzerine etkilerinin değerlendirilmesi” için önceden gerekçeli bir hipotez kurulması ve etkinin milyon TL girdi\çıktı ile tanımlanması gerekir (ki bu tanımlamanın ne denli geçerli olduğu şüphelidir).

Bazı araştırmalarda çok değişkenli (çok faktörlü) hipotezler sunulmakta, fakat iki-değişkenli analiz yapılmaktadır. Değişkenlerin sayısı bir araştırmayı çok değişkenli yapmaz, tasarımın doğası yapar.

Araştırmalarda, hipotezin en az iki şey (değişken) arasında ilişki ifadesi olduğunun bilinmediği görülmektedir. Bu ortaya atılan (alternatif) hipotez test edilmez, hipoteze kanıt veya yanıt aranmaz; bu hipoteze bağlı olarak sunulan “yokluk hipotezi” test edilir.

Yöntem

Bir akademik makalenin giriş bölümünde “ne yapılacağı” ilgili incelemeler ve kuramsal çerçeveden hareket ederek geliştirilen bir tezle birbiriyle bağıntılı ve bütünleşik bir şekilde sunulur. Yöntem bölümünde “neyin nasıl yapılacağı” uygun ayrıntılarla belirtilir. Hele bu bir dergide yayınlanacak araştırma değil de, tez araştırmasıysa, en küçük ayrıntılarına kadar her şeyin nasıl yapılacağı belirtilmelidir. Yöntem bölümünde araştırmaya yeni “yapılacak neler” eklenmez. Yöntem bölümünde araştırmacı araştırma tasarımını adlandırır (ne tür bir araştırma olduğunu belirtir), araştırma sorularıyla ve hipotezleriyle bağıntılı güvenilir ve geçerli data\informasyon toplamak için ne tür süreçleri kullanacağını açıklar. Bu bölümde yapılan hataların önde gelenleri şunlardır:

Yöntem bölümünde, girişte ve araştırmanın amacında belirtilmeyen yeni şeyler eklenmez.

Yöntem bölümünde araştırma tasarımının ne tür bir tasarım olduğu ya belirtilmemekte ya da başka bir yerde (örneğin girişte) yanlış belirtilmektedir. Örneğin “anket yöntemi” bir araştırma türü değildir; bir data toplama türüdür (yoludur, yöntemidir). En dikkat çekici bir hata da nereden çıktığı belli olmayan fakat “kavramsal çerçeve” gibi oldukça yaygın kullanılan ‘kavramsal araştırma” diye bir uydurudur. “Çalışma literatür araştırmasına dayanan kavramsal bir araştırma niteliğindedir” veya “Hizmet kalitesinin artırılmasına yönelik kavramsal bir İnceleme” dendiğinde kavramsal araştırma diye bir tür olduğu söylenmektedir, ki böyle bir tür yoktur. Önceden yazılmış kaynaklardan ve ikincil datadan faydalanarak yapılan bir araştırma ancak tanımlayıcı niteliksel araştırma türlerinden biri olabilir. Eğer ikincil niceliksel data kullanıyorsa, o zaman niceliksel araştırma türlerinden biri olabilir. Kuramsal tartışma sunan, kuram geliştirmeye yönelik bir inceleme niteliksel bir inceleme veya niteliksel bir değerlendirmedir. Kavramsal bir inceleme kavrama ait, kavramı ele alan inceleme anlamınadır. Kavramın incelenmesi olmaz, kavramın kuramsal tartışması ve bu tartışmadan hareketle kuramsal tanımı olur. Bu kuramsal tanımlardan hareket ederek varsayımlar kurulur. Varsayımlardaki kavramlar, eğer ampirik araştırma yapılacaksa, işlevsel tanımlamalarla ölçülebilir hale getirilir.

Yöntem bölümünde gereksiz olarak kavramlara tanımlamalar getirilmektedir. Kuramsal tanımlamalar ancak kavramlar geleneksel kullanımın dışında veya ondan farklı olarak kullanılacaksa tartışma sunarak verilir.

Bir kavramın tanımlanması bir kelimenin belirleyici karakterinin uygun bir şekilde belirtilmesini gerektirir. Kavramlar iki soyutlama seviyesinde tanımlanır: Kuramsal ve gözlemsel. Kuramsal seviyedeki tanımlamalar kavramsal tanımlamalar (conceptual definitions) olarak nitelenir ve bir kavramı diğer soyut kavramlardan geçerek tanımlar. Gözlem seviyesindeki tanımlamalar işlevsel tanımlamalar (operational definitions) olarak nitelenir ve bu tanımlamayla kuramsal kavram gözlenebilir (ölçülebilir) yapılır. Aksi taktirde gözlem (ölçme) yapılamaz; yapılırsa uyduruk ve geçersiz olur. Akademik dergilerdeki sunumlarda uygun kuramsal ve işlevsel tanımlamalar yapan bir araştırma bulmak oldukça zordur. Örneğin bir araştırmada “vücut ve zihin dinlenmesi” bir değişken olarak ele alınıyor. Araştırmacı değişken ile değişkeni belirleyen öğeler arasındaki farkın bile farkında değil. Vücut ve zihin dinlenmesi denildiğinde, elimizde dinlenme diye bir kavram var ve bu kavram vücut ve zihin dinlenmesi olarak ikiye ayrılmış. Ya bunu biz dinlenme olarak ele alırız ve dinlenmeyi vücut ve zihin dinlenmesi olarak tanımlarız ya da her ikisini de ayrı iki değişken olarak ele alır, tanımlar ve ölçeriz. Hangi şekilde alacağımızı keyfi olarak belirlemeyiz, araştırmamızın amacına bağlı olarak ne yapmak istediğimiz bunu belirler. Elbette araştırmanın amacı, neden ölçme yapıldığı, araştırma soruları ve hipotezler belirtilmezse, bu tür ciddi hatalar kaçınılmaz olur.

Birim terimler, karakter terimler, ilişkisel terimler ve yapılar işlevsel olarak tanımlanmalıdır ki uygun ölçmeler yapılabilsin. Hemen hemen hiçbir araştırma bunu yapmamakta, ölçülecek değişkenler için işlevsel tanımlama getirmemektedir. Bu nedenle bir çok tutarsızlıklar, bağıntısızlıklar, ölçek ve ölçme sorunları ve ölçme hataları ortaya çıkmaktadır. Örneğin “medyaya erişim” araştırmacının ne yaptığına bakıldığında televizyon ve radyo alıcılarının sayısı, gazete tirajı ve bunların yıllar içindeki dağılımına bakmak” olarak tanımlanmaktadır. Elbette böyle tanımlanabilir; fakat bu tanım oldukça yüzeyde ve sağlıklı bir şekilde bir kuramsal yapıya oturtulmamaktadır. Erişim (access) sorunu aslında öncelikle paketlenmiş ürüne ulaşmaktan çok, ürünün paketlenmesiyle ilişkilendirilmelidir. En anlamlı erişim bir mesaj verebilmek için kanalı kullanabilme ve böylece ürünün biçimlenmesinde doğrudan söz sahibi olabilmedir. Bitmiş ürüne erişme (seyretme ve okuma olanaklarına, örneğin tv alıcısına, gazeteyi satın alabilecek paraya sahip olma) elbette önemlidir, fakat erişme (access) sorununu bitmiş ürünü kullanabilme ile sınırlama doğru değildir ve bu, “tüketim demokrasisi” gibi meşrulaştırmaları beraberinde getirir. Aynı paralelde, erişimi araştırmacının kullanım olanaklarıyla tanımladığı şekilde tanımladıktan sonra, bunu enformasyon zengini ve enformasyon yoksulu kavramıyla ilişkilendirmek diğer bir ciddi yanlışı ortaya çıkartır: Egemen medyanın ürünlerine erişmenin enformasyon zengini yarattığı doğru ve geçerli olmadığı için erişme (access) bitmiş ürünü tüketimle sınırlanmamakta, onun yerine üretimin niteliksel çeşitliliği ve zenginliği gereğiyle ilişkilendirilmektedir. Çöplüğün niceliksel çokluğu çöplüğü çöplükten farklı bir niteliğe götürmez, çok çöplük yapar. Çok çöplük de enformasyon zenginini ve bu çöplüğü kullanmadan yoksun olanları da enformasyon yoksunu yapmaz (çöplük yoksunu yapar). Televizyon kanallarının program türleri bakımından karşılaştırmalı analizini yaparken, yüzdelere bakarak farklılık olduğunu veya olmadığını söylemek doğru değildir. Örneğin “tartışma ve reality programının kanallara göre dağılımı” %2 ile % 14 arası değişmektedir. Yerli eğlence programları da % 4 ile % 16 arasındadır. Dikkat edilirse oldukça büyük bir “range” var dağılımda. Sağlıklı bir yorum yapabilmek için gerekli testlerin yapılması zorunludur.

Kavramlar dikkatsizce ve yanlış kullanılmaktadır. Örneğin “Turistlerin fiziksel seyahat motivasyonları“ diyerek motivasyon kavramına seyahat kavramını eklediğimizde, bunun anlamı seyahat motivasyonu yanında başka motivasyonlar da var demektir. Bunun açıklanmasına gerekiyor, çünkü diğer motivasyonlar olduğu bilinmektedir. Fakat seyahat motivasyonuna fiziksel kavramını eklediğimizde, fiziksel olmayan seyahat motivasyonu veya motivasyonlarını da belirtmemiz gerekir ki fiziksel olmayan seyahat motivasyonu düşünebiliyor musunuz? Daha doğrusu transendental meditation gibi uyduruların ötesinde ve düşünerek “seyahat motivasyonu” veya herhangi bir diğer seyahat motivasyonu var mı? Düşünülmüş ve “kültürel seyahat motivasyonu” denilmiş. Sorun burada çok daha karmaşıklaşıyor ve büyüyor. Elimizde doğru tanımlanmayan bir fiziksel seyahat motivasyonu var ve bir de yeni yerleri merak etme, sanata vb ilgi duyma, tarihi yerlere ilgi duyma değişkenleriyle (items) tanımlanan (ki gene yanlış tanımlama) kültürel seyahat motivasyonu var. Ardından bireyler arası ilişki kurma motivasyonları, ve prestij/statü motivasyonları eklenmiş. Bunlar “seyahat motivasyonu” değişkeninin (veya faktörünün) kategorileri ve alt kategorileri olabilir mi? Olamazlar, çünkü bunlar “seyahat motivasyonunu” tanımlayan öğeler değil, seyahatle ilgili nedenleri, amaçları, duyguları, istekleri, alışkanlıkları, ilgileri, zevkleri tanımlamaktadır. Bütün bunların kendileri “motivasyon” olarak değerlendirilemez.

Bir değişken belirlendiğinde bunun öğeleri o değişkenin karakterleridir. Bir faktör belirlendiğinde, onun altına düşen değişkenler (items) yükleri (loads) en yüksek olanlardır. “Turistlerin fiziksel seyahat motivasyonları; vücut ve dinlenmesi; sağlık amaçları; spor faaliyetlerine katılma, zevk-eğlence-heyecan ve alışveriş olarak ele alındı” diyerek araştırmacı farkında olmadan fiziksel seyahat motivasyonunu tanımlamaktadır ve bu tanım bile yanlıştır, çünkü bunlar motivasyonlar değil, motivasyonlarla ilgili düşünceler, duygular ve etkinliklerdir. Alışveriş bir etkinliktir ve fiziksel motivasyon olarak tanımlanamaz ve fiziksel motivasyonlar faktörü diye bir faktör uydurup onun altına konabilmesi için önce bir faktör analizinin yapılması gerekir.

Bir değişkenin bir ölçme için tek bir işlevsel tanımlaması yapılır. Hiç veya bir ölçme için birden fazla tanımlama olmaz. Örneğin, bir araştırmada anketi uygulayana şu direktif veriliyor: Mesleği eğitildiği alan veya kişisel beceri olarak belirt. Araştırmacı burada iki ciddi hata yapıyor: Birincisi işlevsel tanımlama ankette anketi uygulayana direktif olarak verilmez. İkincisi, meslek teriminin işlevsel tanımlaması ya eğitildiği alan ya da becerisi olduğu alan ya da yaptığı iş olarak tanımlanır. Bunların ikisi veya üçüyle tanımlanmaz. “Vücut ve zihin dinlenmesi” tek değişken olarak ölçülemez, çünkü tek bir işlevsel tanımlanması yapılamaz. Bu nedenle, ancak “dinlenme” değişkeni olarak ele alınır ve tanımlama yapılabilir. Zevk-eğlence-heyecan kavramları da tek bir değişken olarak ele alınıp tanımlanamaz. Ya üç ayrı değişken olarak ya da bir faktör altında üç ayrı değişken (item) olarak ele alınıp tanımlanabilir.

Diğer bir ölçme sorunu, araştırmacının ölçme seviyeleri hakkında ya hiç bilgiye sahip olmaması ya da yanlış bilgiye sahip olmasından kaynaklanmaktadır. Dört ölçme seviyesinin çok iyi bilinmesi ve amaca uygun bir şekilde bilinçli olarak seçilmesi gerekir.

Araştırmalarda incelemenin türü çoğunlukla belirtilmemekte, yanlış belirtilmekte veya hiç bir gerekli açıklama yapılmadan doğru veya yanlış belirtilmektedir. İncelemenin bir alan araştırması olduğunu belirtmek yeterli değildir. Bu araştırma türünün diğerleri arasından seçilerek tercih edilme nedeni özlüce açıklanmalıdır.

Survey araştırmalarında parametrik iddiaları ancak alınan örneklemin gerçekte temsili olup olmadığına bağlıdır. Rating firmalarının temsili örneklem aldıkları iddiası gibi, araştırmanın temsiliği ancak örneklemin uygun olmasına bağlıdır. Örneklem ile ilgili süreçlerin açıklanması gerekir. Örneklem alındıktan sonra, eğer yüzde yirmi, otuz, kırk veya elli gibi bir katılım (return) varsa, o örneklerde temsil sorunu ortaya çıkar. Araştırmalarda bu tür anketlere az cevap sayısı sorunu ortaya çıkmaktadır. Ayrıca “uygun ve kolay” yolla örneklem almak veya öğrencileri örnek olarak alıp onları bütün gençliği temsil ediyor olarak sunmak yanlıştır.

Nüfus, örneklem çerçevesi ve örneklem arasındaki bağ bilinmemektedir. Örneklem sayısı hakkında bilgi oldukça yetersiz ve yanlış görünmektedir. Örneğin 92 tane beş yıldızlı otel olduğu, bunlara gönderilen anketlere 78 tanesinin ( % 84.7) cevap verdiği bildiriliyor ve “bu sayı istatistiksel bir analiz için yeterli olmakta birlikte, sağlıklı bir örneklem için yeterli olmayabilir” denmektedir. Burada istatistikle ilgili yeterli sayı konusunda hata var, çünkü hangi istatistik yapılacağı bilinmeden bu tür bir yargıya varılamaz. İkinci hata örneklemle ilgili söylenen ifadedir. Araştırmacı bu incelemede anket için örneklem almadığının, onun yerine nüfusu (evren dediği nüfusu) kullandığının farkında bile değil. Nüfusu kullandığımızda, % 84.7 gibi bir cevapta temsil sorunu olacağı olasılılığı üzerinde durulmaz bile.

Araştırmalarda sürekli bir “evrenden” bahsedilmektedir. Araştırmanın evreni belirtilmekte ve bu evrenden örneklem alındığı söylenmekte ve hatta “değişkenlerin evrendeki değerlerini 0,11 hata ile tahmin edebilecek güçte olduğu” ileri sürülmektedir. Evren sözü yanlış yönlendiricidir, evren tanımlanmamış nüfustur. Evren kavramı zaman ve yer ölçülerine göre belirlenmemiştir ve temel olarak faydasız bir kavramdır. Nüfus evrenin kuramsal olarak belirlenmesidir. Evrenden örneklem çıkartılamaz, evrene genelleştirme yapılamaz. Araştırmacının kuramsal olarak genelleştirme yapacağı nüfusunu tanımlaması, erişilebilen araştırma nüfusunu belirlemesi, nasıl erişebileceğini bularak örneklem çerçevesini belirlemesi ve örneklem çerçevesinden örneklemini alması gerekir. Örneklem çerçevesi çıkartılmadan örneklem sayısı belirlenemez, örneklem sayısını bulmak için formül uygulanamaz.

Diğer ciddi bir ölçme sorunu ölçmek isteneni ölçmeyen soru tasarımı yapmaktır. Örneğin “yabancı dili ne ölçüde biliyorsun?” diye soruluyor ve hiçten mükemmele doğru giden likert tipi beş veya yedi kademeli ölçek ile ölçme yapılıyor. Bir kişinin dil seviyesini diğer kişiden geçerli ve güvenilir bir şekilde bu soruyla ve ölçmeyle ayırt edebilir miyiz? Edemeyiz. Ya da yabancı dil beceri seviyesini kişilere kendilerini “ordinal” bir ölçek üzerinde değerlendirmelerini isteyerek nasıl ölçebilirsin? Ölçersin, fakat bu geçerli ve nesnel bir ölçme olamaz. Bu nedenle ki, örneğin TOEFL, GRE, KPDS gbi dil sınavları vardır.

Araştırmalarda çoğunlukla veri toplama süreçleri belirtilmektedir. Fakat çoğu açıklamalar hatalarla doludur.

Araştırmayı geçersiz yapan önemli bir diğer sorun veri toplamak için yanlış kaynak (nüfus) tespit edilmekte ve kullanılmaktadır. Örneğin, incelemenin amacının kullanılan cep telefonlarının sayısının ve kullanım sıklığının belirlenmesi olduğu söylenmektedir. Bu amaçla gerekli datayı toplamak için telefon kullanıcıları arasından bir örneklem seçilmekte ve onlara anket uygulanmaktadır. Burada data toplama süreci ve olarak seçilen nüfus yanlıştır. Dolayısıyla elde edilen sonuç geçersizdir. Benzer şekilde bir başka incelemede bir kentte kullanılan araba sayısı ve kentte araba sahipliğinin yüzdesi belirlenmek isteniyor ve kentteki nüfustan 2000 örneklem seçilerek data toplanıyor ve bulgular sunuluyor. Bu da geçersiz ve yanlıştır. Bir diğer incelemede, belediyelerdeki sorumlulara çöp alanlarında koku olup olmadığı ve çevreyi rahatsız edip etmediği sorulmaktadır. Sonucun ne olacağını tahmin etmek zor değil. Bu da geçersiz bir tasarımdır. Bu tür nüfus ve örneklem yanlış kaynağa doğru soru sorma ve dolayısıyla yanlış sonuca varmayla sonuçlanır. İngiliz turistlerinin Türkiye hakkındaki tutumları ile ilgili bir tasarımda nüfus İngiliz turistleridir ve örneklem onlar arasından alınır. İngiliz tur operatörlerine İngiliz turistlerinin duyguları ve tutumları hakkında sorulan sorularla toplanan data ve alınan sonuçlar geçersizdir. Tur operatörlerinin düşüncesi sadece tahminlere dayanan “projection” ötesine gidemez. İngiliz turistlerinin Türkiye’yi neden tercih ettiklerini ancak İngiliz turistlerinin kendilerine sorarak güvenilir ve geçerli data toplayabiliriz.

Araştırmalar sormaca (questionnaire) tasarımıyla ilgili birçok sorunlarla doludur. Ölçmek istenenle ilgili sorular sorulması gerekirken gereksiz ve neden sorulduğu belli olmayan sorular sorulmaktadır. Soruların kendilerinde ve verilen seçeneklerde hatalar yapılmaktadır. En kötüsü de, örneğin “değer analizi” gibi kültür bağımlı analiz için Amerika’da geliştirilmiş survey research soruları ve ölçekleri Türkçe’ye tercüme edilerek kullanılmaktadır.

Sormaca geliştirme uygun bir şekilde yapılmamaktadır. Kendince sorular hazırlayıp sormaca oluşturmakla iş bitmez. Bu sadece sürecin bir başlangıcıdır.

Sormaca geliştirmede hakem kullanma da yanlış yapılmaktadır.

Sormaca tasarımlarında yer yer çifte namlulu ve hatta üç namlulu sorular sorulmaktadır. Örneğin “yeni yerleri ve insanları merak etme” gibi sorularla toplanan data geçersizdir, çünkü cevabın hangi namluya (bir namluya mı, ikisine mi yoksa hiçbirine mi) ait olduğu bilinmez. “Çocuğunuz ilk, orta veya lisede özel okula gitti mi? Evet Hayır.” Bu soru üç namlulu bir soru. Cevap verdiğimde, hangi çocuğum hangi dönemde (ilk okulda mı, orta okulda mı, lisede mi) özel okula gitti. Dört namlulu bir soruda 5 ölçekli likert tipi seçenek veren geçersiz bir ölçme örneği: Sanata-müzik-mimari ve folklora ilgi duyma. Burada dört tane ayrı değişken ve dört tane ayrı ölçme olması gerekir, bir tane değil. Bir diğer örnek: “Finans desteği gerektiren bir araştırma planladın ve/veya uyguladın mı? Evet Hayır”. Bu soru çifte namlulu bir soru: ben planlamış fakat finans desteği bulamamış olabilirim; planlamış destek bulmuş ve uygulamış olabilirim; başkası tarafından planlanmışı uygulamış olabilirim; her ikisini de yapmamış olabilirim. Aynı sorun şu örnekte de var ve bu nedenle bu ölçmeler geçersizdir: Neyi ölçtüğünün bile farkında olmayan araştırmacı, fiziksel seyahat motivasyonları altında, deneklere çok önemliden çok önemsize doğru değişen beş ölçekli likert tipi ölçekle “vücut ve zihin dinlenmesi” (iki namlulu) ve “zevk-eğlence-heyecan” (üç namlulu, ki, günlük deyimle helal olsun, çünkü üç namluluyu da böylece yarattık) “motivasyonlarını” değerlendirmeleri istenmektedir. Elbette burada yapılan diğer ciddi bir hata, seyahat amacı, tercihli yaklaşma (selective exposue), kavramsal\algısal uyum (cognitive consistency) ve motivasyon birbirine karıştırılmaktadır. Araştırmacı amaç/neden ile motivasyon arasındaki farkın ve ilişkinin farkında değil. Zevk-eğlence-heyecan seyahat için fiziksel motivasyon mu yoksa en yakın şekliyle motivasyonu yaratan üç ayrı neden mi? Daha doğrusu, “cognitive consistency, selective exposure” gibi kuramlarla bağıntılı olarak zevk, eğlence ve heyecan veren deneyimlerin tekrarlanmasına yönelmeyle mi ve terslerinden kaçınmayla mı ilgili? Dikkat edilirse kavramların tanımlanması ile doğru ölçme arasında oldukça fonksiyonel bir bağ vardır.

Sormaca tasarımında isimsel (nominal) ve kademeli (ordinal) kategori oluşturan kaideler kırılmaktadır:

Birbirini karşılıklı dışarıda bırakma (mutually exclusiveness) kuralına uyulmamaktadır. Bu kurala göre bir data ancak bir kategoriye girmelidir, diğer kategorilere kesinlikle girmemelidir. Eğer data kategorilerden birden fazlasına girebilirse, o zaman kural bozulmuş demektir. Bu da tasarımı geçersiz yapar. Örneğin bir araştırmada verilen seçenekler arasında sosyal bilimci, fakülte öğretim üyesi, mühendis gibi kategoriler var. benim eşim aynı zamanda mühendis, öğretim üyesi ve sosyal bilimci. Bir diğer araştırmada sunulan seçenekler: Ev, Dışarı, Restoran, Bar. En çok yapılan bir diğer gruplandırma: 100-150, 150-200, 200-250.

Çok çiğnenen bir diger kural da verilen seçeneklerin tüm olasılıklı tercihleri içermesi (exhaustiveness) kuralıdır. Bu kuralın kırılması da geçerli ve güvenilir data elde etmeyi ortadan kaldırır. Araştırmacının işine gelen, düşüncesine veya araştırmacının amacına uygun kategorileri koymak ve diğerlerini dışarıda bırakmak doğru değildir. Bu tür seçenekleri verdikten sonra “diğer” seçeneğini koymak her zaman sorunu çözmez, çünkü ilk verilen seçeneklerle isteyerek veya istemeyerek yönlendirme yapılmıştır.

Araştırmalarda uyumsuz, ilgisiz ve irrasyonel kategorilere de rastlanmaktadır. Örneğin: Bir araştırmada, gene tasarımın yanlış yerinde, “iş” “eve para getiren faaliyet” olarak tanımlanmakta ve kişilere ne tür bir iş yaptığı sorulmaktadır. Cevap olarak sunulan seçenekler arasında şunlar var: Öğrenci, ev kadını, emekli, işsiz. Eğer işi eve gelir/para getiren faaliyet olarak tanımlarsak, bu tanım çerçevesi içinde kategoriler geliştirmemiz gerekir.

Araştırmalarda bir değişken içinde bazen çok fazla kategoriler sunulmaktadır. Bunun önde gelen iki mahsuru vardır: Birincisi eğer bu kategoriler tutumlarla ilgiliyse, birkaç kategoriden sonra kategoriler akılda tutulamaz, cevap vereni yorar, dinlemek veya okumayla vakit geçirmek istemeyebilir ve sonunda ya en son ya da ilk kategoriyi ya da tesadüfi bir kategoriyi seçmeye yönelebilirler. İkincisi bu kadar çok kategorilerle sunulan tek değişkenli frekans analizlerini yorumlama zorlaşır, yorumlama anlamını yitirir. Bu kadar çok kategorilerle iki değişkenli analiz (özellikle ki kare dağılımına dayanan testler) yapılamaz. Teknik olarak yapılır (bilgisayar yapar), fakat geçerli olmaz veya yorum yapılamaz. Örneğin meslekle ilgili 22 kategori ve gelirle ilgili 21 kategori oldukça anlamsız ve sorunlara gebedir.

Araştırmalarda nedense aralıklı (interval) ve oranlı (ratio) ölçmelerde kategoriler kullanılmaktadır. Bu ölçme seviyelerinde yapılan gruplandırma üst seviyede istatistik kullanmayı ve dolayısıyla ayrıntılı yorum yapmayı engeller. Ayrıca bu tür ölçekleri gruplandırmada nesnel ve geçerli kıstas sunma sorunu vardır. Örneğin yaşla ilgili 25 ve altı, 26-30, 31- 35 diye giden bir 5 kademeli bir gruplandırma olsun. Bu gruplandırmanın anlamlılığı ancak geçerli ve ikna edici kuramsal gerekçeyle kurulabilir ki bu da çok zordur. Çünkü “neden altı grup değil de beş grup veya 30 yaş ile 31 yaş arasında ne fark var ki biri ikinci gruba girerken diğeri üçüncü grupta” gibi sorulara geçerli gerekçe sunmak çok zordur. Aynı sorun geliri gruplara ayırmada da vardır. Birinci grup 5000 dolar ve altı, ikincisi ise 5001-10000 dolar. Birinci grup ile ikinci grup arasındaki niteliksel fark ne ve bu farkın önemi ne? Neden 6000 ve altı değil de 5000 ve altı? Bu keyfiliğin olmaması gerekir. Araştırmalarda kuramsal gerekçe yoksunluğu olduğu için, bu tür sorulara cevap verme olasılığı da azdır. Bu nedenle, sonradan gruplandırılacak bile olsa bu tür ölçmelerde zorunlu olmadıkça gruplandırma kullanılmamalıdır. Gruplandırma yapıldığında ise geçerli gerekçeler sunulmalıdır.

Bazı incelemelerde kategoriler veya seçenekler ideolojik yükle yüklenmiştir veya belli bir amaca ulaşmak için kasıtlı olarak yanlı bir şekilde düzenlenmiştir.

Bazı incelemeler gruplandırma yaparken kriter düşünmemekte, veya birden fazla kriter kullanmakta veya yanlış kriter seçmektedir. Örneğin: “Küçük çapta iş yeri (bakkal gibi); Orta büyüklükte iş yeri (en fazla on işçi çalıştıran); Büyük çap iş yeri (ondan fazla işçi çalıştıran)”. Bu gruplandırmada ölçünün (kriterin) geçerliliği şüphelidir. Çünkü örneğin, benim Ankara Çıkrıkçılar yokuşunda tuhafiye dükkanı olan tanıdığım dikiş için 13 işçi çalıştırmaktadır. Koç ise 45,000 kadar işçiye sahiptir. Yukarıdaki gruplandırmaya göre her ikisi de büyük boy şirket olmaktadır.

Araştırmaların bazılarında kademeli ölçekler (ordinal scales) uygun bir şekilde ve dengeli olarak tasarlanmamaktadır. Örnekler: 1. İyi, 2. Orta, 3. Kötü, 4. Çok kötü. Veya: 1. Hiç memnun değilim, 2. Çok memnun değilim, 3. Kısmen memnunum, 4. Çok memnunum. Bir diğer örnek: 1. Katılmıyorum, 2. Genel olarak katılıyorum, 3. Tamamen katılıyorum. Bu örneklerdeki ölçeklerin hepside hatalıdır.

Araştırmaların bazılarında sorular ile gruplar arasında uyumsuzluk vardır: “haftanın her günü televizyon izler misiniz? 1. Her gün, 2. 5 – 6 gece, 3. 3 – 4 gece, 4. 1 – 2 gece, 5. Nadiren, 6. Diğer. Bu soruda ölçme birimi olarak gün alınmıştır, dolayısıyla, “nadiren” seçeneği hatalı gruplandırmaya neden olmuştur. “Diğer” seçeneği olamaz, çünkü bu kişiler zaten televizyon seyreden kişiler ve birimle gelen seçeneklerin hepsi zaten verilmiş ve olasılıklı hiçbir seçenek dışarıda bırakılmamış. Dikkat edilirse, eğer araştırmacı işlevsel tanımlamasını yapar ve birimini seçerse, ve bu tanımlama ve birime sadık kalarak sorular ve seçenekler geliştirirse, hata yapma olasılığı ortadan kalkar. (Ayrıca, yukarıdaki örnekte, soru tasarımı da doğru değil.)

Bazı incelemelerde sorular bilinçli veya bilinçsiz olarak ideolojik yükle yüklenmektedir. Örneğin iletişim fakültesi öğretim üyelerine şöyle bir soru sorulmuş: Öğrencileriniz mezun olduklarında yeterli pratik beceri kazanmış oluyorlar mı? Evet Hayır. Bu soru akademik amacı endüstriyel yapı ve firma ihtiyaçları çerçevesinde belirleyen ideolojik bir gerekçeye sahiptir. Amacı “liberal eğitim” olan İletişim fakülteleri endüstriye kalifiye eleman yetiştiren meslek okulu değildir. Bu soruyla kurulan tasarım belli çıkarları ve politikaları desteklemeye yönelik bir yanlılık taşır.

Bazı araştırmalarda ne tür istatistik analiz yapılacağı belirtilmemekte, bazılarında gerekli açıklama yapılmadan belirtilmektedir. Eğer tek bir analiz yapılacaksa belirtilmelidir. Fakat her hipotez için farklı istatistik yapılacaksa, bu açıklanmalıdır. Ayrıca bazı araştırmalar SPSS kullanılacağını söylemektedir. Bunun hiçbir anlamı yoktur, çünkü SPSS sadece istatistik analizi için hazırlanmış bir paket programdır, bir araçtır; datayı bizim için kendiliğinden analiz etmez.

Bazı araştırmalarda istatistik analizin nasıl yapıldığı (örneğin varyans analizi) formüllerle açıklanmaktadır. Bazıları ise bir tablonun veya sonucun nasıl okuduğunu (veya okunacağını) (örneğin faktör analizi tablosunu) anlatmaktadır. Bu ya bilmeme nedeniyle yapılmakta ya da bilmeyenlerin gözlerini boyamak için yapılmaktadır. Araştırmada bir istatistiksel sonucun veya tablonun nasıl değerlendirildiği açıklanmaz, bir istatistik testinin nasıl yapıldığı formülleriyle anlatılmaz. Böyle bir açıklama ancak araştırmacının kendisi hiç kimsenin bilmediği yeni bir istatistik testi yarattıysa yapılır. Bu da ancak istatistikçilerin veya istatistiğin üstesinden gelenlerin işidir.

İstatistik analizi bazı araştırmalarda yanlış yapılmakta ve/veya yanlış yorumlanmaktadır. Örneğin kadın ve erkek arasındaki farka bakan araştırmacı “yapılan Levene testin sonucuna göre F=0,835 p= 0,364 olarak saptanmıştır. Sonuçların da ortaya koyduğu gibi gruplar arasıda fark yoktur.” Sonucuna varıyor. Bu yanlış bir yorumdur, çünkü Levene testiyle grupların varyanslarının eşit olup olmadığına bakarız. Varyanslar eşit veya eşit değilse, bunun anlamı iki grup arasında fark olmadığı asla değildir. Bu testi yaparız, çünkü merkezi yönelim farkını arayan T-testinin temel varsayımı iki grup arasındaki varyansın aynı olduğudur. Fakat incelemede kadın ve erkek arasında fark olup olmadığına kararı t-testi sonucundaki p değerine bakarak veririz. Bir diğer araştırmacı iki bağımsız grup seçiyor: Biri turizmle ilgili diğeri ise ilgisiz. Bu birinci değişkenimiz. İkinci değişkenimiz ise “Türkiye’nin turistler tarafından tercih edilme nedenleri: ucuzluk, doğal güzellikler vb.” Dikkat edilirse her iki değişken de isimsel değişken. Araştırmacı t-testinin nonparametric benzeri olan Mann-Whitney U testini kullanarak sonuçlar çıkartmış ve bunlara göre yorumlar yapmış. Yanlış test, dolayısıyla yanlış sonuç ve yorumlar. Kısaca araştırma bulgularıyla ve yorumlarıyla geçersiz. Çünkü Mann-Whitney U test isimsel ölçekle yapılamaz, kademeli (ordinal) seviyede bir ölçme gerektirir. Daha kötüsü bu test hesap yaparken datayı sıralar (rank). Bu araştırmacı, eğer bu tür bir karşılaştırma yapmak istiyorsa (ki yapmaması gerekirdi; her seçenek içindeki dağılımla ilişkili non-parametric ki-kare testi yapmalıydı), kullanması gereken test ki-kare testiydi, çünkü her iki değişken de isimsel seviyede ölçülmüş.

Araştırmalarda, araştırmanın kapsamı (scope of research) ile araştırmanın sınırlılıkları (limitations of research) birbiriyle karıştırılmakta, yanlış anlaşılmaktadır. Araştırmanın kapsamı araştırmanın sınırlılığı değildir. Sınırlılık genellikle kuramsal çerçeveye ve çoğunlukla yöntemle ilgilidir.

Bulgular, Tartışmalar, Sonuçlar

Pozitivist-amprik yöntemde araştırma sonuçları ya bulgular altında hiçbir yorum yapmadan verilir ya da bulgular ve, örneğin, tartışma veya öneriler altında birlikte verilir. Aynı bölümde birlikte verildiğinde, kesinlikle sunulanın hangisinin bulgu hangisinin değerlendirme olduğu açıkça görülmelidir. Araştırmalarda bulgularla ilgili soruların başında gelenler şunlardır:

En çok yapılan hata bulgularda birden bire karşımıza amaçta, araştırma soruları ve hipotezde belirtilmeyen gereksiz istatistik analizleri çıkmaktadır. Elimizde data var o zaman değişkenler arasında korelasyonlar yapalım, bakalım ne çıkacak diye araştırma tasarımına datayı süreçten geçirme ve bulgular safhasında eklemeler yapılmaz. Buna tek istisna, daha evvelce tasarımda düşünülmeyen, fakat çok çarpıcı ve beklenmeyen bir sonuç elde etme olabilir. Korelasyon için korelasyon yapmak uygun bir araştırma yöntemi değildir. Araştırmada sadece hipotezler veya araştırma sorularıyla ilişkili istatistik analizleri yapılır. Her değişken birbiriyle karşılaştırılmaz.

Araştırmalarda kademeli ölçeklerle yapılan tek değişkenli analizler çoğu kez yanlış olmaktadır, çünkü merkezi yönelim analizi kullanılmaktadır ve üç veya beş kademeli bir ölçekte ortalama ve standart sapma kullanımı yanlıştır. Merkezi yönelim analizi için niceliksel (interval ve oranlı) ölçme seviyesi gereklidir. İsimsel ve kademeli ölçekler için uygun olan test frekans analizidir.

İsimsel datanın tek değişkenli analizi doğru yapılmakta, fakat yanlış yorumlanmaktadır. Yüzde dağılımlarına bakarak aralarında anlamlı fark olduğu varsayılamaz. Yüzde dağılımlarına bakarak geçerli yorum yapabilmek için ya non-parametrik ki kare testi veya Z testinin yapılması gerekir. Ancak bu test sonuçlarında anlamlı fark çıkarsa, o zaman yüzdeler kullanılarak farklılık yorumu yapılabilir.

En çok hata iki değişkenli analiz yapıldığında yapılmaktadır. Bunun da önde gelen nedeni ölçme seviyelerinin ve her ölçme seviyesine uygun istatistik testlerinin ne olduğunun bilinmemesidir. Her istatistik testinin kullanım koşulları vardır ve bunların bilinmesi gerekir. Her ölçekle her istatistik kullanılamaz. Örneğin: Bir incelemede iki grup (iki isimsel değişken) ile kademeli ölçekle (motivasyon, tutum ve iş memnuniyeti) ölçülmüş üç değişken için t-testi ve anova kullanılmış. Kullanılamaz, çünkü t-testi ve anovada ölçmenin niceliksel olması gerekir, çünkü bu testler merkezi yönelim karşılaştırması yapan testlerdir. Merkezi yönelim için elimizde interval veya ratio ölçek olması gerekir. Bazı incelemeler iki isimsel ölçeği veya bir isimsel ile bir kademeliyi karşılaştırırken pearson product moment correlation veya benzeri non-parametrik testlerden birini kullanmaktadır. Bunlar yanlış kullanımlardır ve sonuçları geçersizdir.

Hataları oluşturan temel neden hipotez olmaması ve amaca uygun testin belirlenmemesidir. Örneğin, hipotezsiz bir araştırmada, bir beş kademeli likert tipi ölçekle ölçülmüş değişken ile beş gruba indirgenmiş gelir değişkeni ANOVA testiyle karşılaştırılmakta ve şu sonuca varılmaktadır: “Gelir yükseldikçe sanat-müzik-mimari ve folklara duyulan ilgi artmaktadır.” ANOVA testi merkezi yönelimler farkı testidir ve F-dağılımı benzerliklerine bakar. Eğer bir değişkendeki değer artarken diğer bir değişkende artış meydana geldiği varsayımı öne sürüyorsak, iki değişkenimizin de niceliksel olması gerekir, çünkü artıştan bahsediyoruz. Bu bağlamda en uygun ilişki testi pearson product moment correlation testi veya p ve R2 değerine bakmamız gereken simple regrasyon analizidir. ANOVA analizi veya Duncan testi bize merkezi yönelim farkı hakkında bilgi verir, ortalama farkı da bize birinin artarken diğerinin de arttığı hakkında bilgi vermez. Benzer şekilde, “yaş ilerledikçe sık seyahat etme oranı azalır” diye negatif bir nedensellik sonucu üç kademeli seyahat sıklığı ve gene kademeleştirilmiş yaş grupları arasındaki ki-kare testine bakılarak yapılmaz. Ki-kare testiyle sıklıkla yaş grupları arasında ilişki olduğu ortaya çıkar. Geçerli bir analiz için seyahat sıklığını ve yaşı niceliksel olarak ölçmek ve linear ilişki varsayımını yapmak, ardından pearson testi yapmak gerekir. Üç kademeli ölçmeyle linear ilişki olduğu sonucu güvenilir değildir.

En ciddi hatalardan biri de bir iki değişkenli analiz için iki veya ikiden fazla test kullanılmaktır. Bu tür kullanımda, hangi sonuç araştırmacının amacına veya aklında beklediği sonucu destekliyorsa, o sonuç doğru bulgu olarak sunulmakta, ve diğerleri geçersiz tartışmalarla geçersiz ilan edilmektedir. Örneğin, bir incelemede araştırmacı test sonucunun güçlü bir ilişki gösterdiğini (r = 0.95), fakat T-test değerinin ( t = - 1.55) olmasının farkın anlamlı olmadığına işaret ettiğini belirtmektedir. Bu tür sunumlarda çok ciddi temel hatalar vardır: Pearson testi güçlü bir ilişki olduğunu belirtiyor, bunu hiçbir farklı yorumla red edemeyiz. Pearson testini yaparız, çünkü amacımız iki değişken arasında bir ilişki olup olmadığını ve varsa gücünün ve yönünün ne olduğunu bulmaktır. Bu testi yaptıktan sonra T-testini yapmak anlamsız ve yanlıştır. Çünkü T-testi iki grup arasındaki merkezi yönelim farkını bulmak için yapılır. Her iki testteki amaç farklıdır. İkisi bir arada kullanılamaz. Birinin bulduğu sonuçla diğerinin bulduğu sonuç karşılaştırılarak bir seçme yapılamaz. Ayrıca t-testindeki t değerine bakarak anlamlı farklılık belirlenemez, p değerine bakmak gerekir.

Araştırmalar istatistiksel sonuçların yanlış sunulduğu ve yanlış yorumlandığı ve bazılarının yorumlamadığı örneklerle doludur. Bazı araştırmalar anlamlılık belirlemesi için p değerini bile sunmamaktadır.

İlişki analizi ile nedensellik karıştırılmaktadır. Örneğin performans ile bağlılık arasında ilişki arayan bir incelemede, “doğrusal bir ilişki çıkarsa” diye bir koşullu cümle kurmak yanlıştır. Çünkü ilişki analizinde böyle bir sonuç ortaya çıkmaz, ilişki olup olmadığı ortaya çıkar. Doğrusal bir ilişkiden araştırmacı pozitif nedensellik bağından bahsetmektedir ki ilişki analizi bize ancak ilişkinin varlığı ve yokluğunu, yönünü ve gücünü gösterir. Pozitif nedensellik bağı kuramsal bir dayanağı olan varsayımlarla kurulur ve test edilir.

Dağılım hakkında varsayım veya data ve analiz olmadan, hiçbir ilişki testi yapmaksızın sadece dağılımlara bakarak ilişki ve hatta nedensellik bağı sonuçları çıkartılmaktadır. “Türkiye’de illerin ortalama gelir düzeyi normal dağılım göstermektedir” demek, isimsel bir değişken olan iller değişkenini oluşturan kategorilere düşen gelir miktarlarının aynı olması demektir. Yani böyle bir değerlendirme geçersizdir. “Nüfus açısından bakıldığında ise, normallik bozulmaktadır” demek de anlamsız ve geçersizdir. Dağılım sayılarını veya yüzdelerini verip ardından, “yukarıda belirtilen nedenlerle, nüfus dağılımı ile gelir dağılımı arasında önemli bir bağlantı bulunmaktadır” diye sonuç çıkarmak doğru değildir; böyle bir sonucu çıkartabilmek için uygun bir testin (bu örnekte pearson product moment correlation) yapılması gerekir. “Türkiye’deki nüfus ve gayrisafi yurt içi hasıla dağılımıyla, ulusal ve yerel medyanın dağılımı birbiriyle ilişkilendirilmediğinde, iki temel egilimle karşılaşılmaktadır: (1) Türkiye’de ulusal medya metropolitan merkezlerde yoğunlaşmıştır. (2) Türkiye yerel medyanın dağılımı ile nüfus dağılımı arasındaki ilişki, gelir dağılımıyla olan ilişkiden daha güçlüdür” değerlendirmesi, gerekli testler yapılmadığı için, bir sonuç değil, kuramsal varsayımlar seviyesindeki cümlelerdir.

Yanlış, temelsiz ve çok saçma nedensellik bağları kuran testler yapılmaktadır. Bunun temel nedeni araştırmanın gerekçeli bir nedensellik bağı kuran hipotezden yoksun olmasından ve ölçülen değişkenler arasında “bakalım ilişki var mı” veya “etki” var mı” gibi düşüncelerle istatistik testi yapma yüzündendir. Yani, bilimsel araştırma tasarımını gereğince bilmemektendir. Örneğin kentli ve köylü arasındaki çevreye duyarlılık farkları bir çevre dergisi okuyup okumadıklarına göre belirlenmektedir. Böyle bir bağdan doğal olarak köylünün çevreye duyarsız olduğu ortaya çıkacaktır. Bir firmada pazarlama bölümünün olmasıyla pazarlama kanalları arasında kurulan nedensellik bağı da yanlıştır. Bir işyerine sahip olma veya onu kiralamayla pazarlama kanalı seçme arasında kurulan bağ da geçersizdir. Benzer şekilde, hiçbir hipotez ve gerekçe sunmadan istatistik testi sonucunda seyahat sıklığı ile seyahatin nedeni, gelir ile seyahat sıklığı, medeni hal ile seyahat sıklığı, eğitim, yaş ve cinsiyet ile seyahat sıklığı arasında kurulan nedensellik bağları oldukça sudan ve temelsizdir. “Yaşları ilerledikçe sık seyahat etme oranının azaldığı” yaş nedeniyle mi? Kadınların az seyahat etmesi kadın olmalarından mı? Bu tür iki değişken arasında anlamlı ilişki çıkabilir, her anlamlı ilişki bilimsel bakımdan veya sosyal bakımdan bir anlamlılık taşımaz. Seyahat sıklığını (hem de az, orta, çok diye gruplandırarak) otel özelliklerinin değerlendirilmesinde etken (faktör) olarak ele alarak bir inceleme yapılması için gerekçe sunmak oldukça zordur. Bu tür uyduruk ve geçersiz bağların kurulmasının önde gelen nedeni, bir araştırma sorusu veya hipotez ortaya atılırken, ona tutarlı bir gerekçe hazırlanması gerekir. Bu gerekçeyle araştırma sorusu ve hipotezler kuramsal bir temele ve anlamlı bir çerçeveye oturtulur. Aksi taktirde uyduruk ve geçersiz ilişkiler ve nedensellik bağları kuran ve araştıran geçersiz tasarım olmayan tasarımlar yapılır ve inceleme olmayan incelemeler yapılır. Zevk-eğlence-heyecan ile gelir durumu arasında ANOVA testi yapıyor araştırmacı (hiçbir gerekçe yok, hipotez yok) ve “yıllık geliri 5000 dolar ve daha az olanlar ile 50001-10000 dolar ve 20001 dolar ve daha arasıdaki fark ve 15001-20000 dolar ve 20001 dolardan fazla olanlar arasındaki fark önemlidir” diyor. Pekiyi, sonrası ne? Sonrası yok. Bu bulgunun anlamı ne? Gelir durumu kategorileri bağımsız değişken olarak insanların seyahatte zevk-eğlence-heyecan “motivasyonlarını” nasıl beliriyor? Cevap yok, çünkü herhangi bir varsayım ortaya atılmamış, sadece istatistiksel fark analizi yapılmış. Istatistik Alaaddin’in büyülü lambası değildir; sadece belli varsayımlarla ilgili hesaplar yapan ve yorumu yapılması gereken özet veren bir araçtır.

Tasarımın özellikle bulgular bölümünde korelasyon analizi yapılıyor ve bu korelasyon analizi sonucunda nedensellik bağları kuruluyor. Bu çok ciddi bir hatadır, çünkü korelasyon ile nedensellik aynı değildir. Hem ilişki hem de nedensellik bağı istatistiksel sonuca bakarak kurulmaz. Bunlar araştırmanın giriş bölümünde gerekçeli olarak hipotez şeklinde ortaya atılır ve yöntem bölümünde nasıl ölçüleceği ve test edileceği belirtilir, bulgular bölümünde sonuç açıklanır ve değerlendirilir. Örneğin, araştırmanın bulgular bölümünde, daha önce belirtilmemiş, tanımlanması yapılmamış, hipotezi kurulmamış seyahat motivasyonu ile yerli ve yabancı olma durumu arasında T-testi yapıldığı belirtiliyor. Önce yerli ve yabancı turistler arasında seyahat motivasyonu bakımından fark olacağının kuramsal ve gerekçeli bir sunumunun yapılması gerekir. Neden fark olacağı açıklanmadan “bulanık suda balık avlanır” gibi bilimsel araştırma yapılmaz. Böyle görünen “exploratory” incelemelerde bile durum böyle değildir. Neden fark olacağı açıklanmadan t-testi yapıp sonuç bulduktan sonra bu sonucu neye bağlayacağız? Nasıl yorumlayacağız? Sadece fark olduğunu bulmak yeterli değildir, bu farkın olduğunu belirten bir varsayıma, hipoteze sahip olmak gerekir ki, sistemli ve bilimsel bir açıklama yapabilelim.

Faktör analizi yanlış tanımlanmakta ve yanlış kullanılmaktadır. Faktör analizi “birbiriyle ilişkili değişkenleri bir araya getirmek suretiyle az sayıda yeni ilişkisiz değişken bulmayı amaçlar” tanımı yanlıştır. Çünkü birbiriyle ilişkili değişkenleri bir araya getirdiğinizde, az sayıda yeni ilişkisiz değişken bulunmaz, aksine bu ilişkili değişkenleri tek bir faktör altında toplama gerçekleşir. Bir diğer araştırmada önceden iki faktör belirlenmiş: iş gören performansı ve örgütsel bağlılık. Ardından 15 tane “item” likert ölçeğiyle ölçülmüş. Ardından, faktör analiziyle üçüncü ve yedinci sorular (items) yüklerinin düşüklüğü nedeniyle atılmış, bir faktör elde edilmiş. O zaman iki faktör altına düşen item’ler nereden çıktı? Kuramsal olarak bunlar belirlendiyse, faktör analizinde iki faktörün ortaya çıkması ve işgören performansı faktöründe yüksek yüklü (high load) olanlar araştırmada sunulan 1,4,5,8,13 ve 15 numaralı item’ler ve örgütsel bağlılık faktöründe ise 2,6,9,10 ve 14 numaralı item’ler olmalıydı. Ayrıca düşük faktör yükü diye bir item atılmaz. Item’in kullanılmama nedenleri, örneğin kendi başına bir faktör oluşturması, non-orthogonal olması olabilir.

Ölçeğin güvenirliliği (reliability) testi ender olarak yapılmaktadır. Güvenirlilik testi genellikle yeni bir ölçek inşa edildiğinde yapılır. Standart testlerde güvenirlilik test edilmiş ve belirtilmiştir. Eğer ölçeğin güvenirliliği test edilmiş ve, örneğin Cronbach Alpha değeri 0,74 çıkmışsa, ölçeğe dikkatle yaklaşmak gerekir; eğer iş gören performansı diye bir faktörünüz var ve Alpha değeri 0,54 çıkmışsa, tavsiyem faktör analizi yapmanızdır, çünkü bu faktörü oluşturan item’lerin bazıları arasında bağ ya yok ya çok düşük (yani bazı item’ler başka bir faktöre ait veya bu faktöre ait değil).

Tablolar ve şekiller genel olarak uygun bir şekilde isimlendirilmemekte ve tasarlanmamaktadır.

Bilimsellik iddia eden bir araştırma kuram, hipotez ve bulgular arasında bag kurmalıdır. Bu bağ kurularak sentez yapılır ve sonuçlara ulaşılır. Ne yazık ki bu bağı kuran ve senteze ulaşan bir araştırmaya rastlama olasılığı yok gibi.

Ayrıca, bulguların kuramsal çerçeve ve ilgili incelemelerle ilişkilendirilmesi ve bütünleşik bir yapıt ortaya çıkarılması gerekir. Bu tür bir entegrasyonu gerçekleştiren bir incelemenin varlığı da şüphelidir.

Daha kötüsü, bazı incelemelerde çıkartılan sonuçlar istatistiksel bulgularla ters düşmektedir. Genellikle araştırmacının beklentilerini desteklemeyen bulgular görmezlikten gelinmekte, bir kenara itilmekte veya amaca uyacak şekilde (yanlış) yorumlanmaktadır.

Diğer bir ciddi sorun non-parametrik bir incelemenin sonuçlarının parametrik gibi ele alınıp yorumlanması, parametrik bir incelemenin sonucunun diğer nüfuslara genelleştirilmesidir.

Yukarıdaki sunumdan açıkça anlaşılacağı gibi edilirse ampirik tasarım ve uygulamayla ilgili sorunlar oldukça fazladır. Bu araştırmacı ampirik tasarımı ve istatistiği doğru bir şekilde kullanan bir tez, bir rapor, bir kitap ve bir makaleye henüz rastlamadı. Aksine ciddi hatalar, eksiklikler, kötüye kullanmalara bol bol rastlamaktadır. Yukarıda sunulan sorunların çapının ve ne denli yaygın ve ciddi olduğunun ortaya çıkartılması için birden fazla araştırma yapılması gerekmektedir. Bu araştırmanın yapılması olasılığı da azdır, öncelikle çünkü, bu araştırmacının da yaptığı gibi, bazı insanları üzmemek, öfkeleri kendine çekmemek, ilerde engellerle karşılaşmamak, başka insanlarla kötü olmamak için bu tür araştırmalardan kaçınılır. Onun yerine, bilimde nesnelleştirilmiş karşılıklı-öznellik (intersubjectivity) karşılıklı dayanışma içinde sürdürülür.

Önerilen Kaynakça

Angus, I.H. & Lannamann, J.W. (1988). Questioning the institutional boundaries of US communication research: An epistemological inquiry. Journal of Communication, 38(3, Summer), 62-74.

Babbie, Earl R. (1998). The Practice of Social Research. 8th ed. Belmont: Wadsworth.

Bechhofer, Frank (2000). Principles of Research Design in the Social Sciences. NY: Routledge.

Cozby, P. C. (1997). Methods in behavioral research. (sixth ed.) CA: Mayfiled Publishing.

Erdogan, İ. (1998). Araştırma Dizaynı ve İstatistik Yöntemler (research design and statistical methods). Ankara: Emel.

Glass, G. V. & Hopkins, K. D. (1996). Statistical methods in education and psychology. NY: Alyn and Bacon.

Horowitz, I. L. (1975). The use and abuse of social sciences. NJ: Transaction Books.

Lang, K. (1979). The critical function of empirical communication research: Observation on German-American influences. Media, Culture and Society, 1(1): 83-96.

Lazarsfeld, P. F. (1972). Qualitative analysis. Boston: Allyn and Bacon. (especially parts 2, 4 and 6 on empirical research).

Levin, J.R. & Levin, M.E. (1993). Methodological problems in research on academic retention programs for at-risk minority college students. Journal of College Student Development, 34, 118-124.

Nowak, S. (1976). Understanding and prediction: Essays in the methodology of social and behavioral theories. Boston: D. Reidel.

Palmer, I, Dunford, R. (1996) "Conflicting uses of metaphors: Reconceptualizing their use in the field of organization change"_Academy of Management Review_ _21_ (3) 691-717

Seltzer, Richard A. (1996). Mistakes That Social Scientists Make: Error and Redemption in the Research Process. New York: St. Martin's.

Weick, K. E. And L. R. Browning (1991). Fixing with the voice: A research agenda for applied communication. Journal of Applied Communication Research, 19(1-2): 1-19.

Wright, Daniel (1997). Understanding Statistics: an Introduction for the Social Sciences. Thousand Oaks, CA: Sage.