Gastronomide Duyusal Analiz
Yusuf DURMUŞ*
GİRİŞ
Duyusal değerlendirme, içme suyunun ve gıda maddelerinin kalitesini ve güvenliğini anlamak için insanların duyularını kullanmaya başladığından beri var olmuştur. Ticaretin başlamasıyla birlikte, profesyonel tadımcıları ve derecelendirme sistemlerini içeren daha güvenli testlere ihtiyaç duyulmuştur. Duyusal analiz gıda endüstrisi için yeni değildir ancak ürün geliştirme ve kalite kontrolde temel bir araç olarak uygulanması her zaman kabul görmemiştir. Bu, büyük ölçüde ürün araştırma, geliştirme ve pazarlamada duyusal analizin neler sunabileceği konusundaki anlayış eksikliği ve bilimsel bir bakış açısı ile konunun incelenmemesinden kaynaklanmaktadır.
Duyusal analiz, ürünün duyusal özelliklerin tüketici tercihlerini ve davranışını nasıl yönlendirdiğini anlamak ve tüketici isteklerini en iyi şekilde sunan ürünleri tasarlamak için kullanılmaktadır. Ayrıca, duyusal algı ve tüketici davranışında yer alan mekanizmaların daha geniş bir şekilde anlaşılmasını sağlamak için kullanılmaktadır. Günümüzde duyusal değerlendirme, tüketici odaklı ürün tasarımı ve karar vermeyi sağlamak için ürün yaşam döngüsü boyunca kalite kontrol, pazarlama, araştırma ve geliştirme ile ortaklaşa kullanılan sofistike bir karar verme aracıdır.
Turistik potansiyeli olan bölgelerde, tercih oranını artırmak veya potansiyel olarak düşük bölgelere turist çekmek için gastronominin önemine ilişkin çalışmalar artmıştır. Ayrıca; turistlerin lezzet kavramını iyi anlamak ve beklentilerini önceden tahmin edebilmek, ürün geliştirme için daha fazla olanak sağlamaktadır. Sonuç olarak bir ürün geliştirilirken tat algısının iyi anlaşılması gerekmektedir. Kitabın bu bölümünde, duyusal analizde görev alan panelist seçimi ve özellikleri ile analizlerde kullanılan skalalar ve üç ana duyusal metot olan ayırma, tanımlama ve kabul edilebilirlik metotları hakkında bilgiler sunulmaktadır.
Duyusal Değerlendirme
Duyusal analiz, bir ürünün özelliklerinin beş duyumuz olan görme, koku, tat alma, dokunma ve işitme ile tanımlanması, bilimsel ölçümü, analizi ve yorumlanmasıdır. Duyusal analiz birçok amaçla yapılabilmektedir. Bunlar; kalite kontrol, genel kabul edilebilirlik, raf ömrü çalışmaları, kusur belirlenmesi, ürünün hedef başka bir ürün özelliklerine yaklaştırılması, formülasyon çalışmaları, ürünün piyasadaki rakip diğer ürünlerle arasındaki farkların belirlenmesidir (Altuğ Onoğur ve Elmacı, 2019; Carpenter, Lyon ve Hasdell, 2000). Gıdalara ait bazı fiziksel ve mekaniksel özelliklerin enstrümantal cihazlarla ölçülmesi de mümkündür. Enstrümantal yöntemler duyusal yöntemlerden daha hızlı, daha ucuz ve uygulanması daha kolaydır. Ancak enstrümantal sonuçlar ile bir gıda maddesinin ağız içi algısı arasındaki ilişki bazen çok tutarsız olmakta ve gastronomi alanında duyusal analiz ön plana çıkmaktadır.
Fiszman, Varela ve Fiszman, 2013). Bir gıdanın duyusal özelikleri genellikle “görünüm”, “koku/aroma”, “kıvam ve tekstür”, “lezzet (temel tatlar, aromatik bileşikler, kimyasal bileşiklerden kaynaklanan tatlar)” sırasıyla algılanmaktadır.
Duyusal analizde ölçüm nitel (A, B’den daha tatlıdır) veya nicel (0 ile 100 arasında bir tatlılık ölçeğinde, A; 45 ve B; 70 değerinde bir puan almıştır) olabilir. Ayrıca, eğitimli panelistlerin mi yoksa eğitimsiz panelistlerin mi kullanılacağına karar verilmelidir. Bunun dışında gıdanın tat yoğunluğu veya sertliği gibi nesnel analitik kalite değerlendirilmesi mi yoksa beğenme, tercih ya da kabul edilebilirlik gibi öznel bir değerlendirme mi yapılacağı belirlenmelidir (Chambers, 2019). Duyusal analiz; ayırt etme, tanımlama ve tercih olmak üzere üç ana başlık altında ihtiyaç duyulan soruları cevaplamaktadır.
Ayırt Etme Testleri: Ürün kalitesi kontrolünde, raf ömrü çalışmalarında ve olası kusurların araştırılmasında uygundur.
Bu araştırmaların yapılması panelistlerin farklılıkları tespit etme ve tanıma yeteneğine bağlıdır. Ayırt etme analizinde sorulan sorular, iki veya daha fazla ürün arasında bir fark olup olmadığını öğrenmeyi amaçlamaktadır. Bu analiz yapılarak; “Bu ürün diğer ürün ile aynı mı? Bu ürün diğerlerinden farklı mı? Aralarındaki fark ne kadar? İnsanlar ürünler arasındaki farkı fark eder mi? İnsanlar bu kusuru fark eder mi? Bu farkı kaç kişi tespit edebilir?” gibi soruların cevapları aranır (Carpenter, Lyon ve Hasdell, 2000).
Tanımlayıcı Testler: Bilinen bir kalitenin hedeflenerek ürün geliştirme çalışmasının yapılması, farklı bileşenler veya işlemler kullanarak mevcut bir ürünün yeniden düzenlenmesi veya bir dizi deneysel ve / veya ticari ürün arasındaki farklılıkların araştırılması çalışmalarında uygundur. Bu uygulamalar, bir ürünün duyusal özelliklerinin belirlenmesini, değerlendirilmesini ve anlamayı gerektirir ve çoğunlukla panelistlerin yüksek seviyede duyusal keskinlik ve eğitimli olması gerekmektedir.
Tanımlama analizindeki sorular ile ürünler arasında bulunan farklılıkların tanımlanması ve ölçülmesi amaçlanmaktadır. “Bu ürünün tadı neye benziyor? Ürünün algılanan duyusal özellikleri / nitelikleri nelerdir? Proses / formülasyon / paketleme / depolama koşullarında bir değişiklik bu ürünün duyusal kalitesini nasıl etkiler? Bu ürünler duyusal kalitede birbirlerinden nasıl farklıdır? Farklılıklar en çok hangi duyusal özellikler için ön plandadır?” gibi sorulara cevap aranmaktadır (Kilcast, 2010).
Tercih ve Kabul Edilebilirlik Testleri: Ürünler arasındaki farklılıkların tüketici tarafından fark edilip edilmediğini, ürünün beğenilmesinin veya kabul edilebilirliğinin artıp artmadığını belirlemeye yöneliktir. Bu yöntem, duyusal analiz ve tüketici araştırması bağlamında yapılmaktadır ve ayırt etme ve tanımlayıcı testlerden farklı panelist kriterlerine sahiptir. Bu panelistlerin hedef tüketici kitlesini temsil etmesi ve duyusal analiz eğitimine tercihen çok az veya hiç sahip olmaması gerekir.
Kabul edilebilirlik analizinde beğenme veya kabul edilebilirliğin belirlenmesi amaçlanmaktadır. Buna göre; “Bu ürünü beğendiniz mi? Bu ürünü ne kadar seviyorsunuz? Kabul edilebilir mi? Bu ürün diğeri kadar iyi mi? Bu ürün diğerinden daha iyi mi? Bu ürünü diğerine tercih ediyor musunuz? Bu ürün hakkında en çok neyi seviyorsunuz? Hangi diğer özellikleri / nitelikleri seversiniz?” gibi sorular sorulmaktadır (Carpenter, Lyon ve Hasdell, 2000).
Panelist Seçimi
Duyusal analizlerde yapılacak teste göre değişmekle beraber eğitimli ya da eğitimsiz panelistler kullanılmaktadır. Her iki durumda da bireyler arasında mutlaka bazı farklılıklar bulunmaktadır. Bu farklılıklar da doğal olarak kişilerin duyusal değerlendirmedeki tercihlerini etkilemektedir. Bu farklılıklar; cinsiyet, yaş, fizyolojik durum, genetik ve psikoloji olarak sıralanabilir. Genel olarak kadınların duyusal değerlendirmede daha hassas oldukları gibi bir yaklaşım olsa da bu henüz kanıtlanmış değildir. Kadınların özellikle koku ve tat değerlendirmelerinde daha tutarsız oldukları ve bunun sebebinin hamilelik ve menstrual döngü olabileceği söylenebilir (Civille ve Carr, 2015).
Genellikle tat, koku, ses ve görme hassasiyetlerinin yaşa bağlı olarak azaldığı kabul edilir. Azalan hassasiyetin önemli olabileceği bir yaş tanımlanmamıştır ve bireyler arasında yüksek oranda değişebilir ancak duyusal hassasiyette azalma 60 yaş veya daha fazla bir yaşta olabilmektedir. Bunun duyusal panellerde açıkça etkileri vardır, ancak panelin tüm popülasyonu temsil etmesi gereken testler için yaşlı katılımcılar esastır. Birçok tüketici ürünü için yaşlılar da kendi başlarına önemli bir hedef pazar oluşturmaktadır ve bu yüzden panellere yaşlılar da belli sayıda dâhil edilebilir. Bununla birlikte küçük çocukların bazı koku ve tatlara karşı çok güçlü reaksiyon gösterebileceği bilinmektedir (Lawless, 2012).
Bir bireyin fizyolojik durumunda meydana gelen birçok geçici değişiklik vardır. Mesela; açlık, yorgunluk ve hastalık durumlarında insan fizyolojisi değişmektedir. Bir kişiyi rahatsız eden herhangi bir geçici fizyolojik durumun, elde edilen duyusal sonuçların hassasiyetini ve güvenilirliğini etkilemesi muhtemeldir. Ayrıca fizyolojik durumdaki birçok normal değişiklik duyusal reseptörler üzerinde de fiziksel bir etkiye sahip olacaktır. Açlık halinde insanların belirli yiyecekleri daha kabul edilebilir buldukları ve kokulardan daha fazla etkilendiği gözlenmiştir.
Mümkünse duyusal analiz yapılırken belirli bir proje üzerindeki tüm testlerin günün aynı saatlerinde yapılması önerilir. Bu, fizyolojik durumdaki varyasyon nedeniyle hataları en aza indirmeye yardımcı olacaktır. Yemekten önceki iki saat ve yemekten sonraki iki saat içerisinde duyusal test yaptırılmaması tavsiye edilmektedir (Carpenter, Lyon ve Hasdell, 2000; Kemp, Hort ve Hollowood, 2018).
Bir diğer önemli konu, diş yapısı ve çiğneme davranışındaki bireysel farklılıklardır. Et ürünleri gibi fazlaca çiğneme gerektirebilen gıdalarda panelistlerin hassasiyeti belirgin şekilde değişebilmektedir. Genetik faktörlerin de bireysel farklılıkları etkilediği bilinmektedir. Genetik faktörlerin, özellikle çeşitli maddeleri tanıma ve tespit eşikleri ile ilgili olduğu durumlarda duyusal algıyı etkilemesi muhtemeldir. Yine de genetik ile duyusal yetenek ve duyusal tercih arasındaki bağlantılar hakkında henüz çok az şey bilinmektedir. Bireylerin psikolojik farklılıkların özellikle kişilik ve ruh halinin duyusal analiz üzerindeki etkisi dikkate alınmalıdır. Objektif duyusal analizlerde bu farklılıklar standart sapmayı artıracaktır. Psikolojinin değişmesi ile birlikte insanların duyularında, davranışlarında ve motivasyonlarında değişimler olmaktadır (Chambers, 2019).
Uygun panelistleri seçmek ve gerekiyorsa eğitmek, herhangi bir duyusal testin kapsamında olan zaman alıcı ancak yine de önemli bir parçasıdır. Panelistlere tarama testleri yapılıp bazı eşik değerleri karşılayıp karşılamadığı ölçülebilir. Bu eşik değerler; tatlı, 16 g/L sakaroz, tuz, 3 g/L sodyum klorür, asit, 1 g/L sitrik asit ve acı, 0.02 g/L kinin sülfat (veya hidroklorür) (Carpenter, Lyon ve Hasdell, 2000). Buna göre bir çözeltide 3 g/L tuz bulunuyorsa panelistin bu çözeltideki tuz tadını anımsaması beklenir.
Benzer şekilde, ilk tarama testleri kokuların tanınmasını ve tanımlanmasını da içerebilir. Bu, en iyi şekilde her biri pamuk yünü üzerinde az miktarda koku içeren bir dizi koku şişesi sunarak elde edilir. Katılımcılardan her bir kokuyu isimle tanımlamaları istenmektedir. Gıda ile ilgili tipik kokular veya tatlar üreten uygun koku verici kimyasallar, gıda tatlandırıcılarının satışını yapan şirketlerden temin edilebilir. Görünüm ve renk çalışmasının bulunduğu panellerde, renk görme ve renk körlüğü testleri yapılmalıdır. Bunların dışında bir panelistten istenen diğer özellikler alt başlıklarda belirtilmiştir.
Müsait Olma ve Katılma İsteği
Bir panelist için en önemli genel kriter, ihtiyaç halinde oturumlara katılabilmesidir. Zaman taahhüdü oldukça açık bir şekilde belirtilmelidir, çünkü ürünler tüketilmeye en uygun durumdayken panelistlerin zamanında gelmesi hazırlık ve planlama için esastır. Ürün geliştirme ve kalite kontrolünde, duyusal analizin başarılı bir şekilde yapılabilmesinin, panelistlerin mevcudiyetine bağlı olduğu unutulmamalıdır. Denemeler birkaç gün veya birkaç hafta boyunca yapılacaksa istikrarlı katılım önemlidir (Altuğ Onoğur ve Elmacı, 2019). Depolama denemeleri gibi daha uzun testler söz konusu olduğunda, panel lideri tatillerden veya panelistlerin mevcudiyetini etkileyebilecek diğer durumlara göre planlama yapmalıdır.
Sağlık Durumu ve Kişisel Alışkanlıklar
Bazı insanlar, bazı test ürünlerine veya bileşenlerine (Örn. süt, yumurta veya renklendiriciler) alerjisi olabilir ve bu nedenle bu ürünlerle ilgili testlerden çıkarılmalıdır. Ayrıca soğuk algınlığı, mide rahatsızlığı veya diş ağrısı gibi geçici rahatsızlıklardan muzdarip bir panelist panele dâhil edilmemelidir.
Hamilelik tat algılarını da etkileyebilir, bu nedenle genellikle hamile kadınların panele alınmaması tavsiye edilir. Güçlü kokular, bazı duyusal özelliklerin algılanmasını etkileyebilir. Bu nedenle panelistlerin panellere katılırken kokulu kozmetik ürünleri kullanmamaları veya parfümlü sabunla ellerini yıkamamaları tavsiye edilmelidir (Carpenter, Lyon ve Hasdell, 2000). Panelistler ayrıca, yalnızca kendi algılarını değil, aynı zamanda yakınlarda oturan diğer kişilerin algılarını da etkileyebileceğinden, testten önce sigara içmekten veya güçlü aromatik yiyecekler (Örn. sarımsak) tüketmemelidir. Kirli tulumlar, yağ veya gresle kirlenmiş giysiler, tadım alanına girmeden önce mutlaka değiştirilmelidir.
Panelistin Kişiliği ve Kıdemi
Panelistlerin, bazı tanımlama metotlarında olduğu gibi grup olarak çalışmaları gerekebilir. Bu nedenle, özellikle baskın bireylerin panele dâhil edilmemesi ve tüm grup üyelerinin katkıda bulunabilmeleri ve kendilerini rahat hissetmeleri için grup dinamiklerinin dikkatli bir şekilde yapılandırılması gerekmektedir. Bireyler ya otoriter bir kişiliğe sahip oldukları ve kendi görüşlerini başkalarına dayatmaya çalıştıkları için ya da şirket/kurum hiyerarşisinde üst düzey pozisyonlarda bulundukları ve daha genç personel üyelerinden bağımsız katkı ve katılımı engelleme eğiliminde oldukları için baskın görünebilirler.
Genç personel, gerçek düşüncelerini ve fikirlerini ifade etmeye daha az istekli olabilir ve paneldeki üst düzey personelden gelen fikirleri kabul edebilirler. Aynı şekilde, gereksiz yere pasif veya kararsız görünen bireylerin de panele dâhil edilmemesi gerekir, çünkü kendi görüşlerini ifade etmekte isteksiz olmaları, grup tartışmalarına tam olarak katkıda bulunamamaları ve ürün özellikleri hakkında kesin kararlara ulaşmakta tereddüt etmeleri söz konusu olabilecektir (Altuğ Onoğur ve Elmacı, 2019; Carpenter, Lyon ve Hasdell, 2000). Her durumda izlenmesi gereken temel ilke, tüm panelistlerin herhangi bir münazaraya girmeden önce yorumlarını yazma fırsatına sahip olmaları gerektiğidir ve tartışma ancak tüm panelistler tarafından tamamlandıktan sonra gerçekleşmelidir.
Görevi Yerine Getirme Yeteneği
Genel olarak bir panelistin duyusal keskinliğini, basit duyusal tanıma ve ayrımcılık testleri yoluyla değerlendirme yoluna gidilebilir. Örneğin, panelde görsel olarak duyusal değerlendirme yapma yeteneği önemliyse, panelistlerin iyi renk ayrımcılığına sahip olması ve renk körü olmaması gerekir. Renk körlüğü ve renkler arasında ayırım yapmada kusur, erkeklerde kadınlara oranla daha yaygın olmaktadır (Carpenter, Lyon ve Hasdell, 2000). Panelistin talimatları takip etme ve uygun testleri doğru şekilde yapma yeteneğini de önemlidir. Panelistlerin konsantrasyon gücü, tutarlılık ve tekrar edilebilirlik durumları yeterli olmalıdır, çünkü panelistlerin hem aynı oturumda hem de farklı oturumlar arası tutarlı sonuçlar elde edebilmeleri esastır.
Panelist Sayısı
Belirli bir duyusal analizi gerçekleştirmek için gereken panelist sayısı; testin amacı, test prosedürü ve gerektirdiği panelist eğitimi miktarı, ürünün değişkenliği ve panelistlerin sonuçları tekrar edebilmesi ve tutarlılığı gibi bir dizi faktöre bağlı olmaktadır. Bir panel çok küçükse, sonuçlar genelden ziyade bireysel kararları yansıtabilir. Bununla birlikte, eğitimli bireylerden oluşan daha küçük ve hassas paneller genellikle daha büyük, daha az eğitimli ve dolayısıyla daha az hassas panellerden daha seçici ve tutarlı sonuçlar vermektedir.
Genel olarak, panelde sunulan ürün değişkenliği arttıkça gerekli olan panel boyutu da artmaktadır. Ayırma metotlarında panelist sayısı ne kadar büyükse, ürünler arası fark bulma şansı da o kadar büyük olmaktadır (Kilcast, 2010). Tablo 1’de tavsiye edilen minimum panelist sayıları gösterilmiştir (Carpenter, Lyon ve Hasdell, 2000). Daha az panelist kullanılırsa, duyusal verilerden yanlış sonuçların çıkarılma riski artmaktadır.
Tablo 1. Duyusal Testler İçin Önerilen Minimum Panelist Sayıları
|
Test Tipi
|
Panelist Sayısı
|
Eğitimli Panelist Sayısı
|
|
Ayırma metotları
|
|
|
|
Eşlenmiş kıyaslama (fark) testi
|
30
|
20
|
|
İkili-üçlü test
|
32
|
20
|
|
Üçgen testi
|
24
|
18
|
|
Beşten ikisi testi
|
-
|
12
|
|
Sıralama testi
|
30
|
5
|
|
Puanlama testi
|
20
|
8
|
|
Tanımlama metotları
|
|
|
|
Lezzet profil analizi
|
|
en az 4, en fazla 8
|
|
Tekstür profil analizi
|
|
en az 6, en fazla 10
|
|
Uzlaşma profili
|
|
en az 4, en fazla 6
|
|
Tanımlama profili
|
|
en az 6, en fazla 10
|
|
Serbest seçim profili
|
|
en az 6, en fazla 10
|
|
Kabul edilebilirlik metotları
|
|
|
|
Hedonik test
|
70
|
-
|
|
Eşleştirilmiş karşılaştırma testi
|
50
|
-
|
|
Tekrarlı eşleştirilmiş karşılaştırma testi
|
50
|
-
|
|
Çoklu örneklem karşılaştırma testi
|
50
|
-
|
Panelistlere sunulacak örnek sayısı birçok faktöre göre değişmektedir. Bu faktörlere aşağıda değinilmiştir.
Panelistlerin Deneyimi ve Eğitimi: Duyusal analizlere daha aşina olduklarından ve muhtemel ürün özellikleri hakkında daha geniş bilgiye sahip olduklarından, motive olmuş, eğitimli ve deneyimli panelistler eğitimsiz panelistlerden daha fazla sayıda örnekle çalışabileceklerdir. Ayrıca, tek bir örnekten daha fazla duyusal sonuç verebileceklerdir.
Değerlendirme Görevinin Temeli: Görsel veya dokunsal analizler yapıldığında, bir oturumda ürünün tat veya koku değerlendirilmesine göre daha fazla sayıda ürün değerlendirilebilir. Bunun nedeni, tat ve koku duyularının daha kolay yorulması ve tokluğun dikkate alınmamasıdır.
Değerlendirme Formunun Uzunluğu: Her ürün hakkında sorulan toplam soru sayısının panelist tarafında fizyolojik veya psikolojik yorgunluğa veya can sıkıntısına yol açmaması için özen gösterilmelidir. Her ürün hakkında çok sayıda soru sorulması gerekiyorsa, oturumda daha az ürün değerlendirilmelidir.
Ürünlerin Niteliği: Ürünlerin güçlü tatları veya kokuları varsa veya tat ağızda uzun süre kalıyorsa daha az sayıda ürün değerlendirilmelidir.
Panelistin İhtiyaç Duyduğu Ürün Miktarı: Panelistin her bir üründe görevi tamamlamak için ihtiyaç duyduğu örnek miktarı, testin amacına ve sorulan soruların sayısına bağlı olacaktır. Panelistten belirli bir ürün için ne kadar çok değerlendirme yapması istenirse, o kadar fazla porsiyon gerekir ve duyusal yorgunluğun ortaya çıkma olasılığı o kadar artar. Bu nedenle, soru sayısı toplam porsiyon boyutunu ve dolayısıyla test için gereken ürün miktarını etkilemektedir (Carpenter, Lyon ve Hasdell, 2000).
Skala Çeşitleri
Duyusal değerlendirmeye başlanırken panelistlere sunulan formlar üzerinde gerekli açıklayıcı bilgilerin yanı sıra tercihlerin ve puanlamaların yapılabilmesi için skala veya tablolar bulunmaktadır. Bu skalaların birçok çeşidi bulunmaktadır. Bunlar sınıflama, sıralı, aralık, sürekli çizgi ve oran skalası olmak üzere Şekil 1’de yer almaktadır.
Şekil 1. Duyusal Analizlerde Kullanılan Bazı Skala Çeşitleri
Sınıflama Skalası
Sınıflama özelliklere sahip bir skala, bir isim veya numara kullanılarak tanımlanan ve etiketlenmiş bir dizi kategoriden oluşur. Toplanan her gözlem, kategorilerden birine atanmalıdır. Örneğin; tat, T (tatlı) ve A (acı) iki kategori ile tanımlanabilir. Kategorilerde mantıksal bir sıralama yoktur ve bu nedenle sıralamalardaki değişiklikler sonuçları etkilemez (O’Mahony, 2017).
Sıralı Skala
Sıralı özelliklere sahip bir skala, sınıflama skalasına benzerdir ancak kategorilerin belirli bir sırada yer alması söz konusudur ve ürünün bir özelliğinin azalan veya artan bir halde gösterilmesine olanak sağlar. Sıralı skalaların aralıkları genellikle sayı etiketleriyle temsil edilir; en düşük sayı genellikle “daha az” ve en yüksek sayı “daha fazla” anlamına gelir. Sıralanmış veriler sıralı bir ölçekte yer alır ve dokuz noktalı hedonik ölçek sıralı bir skaladır. Sıralı skaladaki seviyeler eşit aralıklarda olmak zorunda değildir, bu nedenle iki seviye arasındaki farkın miktarı belirlenemez (Carpenter, Lyon ve Hasdell, 2000).
Aralık Skala
Aralık özelliklerine sahip bir skala, sıralı skalaya benzerdir ancak skalanın üzerindeki seviyeler arasındaki mesafelerin veya aralıkların eşit olduğu varsayılmaktadır. Örneğin, bir duyusal analizin parçası olarak tatlılığın yoğunluğunu belirlemek için 10 puanlık bir aralık skalası kullanacaksa, 6 ve 8 puan alan ürünler arasındaki algı farkı ile 3 ve 5 puan alan ürünler arasında algı farkı aynı olacaktır (Stone, Bleibaum ve Thomas, 2020).
Sürekli Çizgi Skalası
Duyusal analizde yaygın olarak kullanılan sürekli çizgi skalası, aralık özelliklerine sahip bir skala örneğidir. Genellikle duyusal bir testte yatay bir çizgi olarak temsil edilir, satırın sol ucuyla ilişkili düşük bir derece (genellikle sıfır olarak etiketlenir) ve satırın sağ ucunda yüksek bir derece (genellikle 100) bulunur. Panelist, ürünün puanını veya derecelendirmesini temsil ettiği düşünülen noktada bu çizgi boyunca dikey bir işaret yapar. Prensip olarak bu skala süreklidir, çünkü 0 ile 100 arasındaki tüm değerler (ondalık değerler dâhil) çizgi boyunca bir noktada temsil edilebilir. Uygulamada, bu satırlar otomatik olarak bir bilgisayara taranabilir (Carpenter, Lyon ve Hasdell, 2000).
Oran Skalası
Oran özelliklerine sahip bir skala, aralık skalasının özel bir durumudur ve skala üzerindeki sıfır gerçek sıfırı ifade etmektedir. Bu nedenle, oran skalasında 2x’lik bir puan, x puanının tam olarak iki katını temsil etmektedir, yani sayısal oranlar anlamlıdır. Oran skalaları, sayısal oranlar kullanılarak karşılaştırmalı ölçümlerin yapıldığı büyüklük tahmininin duyusal analiz tekniğinde özel bir uygulamasıdır, bu nedenle skalanın her iki ucuna herhangi bir sınır koymaya gereklilik yoktur (Stone, Bleibaum ve Thomas, 2020). Örneğin, bir referans veya kontrol ürününe tatlılık için 100 puan belirlenmiş olsun. Buna göre iki kat daha tatlı olduğu algılanan bir ürün 200 puan alırken, referansın sadece yarısı kadar tatlı olan bir ürün 50 puan almalıdır.
Duyusal Analizlerde Kullanılan Metotlar
Ayırma (Farklılık) Metotları
Ayırma veya farklılık metotlarında, panelistler iki veya daha fazla ürünü karşılaştırır. Panelistlerden farklılıkları tanımlamaları ve ne kadar büyük olduklarını tahmin etmeleri istenebilir. Bu metotlar yan yana karşılaştırmalı tercihler içerdiğinden, çok hassas olabilirler ve ürünler arasındaki oldukça küçük farklılıklar tespit edebilir. Bu metotlarda panelistlere “Bir fark var mı? Farkı nasıl tarif edersiniz? Fark ne kadar büyük?” gibi sorular sorulmaktadır (Carpenter, Lyon ve Hasdell, 2000). Farkın boyutu öğrenilmek isteniyorsa, uygun bir skala kullanılabilir. Panelist; doku, görünüm vb. gibi belirli bir ürün özelliğine yönlendirilebilir veya sorular açık uçlu bırakılabilir.
Tüm ayırma metotlarında panelistler tarafından istenirse yorumların yazılabilmesi için boş bir alan eklemek yararlıdır ve böylece yanıtların nedenleri hakkında bilgi sağlanabilir (Civille ve Carr, 2015). Ayırma metotları tüketildiğinde ağızda uzun zaman etkisi görülecek gıdalarda veya numunenin bir süre ağızda tutulması gerektiği durumlarda (Örn. sakız) uygun olmayabilir.
Ayırma metotlarının uygulanması nispeten kolaydır ve panelistleri yönlendirme talimatları genellikle çok basittir. Bu nedenle eğitimli, eğitimsiz veya tüketici panelleri tarafından gerçekleştirilebilir. Bununla birlikte, eğitimsiz bir panel, eğitimli bir panel kadar küçük farklılıklara duyarlı olmayabilir, bu nedenle önemli bir sonuca ulaşmak için daha fazla paneliste ihtiyaç duyulacaktır. Eğitimli paneller, daha fazla sayıda ürünün değerlendirilmesini içeren testlerde veya karmaşık talimat içeren testlerde tercih edilmelidir, çünkü bunların yorgunluğa maruz kalma olasılıkları daha düşüktür.
Ayırma metotları için nadiren tüketici paneli kullanılır (Bi, 2015). Genel olarak, eğitimli bir panel numuneler arasında bir fark tespit edemezse, eğitimsiz bir panelin veya bir tüketici panelinin de tespit edemeyeceği varsayılabilir. Ayırma metotları için bilinmelidir ki aralarında fark tespit edilmeyen ürünler, panelistler tarafından birçok nedene bağlı olarak farklı derecede beğenilmiş olabilir. Yapılan testleri istatistiksel açıdan yorumlayabilmek için bazı durumlarda α değeri kullanılması gerekmektedir. α değerinin 0.05 olması istatistiksel açıdan fark olduğu, 0.01 olması istatistiksel açıdan çok güçlü fark olduğu, 0.001 olması ise istatistiksel açıdan son derece güçlü fark olduğu anlamına gelmektedir. α’nın 0.05’den büyük olduğu durumlarda istatistiksel açıdan fark bulunmamaktadır. Ayırma metodu için kullanılabilecek testlere aşağıda değinilmiştir.
Eşlenmiş Kıyaslama (Fark) Testi
Bu test, iki numunenin belirli bir açıdan farklılık gösterip göstermediğini belirlemek için kullanılır. Buna göre belirlenmiş tek bir özellik veya kriter üzerinden panelistin değerlendirme yapması istenir. Paneliste iki ürün sunulur ve hangi numunenin daha sert olduğu veya hangi numunenin daha acı olduğu gibi sorular sorulur (Lawless, 2012). Panelde en az 20 panelist olması tavsiye edilmektedir. Testin uygulanması ise şu şekildedir: Her bir paneliste iki adet kodlanmış örnek sunulur. Panelistlerden örnekleri istediğimiz bir duyusal özelliği bakımından (Örn. acılık) değerlendirmeleri ve farklı olup olmadıklarını belirlemeleri istenir (Carpenter, Lyon ve Hasdell, 2000). Doğru yanıt sayısını sayılır ve yorumlama için Tablo 2’ye bakılır (Civille ve Carr, 2015).
Örneğin 30 panelist kullanarak bu testi gerçekleştirmiş ve bunlardan 20 kişinin ürünler arası fark belirlediğini varsayalım. Tablo 2’ye baktığımızda n=30 ve doğru cevap sayısı=20 olduğu için α=0.1 bulunur. α değeri 0.05’den büyük olduğu için “ürünler arası istatistiksel olarak fark bulunmamaktadır” sonucuna varılır. Yine Tablo 2’ye bakarak şunu söyleyebiliriz ki eğer 30 kişiden 21 ve üzerindeki sayılarda farklı örneği saptayan panelist olsaydı bu taktirde “duyusal açıdan örnekler arasında fark vardır” yorumu yapılacaktı (α≤0.05).
Tablo 2. Eşlenmiş Kıyaslama Testinde İlgili α Düzeylerine Ait Gerekli Minimum Doğru Sayısı
|
|
|
|
α
|
|
|
|
|
|
|
α
|
|
|
|
|
|
n
|
0.40
|
0.30
|
0.20
|
0.10
|
0.05
|
0.01
|
0.001
|
n
|
0.40
|
0.30
|
0.20
|
0.10
|
0.05
|
0.01
|
0.001
|
|
1
|
—
|
—
|
—
|
—
|
—
|
—
|
—
|
31
|
19
|
19
|
20
|
21
|
22
|
24
|
25
|
|
2
|
—
|
—
|
—
|
—
|
—
|
—
|
—
|
32
|
19
|
20
|
21
|
22
|
23
|
24
|
26
|
|
3
|
3
|
3
|
—
|
—
|
—
|
—
|
—
|
33
|
20
|
20
|
21
|
22
|
23
|
25
|
27
|
|
4
|
4
|
4
|
4
|
—
|
—
|
—
|
—
|
34
|
20
|
21
|
22
|
23
|
24
|
25
|
27
|
|
5
|
4
|
5
|
5
|
5
|
—
|
—
|
—
|
35
|
21
|
22
|
22
|
23
|
24
|
26
|
28
|
|
6
|
5
|
5
|
6
|
6
|
6
|
—
|
—
|
36
|
22
|
22
|
23
|
24
|
25
|
27
|
29
|
|
7
|
6
|
6
|
6
|
7
|
7
|
—
|
—
|
40
|
24
|
24
|
25
|
26
|
27
|
29
|
31
|
|
8
|
6
|
6
|
7
|
7
|
8
|
8
|
—
|
44
|
26
|
26
|
27
|
28
|
29
|
31
|
34
|
|
9
|
7
|
7
|
7
|
8
|
8
|
9
|
—
|
48
|
28
|
29
|
29
|
31
|
32
|
34
|
36
|
|
10
|
7
|
8
|
8
|
9
|
9
|
10
|
—
|
52
|
30
|
31
|
32
|
33
|
34
|
36
|
39
|
|
11
|
8
|
8
|
9
|
9
|
10
|
11
|
11
|
56
|
32
|
33
|
34
|
35
|
36
|
39
|
41
|
|
12
|
8
|
9
|
9
|
10
|
10
|
11
|
12
|
60
|
34
|
35
|
36
|
37
|
39
|
41
|
44
|
|
13
|
9
|
9
|
10
|
10
|
11
|
12
|
13
|
64
|
36
|
37
|
38
|
40
|
41
|
43
|
46
|
|
14
|
10
|
10
|
10
|
11
|
12
|
13
|
14
|
68
|
38
|
39
|
40
|
42
|
43
|
46
|
48
|
|
15
|
10
|
11
|
11
|
12
|
12
|
13
|
14
|
72
|
41
|
41
|
42
|
44
|
45
|
48
|
51
|
|
16
|
11
|
11
|
12
|
12
|
13
|
14
|
15
|
76
|
43
|
44
|
45
|
46
|
48
|
50
|
53
|
|
17
|
11
|
12
|
12
|
13
|
13
|
15
|
16
|
80
|
45
|
46
|
47
|
48
|
50
|
52
|
56
|
|
18
|
12
|
12
|
13
|
13
|
14
|
15
|
17
|
84
|
47
|
48
|
49
|
51
|
52
|
55
|
58
|
|
19
|
12
|
13
|
13
|
14
|
15
|
16
|
17
|
88
|
49
|
50
|
51
|
53
|
54
|
57
|
60
|
|
20
|
13
|
13
|
14
|
15
|
15
|
17
|
18
|
92
|
51
|
52
|
53
|
55
|
56
|
59
|
63
|
|
21
|
13
|
14
|
14
|
15
|
16
|
17
|
19
|
96
|
53
|
54
|
55
|
57
|
59
|
62
|
65
|
|
22
|
14
|
14
|
15
|
16
|
17
|
18
|
19
|
100
|
55
|
56
|
57
|
59
|
61
|
64
|
67
|
|
23
|
15
|
15
|
16
|
16
|
17
|
19
|
20
|
104
|
57
|
58
|
60
|
61
|
63
|
66
|
70
|
|
24
|
15
|
16
|
16
|
17
|
18
|
19
|
21
|
108
|
59
|
60
|
62
|
64
|
65
|
68
|
72
|
|
25
|
16
|
16
|
17
|
18
|
18
|
20
|
21
|
112
|
61
|
62
|
64
|
66
|
67
|
71
|
74
|
|
26
|
16
|
17
|
17
|
18
|
19
|
20
|
22
|
116
|
64
|
65
|
66
|
68
|
70
|
73
|
77
|
|
27
|
17
|
17
|
18
|
19
|
20
|
21
|
23
|
122
|
67
|
68
|
69
|
71
|
73
|
76
|
80
|
|
28
|
17
|
18
|
18
|
19
|
20
|
22
|
23
|
128
|
70
|
71
|
72
|
74
|
76
|
80
|
83
|
|
29
|
18
|
18
|
19
|
20
|
21
|
22
|
24
|
134
|
73
|
74
|
75
|
78
|
79
|
83
|
87
|
|
30
|
18
|
19
|
20
|
20
|
21
|
23
|
25
|
140
|
76
|
77
|
79
|
81
|
83
|
86
|
90
|
Üçgen Testi
Bu test, iki örnek arasında belirtilmemiş bir duyusal fark olup olmadığını belirlemek için kullanılır. Paneliste üç örnek sunulur, birinin diğer ikisinden farklı olduğu söylenir ve hangisinin diğerlerinden farklı olduğunu belirlemesi istenir. Bu yöntem özellikle, sadece bir veya iki duyusal özellik ile karakterize edilemeyen, ürün üzerinde değişikliğe neden olan işleme etkilerinin söz konusu olduğu durumlarda faydalıdır.
Eşlenmiş kıyaslama testi ve ikili-üçlü testlerinden istatistiksel olarak daha verimli olmasına rağmen, üçgen testi duyusal yorgunluk ve bu testi kafa karıştırıcı bulan panelistlerde sınırlı kullanıma sahiptir. Genel olarak, üçgen testinde 20-40 arası panelist kullanılır, ancak örnekler arası farklılıklar büyük ve tanımlanması kolay olduğunda daha az kişi de kullanılabilir (Kilcast, 2010). Bu test şu durumlarda etkilidir: Ürün farklılıklarının içerik, işleme, paketleme veya depolamadaki bir değişiklikten kaynaklanıp kaynaklanmadığını belirlemek.
Belirli bir duyusal özelliğin etkilenip etkilenmediğinin bilinmediği durumlarda örnekler arası genel bir farkın olup olmadığını belirlemek. Panelistleri verilen farklılıkları ayırt etme yeteneği açısından izlemek ve seçmek. Testin uygulanması ise şu şekildedir: Her bir paneliste üç haneli rakamlardan oluşan üç adet kodlanmış örnek sunulur. Form üzerinde iki örneğin aynı ve birinin farklı olduğu açıklaması yazılır. Panelistlerden örnekleri soldan sağa değerlendirmeleri ve farklı olan örneği belirlemeleri istenir (Carpenter, Lyon ve Hasdell, 2000).
Test bitiminde doğru yanıt sayısı sayılır ve yorumlama için Tablo 3’e bakılır (Civille ve Carr, 2015). Örneğin toplam 30 adet panelisti kullanarak yapmış olduğumuz üçgen testinin ardından panelistlerden 15’inin farklı olan örneği bildiğini düşünelim. Buna göre Tablo 3’de görülüğü üzere n=30 ve doğru cevap sayısı=15 olduğuna göre α=0.05 düzeyinde örnekler arasında istatistiksel açıdan fark olduğu görülecektir.
Tablo 3. Üçgen Testinde İlgili α Düzeylerine Ait Gerekli Minimum Doğru Yanıt Sayıları
|
|
|
|
α
|
|
|
|
|
|
|
α
|
|
|
|
|
|
n
|
0.40
|
0.30
|
0.20
|
0.10
|
0.05
|
0.01
|
0.001
|
n
|
0.40
|
0.30
|
0.20
|
0.10
|
0.05
|
0.01
|
0.001
|
|
1
|
—
|
—
|
—
|
—
|
—
|
—
|
—
|
31
|
12
|
13
|
14
|
15
|
16
|
18
|
20
|
|
2
|
—
|
—
|
—
|
—
|
—
|
—
|
—
|
32
|
12
|
13
|
14
|
15
|
16
|
18
|
20
|
|
3
|
2
|
2
|
3
|
3
|
3
|
—
|
—
|
33
|
13
|
13
|
14
|
15
|
17
|
18
|
21
|
|
4
|
3
|
3
|
3
|
4
|
4
|
—
|
—
|
34
|
13
|
14
|
15
|
16
|
17
|
19
|
21
|
|
5
|
3
|
3
|
4
|
4
|
4
|
5
|
—
|
35
|
13
|
14
|
15
|
16
|
17
|
19
|
22
|
|
6
|
3
|
4
|
4
|
5
|
5
|
6
|
—
|
36
|
14
|
14
|
15
|
17
|
18
|
20
|
22
|
|
7
|
4
|
4
|
4
|
5
|
5
|
6
|
7
|
42
|
16
|
17
|
18
|
19
|
20
|
22
|
25
|
|
8
|
4
|
4
|
5
|
5
|
6
|
7
|
8
|
48
|
18
|
19
|
20
|
21
|
22
|
25
|
27
|
|
9
|
4
|
5
|
5
|
6
|
6
|
7
|
8
|
54
|
20
|
21
|
22
|
23
|
25
|
27
|
30
|
|
10
|
5
|
5
|
6
|
6
|
7
|
8
|
9
|
60
|
22
|
23
|
24
|
26
|
27
|
30
|
33
|
|
11
|
5
|
5
|
6
|
7
|
7
|
8
|
10
|
66
|
24
|
25
|
26
|
28
|
29
|
32
|
35
|
|
12
|
5
|
6
|
6
|
7
|
8
|
9
|
10
|
72
|
26
|
27
|
28
|
30
|
32
|
34
|
38
|
|
13
|
6
|
6
|
7
|
8
|
8
|
9
|
11
|
78
|
28
|
29
|
30
|
32
|
34
|
37
|
40
|
|
14
|
6
|
7
|
7
|
8
|
9
|
10
|
11
|
84
|
30
|
31
|
33
|
35
|
36
|
39
|
43
|
|
15
|
6
|
7
|
8
|
8
|
9
|
10
|
12
|
90
|
32
|
33
|
35
|
37
|
38
|
42
|
45
|
|
16
|
7
|
7
|
8
|
9
|
9
|
11
|
12
|
96
|
34
|
35
|
37
|
39
|
41
|
44
|
48
|
|
17
|
7
|
8
|
8
|
9
|
10
|
11
|
13
|
102
|
36
|
37
|
39
|
41
|
43
|
46
|
50
|
|
18
|
7
|
8
|
9
|
10
|
10
|
12
|
13
|
108
|
38
|
40
|
41
|
43
|
45
|
49
|
53
|
|
19
|
8
|
8
|
9
|
10
|
11
|
12
|
14
|
114
|
40
|
42
|
43
|
45
|
47
|
51
|
55
|
|
20
|
8
|
9
|
9
|
10
|
11
|
13
|
14
|
120
|
42
|
44
|
45
|
48
|
50
|
53
|
57
|
|
21
|
8
|
9
|
10
|
11
|
12
|
13
|
15
|
126
|
44
|
46
|
47
|
50
|
52
|
56
|
60
|
|
22
|
9
|
9
|
10
|
11
|
12
|
14
|
15
|
132
|
46
|
48
|
50
|
52
|
54
|
58
|
62
|
|
23
|
9
|
10
|
11
|
12
|
12
|
14
|
16
|
138
|
48
|
50
|
52
|
54
|
56
|
60
|
64
|
|
24
|
10
|
10
|
11
|
12
|
13
|
15
|
16
|
144
|
50
|
52
|
54
|
56
|
58
|
62
|
67
|
|
25
|
10
|
11
|
11
|
12
|
13
|
15
|
17
|
150
|
52
|
54
|
56
|
58
|
61
|
65
|
69
|
|
26
|
10
|
11
|
12
|
13
|
14
|
15
|
17
|
156
|
54
|
56
|
58
|
61
|
63
|
67
|
72
|
|
27
|
11
|
11
|
12
|
13
|
14
|
16
|
18
|
162
|
56
|
58
|
60
|
63
|
65
|
69
|
74
|
|
28
|
11
|
12
|
12
|
14
|
15
|
16
|
18
|
168
|
58
|
60
|
62
|
65
|
67
|
71
|
76
|
|
29
|
11
|
12
|
13
|
14
|
15
|
17
|
19
|
174
|
61
|
62
|
64
|
67
|
69
|
74
|
79
|
|
30
|
12
|
12
|
13
|
14
|
15
|
17
|
19
|
180
|
63
|
64
|
66
|
69
|
71
|
76
|
81
|
İkili-Üçlü Test
İkili-üçlü test, örnekler arasında belirtilmemiş farklılıkların olup olmadığını ölçmek için kullanılır. Paneliste referans olarak bir örnek (A) ve ardından bir çift örnek (X ve Y) sunulur ve çiftten hangisinin ilk örnekle eşleştiğini belirlemesi istenir. Panelistlere referans bir numune sunulduğu için farkın ne olduğu panelistlerce bilinir ve böylece karışıklığı önlemesi açısından eşlenmiş kıyaslama testine göre avantajlıdır, ancak iki yerine üç numune değerlendirilmesi bakımından dezavantaja sahiptir (O’Mahony, 2017).
Bu test şu durumlarda etkilidir: Ürün farklılıklarının içerik, işleme, paketleme veya depolamadaki bir değişiklikten kaynaklanıp kaynaklanmadığını ve belirli bir duyusal özelliğin etkilenip etkilenmediğinin bilinmediği durumlarda örnekler arası genel bir farkın olup olmadığını belirlemek. Testin uygulanması ise şu şekildedir: Her bir paneliste bir referans örneği ve ardından biri referans örneğin aynısı olan iki adet kodlanmış örnek sunulur. Panelistlerden örnekleri değerlendirmeleri ve referans ile aynı olan örneği belirlemeleri istenir (Carpenter, Lyon ve Hasdell, 2000). Doğru yanıt sayısını sayılır ve yorumlama için Tablo 4’e bakılır (Civille ve Carr, 2015).
Tablo 4. İkili-Üçlü Testinde İlgili α Düzeylerine Ait Gerekli Minimum Doğru Yanıt Sayıları
|
α
|
|
|
|
|
|
|
α
|
|
|
|
|
|
n
|
0.40
|
0.30
|
0.20
|
0.10
|
0.05
|
0.01
|
0.001
|
n
|
0.40
|
0.30
|
0.20
|
0.10
|
0.05
|
0.01
|
0.001
|
|
1
|
—
|
—
|
—
|
—
|
—
|
—
|
—
|
31
|
17
|
18
|
19
|
20
|
21
|
23
|
25
|
|
2
|
2
|
2
|
—
|
—
|
—
|
—
|
—
|
32
|
18
|
18
|
19
|
21
|
22
|
24
|
26
|
|
3
|
3
|
3
|
3
|
—
|
—
|
—
|
—
|
33
|
18
|
19
|
20
|
21
|
22
|
24
|
26
|
|
4
|
3
|
4
|
4
|
4
|
—
|
—
|
—
|
34
|
19
|
20
|
20
|
22
|
23
|
25
|
27
|
|
5
|
4
|
4
|
4
|
5
|
5
|
—
|
—
|
35
|
19
|
20
|
21
|
22
|
23
|
25
|
27
|
|
6
|
4
|
5
|
5
|
6
|
6
|
—
|
—
|
36
|
20
|
21
|
22
|
23
|
24
|
26
|
28
|
|
7
|
5
|
5
|
6
|
6
|
7
|
7
|
—
|
40
|
22
|
23
|
24
|
25
|
26
|
28
|
31
|
|
8
|
5
|
6
|
6
|
7
|
7
|
8
|
—
|
44
|
24
|
25
|
26
|
27
|
28
|
31
|
33
|
|
9
|
6
|
6
|
7
|
7
|
8
|
9
|
—
|
48
|
26
|
27
|
28
|
29
|
31
|
33
|
36
|
|
10
|
6
|
7
|
7
|
8
|
9
|
10
|
10
|
52
|
28
|
29
|
30
|
32
|
33
|
35
|
38
|
|
11
|
7
|
7
|
8
|
9
|
9
|
10
|
11
|
56
|
30
|
31
|
32
|
34
|
35
|
38
|
40
|
|
12
|
7
|
8
|
8
|
9
|
10
|
11
|
12
|
60
|
32
|
33
|
34
|
36
|
37
|
40
|
43
|
|
13
|
8
|
8
|
9
|
10
|
10
|
12
|
13
|
64
|
34
|
35
|
36
|
38
|
40
|
42
|
45
|
|
14
|
8
|
9
|
10
|
10
|
11
|
12
|
13
|
68
|
36
|
37
|
38
|
40
|
42
|
45
|
48
|
|
15
|
9
|
10
|
10
|
11
|
12
|
13
|
14
|
72
|
38
|
39
|
41
|
42
|
44
|
47
|
50
|
|
16
|
10
|
10
|
11
|
12
|
12
|
14
|
15
|
76
|
40
|
41
|
43
|
45
|
46
|
49
|
52
|
|
17
|
10
|
11
|
11
|
12
|
13
|
14
|
16
|
80
|
42
|
43
|
45
|
47
|
48
|
51
|
55
|
|
18
|
11
|
11
|
12
|
13
|
13
|
15
|
16
|
84
|
44
|
45
|
47
|
49
|
51
|
54
|
57
|
|
19
|
11
|
12
|
12
|
13
|
14
|
15
|
17
|
88
|
46
|
47
|
49
|
51
|
53
|
56
|
59
|
|
20
|
12
|
12
|
13
|
14
|
15
|
16
|
18
|
92
|
48
|
50
|
51
|
53
|
55
|
58
|
62
|
|
21
|
12
|
13
|
13
|
14
|
15
|
17
|
18
|
96
|
50
|
52
|
53
|
55
|
57
|
60
|
64
|
|
22
|
13
|
13
|
14
|
15
|
16
|
17
|
19
|
100
|
52
|
54
|
55
|
57
|
59
|
63
|
66
|
|
23
|
13
|
14
|
15 |