Almut Braun The Speaker Identification Ability of Blind and Sighted Listeners An Empirical Investigation The Speaker Identification Ability of Blind and Sighted Listeners Almut Braun The Speaker Identification Ability of Blind and Sighted Listeners An Empirical Investigation Almut Braun York, United Kingdom Dissertation Philipps-Universität Marburg, 2015 ISBN 978-3-658-15197-3 ISBN 978-3-658-15198-0 (eBook) DOI 10.1007/978-3-658-15198-0 Library of Congress Control Number: 2016947740 Springer VS © Springer Fachmedien Wiesbaden 2016 This work is subject to copyright All rights are reserved by the Publisher, whether the whole or part of the material is concerned, specifically the rights of translation, reprinting, reuse of illustrations, recitation, broadcasting, reproduction on microfilms or in any other physical way, and transmission or information storage and retrieval, electronic adaptation, computer software, or by similar or dissimilar methodology now known or hereafter developed The use of general descriptive names, registered names, trademarks, service marks, etc in this publication does not imply, even in the absence of a specific statement, that such names are exempt from the relevant protective laws and regulations and therefore free for general use The publisher, the authors and the editors are safe to assume that the advice and information in this book are believed to be true and accurate at the date of publication Neither the publisher nor the authors or the editors give a warranty, express or implied, with respect to the material contained herein or for any errors or omissions that may have been made Printed on acid-free paper This Springer VS imprint is published by Springer Nature The registered company is Springer Fachmedien Wiesbaden GmbH Meiner Familie ”We see the world the way we not because that is the way it is, but because we have these ways of seeing.” Ludwig Wittgenstein Acknowledgements First of all, I would like to express my sincere gratitude to my first supervisor Prof Dr Hermann J Künzel, whose expertise and patience guided me through this project I also want to gratefully thank Prof Dr Richard Wiese, my second supervisor, for his constructive feedback and his very helpful comments Clearly, this research project could not have been done without the help of a lot of other people whom I want to thank here: I am truly thankful to Dr Gea de Jong-Lendle, who has been a fantastic colleague, friend and a constant source of advice, encouragement and support Furthermore, I want to especially thank Jos Vermeulen MSc for the fruitful discussions we had about science and for being a wonderful and competent advisor in every respect Prof Dr Andreas Jansen and Dr Jens Sommer I thank for their collaboration and the opportunity to expand my research activities in the field of fMRI I thank Markus Jesberg for helping me with the mobile phone re-recordings and Jeffrey Michael Falk for carefully proofreading my thesis Of course, this project would not have been possible without my participants from Aßlar, Bad Vilbel, Berlin, Bremen, Darmstadt, Delmenhorst, Düren, Düsseldorf, Frankfurt, Gien, Gưttingen, Hamburg, Hannover, Kassel, Ludwigsburg, Ludwigshafen, Mainz, Marburg, Mössingen, München, Ofterdingen, Oldenburg, Remshalden, Reutlingen, Schwäbisch-Hall, Sindelfingen, Stuttgart and Würzburg I thank every single participant so much for being part of it Also, I thank the following institutions and their staff for forwarding my requests and helping me to a great extent with organizational issues: ABSV Berlin, Bayerischer Blinden- und Sehbehindertenbund, BFW Mainz, BFW Würzburg, BSV Niedersachsen – Regionalverein Hannover, BSV Bremen, Blindenverein Oldenburg, BliZ of Technische Hochschule Mittelhessen, BSB Hessen, BSV Württemberg, Deutscher Blinden- und Sehbehindertenverband, DialogMuseum Frankfurt, Johann-August-Zeune-Schule Berlin, Louis-Braille-Schule Düren, RES IT of Deutsche Blindenstudienanstalt Marburg and SBS of PhilippsUniversität Marburg Furthermore, I thank Bernd Haack and Daniela Rehberg for all the efforts they made to provide me with participants Gratefully I acknowledge the financial support from Dr Wolff’sche Stiftung (scholarship), the International Association for Forensic Phonetics and Acoustics (research grant) and Philipps-Universität Marburg (research grant) Acknowledgements Finally I want to express my deep gratitude to my loving family and friends, especially to my mother Irene who supported me in any way she could and helped tremendously with the recruitment of participants I also want to genuinely thank my father Manfred for all the support he gave me before he sadly passed away during the course of my doctoral research My sister, Silke, I cordially thank for being incredibly supportive in so many ways and for her advice on the medical parts of my research Furthermore, I gratefully thank my grandmother Renate who financially supported my computer equipment and who has always been eager to hear about my research and my life Table of Contents Acknowledgements Table of Contents Abstract 13 Deutsche Zusammenfassung 15 List of Tables 17 List of Figures 19 Abbreviations 21 Introduction 23 The sensory compensation hypothesis 27 1.1 Former beliefs 27 1.2 Early research on sensory compensation in the blind 28 1.3 Popularity of the sensory compensation hypothesis 29 Prior research on blind listeners’ auditory abilities 31 2.1 Auditory abilities 31 2.1.1 2.1.2 2.1.3 2.1.4 2.1.5 2.1.6 2.1.7 Speech discrimination 31 Auditory attention 31 Perception of acoustic details 32 Temporal aspects 32 Pattern recognition 33 Perception of pitch and loudness 34 Absolute threshold measurements 34 2.2 Simple versus complex auditory functions 35 2.3 Auditory memory 36 10 Table of Contents 2.3.1 Short-term memory and working memory 37 2.3.2 Long-term memory 38 2.4 Physiological and brain imaging studies 39 2.5 Speaker identification and discrimination abilities 41 2.5.1 Behavioral studies on blind listeners’ speaker recognition abilities 42 2.5.2 Physiological studies on blind listeners’ speaker recognition abilities 44 2.6 Summary 47 Possible influences on human speaker identification 49 3.1 Listener characteristics 49 3.1.1 3.1.2 3.1.3 3.1.4 3.1.5 3.1.6 3.2 Blind listeners’ onset and duration of blindness 49 Listeners’ musical experience 49 Male vs female listeners 50 Listeners’ ages 51 Blind listeners’ echolocation abilities 51 Listeners’ talent and training in speaker identification 52 Voice lineup characteristics 53 3.2.1 Signal quality – (mobile) telephone transmission 53 3.2.2 Voice disguise – whisper 54 3.2.3 Time 56 Issues to consider when creating a voice lineup 57 Hypotheses for the experiment 59 Speaker identification experiment 61 6.1 Experimental design 61 6.1.1 6.1.2 6.1.3 6.1.4 Method 61 Speakers 64 Material 64 Listeners 66 Table of Contents 6.2 11 Execution of the experiment 68 6.2.1 Pretest 68 6.2.2 Familiarization 69 6.2.3 Voice lineup presentation 70 Results 73 7.1 Fitting a multinomial log-linear model 73 7.2 Influence of signal quality on identification scores 76 7.3 Influence of time delay on identification scores 78 7.4 Further investigated influences 78 7.4.1 7.4.2 7.4.3 7.4.4 7.4.5 7.4.6 Male vs female listeners 78 Target-absent vs target-present voice lineups 78 Comparison of correct rejection rates and hit rates 79 Influence of onset and duration of blindness 81 Confidence accuracy 82 Musically trained vs musically untrained listeners 82 7.5 Summary 83 7.6 Confusion rates: target speaker vs distractor speakers 83 7.7 Listeners’ perception and acoustic measurements 86 7.7.1 Acoustic measurements (speakers) 86 7.7.2 Perceptual feedback (listeners) 92 7.8 Summary 96 Interview with visually impaired forensic audio analysts 97 Discussion 99 9.1 Identification of unfamiliar speakers 99 9.2 Signal quality 100 9.3 Forgetting 102 9.4 Target-absent and target-present lineups 104 9.5 Confusion rates 105 Appendix A 145 Signal quality: cell phone; Time interval: weeks particisex pant VP 137 m age 49 blindness etiology of blindness onset optic nerve atrophy retinopathy of prematurity retinal degeneration retinopathy of prematurity retinal degeneration retinopathy of prematurity residual vision (light) VP 138 m 46 VP 139 m 53 VP 140 m 50 VP 141 f 33 VP 142 f 24 VP 143 f 53 cataract VP 144 f 29 retinal detachment light, pattern, color none VP 145 f 33 unknown light VP 146 m 27 retinoblastoma none VP 147 m 48 10 retinal detachment none VP 148 m 17 retinal damage light VP 149 m 47 retinitis pigmentosa light VP 150 m 40 15 glaucoma VP 151 f 41 38 unknown VP 152 f 43 VP 153 f 46 12 glaucoma high intraocular pressure none light, pattern, color none light none none light, (pattern) none none 146 Appendices VP 154 m 36 VP 155 m 22 VP 156 m 60 VP 157 m 33 VP 158 m 21 VP 159 m 22 VP 160 m 27 VP 161 m 43 VP 162 m 64 VP 163 f 20 VP 164 f 45 VP 165 f 33 VP 166 f 36 VP 167 f 25 VP 168 f 53 VP 169 f 44 VP 170 f 24 Appendix A 147 Signal quality: whispered; Time interval: weeks particisex pant VP 171 m 47 blindness etiology of blindness onset glaucoma age residual vision light, under 2% VP 172 m 35 VP 173 f 24 VP 174 f 21 VP 175 f 17 retinopathy of prematurity light light, pattern, genetic color light, pattern, glaucoma color retinopathy of prematurity NA VP 176 f 58 unknown none VP 177 f 36 retinal detachment VP 178 m 39 35 optic nerve atrophy VP 179 m 14 10 tumor VP 180 m 15 12 VP 181 m 46 40 VP 182 m 64 28 glaucoma retinopathia centralis serosa diabetic retinopathy none light, pattern, foggy light, pattern, color light light, pattern, color none VP 183 m 42 tumor VP 184 f 56 25 glaucoma VP 185 f 44 30 diabetic retinopathy VP 186 f 51 tumor VP 187 f 23 16 glaucoma none light, (pattern), (color) none none light, pattern, color 148 Appendices VP 188 m 21 VP 189 m 18 VP 190 m 49 VP 191 m 30 VP 192 m 24 VP 193 m 27 VP 194 m 25 VP 195 m 33 VP 196 f 59 VP 197 f 26 VP 198 f 18 VP 199 f 59 VP 200 f 25 VP 201 f 21 VP 202 f 43 VP 203 f 53 VP 204 f 22 Appendix A 149 Signal quality: studio; Time interval: weeks particisex age pant VP 205 m 55 VP 206 m 32 VP 207 m 15 blindness etiology of blindness onset corneal opacity retinopathy of prematurity 0.5 genetic VP 208 m 45 genetic none VP 209 f 62 light, (color) VP 210 f 42 cataract and glaucoma damage of the optic nerve VP 211 f 30 infantile eye damage VP 212 f 37 VP 213 m 15 13 retinal detachment probably high intraocular pressure VP 214 m 38 10 genetic VP 215 m 24 21 impact injury VP 216 m 20 18 retinitis pigmentosa VP 217 m 20 10 optic nerve atrophy VP 218 f 21 14 VP 219 f 45 40 VP 220 f 39 35 LHON glaucoma, retinal detachment tumor of the optic nerve / atrophy VP 221 f 25 24 retinal detachment residual vision light none none light, color light, pattern, color (light) none light, pattern, (color) none light, pattern, (color) light, pattern, (color) light, pattern light, about % light, fragments, (color) light, pattern, color 150 Appendices VP 222 m 23 VP 223 m 61 VP 224 m 21 VP 225 m 51 VP 226 m 23 VP 227 m 60 VP 228 m 46 VP 229 m 26 VP 230 f 40 VP 231 f 23 VP 232 f NA VP 233 f 64 VP 234 f 48 VP 235 f 24 VP 236 f 22 VP 237 f 19 VP 238 f 19 Appendix A 151 Signal quality: cell phone; Time interval: weeks particisex pant VP 239 m 14 blindness etiology of blindness onset cone-rod dystrophy VP 240 m 27 VP 241 m 60 VP 242 m 25 VP 243 m 25 VP 244 f 55 VP 245 f 32 VP 246 f 38 light light, pattern, septo-optic dysplasia color retinopathy of prematurity (light) light, (pattern), retinopathy of prematurity (color) retinopathy of prematurity none VP 247 f 21 glaucoma none VP 248 m 56 54.5 intoxication light, pattern VP 249 m 23 15 VP 250 m 43 23 VP 251 m 16 cone-rod dystrophy macular degeneration, tumor cone-rod dystrophy light light, (pattern), color light, about % VP 252 m 33 28.5 retinal degeneration light, (pattern) VP 253 f 31 14 retinal detachment none VP 254 f 65 30 VP 255 f 36 20 cone-rod dystrophy juvenile macular degeneration light light, color, blurred age prenatal mumps infection congenital rubella syndrome retinal detachment residual vision light, about % light, pattern, (color) none 152 Appendices VP 256 m 26 VP 257 m 24 VP 258 m 67 VP 259 m 32 VP 260 m 44 VP 261 m 22 VP 262 m 50 VP 263 m 32 VP 264 f 22 VP 265 f 25 VP 266 f 24 VP 267 f 23 VP 268 f 27 VP 269 f 41 VP 270 f 23 VP 271 f 24 VP 272 f 54 Appendix A 153 Signal quality: whispered; Time interval: weeks particisex age pant blindness etiology of blindness onset VP 273 m 50 optic nerve defect VP 274 m 27 damage of the optic nerve light, pattern, color light, (pattern) VP 275 m 31 prenatal DDT exposure light, color VP 276 m 49 retinitis pigmentosa VP 277 f 33 VP 278 f 35 VP 279 f 35 VP 280 f 58 VP 281 m 47 43 VP 282 m 60 57 VP 283 m 51 36 VP 284 m 43 10 VP 285 f 45 light light, pattern, glaucoma color light, pattern, optic nerve atrophy color retinopathy of prematurity (light) light, pattern, genetic (color) retinal detachment light light, pattern, macular degeneration color hydrocephalus none light, pattern, tumor of the optic nerve (color) brain tumor none VP 286 f 47 37 uveitis light VP 287 f 31 VP 288 f 16 VP 289 f 62 51 retinoblastoma tumor, damage of the optic nerve NA none light, pattern, color NA residual vision 154 Appendices VP 290 m 43 VP 291 m 23 VP 292 m 21 VP 293 m NA VP 294 m 25 VP 295 m 22 VP 296 m 48 VP 297 m 65 VP 298 m 14 VP 299 f 47 VP 300 f 48 VP 301 f 23 VP 302 f NA VP 303 f 33 VP 304 f 23 VP 305 f 15 VP 306 f 38 Appendix B 155 Appendix B Interview with a blind and a visually impaired audio analyst from the Belgian police (The interview took place on December rd 2014 at the police station in Antwerp/Belgium) Federale gerechtelijke politie Provincie Antwerpen Noordersingel 25-27 2140 Borgerhout (Antwerpen) december 2014 Vraaggesprek in het kader van het onderwerp "sprekerherkenning door blinde en ziende mensen" Interviewer: Almut Braun, Universiteit Marburg, Duitsland Geïnterviewde: Ronald Adriaenssens, officier van gerechtelijke politie met beperkte bevoegdheid (slechtziend vanaf de geboorte, restzicht: 1/10 en 1.5/10) Sacha van Loo, officier van gerechtelijke politie met beperkte bevoegdheid (blind vanaf de geboorte, geen restzicht) Forensische medewerkers bij de Belgische politie sinds: 2007 Welke positie heeft u binnen de Belgische politie? OGP (officier van gerechtelijke politie) met beperkte bevoegdheid; „brugpersoneel“ Aan welke voorwaarden heeft u moeten voldoen en welke opleiding heeft u moeten volgen om bij de Belgische politie te kunnen werken? Normaal gehoor, snelle typvaardigheid, administratieve vaardigheden, een Politie Introductie Cursus (Hier werden o.a onderwerpen behandeld als “Organisatie-structuur“ (een week)) 156 Appendices Eigenlijk was de doelstelling dat alleen maar blinden (en geen slechtzienden!) met een universitaire opleiding zouden worden aangesteld De BrailleLiga vreesde echter dat maar weinig kandidaten aan deze eisen kunnen voldoen Aangepaste voorwaarden: De kandidaat moet visueel beperkt zijn (Op dit moment zijn er geen specifieke richtlijnen betreffende de gradatie van de visuele beperking) Er waren geen opleidingseisen Onze opleiding en werkervaring: S van Loo: Universitaire opleiding: beëdigde tolk, slavistiek  spreekt veel talen: Nederlands, Engels, Russisch, Servisch, Portugees, (Grieks), (Arabisch) R Adriaenssens: Medewerker telecommunicatie (Proximus); call center, klantendienst Wat is uw taakomschrijving en hoe ziet de gemiddelde dag eruit? Info: Sinds kort (rond 2007) bestaat er een wet in Belgiё die bepaalt dat de inhoud van audio-opnames in een rechtzaak moet worden getranscribeerd Dat geldt voor tapgesprekken (transcriptie van de relevante passages) en voor audiotracks van video’s (transcriptie van de complete audiotrack) De blinde/slechtziende medewerkers in Antwerpen zitten echter niet zelf in de tapkamer, omdat de apparatuur niet compatibel is met hun schermuitleesprogramma’s De visueel beperkte medewerkers krijgen de audio-opnames van hun ziende collega’s via usb Ze gebruiken het audio-software programma Wavesurfer (zonder gebruik van audiofilters) om de opnames te beluisteren en een voetpedaal om op een snelle en aangename manier vooruit- en terug te spoelen Analyse: 80% tapgesprekken (vroeger vooral drugscriminaliteit en tegenwoordig vaak ook terreur) 20% video (kwaliteit meestal beter dan bij tapgesprekken) Tegenwoordig is de taal bij tapgesprekken minder vaak Nederlands, aangezien bij de drugscriminaliteit andere talen belangrijker worden: Berber, Arabisch… Appendix B 157 Moet u een fonetische transcriptie maken van wat u in de audioopnames hoort? Als er een fonetische transcriptie nodig is, wordt geprobeerd om met het gewone alfabet de klanken zo goed mogelijk weer te geven Treedt u ook vaak op als deskundige in de rechtbank? Nee Vindt u dat u meer dingen hoort dan ziende mensen? Blinden/slechtzienden horen niet per se beter, maar misschien anders Werken er behalve u ook andere blinden of slechtzienden op uw afdeling? We zijn in Antwerpen slechts met z’n tweeën In Luik werken nog twee visueel beperkte medewerkers bij de politie en in Brussel ook nog twee (Een Franstalige en een Nederlandstalige De Nederlandstalige heeft daar bijna geen zaken meer te doen) Werkt u alleen of samen met anderen? Vaak bespreken we samen een bepaalde opname Helaas hebben we geen directe contactpersoon We hebben hier wel mensen die we kunnen vragen, maar geen directe contactpersoon speciaal voor ons werk Hoe wordt u geëvalueerd? Wordt uw gehoor regelmatig gecontroleerd? Het gehoor werd alleen gecontroleerd toen bij één van ons het vermoeden bestond, dat zijn gehoor beschadigd zou kunnen zijn (De gehoorverlies werd niet bevestigd.) 10 Worden er bijscholingen gegeven die betrekking hebben op uw werk? Helaas niet 11 Zijn er bij uw werk verschillen ten opzichte van een ziende collega? De ziende collega’s werken in andere posities 158 Appendices 12 Kunt u toelichten hoe u samenwerkt met uw ziende collega’s met u? De ziende collega’s geven ons de audio-opnames via usb 13 Hoe wordt u gewaardeerd? De meeste ziende collega’s geven ons veel extra informatie betreffende een bepaalde zaak, maar dat is helaas niet altijd het geval Het kan zelfs voorkomen, dat de audio-opname niet beschikbaar wordt gesteld op usb, omdat de ziende collega’s de analyses al zelf uit hebben gevoerd Enkele ziende collega’s nemen ons niet serieus en houden geen rekening met ons Andere collega´s daarentegen zijn heel vriendelijk en doen dat wel Wij denken dat het meer met onze positie dan met onze visuele beperking te maken heeft, omdat andere medewerkers van het brugpersoneel soortgelijke ervaringen delen 14 Heeft u buitenlandse collega’s (met een visuele beperking)? Werkt u daar ook mee samen? We werken niet samen met buitenlandse collega’s, maar we denken dat er ook een groep blinde medewerkers in Driebergen/Nederland zit, die audioonderzoek doet Deze groep blijkt al langer actief te zijn dan wij in Belgiё 15 Neemt u maatregelen om uw gehoor te beschermen? Bijvoorbeeld niet langer dan een bepaalde tijd achterelkaar werken Of thuis geen extra geluid? S van Loo: Vroeger werkte ik voltijds, maar de hele dag audio-opnames te beluisteren was te veel Nu werk ik 50% in deeltijd en dat bevalt veel beter In mijn vrije tijd probeer ik extra geluiden om me heen te beperken (minder telefoneren, etc) Appendix C 159 Appendix C distractor speaker A B C E F G H I percent of listeners listeners' feedback (most frequent answers) 18.1% pitch similar (deeper) 15.1% pitch too deep 13.3% timbre similar 13.3% filled pauses similar 12.0% too many filled pauses 17.2% pitch too high 8.2% filled pauses similar 16.4% pitch too high 15.6% timbre different 9.4% too young 32.5% pitch too deep 24.5% timbre different (too dark/dull) 16.2% timbre different 14.3% pitch too high 12.4% utterance-final high pitch peaks 12.7% timbre different 10.0% speaks too slowly 8.9% too monotonous 20.2% timbre different 29.2% pitch too high 12.8% speaks too slowly 16.6% timbre different 11.1% pitch too high 9.3% speaks too fast .. .The Speaker Identification Ability of Blind and Sighted Listeners Almut Braun The Speaker Identification Ability of Blind and Sighted Listeners An Empirical Investigation... from congenitally blind, late blind and sighted listeners 75 Number of correct answers in the speaker identification test from congenitally blind, late blind and sighted listeners (pooled... alarms, hits and misses in the presented voice lineups 80 Blind listeners correct and false answers in the speaker identification experiment plotted against the age of the onset of blindness