Kuvailutulkkauksella tarkoitetaan näkövammaisille suunnattua tulkkausta, jossa elokuvaa, TV-ohjelmaa, taideteosta tai muuta visuaalista kohdetta kuvaillaan siten, että sen sisältö tulee myös näkövammaisen henkilön saavutettaville. Vaikka prosodian (ts. puheen melodian, voimakkuuden, rytmin, painotuksen, taukojen ja äänenlaadun) merkitys kuvailutulkkauksessa on ilmeinen, prosodiaa on aiemmin tutkittu hämmästyttävän vähän kuvailutulkkausaineistoissa.

Uudessa tutkimuksessamme (Hirvonen & Wiklund, tulossa) tarkastelemme prosodian roolia taideteosten kuvailutulkkeissa. Aineistomme koostuu 13 kuvailutulkkausäänitteestä, jotka saimme haltuumme Sara Hildénin museosta sekä Ateneumista. Äänitteiden kestot vaihtelivat kolmesta kahteentoista minuuttiin. Kiinnitimme analyyseissämme huomiota erityisesti sävelkulun eli perustaajuuden tasoon lausumien alussa. Jo aiemmat tutkimukset ovat osoittaneet, että lausumanalkuinen korkea sävelkorkeus liittyy sanotun informaatiorakenteen ilmaisemiseen – tyypillisesti uuden topikaalisen kokonaisuuden alkamiseen – sekä simultaanitulkkauksessa että kirjoitustulkkauksessa. Uusi tutkimuksemme osoittaa sen ilmaisevan tyypillisesti uuden topikaalisen kokonaisuuden alkua myös kuvailutulkkauksessa.

Lisäksi analyysimme osoittavat, että sävelkorkeuden muutoksen KOKO on merkityksellinen tekijä: kun topikaalinen siirtymä on suuri, myös sävelkorkeuden muutos suhteessa edeltävän lausuman alkuun on suuri – kun taas jos topikaalinen siirtymä on pieni, myös sävelkorkeuden muutos on pieni.

Artikkelimme esimerkkikatkelmat tulevat seuraavien taideteosten kuvailutulkkeista:

• Ferdinand von Wright: Taistelevat metsot (1886)
• Fernand Léger: Monivärinen kukka (1937)
• Giorgio de Chirico: Troubaduuri (1940)

Tutkimuksessa käytetään akustisen fonetiikan ja diskurssianalyysin menetelmiä. Teoreettisesti tutkimus nojautuu pääasiassa Anne Wichmannin (2000) diskurssianalyyttiseen intonaatioteoriaan.

Alla on artikkelin englanninkielinen abstrakti. Artikkelin lähdeviite löytyy sen alta.

“Given the extensive body of research in audio description – the verbal-vocal description of visual or audiovisual content for visually impaired audiences – it is striking how little attention has been paid thus far to the spoken dimension of audio description and its para-linguistic, prosodic aspects. This article complements the previous research into how audio description speech is received by the partially sighted audiences by analyzing how it is performed vocally. We study the audio description of pictorial art, and one aspect of prosody is examined in detail: pitch, and the segmentation of information in relation to it. We analyze this relation in a corpus of audio described pictorial art in Finnish (6 + 7 art works in descriptions of varied length, from 3 to 12 minutes) by combining phonetic measurements of the pitch with discourse analysis of the information segmentation (see Wichmann 2000). Previous studies have already shown that a sentence-initial high pitch acts as a discourse-structuring device in interpreting. Our study shows that the same applies to audio description. In addition, our study suggests that there is a relationship between the scale in the rise of pitch and the scale of the topical transition. That is, when the topical transition is clear, the rise of pitch level between the beginnings of two consecutive spoken sentences is large. Analogically, when the topical transition is small, the change of the sentence-initial pitch level is also rather small.”

Lähdeviite:

Hirvonen, Maija & Wiklund, Mari (tulossa): From image to text to speech: The effects of speech prosody on information sequencing in audio description. Text & Talk.