Silmä. (Kuvan silmä ei liity tutkimukseemme. Se on vain kaivettu jostain netistä.)

Tein kirjoitustulkkaushankkeessa työskennellessäni (v. 2011-2012) yhteistyötä mm. tietojenkäsittelytieteen tutkijoiden kanssa. Yhteistyön pohjalta syntyi mm. artikkeli, joka käsittelee silmänliikkeiden ja dynaamisen tekstin kielellisen prosessoinnin suhdetta kirjoitustulkkauksessa. Kirjoitin artikkelin yhteistyössä Selina Sharminin (Tampereen yliopisto) kanssa. Selina Sharmin on artikkelin ykköskirjoittaja, ja juttu julkaistiin osana hänen väitöskirjaansa vuonna 2015.

Tutkimuksemme tukee aiempia tutkimuksia, joiden mukaan dynaamisen tekstin sana sanalta lukeminen on tehokkaampaa kuin kirjain kirjaimelta lukeminen. Kuitenkin Suomessa kirjoitustulkit usein käyttävät tulkkaamisen apuvälineenä Word-ohjelmaa, jossa teksti ilmestyy kirjan kirjaimelta.

Lisäksi tutkimuksemme osoittaa, että taaksepäin suuntautuvissa silmänliikkeissä (regressions) katse laskeutuu yleensä sisältösanojen päälle. Substantiivit ovat kaikkein todennäköisimpiä sanoja, joiden päälle katse laskeutuu. Silmänliikkeet vaikuttavat seuraavan samaa leksikaalista hierarkiaa kuin ensimmäisen kielen omaksumisessa: ensin tulevat substantiivit, sitten muut sisältösanat, ja vasta kolmantena kieliopilliset sanat (eli ‘välinesanat’). Jatkossa kirjoitustulkkauksessa tulisi siis ottaa entistä paremmin huomioon tämä leksikaalinen hierarkia, joka siis heijastaa merkityksen rakentamista dynaamista tekstiä luettaessa. Tulisi miettiä, miten sisältösanoja voitaisiin korostaa, ja jos mahdollista, redusoinnin tulisi koskea ainoastaan kieliopillisia sanoja. Tulokset voivat olla hyödyksi myös muiden tulkkaustyyppien, mediaesitysten sekä tietokonevälitteisen kommunikaation kehitystyössä.

Lähdeviite:

• Sharmin, Selina & Wiklund, Mari (2014): Gaze Behaviour and Linguistic Processing of Dynamic Text in Print Interpreting. In: Proceedings of the Symposium on Eye Tracking Research and Applications (ETRA ’14). ACM, New York, 263-266 (julkaistu internetissä).

TÄSSÄ ARTIKKELIN JOHTOPÄÄTÖKSET:

“Earlier studies have shown that the comprehension is improved in the word-by-word format compared to the letter-by-letter format. On the other hand, Rayner (1998) has documented that look backs or rereading can be indicators of comprehension difficulties. In this study, observing gaze behaviour revealed significantly more regressive starting points and landing points, i.e., participants reread previous words more, in the word-by-word format than in the letter-by-letter format. The increase in number of regressions can have two causes: poor comprehension on first reading, or desire to strengthen comprehension when there is a better chance for it because the new text appears with longer breaks between words than between letters. In either case regressions should help and result in better understanding. In addition, regression length or percentage of reread words per regression was almost equal for both presentation formats. Hence, in parallel to existing default letter-by-letter presentation in print interpreting, this study suggests the use of the word-by-word format as an alternative.

As already mentioned, previous studies have shown that content words are fixated about 85% of the time, whereas function words are fixated only about 35% of the time (Carpenter and Just 1983; Rayner and Duffy 1988, Furtner et al. 2009). This result falls in line with our findings according to which the first and the second landing points of regressions are generally (90.8%) content words.

Indeed, our results show that the test subjects look for primary and secondary elements of language in order to construct the meaning of what they have just read. Nouns, which are primary elements, are the most likely landing points of regressions (Furtner et al. 2009).

The fact that the lexical hierarchy that can be found here is the same as the one typically observed in the acquisition of language (O’Grady 1987; Furtner et al. 2009) reflects the cognitive processing of language by which the meaning is being constructed. This, in turn, suggests that there is a relationship between the gaze behaviour and the linguistic processing of dynamic text.

In addition, since regressions were more common for the word-by-word presentation format, rendering the text word-by-word should be supported by print interpretation software. Sprintanium (Špakov 2011), the tool used in our experiments, does this, whereas many professional print interpreters use simply Microsoft Word which does not have this option.

Being conscious of this lexical hierarchy may also help print interpreters to improve the presentation of dynamic texts to the user. This could be done for example by highlighting the primary elements and by reducing only tertiary elements of language.”

KOKO ARTIKKELI LÖYTYY MM. ACADEMIA.EDU:STA.

Lisäksi aihepiiristä on pian tulossa toinen artikkeli:

• Sharmin, Selina; Wiklund, Mari & Tiittula, Liisa (2016): The Reading Process of Dynamic Text – A Linguistic Approach to an Eye Movement Study. SKY Journal of Linguistics 29: 2016 (tulossa).