CEFR in Finland – uses and adaptations – Possible implications for JS?

1. CEFR in Finland – uses and adaptations – Possible implications for JS? Sauli Takala Tokyo, December 12, 2010 Drs Felianka Kaftandjieva and Frank Heyworth have kindlly given permission to use some of their slides.

2. Overview • What is CEFR? • Work on curriculum development • Work on scale development and scale validation • Work on relating language examinations to the CEFR levels • Work on national assessments of FL proficiency in schools

3. Before CEFR • LOTS of seminars • LOTS of case reports (language study provision) • Narratives and anecdotes without a common frame of reference: • ”All Dutch speak English very well.” • ”The further south you go in Europe, the less people speak foreign languages.” • Case 1: ”In my country…” • Case 2: ”In my country…” • Ad infinitum I SUPPOSE this is useful … ….but it´s so BOOORING! (Wandering mind) ”I wonder if there isn´t a better way?”

4. 50 years work on language education by the Council of Europe (Strasbourg) 1960s - A unit-credit scheme for languages (adults; migrant workers´ language needs) 1970s Development of a functional communicative approach (Threshold etc) 1991 Coherence and transparency in language learning and teaching (start work on the CEFR and the European Language Portfolio, ELP) 2001 publication of the CEFR and the European Languages Portfolio 2001 – 2008 Languages for Social Cohesion 2008 + Towards a plurilingual, pluricultural, inclusive society; integration of all languages See: www.coe.int (culture/educ: Lang. Policies)

5. CEFR (2001) & its Finnish translation (2004) Very careful translation is needed, especially of the scales (level must remain the same; neither lower nor higher than the original level)

6. 65% of students reach the target level, 15% one level and 5% two levels above it, 10% one level and 5% two levels below it. After CEFR Our B2 looks like this. What is your B2 like? What evidence do you have for such claims? Our target is B1 at the end of compulsory education in ”A”-language. Our goal is A2 in ”B”-language at the end of compulsory education.

7. ”The Blue Bible” (??) Moses brought the people ten commandments. The Framework is not ”the Bible”, not even five commandments. It is a reference tool to be used thoughtfully to suit the local purposes and contexts. It is descriptiive, not prescriptive. It encourages reflection before decision-making.

8. Look! There are the Portflio people. How nice to meet them! You hear about the Framework everywhere; it is a ”baggage” language educators increasingly carry with them.

9. How do I know that my B1 is your B1? (The ”Alderson” question)

10. Title:Common European Framework of Reference for Languages: Learning, Teaching, Assessment Author: Council of Europe Published: in 2001 by Cambridge University Press Available online: http://www.coe.int/T/E/Cultural%5FCo%2Doperation/education/Languages/Language%5FPolicy/Common%5FFramework%5Fof%5FReference/ Ten years of work, drawing on more than 30 years of prior work. A synthesis with the scales as the most important new element. What is the CEFR? F. Kaftandjieva

11. CEFR construct of language proficiency (action-oriented approach, p. 9)) • Language use, embracing language learning, comprises the actions performed bypersons who as individuals and as social agents • develop a range of competences, both general and in particular communicative language competences. • They draw on the competences at their disposal in various contexts under various conditions & under various constraints • to engage in language activities involving languageprocesses • to produce and/or receive texts in relation to themes in specific domains, • activating those strategies which seem most appropriate for • carrying out the tasks to be accomplished. • The monitoring of these actions by the participants leads to thereinforcement or modification of their competences. • (This is a fundamental starting point of the CEFR.)

12. Pictorial representation of the approach (Frank Heyworth, Beijiing, 2010) General competences Strategies Communicative competences sociolinguistic linguistic pragmatic Domains & topics Language activities (rec/prod) Situations TASK Identifiable result Frank Heyworth 2010

13. Why was there a need ofa framework? need of: • Co-operation and co-ordination in educational efforts • Mutual recognition of language qualifications F. Kaftandjieva

14. Planning Language certification Language learning programmes Self-directed learning For what uses is the CEFR intended? F. Kaftandjieva

15. Comprehensiveness Transparency Coherence What criteria must the CEFR meet? F. Kaftandjieva

16. Linguistic Reception Reception Pragmatic Interaction Interaction Socio-linguistic Production Production Mediation CEFR: Horizontal dimension (descriptive scheme: overview of content structure Overall Language Proficiency Communicative Language Competence Communicative Language Activity Use of Strategies F. Kaftandjieva

17. CEFR: Vertical dimension C2 C1 B2 Common Reference Levels B1 A2 A1 F. Kaftandjieva

18. Language Proficiency: Common Reference Levels C2 Mastery C1 Effective Operational Proficiency B2 Vantage B1 Threshold A2 Waystage A1 Breakthrough F. Kaftandjieva

19. Language Proficiency: Common Reference Levels Broader Level Distinction C2 Mastery C Proficient user C1 Effective Operational Proficiency B2 Vantage B Independent user B1 Threshold A2 Waystage A Basic user A1 Breakthrough F. Kaftandjieva

20. Language Proficiency: Common Reference Levels Finer Level Distinction C2.2 C2 Mastery C2.1 C1.2 C1 Effective Operational Proficiency C1.1 B2.2 B2 Vantage B2.1 B1.2 B1 Threshold B1.1 A2.2 A2 Waystage A2.1 A1.2 A1 Breakthrough A1.1 F. Kaftandjieva

21. A very useful characterisation of levels. See CEFR, Chapter 3.6, pp. 33-36

22. CEFR-adapted target levels defined in the current Finnish curricula in the basic school (2003) and the upper secondary school (2004)

23. CEFR – adaptation to school curricula • Needed to be adapted to the context, not just adopted as such • Keep the well-established curriculum traditions: balance between tradition and reform • Add as a new component the proficiency levels to facilitate definition of progression • Indicate target levels for grades 6, 9 and 12 • Need for more fine-grained levels at A1 • fast qualitative progress at lower levels • to sustain and support motivation • (Note: this is a CURRICULUM, adapted from the CEFR; eg., constraints and limitations are systematically stated.)

24. New Finnish FL Syllabuses (outline of levels)

25. Language Proficiency Level Labels in the Finnish Core Curriculum Mastery C1.2 Vantage B1.2 Threshold Breakthrough

26. New Finnish FL Syllabuses

27. The following slide (in Finnish) shows the key terms underlined. This was done in the drafting stage to help check the internal consistency of the level characterizations across the levels. This is an important step also both in developing JS descriptors and subsequent possible curriculum/course definitions.

28. Taitotaso Kuullun ymmärtäminen Puhuminen Luetun ymmärtäminen Kirjoittaminen A1.1 Kielitai-don alkeiden hallinta *Ymmärtää erittäin rajallisen määrän tavallisia sanoja ja fraaseja (tervehdyksiä, nimiä, lukuja, käskyjä) arkisissa yhteyksissä. *Tarvitsee erittäin paljon apua: toistoa, osoittamista, käännöstä. *Osaa vastata häntä koskeviin yksinkertaisiin kysymyksiin lyhyin lausein. Vuorovaikutus on puhekumppanin varassa ja puhuja turvautuu ehkä äidinkieleen tai eleisiin. * Puheessa voi olla paljon pitkiä taukoja, toistoja ja katkoksia. * Ääntäminen voi aiheuttaa suuria ymmärtämisongelmia. * Osaa hyvin suppean perussanaston ja joitakin opeteltuja vakioilmaisuja. * Puhujan hallitsemat harvat kaavamaiset ilmaisut voivat olla melko virheettömiä. *Tuntee kirjainjärjestelmän, mutta ymmärtää tekstistä vain hyvin vähän. *Tunnistaa vähäisen määrän tuttuja sanoja ja lyhyitä fraaseja ja osaa yhdistää niitä kuviin. *Kyky lukea entuudestaan tuntemattomia sanoja on hyvin rajallinen. *Osaa kirjoittaa kielen kirjaimet ja numerot, merkitä muistiin henkilökohtaiset perustietonsa ja kirjoittaa joitakin tuttuja sanoja ja fraaseja. *Osaa viestiä välittömiä tarpeita hyvin lyhyin ilmaisuin. *Vähänkin vieraampien sanojen kirjoittaminen virheellistä. A1.2 Kehitty-vä al-keiskieli- taito *Ymmärtää rajallisen määrän sanoja, lyhyitä lauseita, kysymyksiä ja kehotuksia, jotka liittyvät henkilökohtaisiin asioihin tai välittömään tilanteeseen. *Joutuu ponnistelemaan suuresti ymmärtääkseen yksinkertaistakin puhetta ilman selviä tilannevihjeitä. *Tarvitsee hyvin paljon apua: puheen hidastamista, toistoa, näyttämistä ja käännöstä. *Osaa viestiä suppeasti joitakin välittömiä tarpeita ja kysyä ja vastata henkilökohtaisia perustietoja käsittelevissä vuoropuheluissa. Tarvitsee usein puhekumppanin apua. *Puheessa on taukoja ja muita katkoksia. *Ääntäminen voi aiheuttaa usein ymmärtämisongelmia. *Osaa suppean sanavaraston, joitakin tilannesidonnaisia ilmaisuja ja peruskieliopin aineksia. *Puheessa esiintyy hyvin paljon kaikenlaisia virheitä. *Pystyy lukemaan nimiä, kylttejä ja muita hyvin lyhyitä ja yksinkertaisia tekstejä, jotka liittyvät välittömiin tarpeisiin ja tunnistaa niistä yksittäisen tiedon, jos voi lukea tarvittaessa uudelleen. *Kyky lukea entuudestaan tuntemattomia sanoja on rajallinen. *Osaa viestiä välittömiä tarpeita lyhyin lausein. *Osaa kopioida perustietoja ohjeista ja aikatauluista ja kirjoittaa muutamia lauseita ja fraaseja itsestään ja lähipiiristään (esim. vastauksia kysymyksiin tai muistilappuja). * Ulkoa opetellut fraasit voivat olla oikein kirjoitettuja, mutta itsenäisemmässä tekstissä vilisee kaikenlaisia virheitä. A1.3 Toimiva alkeis-kieli-taito *Ymmärtää henkilökohtaisia kysymyksiä ja jokapäiväisiä ohjeita, pyyntöjä ja kieltoja rutiinimaisissa keskusteluissa tilanneyhteyden tukemana. *Ymmärtää huomattavin ponnistuksin yksinkertaisia keskusteluja kiinnostavista asioista. *Ymmärtäminen edellyttää normaalia hitaampaa ja kuulijalle kohdennettua yleiskielistä puhetta. *Osaa kertoa lyhyesti itsestään ja lähipiiristään. Selviytyy kaikkein yksinkertaisimmista vuoropuheluista ja palvelutilanteista. Tarvitsee joskus puhekumppanin apua. * Kaikkein tutuimmat jaksot sujuvat, muualla tauot ja katkokset ovat hyvin ilmeisiä. *Ääntäminen voi joskus tuottaa ymmärtämisongelmia. *Osaa rajallisen joukon lyhyitä, ulkoa opeteltuja ilmauksia, keskeisintä sanastoa ja perustason lauserakenteita. *Puheessa esiintyy paljon virheitä. *Pystyy lukemaan tuttuja ja joitakin tuntemattomia sanoja ja lyhyitä tekstikappaleita, jotka käsittelevät arkielämää, rutiinitapahtumia tai yksinkertaisia ohjeita. *Osaa paikantaa ja verrata yhtä tai useampaa yksityiskohtaa laajemmassa tekstissä. *Lukeminen ja ymmärtäminen on hyvin hidasta. *Selviytyy yksinkertaisista helposti ennustettavista kirjoitustehtävistä tutuimmissa arkitilanteissa. Osaa kirjoittaa yksinkertaisia viestejä (postikortin, lyhyen esittelyn) todellisista tai kuvitteellisista henkilöistä ja hyvin tutuista aiheista. Osaa kopioida yksittäisiä tietoja ja kirjoittaa muistiin yksinkertaista sanelua. *Osaa muutamia kaikkein tavallisimpia sanoja ja ilmauksia, jotka liittyvät oman elämän yksityiskohtiin tai konkreettisiin tarpeisiin. Osaa kirjoittaa yksilauseisia virkkeitä tai rinnasteisia lauseita, joissa esiintyy perusaikamuotoja. *Tekstissä esiintyy hyvin paljon virheitä.

29. Commented sample: A1.1 Speaking: First stage of elementary proficiency • Can answer simple personal questions with short phrases. ((CAN DO)Needs considerable assistance and depends on gestures to express meaning. May also switch to first language at times. (constraints/limitations.)itatio • Makes often long pauses and repetitions. (constraints/limitations: “how well”) • Pronunciation difficulties may seriously impede communication. (constraints/limit.:”how well)” • Has a very limited repertoire of basic vocabulary and a few memorised sentence patterns. (CAN DO/KNOW) • Cannot produce extended speech, but shows reasonable control of the very limited linguistic repertoire. (Limitation + CAN DO/KNOW) • Note that this is a quite general descriptionof a language user at a certain level: what he/she can do with language (knows about language) and what limitations there are in his/her competence.

30. Categories incuded in the Finnish syllabus adaptation • ListeningReading • Themes, texts, tasks 1) Themes, texts, tasks • 2) Conditions & 2) Conditions & constraints • constraints • Speaking Writing • - Themes/texts/tasks Themes/texts/tasks • (narrative/interaction) Range of language • - Fluency Accuracy • Pronunciatton • Range of language • Accuracy • In speaking and Writing, Constraints are seen in the descriptions.

32. Developing rating scales for assessing oral performance (computerized testing) • Story line (travelling in Britain) with 6 different tasks • Task-specific criteria for: • Telephone conversation • Reading aloud • Summarizing a tex (mediation: L1-> L2) • Description (of pictures) • Pragmatic: situated responses • Monologue/speech

33. Task-specific rating scales are needed as tasks differ • Two main parts in the criteria: • Task performance and interaction (task-specific) • Language-related part (basically indentical for all tasks, as the same language resources are used across all the tasks)See next slide for a schematic overview).

35. Scale development and scale validation

36. CEFR Scale Validation/National Scale Validation Interrater reliability: 0.87-0.99 Correlation with CEFR: above 0.92 Pattern matching (Trochim 1999): theory vs. empirical outcomes: L: .89, R: .91, W: .84 Discriminant analysis: probability of ”correct” membership - > .985 Aiken agreement coefficient: L .90, R .90, W .80 EXACTLY SAME level as CEFR: L 75%, R 65%, W 52% Conclusion: CEFR scales are valid enough to be used as a framework for FL teaching & assessment Several scales have been developed/adapted and validated for different contexts in Finland

37. CEFR in the Examination and National Assessment context

38. Linking Matriculation Examinations (high stakes) to the CEFR: • What level is obtained at the end of the Upper Secondary School (age 19)?

40. How to accommodate national grading and reporting systems and the CEFR (levels)? • Matriculation exam grades from top to pass: roughly 5%, 15%, 20%, 24%, 20%, 11% <> CEFR 6 levels C2-A1 • One solution: by means of conversion tables/ charts, which show how national grades are related to the CEF levels. • The following slide shows how cut scores for CEFR levels are defined for the scale (sum score: 0-300). CEFR level vs. national grades

42. The figure on the previous slide shows how the CEFR level cut scores and rhe national grade cut scores relate to each other. The best students, getting a ”Laudatur”, are at level C1/high B2. The passing level is B1; anyone below B1 fails (Improbatur). In this way, results can be compared across languages and syllabuses as the next slide shows. Even if the same labels (based roughly on the nornal curve) are usedfor all language/syllabuses, the actual proficiency level can vary considerably.

43. Increased transparency and comparability: English (10 yrs) vs Swedish (6 years)

44. FIGURE 1a. Distribution of CEF levels: FIGURE 1b Distribution of CEF_levels: A1 English B1-Swedish

45. Linking National Assessment outcomes to the CEFR • What level is obtained in English at the end of the Comprehensive School after seven years of study (age 15-16)? • cf: EU-project ”SurveyLang” to be reported in the near future (Finland is not taking part.) Check EU´s webpage for more information.

47. Linking examinations results has only begun. • Replication is needed to verify tentative linkages. • International co-operation to develop compeence in linking examinations/tests to the CEFR (cf. EALTA workshops Barcelona, 2007; Budapest, Turku; workshop in Siena, May 2011) • International co-operation in mutual verifying of national efforts of linkage? • International teams of judges? Sweden has done this (Gudrun Erickson; Gothenburg university) • External validation by sharing tests?

48. A rough time/level (English) estimate based on CEFR • In the Finnish context (L1 And L2 not related): • Getting from A1.1 (age 9/10) to the average of B1 (age 15/16) takes about 300 lessons and perhaps 100 hours of homework -> 400 hours. • Getting from the average of B1 to the average of B2 (at 18/19) takes about 250 lessons and probably some 200-250 hours of homework -> 450 – 500 lessons/hours • A1 -> B2: 800 – 900 hours I could never have predicted such develop-ments!

49. A rough estimation of time needed to achieve various CEFR levels. Note that progress across levels is fast in the beginning but after that increasingly more time is needed to reach a next qualitatively higher level of proficiency.

50. Summing up