多模态 话语理论与现代媒体技术在外语教学中的应用

1. 多模态话语理论与现代媒体技术在外语教学中的应用多模态话语理论与现代媒体技术在外语教学中的应用 张德禄 中国海洋大学外国语学院

2. 1.0 引言 • 话语分析转入多模态话语分析阶段:人类的实际交际过程：听觉、视觉、触觉并用 • 伴语言特征：音响度、声调、语调、音速等; • 身体特征:如手势、身势、面部表情、动作、移动等 • 非身体特征：PPT、音响设备、网络、实验室、周围的环境因素等。 • 首先，根据系统功能语言学理论尝试建立一个多模态话语分析的综合框架； • 然后，探讨不同的模态及其之间的关系； • 第三，探讨实现模态的不同媒体系统； • 最后，探讨如何在外语教学中选择模态和媒体。

3. 多模态话语：运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。多模态话语：运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。 • 这种现象司空见惯，自古有之，如诗歌配上图画，说话时打手势做鬼脸，使用不同口气和腔调等。 • 系统功能语言学是最适合于研究多模态话语的理论模式，其主要原因有以下三个方面： • （1）系统功能语言学不仅关心语言内部的运作机制，同时还研究语言外的环境和动因； • （2）系统功能语言学把话语的意义和功能放在首要位置上； • （3）意义的实现是以多模态形式进行的，语言只是这些形式中最有效的一种。

4. 2.0 多模态话语分析的理论基础 • 系统功能语言学理论本身不需要做任何改动就可以直接作为其理论框架。 • 这个框架主要由五个层面的系统和选择的基本因素和条件组成(Martin, 1992)。这五个层面分别是： • （1）文化层面，意识形态、体裁； • （2）语境层面，话语范围、话语基调和话语方式 • （3）意义层面，概念意义、人际意义和谋篇意义； • （4）形式层面，词汇语法系统，视觉语法系统，听觉语法系统，触觉语法系统等 • （5）媒体层面，语言的和非语言

5. 3.0 多模态话语综合框架初探 • 如上所述，系统功能语言学为多模态话语分析提供了一个相对现成的理论框架。这就是说，在语境和交际层面和话语意义层面，单模态的语言交际和多模态话语交际并没有什么区别。李姆（Lim, 2004）在研究图画与语言形成的多模态话语时提供了如下的框架。 • 在这个框架中，语言和图画作为交际模态共有意识形态、体裁、语域和话语意义四个层面。 • 在内容层面，图画具有视觉语法，而语言则有词汇语法； • 在表达层面，语言由印刷符号体现；图形由图形符号体现。 • 在这里最主要的研究领域是把两者在内容层面和表达层面整合为一体，特别是在内容层面研究的任务最重。

7. 这个框架是对语言与图像所形成的多模态话语的分析框架，还不是一个对所有模态都适用的框架。但其基本思路是正确的：这个框架是对语言与图像所形成的多模态话语的分析框架，还不是一个对所有模态都适用的框架。但其基本思路是正确的： • 第一，他的层次的思想是正确的 • 第二，不同的模态涉及由不同的媒体来体现 • 第三，不同的模态需要整合在一起 • 据此，我们根据韩礼德的系统功能语言学理论，和我们以上研究的结果，提出了如下的理论框架（见图二）。

9. 这个框架分为四个层面：文化层面、情景层面、内容层面和表达层面。这个框架分为四个层面：文化层面、情景层面、内容层面和表达层面。 • 文化层面是使多模态交际成为可能的关键层面。意识形态；体裁。 • 语境层面：话语范围、话语基调、话语方式；实现所选择的体裁。 • 话语意义层面，概念意义、人际意义和谋篇意义。 • 形式层面：视觉语法、听觉语法、触觉语法等。

10. 4.0 多模态话语的形式及其关系 • 4.1 多模态话语的形式 • 媒体只有通过形式层面的组织和模式化才具有直接表达意义的能力。 • 形式对媒介进行组织有两种手段：一是直接赋予某个媒介符号某种意义。由这种符号组成的符号系统通常没有能产性、没有任意性； • 二是把一定的媒介符号进行组合，然后赋予这种组合一定的意义，这就是语法的作用。由这种符号和符号组成规则形成的符号系统具有任意性、能产性、双分性，由三个层次的代码组成（媒介、形式（词汇语法）和意义）。语言属于这一类。 • 语言：词汇—语法 • 图像：图符—图形语法 • 音响：音符—声响语法 • 接触：实体--感触语法

11. 4.2 多模态话语形式之间的关系 • 运用多模态的理由：一种模态不足以表达清楚交际者的意义，从而利用另一者来强化、补充、调节、协同，达到更加充分，或者尽量充分表达意义，让听话者理解话语的目的。 • 关系：互补vs 非互补 • 互补：强化（突出、主次、扩充）vs 非强化（交叉、联合、协调） • 非互补：交叠（冗余、排斥、抵消）vs 内包（部分、具体）vs 语境交互（独立vs 依赖）

13. 5.0 多模态话语的媒体系统 • 从多模态话语的角度，我们可以把媒体分为语言媒体和非语言媒体； • 3.1语言媒体 • 传统媒体：主要两种，声波传导的声音符号和由笔、毛刷等生成的书写符号。 • 其他媒体：随着信息技术的不断发展，其他技术开始用于语言信息的传播，如计算机文字输入，计算机语音识别等，但最后的传播媒体仍然是声音或者字符。 • 伴随语言的媒体形式：音响，声音的大小，音调，声音的频率，口音，口气等，以及字体形状、大小、空间的布局等。

14. 3.2 非语言媒体 • 交际者肢体动作和交际者在意义表达中所使用的其他非语言手段，如工具、环境等。 • 1.交际者肢体的动作可以分为三个类别： • 一、由头部的移动形成的动作 • 二、由手臂和腿形成的媒体符号 • 三、躯干的动作，如移动、比划、模拟等。 • 2.非肢体媒体：工具和环境： • 工具:音响设备， PPT，网络设备，到现在的网络平台，同声传译室等都是工具性媒体； • 环境: 环境中已有的任何相关因素：人和物，有象征意义的符号等。

16. 6.0 模态选择 • 6.1 模态选择程序 • 对多模态话语理论框架进行选择的基本程序是： • 意义选择：在文化语境中，受意识形态的支配和体裁系统的制约，根据具体的情景语境，选择要表达的意义，包括概念意义、人际意义和谋篇意义； • 意义体现：所选择的意义要以合适的模态表达出来：即时的—口语；安静的—手势； • 同样，对多模态的选择也是受语境的制约的：噪音—声音+手势。

17. 不同模态之间的相互配合问题：语义表达的需要；交际的需要。我们在选择中所要考虑的关键因素是在一定的情景中，如何选择合适模态来有效地表达所要传达的意义。不同模态之间的相互配合问题：语义表达的需要；交际的需要。我们在选择中所要考虑的关键因素是在一定的情景中，如何选择合适模态来有效地表达所要传达的意义。 • 模态与媒体基本上是形式和实体的关系。模态语法确定选择什么样的媒体。如视觉语法确定不同视觉媒体之间的相互配合。例如，课堂教学：熟悉的事物：语言讲解；不熟悉的事物：讲解 + 实物 （图像等）。

18. 6.2 模态选择主导因素 • 在外语教学中，主导模态选择的基本因素是： • 话语范围：所教授的课程的内容，包括深度、难度； • 话语基调：老师的个人特点；学生的基本特点；交际目的，如传授知识、提高能力、提高素质等。 • 话语方式：设备条件、教学环境、传播渠道等。 • 教学目标：如是知识型的：讲解+实例：书本、PPT、口头讲授、回答问题等方式。

19. 在这个教学模式中，要涉及模态内部媒体之间的协作，如书本与PPT：PPT通过色彩、光亮、突出的字体等来强调重点信息，而书本则可提供具体信息，补充PPT提供的框架中的具体信息。在这个教学模式中，要涉及模态内部媒体之间的协作，如书本与PPT：PPT通过色彩、光亮、突出的字体等来强调重点信息，而书本则可提供具体信息，补充PPT提供的框架中的具体信息。 • 更重要的是视觉模态与听觉模态的协作。从形式上讲，每一种模态都可以是自足的，但只有多种模态协作才能收到更好的效果。 • 这样从两种模态的关系上讲，听觉是主模态，主导交际的进程；而视觉模态则对听觉模态起主要两个作用：强化和补充。

20. 6.3 模态选择的原则 • 总体原则：充分利用现代媒体技术，最大限度地充分表达讲话者的意义，取得最佳效果，为更好地利用现代技术提供一个合适的理论框架。 • 基本思路：人类交际中意义的体现具有多模态特点：在形式层面涉及不同模态的词汇语法系统之间的关系；形式层面由媒体来体现。现代媒体技术都主要是在媒体层面，所以充分利用好现代媒体技术是重要的研究课题。 • 在多模态话语交际框架下，对模态的选择可以从三个角度进行： • （1）为外语教学提供教学情景和便利条件（工具）； • （2）为外语教学提供辅助条件（助手）； • （3）为多模态话语交际提供多通道话语意义表达方式（补充）。

21. 6.3.1 作为工具 • 多媒体技术的发展实际上为提供尽可能真实的语境的提供了便利条件，可以提供图像、录像、声音，作为学习的实际环境。利用从真实交际场合中得到的录像材料作为： • （1）学习材料，让学生了解和认识真实语境的实际情况，使获得的语境知识更加具体； • （2）背景信息，让学生与录像中的交际者在录像提供的语境中进行交际。 • 发展现代多媒体技术的一个最基本的理念是多模态交际可以使受话人通过多通道获得信息，比单模态话语更容易使受话者理解和记忆。 • 如 PPT: 文字、语音、图形、图像、录像：视觉和听觉

22. 6.3.2. 作为助手 • 为教师提供条件，使他的工作容易进行；现代技术还可以从内部提供动力，使教师和学生从内心愿意从事这种活动，把外因转化为内因。 • 第一，特殊的东西、大的东西、颜色艳丽或者浓的东西更能吸引人们的注意力，这就是突出，把事物前景化。例如，在教学中在PPT画面上用艺术体、黑体、大体字，可以使文字突出；在文字中加上图片可以更能引起学生的注意等。 • 第二，美丽的东西、怪诞的东西、幽默的东西更能引起人们的兴趣，提高学生的参与度，所以，在教学中，用现代技术提供美丽的图片，幽默的简笔画，美丽的环境介绍可以使学生积极参与，注意力集中。 • 第三，有挑战性的环境，或对抗的环境，或者幽默的环境，可以激发人们参与的热情，如提供一些有一定难度的破解题，谜题；描述一个对抗的语境；或者提供一项交际任务等。

23. 6.3.3. 作为补充 • 模态的选择要以增加正效应为原则，具体可以包括：互相强化、互相协调、前景背景、整体部分（抽象具体）等关系。 • 1. 强化关系 • 用PPT显示句子“Peter was killed in a traffic accident”, 并可同时读出这个句子，在PPT画面上配上皮特发生车祸的照片，或者放一段发生车祸的录像片，配上发生车祸是的声音等。 • 2. 协调关系 • 协调关系是利用多模态之间的协调性，就是还原人类社会交际的本来面目，即由一种媒体不能独自完成的交际任务可以由其他媒体来补充。例如，在讲包括下面一个对话的故事时，如果没有图画，我们会不知所云： • [1] Big Nutbrown Hare, “I love you as high as I can reach.” • Little Nutbrown Hare, “That is quite high. I wish I had arms like that.” • 但是如果我们配上图画就很容易了，而且还很幽默。

25. 3. 前景背景关系 • 第三种选择多模态教学的依据是语言交际中的前景和背景的关系。在外语教学中，语言交际显然都是处在前景中，由其他模态提供背景。例如，在戏剧的开始，首先出现一个布景，提供事件发生的时间、地点、环境，还可以包括人物等。 • 4. 整体部分（抽象具体）关系 • 在多媒体时代，教师可以通过选择合适的媒体来提供具体的信息，从而使学生能更清楚地理解所教的内容。例如，当你教授一种新奇的动物或者植物时，你一般首先提供名称，然后做些简单的讲解。学生仍然不知所云。但如果提供一个照片，如果条件允许的话，提供一段有关这种动物或者植物的录像，会使学生一目了然。

26. 6.3.4 多模态选择的目标 • 从经济的角度讲，使用单模态要比用多模态要简单、省力，所以使用多模态进行交际必然要有一定的理由，组成这些理由的最主要因素是使用多模态的所要取得的效果或者目标；形成多模态选择的动因可以总结为一下几个方面：

27. 1. 补缺，一种模态不足以表达意义，或不能使听话者理解意义，用另一种来补充剩余的意义，即一种模态只能体现要表达的部分意义，另一部分需要通过另一种模态来体现，例如：在较远的距离内或者噪杂的环境中喊叫某个人时同时打手势；在幽默图画中只提供语境依赖性强的书面话语，或者在录像中提供同类口头话语。图画没有文字则不能把整体意义表达出来；同样录像没有口头话语也会使看者一头雾水。 • 2. 强化，一种模态表达整体意义，另一种来突出部分意义，例如：（重音、黑体、前景图像、彩色等） • 目的：使重点意义突出。

28. 3. 吸引注意力，一种模态表达基本的意义，另一种来更加具体和形象地重现这种意义；例如，用文字标出某个动物或者植物的名称，用图像把这种动物或者植物的典型形式表现出来；用语言艺术、图像、动作来幽默的表达意义，吸引听话者的注意力等； • 形象 • 幽默 • 激发兴趣 • 目的：使读者或听话者把注意力转移到话语交际上来。

29. 4.抒发情感，用一种模态来表达基本的概念意义，用另一种模态来表达人际意义，包括态度、情感、目的等，例如：在用文字描述游行事件的同时，用照片再现当时的场景，用一定的角度和方式把警察表现为邪恶的人，或者用相同的方法把他们表现为英雄，都属于这一类。4.抒发情感，用一种模态来表达基本的概念意义，用另一种模态来表达人际意义，包括态度、情感、目的等，例如：在用文字描述游行事件的同时，用照片再现当时的场景，用一定的角度和方式把警察表现为邪恶的人，或者用相同的方法把他们表现为英雄，都属于这一类。 • 喜爱 • 憎恨 • 目的：力图左右听话者或者读者的态度和价值观等，使其转向有利于自己的观点和态度。

30. 5. 易理解，一种模态表达比较抽象、概括、偏僻、难度特别大、深奥道理或者结论等，用另一种模态来提供其实例、说明、关系等使理解更加容易。例如，在谈论龙时，在中国人头脑中出现的形象是中国雄伟荣耀的、代表皇帝的龙。即使说的是西方的龙，如果不加说明，也是如此；用文字说明则需要很多的话语，但用图形方式表现出来则十分容易理解，因为根据形象本身我们就可以发现，西方的龙是邪恶的化身。这类多模态的用途还包括用表格表示数量和关系、用简化图表示理论框架、用流程图表示进程等。 • 具体化、形象化、图形化、关系化 • 目的：使所交流的信息易于被听话者理解和接受，避免模糊和不确定性理解。

31. 7.0 结语 • 从上所述，系统功能语言学为多模态话语分析和研究提供了理论基础。多模态话语可以从文化、情景、话语意义、语法、形式和媒介多个层次进行研究。 • 从媒体的角度讲，各种不同的非语言媒体，特别是现代技术媒体，为话语交际提供了大量新的可选择方式。它们可以通过不同的模态来实现话语的意义。 • 在多模态话语中，不同模态的话语之间是相互联系的，这些关系我们把它们总结为互补与非互补；在互补中，又有强化与非强化之分；在非互补关系中，可以区分内包、交叠与语境互动几个类别。在语法层面上，每一种模态都有自己的语法来体现话语意义。

32. 本文提出了现代技术条件下模态选择问题 • 1.模态选择的程序：文化语境、情景语境、意义选择、模态形式、媒体实体 • 2.模态选择的主导因素：意识形态、体裁、语域 • 3.模态选择的原则：作为工具、作为助手、作为补充手段 • 4.模态选择的目标：补缺、强化、吸引注意力、抒发情感、易于理解 • 将来的研究：一定的话语以什么模态和媒体表达最为有效，是需要进一步认真研究的课题。

33. 参考书目 • Sinclair, J. McH. & Coulthard, R. M. 1975. Towards an Analysis of Discourse: The English Used by Teachers and Pupils. London: Oxford University press. • O'Halloran, Kay L. 2004. Multimodal Discourse Analysis: Systemic-Functional Perspectives. London: Continuum. • Kress, G. (2003) Literacy in the New Media Age. London: Routledge. • Kress, G. and van Leeuwen, T. (1996) Reading Images: The Grammar of Visual Design. London: Routledge. • Kress, G. and van Leeuwen, T. (2001) Multimodal Discourse: The Modes and Media of Contemporary Communication. London: Arnold. • O'Toole, M. (1994) The Language of Displayed Art. London: Leicester University Press. • Royce, T. (2002) Multimodality in the TESOL Classroom: Exploring Visual-Verbal Synergy. TESOL QUARTERLY, 36(2), 19 1-205. • Christie, F. 2002. Classroom Discourse Analysis: A Functional Perspective. London: Continuum. • Granstróm, B, House, D and Karlsson, L. (eds) (2002) Multimodality in Language and Speech Systems. Kruwer Academic Publishers. • Halliday, M.A.K. 1973: Explorations in the functions of language. London: Edward Arnold. • Halliday, M.A.K. 1975: Learning how to mean. London: Edward Arnold. Reprinted in • Fawcett, R.P., Lamb, S., Makkai, A. (eds), The semiotics of language and culture. Volume 1. London: Frances Pinter; 3-35. • Halliday, M.A.K., Hasan, R. 1976: Cohesion in English. London: Longman. • Halliday, M.A.K., Hasan, R. 1985: Language, context and text: a social semiotic perspective. Geelong, Vic.: Deakin University Press. • Halliday, M.A.K., Matthiessen, C.M.I.M. 2004, Introduction to Functional Grammar. London: Edward Arnold. • Halliday, M.A.K., Martin, J.R. 1993: Writing science: literacy and discursive power London: Falmer. • Halliday, M.A.K., Matthiessen, C.M.I.M. 1999: Construing experience through meaning: a language-based approach to cognition. London: Cassell. • Lemke, J.L. 1985. Using Language in the Classroom. Geelong, Victoria: Deakin University Press. • 胡壮麟，2007，社会符号学研究中的多模态化，《语言教学与研究》2007年第一期。 • 李战子，2003，多模式话语的社会符号学分析，《外语研究》2003年第五期。 • 成文，田海龙，2006，多模式话语的社会实践性，　《语言学研究》第八期。 • 朱永生，2007，多模态话语分析的理论基础与研究方法[A]，《外语学刊》，2007年第五期。

34. 谢谢 • 请批评指正