一个研究设想：知识界面及交互

1. 一个研究设想：知识界面及交互 西南交通大学经济管理学院 人因工程研究所 李永建 2011.5

2. 1。背景与意义 1.1人机知识/智能/自然交互关系是当今科学技术理论研究的前沿 1.2实现人机知识/智能/自然交互关系是当今科学技术应用研究的热点 1.3明确使用“知识/语义界面”概念、基于“知识/语义界面的人机交互”的研究鲜见 2。研究现状与趋势 2.1人机界面从传统的“刺激/信号界面”向“知识/语义界面”发展 2.2人机交互从传统的“刺激/信号界面—操作”向“知识/语义界面—解题”的发展 2.3人机界面技术向综合化、一体化方向发展 2.4人机交互技术向基于多通道的多模态方向发展 2.5人机交互模型从人适机向机适人发展 3。知识界面及交互 3.1知识界面 3.2基于知识界面的人机交互 3.3人与知识界面/接口的交互构成了现代人机知识关系的基本结构与功能单元 3.4基于知识界面的人机交互是现代人机智能、自然关系研究的前沿性基础问题

3. 1。背景与意义 • 广义看：人必然与外界交互，且只能通过自然或人工界面而实现 • 通过认知界面接受信息，通过操作界面作用外界 • 故世界各国将人机交互作为研究重点，现代人机关系知识化使基于知识界面的人机知识交互成为智能、自然人机交互研究的前沿。 • 科学技术“以人为本”，既是目标，也是实现目标的手段。 • 著名科学家钱学森指出:突破人工智能面临的困境是人机结合的智能系统

4. 1。背景与意义 • 1。1 人机知识/智能/自然交互关系是当今科学技术理论研究的前沿 • 现代人机关系发展的基本特点是知识化 • 各种人机系统（从简单到超大规模复杂人机系统，从工作到生活、娱乐的人机关系）无不反映这种发展趋势 • 简要看，智能界面突出的是界面主导的智能导航；自然界面强调的是界面的多通道（如脑—机接口等）的自然交互特征；知识界面重点在人机基于知识的对话。 • 人机智能、自然交互必然、也只能通过人机知识/语义对话才能实现，构成智能、自然人机交互的基础。 • 现代科学技术前沿领域中的一个基础问题，多学科的交叉领域

5. 1。背景与意义 1.1人机知识/智能/自然交互关系是当今科学技术理论研究的前沿 美国总统信息技术顾问委员会的“21世纪的信息技术报告”中将“人机交互和信息管理”列为新世纪4项重点发展的信息技术(还包括软件、可伸缩信息基础设施、高端计算)之一,它的目标是研制“能听、能说、能理解人类语言的计算机” 2007年美国NSF在信息与智能系统( IIS)中列出的三个核心技术领域之一是以人为本的计算，其具体主题包含多媒体和多通道界面、智能界而和用户建模、信息可视化，以及高效的以计算机媒介的人人交互模型等 2007年欧盟第七框架项目中也包含了自然人机交互的内容 国外许多知名大学和研究机构都在自然人机交互领域开展了相关研究 如UC Berkeley , MIT, CMU , Stanford , Maryland ,Brown ,Toronto , Michigan等大学和Microsoft , IBM、施乐等公司也都作了很多研究工作。 美国DARPA项目的HCI研究中也有Stanford ,CMU,MIT,OGI等参加的多项自然人机交互研究; 欧共体委员会CEC(Commission of the European Communities)制定了一个欧洲信息技术战略计划ESPRIT对自然人机界而进行了系统的研究，其中包括语音识别、语音合成、声音的空间化、笔式输人和手写体等各个支撑技术的研究。 我国重大研究计划 将对人类如何思考以及机器如何帮助人类更好地工作产生重大影响

6. 1。背景与意义 • 1.2实现人机知识/智能/自然交互关系是当今科学技术应用研究的热点 • 计算机、网络、手机、家用电器、工业设备、医疗设备、娱乐设备等等 • 调查表明，由于人机交互的问题，计算机用户浪费12%以上的时间。因此，数码产品需要更好的人机交互，将使用户更满意、更快捷的使用产品，以提高使用效率（生产率）、安全可靠性。 • 不同学科关注的交点：人机交互、可用性、用户体验 • 成为产品成败的决定性因素：例，iPHONE（多点触控技术）、手机的可用性问题，手机屏保软件等案例 • M a r y向记者展示了使用肌肉计算控制界面演奏《吉他英雄》（G u i t a r H e r o）的过程：一个赤手空拳的年轻人投入地用手指在空中按来按去，脑袋随着节奏甩动，而面前的显示屏中的吉他按照年轻人手指按动的压点和轨迹，传来相应的旋律。

7. 1。背景与意义 • 1.3明确使用“知识/语义界面”概念、基于“知识/语义界面的人机交互”的研究鲜见 • 查中国知识资源总库（CNKI），仅有几篇明确使用“知识/语义界面”概念、基于“知识/语义界面的人机交互”的相关研究文献。 • 这里，需要着重指出的是，科学技术以人为本，人与外界（自然世界与人造世界）的关系是通过基于界面（自然界面与人造界面）的交互作用而实现的； • 因此，关于“知识/语义界面”和“基于知识/语义界面的人机交互”的问题必然或多或少要反映在每一篇人机界面与人机交互的研究之中。

8. 2。研究现状与发展趋势 • 2.1 人机界面从传统的“刺激/信号界面”向“知识/语义界面”发展 • 传统人机界面提供（输出）的是刺激、信号 • 传统的人机界面仅提供系统运行与控制的简单、明确的物理信号 • 如通过各类仪表的指针、灯光、声音、色彩、振动及其它们的数量、位置、大小、密度、组合、对比度等信号的物理特征给人提供系统运行状态与操作功能的信息，由它们构成信号关系简单、明确的人机界面。 • 例如，驾驶界面、监控界面等。 • 现代人机界面提供（输出）的是知识、语义 • 现代人机界面在传统的人机界面的基础上，融合计算机技术，提供复杂的、具有层次与结构的、包括自然语言与人工语言的图、符号、字词、概念的系统运行状态与操作功能的语义信息。 • 例如简单的家电（如电视、手机）普遍采用了多层菜单（语义层次结构）界面进行复杂的人机交互，这是传统人机交互不可能实现的。

9. 2。研究现状与发展趋势 • 2.2人机界面从传统的“刺激/信号界面”向“知识/语义界面”发展 • 例：人机界面可视为万维网中的一个节点 • 人机界面知识化从一个节点反映了万维网向语义网的发展趋势。随着机器越来越深入人类生活，人类已经而且必将越来越熟悉和习惯机器的“思维方式”（人类语义越来越“接近”人工语义，或者出现某种人类和机器共同的 “人机语义”）。 • 从而导致人机交互方式正在经历根本性变革——从纯语法处理方式向语义处理方式转化；机器系统的 “逻辑本性” 正在经历重大转变——从 “同质系统” 向 “异质系统” 变迁。 • “人机语义”的基本特征可以概括为异质性、相对于语义网规则的可证正确性和人机互可理解性。例：win中的变色、√、┅、→等 • 传统社会的基本结构是以人际关系作为生产和生活的基本连接纽带，机器之间的连接不起实质性作用； • 未来网络社会是以机器网络作为生产和生活的基础平台与连接纽带，人际关系越来越多地借助于机器网络和人机关系得以实现。 • 这意味着机与机之间以及人与机之间的相互沟通与 “理解”变得越来越重要。

10. 人机连接关系 • 传统：通过人与人的联系构成机与机的联系 • 现代：通过机与机的联系构成人与人的联系：万维网(World Wide Web)

11. 2。研究现状与发展趋势 2.2人机交互从传统的“刺激/信号界面—操作”向“知识/语义界面—解题”的发展 （1）人机交互的特征决定于界面（包括认知界面与操作界面）特征与用户特征及其关系。由于人机界面的知识化，基于界面的人机交互也从操作过程转化为解题过程（知识作业过程/脑力劳动过程、认知过程）。 （2）基于传统人机界面的人机交互模式：“刺激/信号界面—操作”，重在操作技能用认知科学术语可更为简明描述为“刺激—反应”模式。在这种人机交互模式下，由于信号简单、明确，而操作复杂、要求高，要使系统正常运行就必然强调操作与操作技能。如驾驶技能、机床操作技能。 （3）基于知识界面的现代人机交互模式：“知识/语义界面—解题”，重在认知技能用认知科学术语可描述为“知识/语义界面—认知过程”模式。在这种人机交互模式下，由于信号具有复杂表现形式（自然语言与人工语言的图、符号、字词等）、复杂的语义层次与结构，而操作相对简单（如鼠标、键盘、触摸操作）。 要保证系统正常运行、人机交互目标的实现就必然强调认知与认知技能 例如，专业人员与非专业人员的不同知识背景所导致的人机交互特点的不同：专业人员是在“老师”指导下的解例题过程，重视的是效率、可靠性； 而非专业人员是自学基础上的解题过程，注重的是可用性、用户特征等问题（这种差异是界面设计必须考虑的问题）。 人机交互就发展成为知识界面所定义的语义网上的解题过程（问题解决过程/知识作业过程/脑力劳动过程/认知过程/计算过程）。

12. 2。研究现状与发展趋势 • 2.3人机界面技术向综合化、一体化方向发展 • 人机系统（航空航天、高铁）的高速化，必然带来信息显示的复杂化以及与此对应的操控复杂化，必然促使越来越多地采用智能化、数字化的显控技术。 • 飞机、航天器驾驶舱的演进反映了显控系统的发展特征 • 70年代前从简单到复杂，驾驶舱内的各类仪表和开关不断增多，且渐趋饱和； • 70年代末期开始，随着航空电子技术的不断发展，又开始由复杂趋向简明； • 进人90年代，提出了“大图像”智能化座舱，全景座舱控制与显示系统的概念和超全景座舱和虚拟应用等概念，驾驶舱开始向工作站方式推进。 • 进入2000年后，正在向基于超全景、临境显示技求的虚拟座舱及其合成景象显示系统和多通道智能控制系统方向发展。 • 最近几年，随着显示与控制的复杂化，为了节约时空资源，显示与控制集成的综合化发展加剧，认知界面中既有显示的问题，也有控制的问题。其典型就是触摸显示键盘控制器，通过全面电子化使控制器实现时分制多功能,实现控制器和显示器的综合化。 • 例如载人航天器最终有可能实现以综合电子显示为主的综合语音控制-电子显示系统,乘员舱内的开关、按钮及部分仪表将有90 %要被计算机辅助综合控制-显示系统代替，实现系统的集中显示与控制的需求。

13. 2。研究现状与发展趋势 • 2.4人机交互技术向基于多通道的多模态方向发展 • 一般认为人与计算机交互的发展经历了： • 第一代，基于键盘和字符显示器的交互阶段 • 使用的主要交互工具为键盘及字符显示器，交互的内容主要有字符、文本和命令，交互过程显得呆板和单调 • 第二代，基于鼠标和图形显示器的交互阶段 • 使用的主要交互工具为鼠标及图形显示器，交互的内容主要有字符、图形和图像 • 第三代，基于多媒体技术的交互阶段 • 多媒体技术使用户能以声、像、图、文等多种媒体信息与计算机进行信息交流，从而方便了计算机的使用，扩大了计算机的应用范围，促进了信息处理技术特别是计算机听觉与计算机视觉的发展，从而使人机交互在朝着自然、和谐的方向上向前迈进了一大步.

14. 2。研究现状与发展趋势 • 2.4人机交互技术向基于多通道的多模态方向发展 • 第四代，基于多模态技术的交互阶段 • 新一代(第四代) 人机交互的概念框架和其四个标志性特征,即: • (1) 具有多模感知(听觉，视觉，手势，笔势等) 功能的人机交互方式； • (2) 可进行基于Agent 的听、视觉对话，作为人机交互的界面； • (3) 具有Internet 数据仓库和基于内容检索的知识处理能力，作为人机交互内容； • (4) 可以在二维或虚拟的三维环境中实现人机通信，作为人机交互的环境。 • 作为新一代（第四代）人机自然交互系统仿真了人类之间的交互，多通道（视、听、触、嗅等）之间的语义交互是实现多模态技术的基础 • 人类在与其环境进行交互时是多模态的. 人可以同时说、指和看同一个物体；还可以通过同时听一个人的说话语气和看他的面部表情及手臂动作来判断他的情绪. 为了更好地理解周围的环境,人类每时都在使用视觉、听觉、触觉和嗅觉，可以说多模态是人类之间自然交互的体现。

15. 表现部件 对话控制 应用接口 2。研究现状与发展趋势 • 2.4人机交互模型从人适机向机适人发展 • 根据研究的侧重点不同，人机交互模型可分为两个方面的研究（当然这两方面的研究融合、交叉）。 • 第一，从机的角度，主要讨论界面在系统中的地位、功能、关系与分解，被称为“界面结构模型” • 如将界面分成三部分（表示部件、对话控制、应用接口）的Seeheim模型(GREEN,1986) • Seeheim模型的一个显著特征是强调对话控制部分的作用。 • 然而，在直接操作对话中用户是与个别应用语义对象的图形表示交互，而不是与整个应用系统对话。 • Seeheim模型本身并不支持直接操作的语法与语义要求，因而这个模型对直接操作界面不是非常合适的 • 多层结构模型（PAC模型、ALV模型、C2模型、Arch模型、基于Agent的多通道用户界面模型PBM_MM、支持多通道交互的智能体的结构模型MAMS（Multi-agent Architecture with Multimodal Support））。 应用程序 最终用户

16. 2。研究现状与发展趋势 2.4人机交互模型从人适机向机适人发展 第二，从用户的角度，讨论基于系统、界面的用户特征，被称为“用户特性模型”/“行为模型”。 如Norman执行-评估循环模型。他将人机交互看作是人与系统的互动模式，认为人机交互过程有为两个重要阶段：执行阶段和评估阶段，并进一步划分为七个部分。 1.确立目标； 2.形成意图（比目标更加具体化）； 3.形成基于意图的操作序列； 4.发出相应的操作指令； 5.察觉系统当前的状态； 6.对当前系统状态进行解释、描述； 7.根据任务的目标和意图对当前系统状态进行评估。 执行-评估循环模型为考虑人机界面的指导原则提供了非常有用的整合框架，但是在预测用户对特定设计的具体反应上不是很有用[21] 还有用户绩效模型GOMS、eGOMS模型、用户概念模型、人机交互资源模型等。 这两方面的研究，一个显著的发展趋势是越来越重视人机的自然/知识交互，即向机适人的人机交互模型发展。自然，知识界面所定义的语义网上的解题过程就成为现代人机交互模型研究的核心问题。

17. 2。研究现状与发展趋势 • 2.5人机界面及交互缺乏标准 • 界面的特征决定了交互的特征、效率、可用性、安全性。 • 现代人机界面的类间与类内差异缺乏一致性，界面的特征很大程度上取决与设计者个人或团队的特征。 • 研究揭示：手机界面上使用“通讯录”或“电话簿”等不同的标签命名，直接影响手机的可用性。可见，缺乏人机知识界面及语义交互标准与设计标准的理论准则是其重要原因。

18. 3。知识界面及交互 • 3.1基础概念 • 人机系统(man-machine system)：指“人”与他所对应的“物”共处于同一时间及空间时所构成的系统。 • “人”指的是在所研究的系统中参与系统过程的人; • “机”则泛指一切与人处于同一系统中并与人交换着信息、物质和能量的、供人使用的物; • “环境”指的是“人”、“机”共处的、对“人”和“机”有直接或间接影响的周围外部条件。 • 人机界面（Human-Machine/Computer Interface）用户界面是人与计算机之间传递、交换信息的媒介和对话接口，是计算机系统的重要组成部分。 • 人机交互（Human-Machine/ Computer Interaction，HCI）是研究人、计算机以及它们间相互影响的技术； • 它们有紧密的联系，但又是两个不同的概念: 前者强调的是技术和模型，后者是计算机、设备的关键组成部分

19. 人是一个高度复杂的系统，它由许多子系统组成。机器也是由不同部分组成的，复杂的机器也包括着许多子系统。在人-机-环系统中，人、机、环之间往往只是其中的某种子系统或子系统中的某些组成部件之间直接发生相互作用。这种直接发生相互作用的部分称为界面，又叫做接口。人是一个高度复杂的系统，它由许多子系统组成。机器也是由不同部分组成的，复杂的机器也包括着许多子系统。在人-机-环系统中，人、机、环之间往往只是其中的某种子系统或子系统中的某些组成部件之间直接发生相互作用。这种直接发生相互作用的部分称为界面，又叫做接口。 • 一类是直接与人构成的界面，即人-机具界面、人-软环境界面、人-硬环境界面； • 第二类是机具、软环境、硬环境三者之间的界面，即机具-软环境、机具-硬环境界面、软环境-硬环境界面。这一类界面关系间接对人发生作用，例如系统中的机器硬件运转时所产生的热量、发生的噪声或气味都成为工作环境的组成因素而对操作者发生影响； • 第三类界面是系统组成部分内部的界面关系，即机具-机具界面、软环境-软环境界面、硬环境-硬环境界面、人-人界面。 • 人因工程主要研究第一类界面，即人与机具件、软环境、硬环境间的界面关系。 • 从根本上讲，界面是信息、物质、能量的相互传递、相互影响、相互转换、相互作用的过程。

20. 依据信息加工的流向，可分为认知界面与操作界面依据信息加工的流向，可分为认知界面与操作界面 • 如果把人-机-环系统看成是一个信息加工的闭环系统的话，那么信息加工形成环流，系统中的信息传递构成认知界面与操作界面，可把由感受器和显示器构成的人机信息传递接口称为人机认知界面，把由效应器和操纵器构成的人机信息传递接口称为人机操作界面。 • 认知界面是指人的信息感受器（如眼、耳、鼻、压力感受器、温度感受器、运动感受器等）接受系统的输出、系统运行状态、系统所在环境的变化等显示的信息并发生相互作用的接口。 • 操作界面是指人对系统的控制、操作信息由效应器（手、脚、口等）传递给系统操作控制器并产生相互作用的接口。

21. 3。知识界面及交互 • 3.2知识界面 • 定义：界面上物理符号所表达的语义网。 • 这里“物理符号”，即1976年纽威尔和司马贺提出了物理符号系统中的“符号”——物理符号系统主要是强调所研究的对象是一个具体的物质系统，如计算机的构造系统，人的神经系统、大脑神经元等。 • 简单说，语义网就是能够根据语义进行判断的网络。语义网是一种能理解人类语言的智能网络，它不但能够理解人类的语言，而且还可以使人与电脑之间的交流变得像人与人之间交流一样轻松。 • 这里的“语义网”有两个约束（如短信模块） • 界面上物理符号所表达的语义 • 描述界面的功能与操作关系 • 比较（参考2.1） • 传统界面：刺激、信号 • 现代界面：语义，知识

22. 3。知识界面及交互 3.3 基于知识界面的交互 定义：界面物理符号所表达的语义网上的求解过程。 人机交互是研究人与计算机之间通过相互理解的交流与通信,在最大程度上为人们完成信息管理, 服务和处理等功能的一门技术科学. 知识界面交互，又即知识作业过程 认知工效学的观点：知识作业过程是“合理编拟”的心智操作序列（心智操作链） （mind operations，MO ），是人脑的信息加工过程，是人脑的计算过程。 从经典科学管理理论的角度看，心智操作是知识作业的“动素”，一连串心智操作构成知识作业过程。这种过程是机械性的、有序的、可计算的、在形式上（而不是语义和内容上）可重复过程。 如现代“军人－技术装备”系统中的作业就被视为复杂的解题过程：一个为完成某项任务或达到某种目的而对智力行为的顺序进行合理编拟的过程，该过程是在变换原始信息的基础上完成的。 合理编辑知识作业的心智操作链，即建立知识作业的心理模型(mental model)。 例如，短信模块事件激活的功能：查看、删除、转发、编辑 少了，不方便 多了，麻烦

23. 3。知识界面及交互 • 3.3 基于知识界面的交互 • 人机对话：指计算机用户与计算机系统之间的通讯 • “问题回答”(Question Answering ,简称QA)。在网络信息处理的范围内,语义网的学科意义中最值得关注的是它对下一代信息检索技术的牵引作用。 • QA被认为是一种更适合应用需求、更高级的信息检索方式,是下一代信息检索的主流技术。QA 系统直接针对用户提出的自然语言问题，从各种数据源(WWW、数据库和知识库，等等) 中自动生成回答，因而涉及自然语言处理等复杂技术。 • 近年来，QA 系统研究被明确划分成“闭域”(closed-domain) QA 与“开域”(open-domain) QA 两个方向，前者关注特定领域中的问题回答，后者关心任意领域的问题回答。 • 比较（2.2） • 传统界面：重操作，操作技能，如驾驶技能等 • 现代界面：重认知，认知技能，迅速理解界面的功能对应的操作关系

24. 3。知识界面及交互 3.4人与知识界面/接口的交互构成了现代人机知识关系的基本结构与功能单元 现代人机关系虽然非常复杂，基本的问题仍可分解并归结为：人与知识接口的交互。虽然，这一基本结构与功能单元本身也非常复杂（如同复杂的细胞是人体系统的基本结构与功能单元一样），可从以下进行描述。 （1）人与知识界面/接口的交互是人n一机n关系的基本单元 不管是一人一机、一人多机、多人一机、多人多机等情况，还是扩展到万维网的成千上万人的在线情况，在时间与空间上都可分解并归结为人与知识接口的交互，构成人机关系的基本单元。 （2）人与知识界面/接口的交互构成了人机技术关系的基本单元 作为新一代人机自然交互系统仿真了人类之间的交互，多通道（视、听、触、嗅等）之间的语义交互是实现多模态技术的基础。换言之，现代人机自然（多模态）交互必然、也必须通过人机知识/语义交互实现。 （3）人与知识界面/接口的交互构成了人机用户关系的基本单元 如果主要从人的认知的角度分析人机交互，如计算机支持协同工作CSCW (Computer Supported Cooperative Work) 传统社会的基本结构是以人际关系作为生产和生活的基本连接纽带，机器之间的连接不起实质性作用；而现代网络社会是以机器网络（如Internet网、移动通信网等）作为生产和生活的基础平台与连接纽带，人际关系越来越多地借助于机器网络和人机关系得以实现。 这意味在现代社会中，人机交互成了建立、维护人与人之间联系的基础，即：在人机关系中，人机交互是人际关系（用户关系）的基本结构与功能单元。 (4)知识界面是各种界面连接的交集 多通道自然交互必然以语义为交接点 各界面之间的链接，也必然以语义为基础

25. 国家发明专利 • 一种视觉防振方法（审理过程） • 视觉识别光环境自适应系统（审理过程）