Issues of quality and practicability in task analysis : preliminary

1. Issues of quality and practicability in task analysis : preliminary The practice of competency modeling Presented by 윤지영, 이민영, 박혜선 June 1, 2006

2. III. Issues of quality and practicability in task analysis : preliminary results from two surveys

3. III. Issues of quality and practicability in task analysis : preliminary results from two surveys • I. Introduction Table of Contents • 연구의 목적 : 서로 다른 두 산업 분야에서의 TA 연구들을 조사하여, 각 연구들의 목적과 연구 방법, 자료 수집 등에 대해 알아봄 (어떠한 TA들이 실시되었나?) 이 연구는 분석가들이 TA 방법의 사용과 선택에 있어서 좋은 가이드를 제공하기 위함 • 연구 분야 : Defence industry, nuclear power industry in UK • TA 연구의 단점 : data source와 방법의 불충분한 설명, 증거의 부족 정보 사용자는 비용이 많이 드는 design recommendation을 사용할 수 밖에 없는 상황) : incumbents and supervisors (현직 업무 종사자와 감독자 자 • 복잡한 시스템이 안전하고 효과적인 방법으로 설계되고 조작되기 위해서 user들에게 제공되는 interface(hardware, software, procedures, training, organization, etc)들에 중점을 둔 task-based (과업 기반) 분석적 접근이 필수적임. • TA는 사람에 의해서 조작되는 복잡한 시스템의 interface의 타당성을 설계하고 평가하기 위해서 중요함.

4. III. Issues of quality and practicability in task analysis : preliminary results from two surveys • I. Introduction Table of Contents

5. III. Issues of quality and practicability in task analysis : preliminary results from two surveys • I. Introduction Table of Contents • 많은 연구들에서 data source와 관련한 심각한 단점은 : data source가 명확하게 정의되어 있지 않다. 따라서 많은 연구들과 recommendation을 얼마나 신뢰할 수 있을지를 결정하기 어렵다는 것을 의미함. • 문제점1) 자료의 출처에 관련한 참조부분을 완전히 생략하거나, 그것을 잘못 정의하고 있다. 2) 기술과 조작적인 정보를 제공하는 직원의 경력 수준이나 배경을 정의하지 않았다. 3) trial이 조작적인 시스템이라기보다는 simulator였다는 것과 같은 주요 세부사항을 생략하고 있다. • simulator : 분석가들이 일반적으로 교육 부분에 사용하기 위해 자료 수집 계획을 할 때 효과적으로 사용됨 • 훈련개발을 위한 연구는 없었음.(manual과 같은 훈련 자료의 사용은 저조함.) 그럼에도, 많은 연구에서 훈련 정보는 유용한 것으로 간주됨.

6. III. Issues of quality and practicability in task analysis : preliminary results from two surveys • I. Introduction Table of Contents • HTA는 일반적인 TA기술에 가장 가까운 것임. • 보고서의 절반은 HTA를 사용하지 않았음. -> 단지 순서대로 일어나는 task list만을 개발했을 뿐임. -> 이것은 scenario-based task에 적당할 수 있음. • HTA의 단점 : 복합적인 과업 요소가 어떻게 순서가 정해지는지를 보여주기 위한 계획의 부족 • 많은 연구들이 decomposition table의 형태를 만들어내고 있음. • 임무할당의 평가는 walk-through중, 또는 실제 과업을 시행하는 중에 이루어짐.참가자들에게 과업 기술서를 주고 일의 할당에 대한 평가를 하도록 함(5점 척도, 정확성과 일관성이 부족) • Workload 분석은 실용적인 할당을 위해 유용한 자료를 공급할 수 있음. • graphical technique(link analysis, operational sequence diagram, flow charts, timeline)는 항상 효과적으로 사용되는 것은 아님. - 일반적으로 과업의 복잡성을 나타내기 때문에, diagram이 복잡할 수 있다. - 잘못 사용될 수 있다.(예를 들어, link analysis 와 spatial operational sequence diagram사이의 혼란때문에..)

7. III. Issues of quality and practicability in task analysis : preliminary results from two surveys • I. Introduction Table of Contents • 많은 연구들은 사용된 data source와 방법들에 대해 언급을 하지만, 대략의 Outline만을 제공하는 경향이 있음. • 문제점1) 보고서 안에 분석가에 대해 정확히 명시되어 있지 않다. 제시된 recommendation이 심리학적 이해를 기본으로 한 것인지, 또는 주관적인 의견이 개입된 것인지를 확인할 수 없다. 2) Walk-through나 현장에서 자료 수집이 진행 될 때, 이것이 얼마나 철저한 절차를 거쳤는지가 명확하지 않을 때 가 있다. 예를 들어, reader가 이 보고서를 읽으면서, 몇 번이나 현장을 방문했으며, 몇 명이 이 보고서에 개입되 었으며, 또는 단 한 번의 방문으로 자료를 수집한 것이 아닐까 하는 의문이 생길 수 있다는 것이다. 3) SME의 배경이나 경험을 명시하지 않은 채 종종 사용되어진다. 4) Task Timing에 대한 보고가 없다.

8. III. Issues of quality and practicability in task analysis : preliminary results from two surveys • I. Introduction Table of Contents

9. III. Issues of quality and practicability in task analysis : preliminary results from two surveys • I. Introduction Table of Contents • 이 조사의 응답자들에게 각 연구들을 시스템의 life cycle의 6개 key phases 중 하나로 분류하도록 함. • Key phases : 1) concept 2) feasibility 3) project-definition 4) detailed design 5) acceptance/commissioning 6) in service • 이 연구들은 설계 과정의 거의 모든 단계(6단계)에 드러나고 있지만, 초기의 디자인 결정 단계에서 TA는 거의 사용되어지지 않았음. (6단계 중 concept의 단계에는 TA가 보고되고 있지 않음.) • Defence Industry 와의 차이점: TA는 일반적으로 설계 과정 초기에 소개되어지는 경향이 있음. : 논리적인 문제점들이 더욱 더 중요시됨.

10. III. Issues of quality and practicability in task analysis : preliminary results from two surveys • I. Introduction Table of Contents • 주요 자료수집 방법1) Talk-through 2) Walk-through 3) Informal discussion • Walk-through : 과업 기술서의 기본적인 set 를 개발하기 위해서 사용Informal discussion : 자세한 정보를 얻기 위해 사용 Comprehensive decomposition table의 작성task 요소들 사이의 관계를 확인하고 주요한 문제점을 해결하기 위해 제한된 discussion을 사용 top-table discussion (특정한 scenario나 procedure에 초점) -> 효과적인 형태로 드러남 설문지와 구조화된 인터뷰 -> 하지만, 이 모든 방법들이 자료 수집에 있어서 효과적인 방법임을 증명해주지는 못함.

11. III. Issues of quality and practicability in task analysis : preliminary results from two surveys • I. Introduction Table of Contents • HTA는 광범위하게 사용됨에도 불구하고, 상당한 TA가 대안적인 기술로서 사용되고 있음. • task가 일반적으로 직선의 순서로 진행되지 않을 때 HTA는 task plan을 보여줌. -> 대부분의 HTA는 4-5개의 단계의 묘사로 나타난다. • 보고서에서의 HTA 정보의 presentation은 굉장히 다양함. - 1/3의 보고서는 HTA diagram을 나타내지 않았음. • Diagram의 주 가지 중요한 기능1) diagram은 task의 구조화된 overview를 제공한다. 2) diagram은 분석가가 task 구성 요소들을 조직하기 위해 사용한 model을 나타내준다. • HTA Diagram은 명확히 이해할 수 있는 것이어야 함. • TA에 친숙하지 않은 사용자들은 HTA를 잘못 이해할 수 있음. • 다양한 convention의 설명에 도움을 줄 수 있음. • 그러나 소수의 보고서에서만 포함되고 있음.

12. III. Issues of quality and practicability in task analysis : preliminary results from two surveys • I. Introduction Table of Contents • 자료 분석 방법: timeline(시간표) – task가 실현 가능한 것인지를 보여주는 효과적인 방법 • TA수행 시 요구되는 자원의 양을 언급한 보고서는 없음 • 대부분의 자원들은 off-site에서 수집될 때, 이 보고서들의 reader들로 하여금 실제 task 수행과 거의 관련이 없는 무의미한 정보들로 인해 당황해 하는 경우가 발생함

13. III. Issues of quality and practicability in task analysis : preliminary results from two surveys • I. Introduction Table of Contents • 거의 100개의 연구들이 이 두 조사에서 다뤄짐 • Nuclear보다 defence industry의 연구들에서 TA가 상당한 가변성(Variability)이 있는 것으로 나타남. • TA의 목적1) Defence industry에서의 TA의 목적은 시작단계에 분석가들에게 항상 명확하게 드러나지는 않는다.반면 Nuclear industry에서 TA의 분석가들은 TA의 목적을 project 시작 단계에 명확하고 포괄적으로 제시하는 경향이 있다. 2) 지식의 수준은 일반적으로 Nuclear industry에서 TA를 수행하는 분석가들이 더 높다. • 일반적으로 통찰력이 있는 TA는 경험이 풍부한 분석가들에 의해 수행되어 졌다. • 방법론, 자료 수집, 자료 분석, TA정보의 presentation 등을 포함한 TA를 수행하기 위한 여러 단계를 위한 발전 지침이 마련되어야 함은 중요하다. • 이러한 지침은 유연성이 결여되고 틀에 박힌 규칙보다는 좀 더 체계적인 충고를 제공해야 한다.

14. IV. The Practice of Competency Modeling

15. IV. The Practice of Competency Modeling Table of Contents • 연구의 목적 : HR researchers, practitioners, HR관련 서비스의 사용자 사이에 혼란을 일으키는 trend인 Competency Modeling 를 정의하고 설명하기 위함 • 연구문제 : 1) What is a competency? 2) What is the difference between competency modeling and job analysis? 3) Why are competencies so appealing to consumers in business and industry? 4) What is the future of competency modeling?

16. IV. The Practice of Competency Modeling Table of Contents • 문헌 고찰 • 인터뷰 - Competency Modeling의 사용과 개발에 있어서 다양한 배경을 가진 37명의 SME • JACMTF 멤버들간 토의 • Rating task  11 members of the JACMTF Literature Searches • 자료 수집- computer –based : American Psychological Association UMI Proquest Direct Harvard Business Review American Management Association위의 database를 통해 competencies의 개념이 다뤄진 article과 학술 논문을 중심으로 문헌 고찰을 함. - manual review : competencies와 competency modeling과 관련된 회의 정부의 기술적인 보고서conference presentations, books, consulting publications, materials

17. IV. The Practice of Competency Modeling SME Interviews • Structured interview • Telephone • Over a 1-month period • 6개의 segment, 37개의 interview (37명) 1) HR consultants or professionals who either develop competency model systems, or who knowledgeable consumers, yet have no I-O background or link to SIOP (n=9).2) Visible thought leaders in the area of competency modeling from either a pro or con perspective (n=6).3) Former presidents of SIOP (n=5). 4) Industrial and organizational psychology(I-O) types who represent a traditional job analysis perspective(n=5).5) I-O psychologists who have delivered both traditional job analysis and competency modeling projects (n=6).6) International consultants who operate outside the United States and work with non-U.S-based companies (n=6).

18. IV. The Practice of Competency Modeling SME Interviews • 질문 • How do you define a competency? • What types of human resource applications can competencies and competency modeling support? • What types pf human resource applications should competencies and competency modeling not be used to support? • How is competency modeling different from job analysis? • Should competency models be validated? • Why competencies? What is the attraction/value beyond other ways individual differences might be described and characterized? • Where do you see the future of the competency modeling field headed?

19. IV. The Practice of Competency Modeling • SME - 평범한 performer와 high performer을 구별할 수 있는 knowledge, skill, attribute - 전통적으로 정의된 KSAO(knowledge, skills, attributes, 다른 특성들) 와 근본적으로 다르지 않다. - skill과 knowledge의 수준을 정의 - observable, behavioral capabilities는 역할이나 직무를 수행하는데 있어서 중요하다. - knowledge, skills, abilities와 job performance requirement와의 혼합이다. - “I can’t.” • 문헌 정의- knowledge, skills, abilities, motivation, beliefs, values, interests의 혼합 (Fleishment, Wetrogen, Uhlman, & Marshall-Mies, 1995). - 직무에서의 높은 성과와 관련이 있는knowledge, skill, ability, or characteristic (Mirabile, 1997). - motives, traits, self-concepts, attitudes or values, content knowledge or cognitive behavior skills의 혼합 즉, 측정되고 평균 performers와 구별되는 individual characteristic - 일의 목적을 달성하기 위해 측정될 수 있는 work habit과 개인적인 skills의 기술서 (Green, 1999). • 정의 내리기 어려움.

20. IV. The Practice of Competency Modeling • 법, 심리, 직업, 교육, 산업심리의 모든 영역에서, “competency”는 어떤 task 나 activity의 “성공적인” 수행, 혹은 지식이나 기술의 어떤 영역에 대한 “알맞은” 지식으로 정의된다. • Competency Modeling의 실행의 발전과 함께한 영역(유사영역) • Individual differences and educational psychology.(행동, 특성) • Leadership research and the history of assessment centers. • Job analysis research (critical incident) • The concept of multiple intelligences.(지능이란 여러 역량과 이러한 역량을 발달시키기 위한 기회들을 포함하는 역동적인 개념이다.) • Prahalad and Hamel’s(1990) concept of “core competency.”

21. IV. The Practice of Competency Modeling • Job Analysis : work , task 에 초점을 둠 “What”이 수행되는가? • competency Modeling : Worker에 초점을 둠 “How”(어떻게) 목적이 달성되는가? Comparison는 Job analysis와 Competency Modeling의 결과에 영향을 줄 수 있는 variable과 관련이 있음. 10개의 variable을 JACMTF가 정의함. • Method of investigation • Type of descriptor content collected • Procedures for developing descriptor content • Detail of descriptor content • Link to business goals and strategies • Content review • Ranking descriptor content • Assessment of reliability • Item/category retention criteria • Documentation

22. IV. The Practice of Competency Modeling <p.716, Table 1> Level Of Rigor Scale

23. IV. The Practice of Competency Modeling

24. IV. The Practice of Competency Modeling

25. IV. The Practice of Competency Modeling

26. IV. The Practice of Competency Modeling

27. IV. The Practice of Competency Modeling <p.722, Table 2> Evaluative Criteria: Descriptive Statistics

28. IV. The Practice of Competency Modeling <p.724, figure 1> Comparison of “Typical” CM Rigor Profiled vs. “Typical” JA Approach CM JA

29. IV. The Practice of Competency Modeling • 결과 - Job analysis가 대체로 좀 더 엄격함 1. CM : 매번 같은 타입(역량, 활동, KSAO, 수행 기준 등)의 content를 사용 JA : 둘 또는 세 가지 타입의 혼합 2. CM : 결과의 consistency, reproducibility 부족 - CM이 더 엄격한 부분 • 변인 5 : link to business goals and strategies - rater 간 큰 의견차이 : • 변인 10 : documentation (SD=1.36) • 변인 3 : Procedures for developing descriptor content • 추측되는 원인 : 변화

30. IV. The Practice of Competency Modeling <p.728, Table 3> “Other” Variables: Descriptive Statistics Expressions of Amount

31. IV. The Practice of Competency Modeling <p.729, figure 2> Comparison of “Typical” CM & “Typical” JA on 7 “Other” Variables CM JA

32. IV. The Practice of Competency Modeling • 결과 • CM은 Core competency를 강조 • JA는 technical skill을 강조 • CM이 long-term organizational fit vs. short-term job match 를 강조 (앞 변인 5 = link to business goals 와 관련 ) • CM 은 안면타당도 강조  various review sessions • CM은 T&D 강조 • JA은 선발, 성과평가, other HR decision making applications 를 강조

33. 조직에서의 CM 사용 증가 Improved software applications (e.g., 모델 개발을 돕는 전문가 system) 평가기준의 엄격성 수준에 영향을 미치는 변인들 Purpose or target applications of the research(e.g., job evaluation, selection, job classification) Extent to which the target application is expected to be free from legal or union review No. of specific job titles (and incumbents) included in the scope of the proposed application Extent to which there are planned changes in the organization that will likely affectthe work process or performance requirements of targeted jobs Extent to which the results of work in the targeted jobs are observable and/or dynamic No value, die quickly - 평가 기준 Appropriate method of investigation Type of descriptor content collected Procedures for developing descriptor content Detail of descriptor content Linkage to business goals and strategies IV. The Practice of Competency Modeling • 요구되는 엄격성 수준이 상황에 따라 달라야 함

34. IV. The Practice of Competency Modeling • 직무분석에 대한 생각을 업데이트 하고 이 접근을 좀 더 계속적인 OD intervention 으로 간주 • JA는 조직의 전략과 미래 지향적인 요구에 좀 더 주의  조직의 전략과 방향에 대한 결정은 work roles 와 worker requirements에 영향 • JA 는 jobs, job groups, occupational groups, business segments 에 걸쳐 공통되는 것을 찾아내는 것을 간과 • 어떤 활동 혹은 worker characteristics가 전사적으로 core 혹은 중요한가? • 핵심역량을 정의하는데 좀 더 엄격한 직무분석 기술의 사용 • 직무분석의 긍정적인 변화로써 Personality and value orientations의 포함

35. IV. The Practice of Competency Modeling • CM은 overgeneralize됨 • 모든 역량 아이템이나 행동이 전 조직의 모든 jobs, job levels, business segments, 혹은 regions에 똑같이 유용한 것은 아님 • CM 은 결과의 일관성 혹은 reproduceability 필요 • 정확이 매치되는 행동, 평균 intercorrelations , SME raters간의 동의, 선발과 성과평가, documentation • Competency movement는 technical 혹은 functional competencies들을 결과 모델에 통합하는 노력 필요 • 일반적인 역량과 기술적인 역량을 mix and match • Level of detail를 실사용을 위한 요구와 매치 • 어떠한 한 가지 타입의 descriptor content가 모든 목적에 가장 잘 맞지는 않음. 즉, 자세한 work activity descriptors의 혼합과 적당히 자세한 KSAO 또는 competency descriptors가 요구됨 • (cf. JA – multidomain approaches available)

36. IV. The Practice of Competency Modeling • 결론적으로, • Blurring of borders • Blending of best practices