1 / 24

개념통제사전 K- 시소러스

■ 소개 ■ 탑재어휘 범위 (1:1 기본분류 ) ■ 중복 분류 통계 (1:N) ■ 데이터 샘플. 개념통제사전 K- 시소러스. ■ 데이터 설명 ■ 데모 URL ■ 국어사전 서비스 ■ 데이터 마이닝. WEB TOOL 연관어검색. ■ 제안 개요 ■ 개념도 ■ 연관검색어 DB 구성 ■ 검색사례 ■ API 안내 ■ 확대 전개 방향 ■ 제안 내용 ■ 참고자료 : 검색엔진 소개.

fletcher-maddox
Télécharger la présentation

개념통제사전 K- 시소러스

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. ■ 소개 ■ 탑재어휘 범위(1:1 기본분류) ■ 중복 분류 통계(1:N) ■ 데이터 샘플 개념통제사전K-시소러스 ■ 데이터 설명 ■ 데모 URL ■ 국어사전 서비스 ■ 데이터 마이닝 WEB TOOL연관어검색 ■ 제안 개요 ■ 개념도 ■ 연관검색어 DB 구성 ■ 검색사례 ■ API 안내 ■ 확대 전개 방향 ■ 제안 내용 ■ 참고자료 : 검색엔진 소개 * 본제안서는 맑은고딕 폰트에 최적화되어 있습니다.

  2. K – 시소러스 2.0 K-시소러스는 의미별로 구분한 90만여 건의 개념에 설명과 관련어 540만여 건을 붙이고, 19가지 카테고리분류체계로 다중분류한 개념 통제 사전입니다. 관련어의 속성과 카테고리를 조합함으로써, 개념의 연관관계를 확장하여 원하는 개념을 탐색할 수 있습니다. 동음이의어가 구분되어 DB가 구축되어 있으므로 대용량 DB 처리를 위한 기초 데이터로 사용할 수 있습니다. 끊임없이 업데이트되고 있습니다. 1. K-시소러스 소개 • 설명 • 개념(어휘)의 설명와 개념간의 관계를 구조화하고 있는 개념 통제 사전(Controlled Dictionary) • 비구조화된 DB를 처리하기 위해서 1998년 처음 구축한 이래 2003년 K-시소러스 발표 • 2013년 Version Upgrade(어휘, 관련어(동의어 포함), 분류체계로 구조화 • 본 사전은 온톨로지 구조이며 900,000개 어휘를 19체계로 분류하고어휘마다 관련어를 기술하였다. • 수록된 어휘는 국어사전을 포함하여 고유명사와 국제특허분류 코드 등의 전문용어를 포괄하였다. • 어휘는 매년 약 2만 단어씩 업데이트 되고 있다. 연혁

  3. K – 시소러스 2.0 수록 어휘 분포 동의어, 이형어, 관련어, 이칭, 주제어, 기타 [655,343건] 자체분류 [124,544건] KDC, 정보통신, 동식물분류, 문화재분류등 [381,838 건] 개념설명 국가, 시군구 [141,438건] 관련어 DB 시대, 연도 [56,739건] 한글, 한자, 영어, 속성 등 [900,000건] [55,927건] 일반분류 전문분류 • 데이터 구조 • 표제어: 어휘의 한글명, 한자, 영어를 표시하고 클릭하면 그 어휘의 상세정보를 보여준다. • 카테고리 : 어휘가 분류를 표시하고, 분류된 어휘의 목록을 보여준다.(689,064건의 분류정보 수록), 19개 다중분류체계 • 관련어 : 어휘의 관련어(동의어 포함)를 표시하고 클릭하면 그 어휘를 다시 검색한다. (655,343건의 관련어 정보 수록) • 복합명사 : 검색한 어휘가 포함된 복합명사를 보여주며 클릭하면 그 어휘를 다시 검색한다. 개념 Master 지리적분류 시간적분류 IPC 분류 영어/일본어

  4. K – 시소러스 2.0 2. 탑재어휘 범위(1:1 기본 분류) 총 490,000개의 어휘 탑재 그 외 분류된 어휘 21,619, 미분류 어휘 102,880, 명사 이외 어휘 80,533건 3. 중복 분류 통계(1:N)

  5. K – 시소러스 2.0 4. 데이터샘플

  6. K – 시소러스 2.0 5. K-시소러스 데이터 설명(1) K-시소러스에서 “고속철도” 검색결과 ② ② 검색결과에서는 설명을 80자만 보여준다. ① ③ ④, ⑤ 관련어 또는 복합어를 선택하면 어휘를 재검색 한다. ③ 카테고리로 분류된 어휘를 보여준다. ④ ⑤ ① 어휘의 상세정보에서는 모든 내용을 보여준다.

  7. K – 시소러스 2.0 6. K-시소러스 데이터 설명(2) K-시소러스에서 “수표” 검색결과(의미별로 각각 다중분류되어 있으며 관련어가 매핑되어 있다.)

  8. K – 시소러스 2.0 7. 동의어 샘플(60,000 단어, 1,500만원) K-시소러스 Site xml api demo http://www.ezmeta.co.kr/dic개념검색(Concept Search) 개념상세정보(Concept Detail) 제공방식 ■ api 제공 방식 : Web Server에 api 적용 ■ Data file 제공방식 : 제공 범위 및 포맷 결정 xls, mdb, txt, sql)

  9. 국어사전 서비스 국어사전 서비스 • 1. 제안 개요– 귀사의 콘텐츠 서비스에 보유하고 있는 국어사전 추가 • 2. 데이터 범위 및 분량 • - 어휘수 : 349,000건 • - 제공정보 : 한글, 한자, 영어, 설명(255자 이내) • - 포괄범위 • - 연간 10,000 어휘 이상 업데이트 • 3. 제공서비스 방식 • - 귀사 콘텐츠 서비스에 제품 추가 • - 검색결과에 국어사전 검색결과Group 추가 • 4. 기대 효과 • - 서비스 제품종수 추가 • - 서비스 이용자에 대한 서비스 개선 • - 통합검색결과가 없을 경우 국어사전 검색결과를 통해 새로운 검색 유도 • - 궁극적으로 이용률 증대에 기여 ■ 제공 방식 : xml api 일반 어휘 이외에 인명 7,000건, 지명 20,000건, 사회과학 13,000건, 의학(한의학 포함) 25,000건, 동식물 13,000건, 문화재 32,000건의 어휘 포함.

  10. 이지메타 데이터 마이닝 이지메타 데이터 마이닝 이지메타의 데이터마이닝 서비스를 이용하면 보유하고 있는 자원(데이터베이스)으로부터 원하는 내용(주제)을 기계적으로 추출함으로써, 사람이 일일이 확인하지 않고서도 자원의 키워드(핵심어)를 추출하거나 재분류할 수 있습니다. 이지메타의 데이터마이닝 서비스는 다음과 같은 단계로 진행합니다. - 주제어(핵심어) 추출 : 택사노미(Taxonomy)를 사용하여 자원으로부터 주제어(핵심어)를 추출하여 인덱스로 저장합니다. - 키워드 배치 : 주제어를 자원에 배치하여 각 페이지별(레코드별) 키워드로 저장합니다. - 색인과 브라우징에 활용 : 키워드를 가나다순 또는 주제별 메뉴로 구성하여 이용자가 검색어를 모르더라도 자원에 쉽게 접근할 수 있습니다. 1. 추출 전 자원의 형태(원시자료) – 예시(고려사, 신문기사)

  11. 이지메타 데이터 마이닝 2. 데이터마이닝에 의한 인덱스 - 예시(고려사, 신문기사) 택사노미(Taxonomy)를 사용하여 자원으로부터 주제어(핵심어)를 추출하여 색인으로 저장합니다.

  12. 이지메타 데이터 마이닝 3. 추출 후 자원의 형태(자원에 키워드 재배치) - 예시(고려사, 신문기사) 추출된 주제어를 역으로 페이지별(레코드별) 키워드로 저장하여 활용하기 편리하도록 재편성합니다. 4. 활용 - 메타데이터 키워드 정보로 활용 - 분류도구를 이용하여 목차와 다른 차원의 브라우징 서비스 - 키워드 매핑에 의한 연관자료 서비스

  13. 1. 제안 개요 연관검색어 • ① 이용자의 검색의도를 파악, 편리하게 정보탐색 지원 • ◈사전, 지식, 블로그 등의 콘텐츠나 사용자들이 많이 찾은 검색어에서 추출 • ◈ 풍부한 관련어 제시로 만족도 증가, 편리한 검색으로 이용률 극대화 • ② 별도의 DB구축이나 프로그램 개발 없이 연관검색어 제공 • ▶ 사전은 관계형 데이터베이스에 수록 • ▶ 거의 모든 웹 서버 에서 운영 가능 • ▶ 어떠한 웹 브라우저에서도 동작 가능 • ③ 풍부한 연관검색어 키워드 보유 • ■ 1,100,000건의 단어 • ■ 2,854개의 주제별로 그루핑되어 자동추출 • ■ 영어 120,000건, 일어 60,000건 • ④ 유지보수 / 업데이트 / 관리 비용 불필요 • ▣ 당사 서버로부터 Query로 데이터 호출하므로 서버/DB 불필요 • ▣ 6개월 주기로 10,000개의 키워드 업데이트 • ⑤ 표준 SQL문법을 사용하므로 원하는 패턴으로 Data Formatting 검색사례 (ex : 전기자동차)

  14. 2. 개념도 ▣ ezMeta 서버 ① 운영환경 - WEB 서버 : Apache, Linux - DB : mysql - DB Size : 46만건 / 600MB - Query 속도 : 0.1초 이내 ② 어휘의 수(계속 추가 됨) - 총 5,400,000건 - 영어 어휘 650,000건- 일어 어휘 120,000건 ③ 어휘의 주제별 분포- 정보통신(4.3%), - 의학(7.1%) - 생물(3.1%),- 법률(2.4%) - 특허(10.9%), - 문화재(7.4%) - 지명(4.5%), - 인명(2.7%) - 작품명(1.8%), - 기타(56.2%) ▣ 통합검색 홈페이지 홈페이지에서검색 을 실행하면 백 그라운드에서 사전 DB 를 참조 하도록 구성함으로 써 DL 서버의 DB를 수정할 필요가없습니다. 검색어 조회 (OR 연산) ezDic Semantic Archive 연관검색어 제공 (Real Time) 연관 검색어 제공

  15. 3. 연관검색어 DB 구성 연관검색어 DB 구성 ■ Semantic Archive 지식검색의 핵심기술로 고유 아키텍처와 데이터를 포함하고 있다. “어휘 Master”를 중심으로 카테고리, 관련어, 영어, 일본어, IPC가 정규화된 매핑구조로 이루어져 있다. 관련어는 동의어, 유의어, 이형어, 북한어, 기타 관련어를 포함하고 있으며 계속 확대되고 있다. 성격에 따라 중복분류 및 여러 Domain으로의 분류가 가능하다. 34,900건의 어휘에 대해서는 뜻풀이가 포함되어 있으므로 다각도로 분석이 가능하다. ■ 어휘 속성 “어휘 Mater”에서는 IPC, 정보통신, 문화유산명, 사건명, 동식물명, 인명, 지명, 작품명 등을 구분할 수 있다. 각 어휘는 어원에 따라 별개 어휘로 구분되어 있지만, 어휘처리를 위한 필요성에 의해 어원이 같더라도 현저하게 다른 의미로 사용될 경우 별개의 어휘로 분화시키고 있다. Core만 갖고도 해당 어휘의 성격이 무엇인지 대략적으로 짐작할 수 있다. 물론 어휘의 다의성으로 인해 한 어휘의 성격을 단일하게 결정지어 정의하는 것은 불가능하다. □ 일반분류 : K-시소러스 분류체계에 의한 분류 □ 전문분류 : 문화유산유형, 경제경영, 생물, 역사, 의학 등 □ 코드부여: 국가, 문화유산지정, 시대, 작품, 정보통신, 종교신화, 직업등 □ 유의어: 10년 이상 수집한 유의어 DB가 “어휘 Core”와 매핑 □ 영어 : 영어 어휘는 299,814건이며(의미별로 구분했을 경우 308,238건) 그 중 113,085건의 영어어휘가 “어휘 Core”(한국어) 116,814건과 연결. (이것을 어휘 Core의 “식별된 영어 어휘”라 한다.) □ 일본어 : 일본어 어휘는 86,846건이며(의미별로 구분했을 경우 99,365건) 그 중 51,832건의 일본어 어휘가 “어휘 Core”(한국어) 59,775건과 연결. □ IPC : 특허용어는 특별한 Domain의 어휘를 포함하고 있다. 세만틱 아카이브 내 에는국제특허분류(IPC) 영어, 한국어, 일본어판을 카테고리DB로 구축하고 “어휘 Core”와 연결. 연결된 어휘수는 55,959건. 특히 “어휘 Core” 내에는 국제특허기구 (WIPO)가 제정한 영문판 Catchword Index 2010년판의 어휘가 포함. Catchword Index중 50%가 한글어휘와 매핑 완료. 일본 어휘 일어 어휘 : 55,831건 한국어 어휘 : 55,774건 동의어, 유의어, 관련어, 이형어 어휘 : 112,586건 관련어 : 285,512건 관련어 DB 일반분류 주제 : 2,757 분류된 어휘 : 122,946건 전문분류 주제 : 4,325 분류된 어휘 : 131,384건 어휘 Master DB 법률분류 주제 : 2,757 분류된 어휘 : 10,094건 행정지명분류 주제 : 433 분류된 어휘 : 51,232건 IPC 분류 주제 : 70,069 분류된 어휘 : 55,959건 영어 어휘 영어 어휘 : 113,085건 한국어 어휘 : 116,184건

  16. 4. 검색사례 검색사례 스토리텔링 동의어 관련어 단위어 복합어 영어 일어

  17. 6. API 안내 API 안내 ▣ ezMeta 의API 를 이용하면 다음과 같은 서비스 제작이 가능합니다. 1. 정보의 실시간 제공으로 추가 관리 정보의 갱신 등이 불필요 2. 어휘의 한자, 영어, 일본어, 동의어, 관련어등 검색어에 대한 다양한 정보제공 ▣ 연관검색어 세부 내용 1. 외국어 - 검색어의 한자, 영어, 일본어 정보를 제공합니다. "영상복원"을 검색하면 ‘映像復原’, ‘image restoration’, ‘画像復元’의 연관검색어를 제공합니다. 2. 의미상 연관어 – 검색어의 동의어, 유의어, 이형어, 저서, 이칭, 관련어, 하위어를 제공합니다. "유성룡"을 검색하면 강복성등 관련인물 뿐만 아니라 서애, 문충 등의 시호, 징비록 같은 저서명 검색 "잡음모델"을 검색하면 지수잡음, 가우시안잡음, 임펄스잡음, 균일잡음 등의 하위어 검색 3. 복합명사 연관어 – 연관어의 어휘성격까지 제공합니다. "관절염"을 검색하면 결핵성관절염 등의 연관어를 제공하며, 이는 ‘병명’이란 것을 알 수 있습니다. "스위치"를 검색하면 공간스위치 등 정보통신용어와 구분스위치등 IPC 용어들을 제공합니다. 4. 동일분류 어휘 – 이지메타 K-시소러스 분류체계에 의한 동일분류의 어휘들을 연관검색어로 제공합니다. "관악기"를 검색하면 더블 바순, 리코더, 바순, 색소폰등의 관악기 이름을 연관검색어로 제공합니다. 요청 URL : http://dic.ezmeta.co.kr/s.php?k= XML 샘플 샘플 URL : http://dic.ezmeta.co.kr/s.php?k=가상현실 규격 • 출력 결과 필드 • KR – 한글 • HAN – 한자 • US – 영어 • JP - 일어 • RF1(연관어1) - 유의어 • RF2(연관어2) – 단위어 • RF3(연관어4) - 복합어 • RF4(연관어4) - 동일분류어휘 XML Parsing 결과

  18. 7. 확대 전개 방향 이용패턴을 반영한 연관검색어 제공(예정) ① 장점 ■ 사용자들이 많이 찾은 검색어와 콘텐츠를 분석하여 연관어 DB 구축 ■ 사용자의 관심에 따라 꾸준히 변화하며 최신 이슈를 반영할 수 있습니다. ■ 검색어를 입력하면 통합(확장) 사전 DB의 확장을 통해 업데이트 ② 적용방법 ◈ 사용자 Log DB 제공(ip, time, 검색어, click한 본문 id, 기본 메타데이터) ◈ 당사의 패턴분석 서버에서 연관검색어 DB 구축 ◈ 도서관 홈페이지에 적용 ③ 대용량 데이터 처리기술 ★ Big Data 처리 가능 ★ 2억4천만 개의 인덱스로부터 5,700개의 Query 결과물을얻는데 0.12초 소요 ④ TCO 최소화 ◈당사의 서버를 이용하므로 서버 / DB 보유 불필요 ◈유지관리, 성능개선, 업그레이드에 대한 부담 없음 주요실적 및 보유기술 ① 주요실적 ◈ Yeslaw 법률정보 검색시스템 개발 ◈ 통일부 북한자료 아카이브 검색시스템 개발 ◈ 특허/판례정보 검색시스템 개발 ◈ 법조인명맵 개발 ◈ 민속원 디지털 아카이브 개발 ◈ 서울시직장맘지원센터 홈페이지 개발 ◈ 한국전자출판협회 순간검색 시스템 개발 ② 보유기술 ■ 유의어 전자사전 및 전자사전을 이용한 검색방법(특허) ■ ezSearch : Semantic Web 기반의 검색엔진 ■ Semantic Archive : 45만 어휘의 의미 분류 사전

  19. 8-1. 도입절차(ASP) ASP 방식 1. 도입 계약 체결 2. 홈페이지 수정 3. Test 4. 운영 사전 DB Update 내용 • 서버환경 점검 • 홈페이지 담당자 결정 • 이지메타 DB서버에 도서관 검색서버 IP 등록 • 도서관 홈페이지 검색결과 출력모듈에 xml 파싱 • 도서관 홈페이지 검색결과 출력모듈에연관검색어 삽입 • 테스트 및 검수 • 업데이트 • - 어휘 2만개 추가/1년 비고 • 도서관 홈페이지 담당자 • 공급 완료 가격 문의 ※ 미리보기 : http://www.ezmeta.co.kr/dic/dic.php

  20. 8-2. 도입절차(자관설치) 자관 설치 1. 도입 계약 체결 2. 홈페이지 수정 3. Test 및 사전 DB 이전 4. 운영 및 사전 DB Update(옵션) • 웹서비스 방식의 API(Application Program Interface) 제공 • Web Page 검색창에 해당되는 Script(ASP, JSP, PHP) 수정 • 이지메타 DB서버에 도서관 검색서버 IP 등록 • 도서관 홈페이지 검색결과 출력모듈에 xml 파싱 • 도서관 홈페이지 검색결과 출력모듈에연관검색어 삽입 • 서버환경 점검 • 홈페이지담당자결정 • 사전 DB 반입 • 테스트 및 검수 • 업데이트 : 만원/1년 • - 어휘 2만개 추가 • - 기간 중 무상 유지보수 내용 • 수정할 웹페이지 검색창 확인 • 서비스할 웹서버 확인(DB 서버 제외) • 공급 완료 • 관리도구 제공 • - 어휘 수정, 추가 비고 가격 문의 ※ 미리보기 : http://www.ezmeta.co.kr/dic/dic.php

  21. 참고자료 : 검색엔진 소개 통합검색엔진 ezSearch • ezSearch는 검색결과 자동분류, 주제별 탐색, 다차원정보탐색 등 차세대 검색기술이 적용되어 고품질의 검색결과를 제공합니다. • ezSearch는 초대용량 콘텐츠에 대해 매우 빠른 검색속도를 제공하고, 손쉬운 통합관리환경을 제공하는 최고 수준의 검색엔진입니다. • ezSearch는 100% 원천 기술력에 의해 개발되어 고객의 요구사항에 유연하게 대응할 수 있습니다. ▣ 메타데이터 색인 저자, 제목, 날짜 등의 메타데이터 정보를 색인에 반영하여 단일로 인덱스로 통합 관리 ▣ 안정적이고 빠른 검색속도 로드밸런싱/Fault Tolerance 지원 : 안정적이고 효과적인 운영 DBMS를 이용한 색인 저장으로 색인의 안정적인 관리, 빠른 access 속도 ▣ 다국어지원 유니코드에 의해 한글 11,172자, 한글고어(古語) 5,554자, 한자(간자체 포함) 27,480자 등 지구상의 모든 언어/문자 처리 가능 ▣ 적합도 Term Vector Model에 의한 특성추출(Feature Extraction) 기법 적용 동의어사전을 적용한 출현빈도율(Term Frequency)과 희소율(Inverted Term Frequency)를 고려한 랭킹 알고리즘 구현 벡터 모델에 의한 적합도 랭킹(Relevancy Ranking) ▣ 다양한 플랫폼 지원 Windows 계열, Linux 계열, Unix 계열 등 다양한 플랫폼 지원 다양한 형태의 API 지원(JAVA, ASP, PHP 등 다양한 개발언어와 연동) ▣ 동의어 확장 내장된 개념분류표(Taxonomy)를 적용한 색인 구축, 동의어 검색에 활용

  22. 참고자료 : 시스템 구성 ezSearch 아키텍처 ezSearch 의 주요기능 ① 색인기 - 본문 내의 모든 어휘를 후방절단(n-gram) 방식으로 추출 - 복합명사 처리를 위해 2개 어휘그룹의 색인 추출 - 적합도 랭킹(Relevancy) : 특성추출기법으로 키워드별 적합도 계산 - 주제분류 : 자동으로 주제분류코드 부여, 시각도구에서 활용 ② 개념분류표(Taxonomy) - 분류체계로 1백개 분류어, 2천개 주제어, 2천개 동의어 기본내장 - DB 구축, 타DB 연동, Migration 및 확장에 용이 - 고객 업무영역(Domain)별 확장 및 커스터마이징 가능 ③ 시각도구 - 개념분류표와 색인을 결합하여 검색 시각화 - 컴포넌트화된 아키텍쳐 : Backend 엔진과 Visualizing UI의 독립적 운영 - HyperViz : 개념의 상하위어 및 관련어 연관관계를 시각화. 현재의 검색어를 중심으로 상하위 주제가 Refresh되는 구조 - TreeViz : 개념의 상하위어 및 관련어 연관관계를 시각화. 원점에서 하위분류로 방사형으로 이동하는 Tree 구조

  23. 참고자료 : 적용사례 ● 사용자가 키워드를 입력하는 순간 검색창 하단에 실시간으로 검색결과 제공 ● 예) “검색 -> 검색결과 -> 상세정보”의 3단계 검색과정이 “검색 -> 상세정보”의 2단계로 단축 - 운영환경 : Windows 2003 / MSSQL 2005 - DB Size : 188만 건 / 800MB - Index Size : 2,140만 건 / 1.2 GB - Query속도 : 0.1초 이내 순간검색 - 한국전자출판협회 ● 법령, 판례 통합검색. 법제처 법률분류를 주제어사전(Taxonomy)의 분류체계로 사용 ● 각 키워드에 의해 법령, 법조문, 판례 통합검색 - 운영환경 : Web 서버 Apache/Linux, DB 서버 Windows 2008 MSSQL 2005 - DB Size : 30만건 / 915MB - Index Size : 2억3970만건 / 18.5 GB - Query속도 : 0.1초 이내 법령검색 - 나라아이넷(주) ● 신문(PDF), 저널(PDF & TEXT), 사전/연감(PDF) 통합검색 ● AND/OR 연산, 발행연도별 검색, 자료유형별 검색이 가능하며, 일반검색과 확장검색 ● 확장검색을 선택하면 남한의 용어로 북한의 자료검색 - 운영환경 : Windows 2003 Server / MSSQL 2005 - DB Size : 382,000 건 / 374 MB - Index Size : 7,047만 건 / 11.8 GB - Query속도 : 0.1초 이내 북한자료아카이브 - 통일부 ● 특허판례 DB에 대한 검색 - 국제특허분류(IPC)를 개념분류표(Taxonomy)의 분류체계로 사용 ● 각 주제어에 의해 한국, 미국, 영국, 일본의 판례 동시검색 - 운영환경 : Windows 2000 / Apache / MySQL - DB Size : 7,000건 / 254MB - Index Size : 1,083만건 / 0.9 GB - Query속도 : 0.01초 이내 특허판례검색 - Testbed

  24. 감사합니다.

More Related