2009 년도 인공지능 1 학기Term-project demo

Guide Line 및 평가 방법

고려대학교 컴퓨터학과고려대학교 컴퓨터학과자연어처리 연구실자연어처리 연구실

임 해 창임 해 창

Contents

최종 보고서 guideline 텀프로젝트 평가 방법 텀프로젝트 데모 guideline 텀프로젝트 데모 일정

최종 보고서 Guideline [1/2] 최종 보고서 필수 포함 항목

1. 시스템 개요1. 목적 , 도메인 , 질의 / 응답 쌍 25개2. 전체 구조도

1) 논리적 구성 (1장 )2) 물리적 구성 (1장 )

3. 실행 방법

2. 모듈 상세 설명1. 도메인 , DB 구축 방법 및 결과2. 의미 분석 방법

1) 개체명 인식 방법 및 결과 ( 파서 , 워드넷 사용 방법 )2) 온톨로지 사용 방법 ( 정규화 포함 )3) 의미 템플릿 매칭 방법4) SQL query 생성 방법5) 응답 스크립트 선택 방법

최종 보고서 Guideline [2/2] 최종 보고서 필수 포함 항목 ( 계속 )

3. Knowledge-Base 구축 설명1. 사용된 사전 및 규칙에 대한 설명

( 개체명 사전 , 온톨로지 , 의미 템플릿 , SQL변환 규칙 , 응답 스크립트 등 )

4. 실행 결과1. 25개 질문에 대한 실행 결과

1) Output에 입력한 질문을 포함시킴2) 실행 결과 출력을 Text로 (XXX.exe > output.txt)

5. 결론 (1-2장 내외로 )1. 간단한 요약2. 특징 및 장점3. 향후 발전 방향

텀프로젝트 평가 [1/7]

• 시스템의 정확성 (30 점 )

– 데모를 통하여 평가

• 텀 수행 과정의 성실성 (40 점 )

– 1,2,3,4,5 차 과제

• 방법론의 적절성 (30 점 )

– 최종보고서

• 참신성 ( 추가점수 최대 25 점 )

• 추가 감점 기준 ( 항목 당 -10 점 )

텀프로젝트 평가 [2/7]

• 시스템의 정확성 (30 점 )각 조별로 다음과 같은 질문 10 개에 대해 각각 2) 의 항목을 평가한다 .

1) 질문① 작성된 예문 중에서 5 개 선택하여 질문 ( 미리 출력하여 옴 )② 작성된 예문 표현을 다르게 하여 질문③ Entity 를 변경하여 질문④ 도메인 외의 질문 ( 도메인이 다른 조에 대한 질문 )⑤ 도메인 내에서 정답이 여러 개가 나올 수 있는 질문⑥ 도매인 내에서 정답이 없는 질문

 2) 평가 항목

① 워드넷과 Parser 사용 결과② 개체명 인식 결과③ 온톨로지 사용 결과④ 의미 템플릿 Filling 결과 ⑤ SQL 변환 결과⑥ 응답의 적절성

텀프로젝트 평가 [3/7]

• 텀 수행 과정의 성실성 (40 점 )– 1 차 , 2 차 , 3 차 , 4 차 , 5 차 보고서 및 프로그램 평가– 프로그램 실행 결과 (2 점 )– 보고서의 요구사항 충족도 (3 점 )– 제출기한 준수 (3 점 )

텀프로젝트 평가 [4/7]

• 방법론의 적절성 (30 점 ) - 최종 보고서를 통해 평가 

1) 25 개 질문을 다양하게 잘 작성하였는가

2) 주어진 구문 분석기 및 워드넷 모듈을 잘 사용하였는가 3) 기초 의미 분석

• 도메인에 맞는 개체명이 잘 정의 되었는가• 다양한 표현에 대한 정규화가 되는가• 확장성이 있는가• 온톨로지 구축이 적절한가

4) 의미 표현 생성• 템플릿의 수가 적절한가• 템플릿이 질문의 의미를 잘 표현하는가• 템플릿 매칭 방법이 적절한가• ( 정확성 및 확장성 , 견고성에 대한 평가가 될 것임 )

텀프로젝트 평가 [5/7]

• 방법론의 적절성 (30 점 ) - 최종 보고서를 통해 평가 

3) SQL query 생성• 가능한 의미 표현 결과에 대해 SQL query 가 모두 생성될 수 있는가• 탐색 , 변환 방법이 적절한가

4) 응답 생성• 자연스러운 응답이 되는가• 내용이 적합한가• 스크립트 구축 방법론이 적절한가• 예외처리를 하였는가

텀프로젝트 평가 [6/7]• 참신성 ( 최대 25 점 가점 )

– 새로운 ( 좋은 ) 분석 방법을 사용한 경우 – 예외 적인 경우에 대한 특별한 방법을 사용한 경우– 추론이 필요한 질문에 대해 답할 수 있는 경우– 향후 발전 방향에 대해 참신한 아이디어를 제시한 경우 등

타 조와 구별되는 좋은 아이디어가 구현 또는 제시되어 있는 경우( 데모 시 또는 최종 보고서에 ) 에 대해 가산점이 부여됨 .

텀프로젝트 평가 [7/7]• 추가 감점 기준 ( 각 -10 점 )

– 데모 시 기한 미준 수– 프로그램 안정성 ( 데모 중 down 또는 무한루프 )– 너무 느린 경우 ( 질문 입력 후 30 초 이후 응답 시 )– 데모 중 욕설

데모 Guideline [1/3] 데모 장소

- PC실환경 Setting후 조교를 호출 (237방문 )노트북에서 데모하는 경우도 PC실에서 함

데모 방법 - DB연결 및 프로그램 실행 시

1. 본인의 컴퓨터에 있는 DB를 TCP/IP로 접속하는 방법 2. 본인의 컴퓨터에 원격 연결하여 데모하는 방법 3. 노트북을 들고와 하는 방법 4. PC실 컴퓨터에 직접 DB(스키마 로드 ) 부터 깔고 컴파일한 후 실행시키는 방법

데모 시작 시간까지 데모 준비가 완료 되어야 한다 .

데모 Guideline [2/3] 데모 프로그램의 입력

– standard input 방식으로 조교가 입력할 수 있어야 함 . ( 파일 입력 방식 등은 감점 요인 )

데모 프로그램의 출력– 입력된 질문– 워드넷과 Parser 결과– 개체명 인식 결과– 온톨로지 사용 결과– 의미 템플릿 Filling 결과 – SQL 변환 결과– 자연어 응답

데모 Guideline [3/3] 시스템이 사용하는 내부 표현을 쉽게 확인할 수 있어야 한다 .

- 평가 항목 참고

데모 시작 시 제출 할 문서- 25 개중 5 개의 질문을 선택하여 질문 - 응답 결과를 출력해서

데모 시 제출 한다 .

- 텀 프로젝트 최종 보고서

데모 일정 데모 일정 06/01~06/05

- 6.1 ( 월 ) : PM 5 시 ~ 7 시- 6.2 ( 화 ) : PM 12 시 30 분 ~ 3 시 - 6.3 ( 수 ) : AM 10 시 ~ 12 시- 6.4 ( 목 ) : PM 12 시 30 분 ~ 3 시 - 6.5 ( 금 ) : PM 2 시 ~ 5 시

팀별 데모 시간 배치 : 5.19일 인공지능 수업시간에 배치 예정- 제비뽑기 하여 나온 순서대로 원하는 시간을 선점