안녕하세요 네오위즈 INS 퍼블리싱 QA 팀 진명희입니다 .제가 오늘 얘기드릴 주제는 게임의 품질을 위한 블랙박스 테스팅들 입니다 .

이 리스트는 미국의 소프트웨어 엔지니어링 교수 켐 케이너교수의 책 테스팅 컴퓨터 소프트웨어에 나오는 리스트입니다 .화이트박스 테스트로는 확인이 안 되는 결함들의 분류리스트입니다 .이 9 개의 리스트 중에서 실 게임 서비스 중 큰 리스크를 가진 결함이 발생 할 수 있는 항목 7 개를 실제 문제 예시와 함께 얘기하도록 하겠습니다 .

테스팅 방법이 아닌 결함에 대해 얘기를 드리는 이유는 게임 테스팅에 대해 지식이 없는 분들을 위해 게임의 장르나 시스템에 따라 달라지는 테스팅 수행 방법보다는 결함의 종류에 대해 설명 드리는 것이 이런 결함을 찾기 위해 수행해야 하는 일들의 길잡이가 되어 줄 수 있기 때문입니다 .

시간 관련 버그는 어떤 상태를 이벤트 이전과 이후로 나눠 상태 변경에 문제가 생기는 것을 얘기합니다 .예제를 보면 MMORPG 에서 퀘스트를 진행하던 유저가 업데이트 이후 접속하니 수행 중이던 퀘스트가 바뀌어버린 상황이 되었습니다 . 좀더 몇 가지 예를 더 들자면 기간제 아이템이 기간이 완료되어도 사라지지 않거나 게임 내부의 시간이 변경됨에 따라변해야 하는 환경이 변하지 않는 등의 결함도 있을 수 있습니다 .

특수 데이터라는 것은 특정 짓기 어렵습니다 .하지만 저는 게임 분야에서 특수 데이터라면 어뷰징 요소를 가진 데이터를 우선으로 얘기하고 싶습니다 .실제로 많은 게임이 잘못된 레벨링의 퀘스트 완료로 얻는 성장 데이터 때문에 밸런스 문제가 생기기도 하며 유저들의 어뷰징을 일으킵니다 . 어뷰징은 게임 클라이언트 내부 요소외에도 마케팅 이벤트 진행 내용에 따라 문제를 발생 시키기도 합니다 .

일관성 없는 UI 는 많은 것을 얘기하지만 그중에서도 유저에게 이해를 돕지 못하는 UI 는 더욱 문제가 된다고 봅니다 .위 예제의 게임은 화면만 봐도 UI 의 역할을 알 수가 없습니다 .때로 특정 장르의 게임들은 대부분 동일한 UI 를 가지고 있어 해당 장르만 즐기는 유저에게 새로운 UI 를 줄 경우 혼란을 줄수도 있습니다 .

UI 의 모든것은 단순히 정보 노출 외에 조작 (Control Interface) 에 대한 문제점도 있다는 것을 유의해야 합니다 .특히 액션성이 강한 게임에서는 의도되지 않은 기술 캔슬과 같은 조작을 통한 치팅이 발생 할 수도 있습니다 .전체적인 게임의 밸런스를 뭉그릴 수도 있는 문제로 발전 할 수 있기 때문에 조심해야 합니다 .

백그라운드에서 수행중인 테스크들과 관련된 결함은 우리가 게임을 하는 플랫폼이 PC 란 점에서 유의해야 하는 사항입니다 .유저들은 PC 에서 게임만 이용하지 않고 메신져 , 백신 , 메일 프로그램까지 같이 이용하기도 합니다 .그리고 그 중 특정 프로그램들은 게임 클라이언트에 랙 또는 클라이언트 크래쉬와 같은 문제를 만들기도 합니다 .

환경설정 /호환성의 실패들에 대한 결함도 우리의 대상 플랫폼이 PC 인 이상 무시 할 수 없습니다 .특히 그래픽과 관련된 환경 설정 및 호환성 문제는 유저들의 게임 플레이에 큰 영향을 줄 수 있습니다 . 예시의 화면은 원래 유저에게 보여야 하는 화면이 해상도로 인한 환경설정 결함으로 일부분만 모니터에서 볼 수 있는 문제를 나타내고 있습니다 .해당 분류의 결함은 이외에도 유저가 조정 가능한 환경설정이 많을 수록 더욱 많은 문제를 일으킬 수도 있습니다 .

하드웨어 오류와 같이하는 결함은 최근에 이슈가 된 뉴스를 보면 그 중요성을 알 수 있을 것 같습니다 . 게임 클라이언트로인해 그래픽 카드의 과부하를 일으키는 문제가 최근 이슈가 되었습니다 . 그리고 해결책을 유저 스스로 찾아내어 공유되기도했습니다 . 하드웨어의 오류를 일으키는 경우는 이외에도 입력장치의 문제도 있습니다 . 실제로 어떤 게임의 경우에는 PS/2방식의 키보드에서 문제가 생기고 USB 를 이용한 경우에는 정상인 경우도 있었습니다 .

이상으로 7 가지의 결함에 대해 설명을 드렸습니다 .생략한 예기치 않은 문제 상태 , 의미없거나 잘못된 정보에 대해 간단히 예를 드리자면 예기치 않은 문제 상태는 그래픽 오브젝트와 캐릭터의 비정상적인 간접으로 생기는 문제들 더 예를 들면 맵에서 빠져버리는 문제 같은 것이 대표적이며 의미없거나 잘못된 정보는 유저에게 정말 잘못된 정보를 전달 하는 경우를 얘기합니다 . 퀘스트의 지문 같은 것에서 발생 할 수 있습니다 .

블랙박스 테스트의 과정에서 나오는 앞에서 얘기드린 결함들은 가볍게 볼 수 있는 것들이 아닙니다 .QA 팀에서 발견할 수 있던 결함이 5개라면 테스트 없이 일반 유저들에게 제공 되었을 때 만 명의 유저들에게 5개씩 5만번의 결함 경험이 발생 합니다 . 유저들에게는 게임에 안 좋은 인상을 가질 수도 있습니다 .블랙박스 테스팅을 진행하며 위와 같은 결함들을 걸러낸다면 유저들에게 더욱 좋은 서비스와 함께 좋은 게임 경험을 제공할 수 있을 것 입니다 .감사합니다 .