안녕하세요 브로콜리입니다.
오늘은 프로젝트, 디베이트 타이머의 1차 User Test 에 대해 포스팅해볼까 합니다.
지난 1월 25일을 기점으로 디베이트 타이머의 데모 버전이 완성되었습니다.
이에 따라 토론 강의 경험이 있는 강사 한분을 모시고 프로그램의 사용성 테스트를 진행하였습니다.
UT의 목적
UT의 목적은 다음과 같은 포인트를 캐치하는 것이었습니다.
- 프로그램이 실제로 토론 강의나 교육을 할 때 도움이 될 것 같은가?
- 유저가 화면 구성 상 빠르게 사용법을 습득할 수 있는가?
- 프로그램에 대한 전반적인 피드백(아쉬운 점이나 더 발전시킬만한 부분은 없는지) 수렴
UT 설계
팀원들과 함께 8차 정기회의(1월 21일)에 미션을 설계하였고, 사용 유저가 사회자가 되어 타이머 프로그램을 활용해 토론을 진행하는 식으로 테스팅 미션을 설계하였습니다.
그럼 본격적으로 UT 과정에서 얻은 인사이트와 속기록을 이야기해보겠습니다.
1. 사전 질문
1-1) 토론 사회자를 보면서 어떤 역할들을 담당하셨나요?
1) 발언 순서별 진행 멘트와 2) 30초-발언 종료 시 종을 쳐서 발언을 종료를 알려주는 역할을 담당했습니다.
발언 요약은 아무래도 중립적인 요약이 힘들고 신경쓸게 많다보니 힘들었던 것 같아요.
1-2) 어떤 형식의 토론을 주로 진행하셨나요?
아무래도 의회식 토론입니다. 교차질의 같은 경우에는 설명하기 난해한 부분이 있다보니 가장 접근하기 쉬운 형식이기 때문입니다.
1-3) 그동안 발언시간을 어떻게 재셨나요?
네이버 타이머나 갤럭시 시계를 활용했습니다.
그런데 사회자와 참여자 모두 시간을 보기가 힘든 불편함이 있어요. 휴대폰을 들고 참여자에게 시간을 보여주기 때문에 막상 토론을 진행하는 제가 시간을 체크하기 힘든 상황이 있었어요. 따라서 타이머 시작 타이밍을 실수하거나 제대로 발언을 종료하지 못할 때도 있었습니다.
1-4) 발언 종료 30초전에 종소리를 쳐야 하는데 불편한 점은 없었나요?
토론자들이 종소리 룰에 대해 제대로 인식이 안되는 경우가 있었어요. 분명 30초 전에 종소리 한번, 발언 종료 시 종소리 두번으로 종료를 알려주겠다고 했는데 막상 종소리가 크게 나면 당황해서 쳐다보고만 있는 학생들이 있는 경우도 많았습니다.
2. 토론 테이블 만들기
2-1) 테스트 진행 방식
이후, 형식에 맞게 토론 테이블을 만드는 기능들을 바탕으로 테스트를 진행하였습니다.
해당 과정에서 유저가 제대로 기능을 인식하는지 테스트해본 기능은 다음과 같습니다.
1. 기본 세팅: 홈에서 의회식 토론 시간표 하나를 만들어주세요
2. 시간표 생성 기능: 주어진 시간표에 맞는 토론 진행표를 만들어주세요
3. 타임박스 편집 기능 : 찬성측 입론과 반대측 입론을 각각 2분으로 늘려주세요
4. 드래그 앤 드롭 기능 : 찬성측 반론과 반대측 반론의 순서를 바꾸어주세요
5. 타임박스 삭제 기능 : 찬성측 반론과 반대측 반론을 지워주세요
2-2) 테스트 인사이트
그 과정에서 다음과 같은 인사이트를 얻을 수 있었습니다.
2-2-1) 기본 세팅 기능
- 드래그 앤 드롭 기능을 바로 캐치하지 못한다 : 순서를 바꾸어달라는 요구사안에 대해 타임박스 생성 버튼을 클릭한다
- 버그: 타임박스를 많이 만들면 헤더 위로 타임박스간 넘어가는 버그가 있다.
- 리팩터링: 테이블 이름에서 디폴트 값을 클릭하면 입력값이 사라지도록 유저 편의성을 개선할 필요가 있다.
2-2-2) 테이블 수정하기 화면
- 테이블 수정과 테이블 생성의 플로우가 같아 뷰 상으로 유저가 생성과 수정과정을 구분하지 못한다.
2-2-3) 테이블 목록 화면
- 버그 : 1분 4초라고 표현되어야 하는 것이 64초로 표현되어 있다.
3. 타이머를 활용해 토론해보기
3-1) 테스트 진행 방식
이후 '동물실험을 금지하여야 한다' 를 주제로 유저가 사회자를 보고, 저를 포함한 팀원 한명이 각각 찬성과 반대측을 맡아 토론을 진행하였습니다.
해당 테스트를 통해 검증하고자 했던 부분들은 다음과 같습니다.
1. 기본키 버튼 인식 : 재생, 정지, 리셋 버튼을 어려움 없이 인지할 수 있는가?
2. 단축키 인식 : 단축키 조작을 어려움 없이 습득할 수 있는가?
3. 추가 작전 시간 타이머 인식 : 추가 작전 시간을 요청했을 때 타이머를 어려움 없이 찾고 설정가능한가?
4. 종소리 기능 인식 : 30초-발언종료 종소리를 유저가 인식할 수 있는가?
3-2) 테스트 인사이트
그 과정에서 다음과 같은 인사이트를 얻을 수 있었습니다.
- 분할 화면으로 화면을 구성 시 다음 버튼이 짤려서 다음 버튼으로 발언을 넘어가기 힘들다
- 분할 화면으로 화면을 구성 후, 단축키 활용시 옆으로 스크롤 되는 문제가 있다.
- 작전 시간 타이머를 제대로 인식하지 못한다 : 기존 타이머를 조작하여 작전시간을 부여하는 행동을 보인다.
- 30초 / 발언 종료 소리가 난다는 걸 인지하지 못한다 : 종소리가 난 이후, 기능을 인식하였다
- 타이머 다시시작 버튼이 다시시작을 의미하는지 알기 어렵다.
- 단축키는 생각보다 인지하기 힘들다. (화면에서 보여주는 것도 좋을 것 같다.)
4. Q&A
이후에는 프로그램에 대한 전반적인 피드백과 더불어 추가되면 좋을만한 기능들에 대한 의견을 물었습니다.
4-1) 피아노 소리, 종소리, 경고음 소리 중 어떤 종소리가 가장 좋은 것 같나요?
경고음 소리는 너무 경계음처럼 들려 마음에 들지 않는다.
토론자들에게 가장 익숙한 것은 종소리이다. 그러나, 종소리를 들으면 너무 크고 당황하는 경우가 많았어서 피아노 소리도 좋을 것 같다.
4-2) 추가되면 좋을 것 같은 기능이 있을까요?
- 사회자 스크립트 기능 : 사회자가 멘트를 볼 수 있는 스크립트 페이지가 있으면 좋을 것 같다.
- 사회자 발언 요약 기능 : 메모지에 발언 내용을 요약하고, 이를 GPT가 요약해주는 기능처럼 발언 요약 기능이 있으면 좋겠다.
4-3) 추가 의견 있으신가요?
- 화면마다 가로 길이 지원이 잘 맞지 않는다. / 디자인이 밋밋한 부분이 있는 것 같다.
5. UT 요약본
UT를 통해 얻은 인사이트를 정리해보면 다음과 같습니다. 이후에 개선방안을 통해 팀원들과 하나씩 수정해나가볼 생각입니다.
테이블 생성 기능
- 드래그 앤 드롭 기능을 바로 캐치하지 못한다.
- 테이블 수정과 테이블 생성의 플로우가 같아 뷰 상으로 유저가 생성과 수정과정을 구분하지 못한다.
- 버그: 타임박스 생성 시 헤더 침범 버그 + 테이블 목록 시간이 분초 단위가 아닌 초단위로 표기되는 버그
- 리팩터링: 테이블 이름에서 디폴트 값을 클릭하면 입력값이 사라지도록 유저 편의성을 개선할 필요가 있다.
타이머 화면
- 분할 화면 : 다음 버튼이 짤리는 문제 + 단축키 활용 시 스크롤 되는 문제
- 작전 시간 타이머를 제대로 인지하지 못한다.
- 종소리가 난다는 사실을 제대로 인지하지 못한다
- 단축키를 제대로 인지하지 못한다.
- 타이머 리셋 버튼의 가시성 문제
기타 의견
- 사회자의 활동 범위를 넓혀 사회자를 위한 기능들(스크립트 표시 or 발언 요약)을 확장하면 좋을 것 같다.
- 발언 종료 종소리는 기본 종소리 or 피아노 소리가 좋아보인다.
6. 느낀 점
유저 테스트는 우리가 나아가는 방향이 옳은지 판단하는 척도가 되어준다는 점에서 별자리와 같은 역할을 한다고 생각합니다. 옛날 옛적 나침반이 발명되지 않았을 시절, 방향을 알려주던 별자리처럼 프로그램의 의도가 제대로 유저에게 전달되었는지, 우리가 확장하려는 방향이 정말 유저에게 옳은 방향인지를 테스트해볼 수 있는 좋은 기회이기 때문입니다. 전반적으로 느낀점을 정리해보면 다음과 같습니다.
1. 테스터는 토론 진행시, 타임키핑의 어려움이라는 페인 포인트에 공감했다.
2. 생성화면에서 드래그 앤 드롭 기능의 활용성을 높일 필요가 있다.
3. 분할화면에 대처할 만한 UI 개선이 필요하다.
4. 사회자의 시간을 벌어주고, 그 여유 시간에 사회자가 토론에 기여할 수 있는 추가 기능으로의 확장을 고민해보자.
디베이트 타이머 데모버전은 다음 링크에서 체험해보실 수 있습니다.
추가적인 피드백은 본 블로그 글의 댓글 혹은 kkwoo001021@naver.com으로 전해주시면 너무나 감사하겠습니다.
이상으로 글을 마무리하겠습니다.