G+AIDER SOLUTION G+AIDER Studio 사용자 가이드

소개

G+AIDER Studio를 사용하여 게임을 테스트는 방법과 G+AIDER의 IR(Image Recognition) 서버에 구현된
이미지 및 오브젝트 인식 기술을 사용하기 위한 게임 템플릿을 만드는 방법에 관해 설명합니다.

준비

  • 1. 서버에 접속하기 스튜디오를 시작한 후에 나중에 로그인하고 스튜디오를 사용하려면 서버 연결을 설정해야 합니다. 서버 IP 주소를 설정하려면 "환경설정(Preferences)” 메뉴로 이동하여 "연결 설정(Connection Settings)"을 선택하십시오. 나타난 팝업 창에서 스트리밍 및 http 요청에 사용되는 서버 주소 및 포트를 입력하고 적용(Apply)을 누릅니다.
  • 2. 권한 부여 IR 서버 연결 설정이 올바르게 구성되면, Studio에서 작업을 계속할 수 있고 계정에 로그인 할 수 있습니다. 이미 계정을 만든 경우 전자 메일과 암호를 사용하여 로그인하십시오. 그렇지 않은 경우 새 계정을 만들고 로그인하면 됩니다.
  • 3. 모바일 에이전트 연결 각각의 iOS 및 Android 에이전트 설치 가이드에서 당신의 iOS 및 Android 휴대폰을 설정 및 연결하는 방법을 확인하실 수 있습니다.

게임 템플릿들

게임 템플릿은 게임 캐릭터 (오브젝트)를 프로토타입(이미지 인식 처리) 하는 데 사용됩니다.
이를 위해 G+AIDER Studio에서는 템플릿 픽커(Template picker)라는 선택 전용 툴을 사용합니다.

  • 1. 템플릿 픽커(Template picker) 소개 템플릿 픽커는 G+AIDER 스튜디오에서 이미지 및 개체 인식 기술을 사용하기 위한 전용 툴입니다.
    간략하게 설명하면, 이미지 및 비디오에서 객체(게임 주요 요소)의 이미지를 잘라내어 나중에 사용할 수 있도록 해당 이미지를 IR(Image Recognition) 서버에 업로드 할 수 있습니다.
  • 2. 템플릿 픽커의 기동과 로그인
    • 1. 템플릿 픽커 버튼 을 누르세요.
    • 2. 템플릿 픽커 사용 계정에 대한 창이 뜹니다.
      • 1) Yes, and login as Me : 현재 로그인된 계정 그대로 사용
      • 2) Yes, but do not login as Me : 다른 로그인 계정 사용
      • 3) No : 취소
    • 3. Dialog 창이 뜨면 로그인 정보를 입력합니다.
      • * 앞서 2번 - 1) 을 클릭했다면 자동으로 사용자 계정이 입력될 것입니다.
      • ※ 만약 Connection is refused 에러가 나온다면 IP Address를 확인해야 합니다.
  • 3. 게임(Game) 생성 템플릿을 생성하기 위해선 두 가지 방법이 있습니다.
    • 1) Studio에서 게임 생성
      • - Studio에서 게임을 만들려면, 솔루션(Solutions) 버튼()을 누릅니다.
      • - 새 팝업 창에서, 게임 이름과 설명을 입력하고, "OK" 버튼을 눌러 게임 만들기를 완료하십시오.
    • 2) 템플릿 픽커에서 생성
      • - 템플릿 픽커를 실행하고 로그인합니다.
      • - 게임 버튼을 클릭 후, 결과 창에서 새 게임 만들기 버튼을 클릭합니다.
      • - 게임 이름을 입력한 다음 "Open the Game" 버튼을 누릅니다.
  • 4. 템플릿(Template) 만들기의 기본 게임을 생성한 후, 템플릿을 자르는 데 쓸 소스로 테스트할 게임의 이미지나 비디오 중에 선택해야 합니다. 또한 템플릿 매칭(template matching)기술을 사용하는 데 있어서, 더 다양한 모습의 오브젝트의 템플릿을 만들수록 정확도가 더 높아진다는 것을 기억해야 합니다. 예를 들어 상자를 인식할 게임 오브젝트의 대상으로 선택한다면, 템플릿을 생성할 때, 닫힌 상자의 모습과 열린 상자의 모습 등 다양한 모습의 템플릿을 만드는 것이 더 좋습니다.
  • 5. 실시간 영상에서 템플릿 저장 휴대폰에서 올라오는 실시간 영상에서 템플릿을 만들려면, 먼저 휴대폰을 스튜디오에 연결하고, 프레임 녹화 () 버튼을 눌러야 합니다. 버튼을 누르면, 캡처 한 프레임을 보여주는 새로운 창이 나타나고, 캡쳐를 멈추고 모든 이미지를 컴퓨터에 저장해서 나중에 템플릿을 만드는 데 사용할 수 있습니다. 또한 프레임에서 마우스 오른쪽 버튼을 눌러 필요 없는 프레임은 삭제할 수 있습니다.
  • 6. 이미지에서 템플릿 만들기 이미지에서 템플릿을 만들 때, 이 튜토리얼에서는 iOS 에이전트에서 기록한 프레임들을 사용했습니다. 템플릿 만들기를 시작하려면 아래 단계를 따르십시오.
    • 6.1. 템플릿 픽커() 버튼을 눌러 템플릿 픽커를 실행합니다.
    • 6.2. 이 문서 위에서 설명한 데로 로그인을 합니다.
    • 6.3. 템플릿 픽커 어플리케이션이 실행된 후, 새 게임을 만들거나 기존에 생성한 게임을 선택하십시오.
    • 6.4. 새 오브젝트(New Object) 버튼 ()을 눌러 새 오브젝트를 만들고, 오브젝트에 이름을 정하고 "ok"를 누릅니다.
    • 6.5. "이미지 파일 열기…"(Open image files…)버튼을 선택하십시오.
    • 6.6. 목표하는 오브젝트가 포함된 이미지를 선택하고 "열기"(Open)를 누릅니다.
    • 6.7. 선택한 이미지를 볼 수 있으며, 위에 나타난 이미지 중 필요한 이미지를 선택할 수 있습니다.
    • 6.8. 열린 이미지 위에 올리면, 아래 이미지와 같이 자르기 영역 마스크가 나타납니다.
    • 6.9. 오브젝트 위에 위치하고 템플릿 마스크가 객체를 완전히 덮을 때 마우스 왼쪽 버튼을 클릭합니다. 오브젝트의 템플릿이 캡처되고 왼쪽에 목록에 나타납니다. 이때 다양한 위치와 상태의 오브젝트를 캡처하는데 좋습니다. 템플릿 픽커 명령에 대한 도움말은 "F1" 또는 도움말(help) 버튼()을 눌러 찾을 수 있습니다.
    • 6.10. 오브젝트의 모든 템플릿을 잘라낸 후, 이미지 인식 서버 (IRS)에 업로드 해야 합니다. 이를 위해, 오브젝트를 선택하고 그 오브젝트의 모든 템플릿을 선택한 다음 "템플릿 업로드"(Upload Templates ) 버튼을 누릅니다. 업로드된 템플릿을 보고 또 편집하려면 오브젝트를 두 번 클릭하면 됩니다. 이제 첫 번째 테스트를 시작할 준비가 완료되었습니다.

첫 번째 테스트 케이스 만들기

G+AIDER 스튜디오에서는, 스크립트가 프로젝트에 포함되어 있으며, 프로젝트는 솔루션에 포함되어 있습니다.
아래에서 솔루션, 프로젝트 및 스크립트 작성에 대해 설명을 하겠습니다.

  • 1. 솔루션(Solution) 생성 솔루션을 생성하려면, ()버튼을 눌러 솔루션 매니저를 엽니다.
    결과 창에서, "Open the Solution" 버튼으로 기존 솔루션 중 하나를 선택하거나, "+"버튼을 눌러 새로운 솔루션을 생성하십시오.
    여기서는, 상자 오브젝트를 사용하여 "BoxOpenCloseTest" 게임을 미리 만들었으며 그 게임을 선택했습니다.
  • 2. 프로젝트(Project) 생성 솔루션을 만든 후에, ()버튼을 사용하여 프로젝트를 만들 수 있습니다. 열린 팝업 창에서 프로젝트 이름을 입력하고 "ok"를 누릅니다.
  • 3. 스크립트(Script) 생성 ()버튼을 사용하여 새 스크립트를 만듭니다. 열려있는 팝업 창에서 스크립트 이름을 입력하고 "ok"를 누릅니다.
    스크립트를 선택하고 더블 클릭하여 추가 편집을 위해 엽니다. 스크립트의 내용을 저장하려면 저장(Save) 버튼()을 누릅니다.

G+AIDER Studio에서의 스크립트 작성

G+AIDER Studio에서는, 스크립트 내용을 device inspector를 이용하여 자동으로 액션을 녹화(record)하거나
수동으로 작성할 수 있습니다. 두 가지 방법에 대한 자세한 정보는 아래에서 확인할 수 있습니다.

  • 1. 스크립트 녹화(Record) 새 스크립트를 만든 후, 열고 나서 장치를 연결한 다음, 녹화 시작(Record) 버튼()을 누릅니다.
    녹화를 중지하려면 녹화 중지(Stop record) 버튼 () 을 누릅니다.
    이 모드에서, Studio는 정확하게 동일한 액션들을 다시 재생할 수 있도록 액션을 정확하게 기록합니다.
  • 2. 스크립트 작성(Manual) 새로 생성된 스크립트를 열면, 스크립트 창에 블록 범주(categories)가 나타납니다. 보시다시피 5가지 카테고리가 있습니다. 제스처(Gestures), 상호 작용(Interactions), 이미지 인식(Image recognition), 오브젝트 테스트(Object test) 그리고 논리(Logic)블록. 제스처 블록들은 휴대폰에서 수행하는 제스처를 나타냅니다. 탭(tap), 스와이프(swipe), 드래그(drag) 그리고 롱 탭(long tap). 상호 작용 블록들은 휴대폰의 시스템과 상호 작용하는 방식을 나타냅니다. 이미지 인식 블록을 사용하면, 서버에 구현된 이미지 및 문자 인식 기술을 사용할 수 있습니다. 논리 블록을 다른 프로그래밍 언어처럼 if, if else, while 등을 사용하여, 특정 논리 조건을 확인하고 실행할 수 있습니다. 또한 변수를 선언하고, 변수에 값을 할당하고, 로그(log )하고, 출력(print)하는 등 논리 블록으로 많은 작업이 가능합니다. 다음으로, 상자 열기 및 닫기를 여러 번 반복적으로 확인하려는 게임의 테스트 사례를 만들고 싶다고 가정해 봅시다. (뽑기나 가챠 확률) 예로서 랜덤박스 테스트 (random box test) 게임을 사용했습니다. 이 테스트 케이스를 위해서
    • 2.1. "First script"라는 스크립트를 생성합니다.
    • 2.2. 왼쪽 버튼으로 더블 클릭하여 그 스크립트를 엽니다.
    • 2.3. 논리 블록(Logic block)카테고리를 선택하고, "repeat"블록을 스크립트 쪽으로 드래그하십시오. "repeat" 블록 내부의 반복 횟수를 원하는 숫자를 입력하여 설정 할 수 있습니다.
    • 2.4. 제스처(Gestures)에서 클릭(click)블록을 선택하고, " repeat "블록 안으로 드래그하십시오. 결과는 아래 이미지 같습니다.
    • 2.5. 이제 이미지 인식(Image recognition) 카테고리에서, 클릭(Click)블록 안에 오브젝트(Object)블록을 드래그하여 놓고, 오브젝트(Object)블록에 포함된 드롭다운 목록을 클릭해서 열고, 이전에 만든 게임(Game)에서 생성한 오브젝트 "Box"를 선택해서 상자(Box)의 템플릿들을 배치합니다.
    • 2.6. 논리 블록(Logic block)카테고리를 선택하고, "repeat"블록을 스크립트쪽으로 드래그하십시오. "repeat" 블록 내부의 반복 횟수를 원하는 숫자를 입력하여 설정 할 수 있습니다.

스크립트 실행하기

스크립트를 실행하려면, 먼저 휴대폰을 연결하고, 실행할 스크립트를 녹화하거나 수동으로 작성해야 합니다.
그 후에 스크립트를 열고, 재생(Replay) 버튼 ()을 누르면 됩니다.
또한, 모든 스크립트에는 시작하는 초기 위치를 유념할 필요가 있습니다.
여기서는, 테스트용 랜덤박스오픈 게임이 실행되고, 박스는 닫혀 있습니다.
휴대폰 접속 후, 랜덤박스게임이 실행되고, Studio상에 아래와 같은 상태입니다.

실행 중일 때, Studio는 현재 실행 중인 블록을 강조 표시합니다.
실행이 끝나면, Studio에서 완료 메시지를 표시합니다.

물음표

궁금한 사항이 있으신가요?