SW 테스트 자동화

TRACE32
Admin (토론 | 기여) 사용자의 2019년 4월 11일 (목) 18:16 판

이동: 둘러보기, 검색

 

※ 다운로드 파일 (업데이트 일자 : 2019/01/16)

 

     - Evaluation 기간 연장 : 2019년 6월 올해까지 유지보수와 관계없이 사용 가능합니다.

 


iTSP-Tools Application은 iTSP에 포함된 확장 기능으로 iTSP를 다운로드 받으시면 사용하실 수 있습니다.

 

또한 고객 환경에 맞게 사용하실 수 있도록 기술지원 받으실 수 있습니다.

 

 

 

2018.11.20

- 런타임 측정 기능 개선: 타이머 카운트 계산 관련 정확도 향상 및 표시부 개선

 

  (ns보다 작은 단위의 소수점 단위 계산시 약간의 오차가 발생한 부분 보상 로직을 적용하여 개선)

 


2018.10.22


 1. 신규 기능: Logging Variables (변수 로깅) 기능 추가

 

       사용법 관련 자세한 기능은 아래 링크에  설명되어 있습니다.

 

  변수 로깅 전용 툴 (VAR.LOG / SNOOPER) 


 2. 신규 기능: Stack Max Usage 측정툴  (스택 최대 사용량 측정) 기능 추가

 

       사용법 관련 자세한 기능은 아래 링크에  설명되어 있습니다.

 

  스택 MAX 사용량 측정 툴 


 

 


2018.7.25


 1. 신규 기능인 Function Call Testing 기능 추가

 

      사용법 관련 자세한 기능은 아래 링크에  설명되어 있습니다.

 

함수 호출 기능을 이용한 Function Call Testing Tool

 

 

 

 

2018.6.19


1.     Dualport를 이용한 Running Mode 테스트 , 데이터 값 주입되는 시간 간격을 유저가 정의할 수 있도록 기능 추가 (TEST_MODE : RUNNING)

 

 테스트 케이스의 헤더에 다음처럼 입력되어야 합니다.

 


 

 

2.      Float Type으로 테스트 결과 비교 시 발생하는 문법오류 수정 

 

     3.  매개변수가 테스트포인트에서 아직 할당되지 않을경우 사용자에게 정보를 알려주도록 예외처리 추가

 

 

 

2018.4.27


      - Evaluation 기간 연장 : 2018년 6월까지 유지보수와 관계없이 사용 가능

 

      - 특정 변수값 증가 테스트 기능 추가

 

      - 테스트 타임아웃 시간 설정 가능

 

      - 타겟 동작중에 듀얼포트를 통해 전역 변수값 설정 및 확인 기능 추가

 

 

 

 

 

 

1. 기능 소개


  본 페이지에서는 SW 프로그램을 테스트하는 여러 방법 중, 실제 타겟 프로세서에서 SW 테스트를 진행하는 방법에 대해 설명한다.


실제 타겟에서의 SW 테스트를 위해서는 "코드가 다운로드된 타겟" 과 "HW 디버깅 장비 TRACE32" 가 필요하다.


 이 때, HW 디버깅 장비는 원하는 프로그램 위치에서 타겟 코어의 동작을 멈춘 후 입력 값을 변경하고, 연산이 완료된 출력 값을


가져오는 역할을 수행한다. 특히 TRACE32 는 수많은 테스트케이스를 수행하는데 있어서 개발자가 직접 수동/반복적으로 테스트


해야 했던 일을 자동화하여 많은 시간과 비용을 줄여줄 수 있다.


      

2. iTSP 실행 방법


1. TRACE32 홈페이지의 메인 화면에서 ’iTSP’ 아이콘을 클릭합니다.


2. iTSP 압축파일을 다운로드 받아 압축해제 합니다.


 3. iTSP 설치가 완료되면 ‘Trace32 ICD Target <프로세서>’ 파일을 더블클릭 합니다.

 

T32 설치폴더 내 iTSP 폴더를 압축 해제할 경우는 별도의 경로를 설정하실 필요 없습니다.

 

 



3. 화면 구성 및 사용법


3-1. Main UI

                          

 

 

①   Add Test Case File : Test Case를 설정/정의한 CSV파일을 등록하거나 새로 생성

 

 

②  Test Scenario:    테스트 시나리오 리스트 (T32_Test_List.txt 파일)


테스트케이스를 만들거나 추가 등록시키면 리스트가 업데이트 된다.


Start버튼을 누르면 테스트케이스 파일과 T32 커맨드를 정의한 순서대로 수행한다.


[Edit Test Scenario]버튼을 통해 시나리오를 직접 수정 가능


-  TEST_FILE : [테스트케이스 파일의 경로]


-  T32_CMD : [T32 명령어]

 


③   Simulator Debugging : 디버깅 환경을 시뮬레이터로 전환


시뮬레이터에서는 코드 커버리지나 백트레이스 등 고급 기능들을 사용 가능하다.


※ 전환할 경우 PowerView가 재시작 되니 주의하십시오.

 


④   ETC :

- Coverage : 코드 커버리지를 보거나 리셋한다.


- Load Symbol : 심볼를 로딩한다.

 


⑤    Test Start :  정의한 시나리오대로 테스트를 시작한다.

 

 


3-2. Test Case 생성

 

- Main UI에 있는 [Create] 버튼을 누르면 아래와 같은 창이 나타난다.


                         

 

 

①  Test Unit : [Sel] 버튼을 눌러 테스트 함수를 검색하거나


   주소나 심볼을 직접 입력한다.


- 테스트 시작 지점 (Input/ Pre-Condition 대입 시점)


- 테스트 끝 지점   (예상 Output 값과  실제 Output 값 비교 시점)


※ End Address를 입력하지 않을 경우 함수 종료 시점이 자동 입력된다.

 


②  Test Setting :  테스트 방법이나 항목을 설정한다.


1. TEST MODE : 테스트 방식을 결정


- CALL 모드 : 함수 단위 테스트시 함수 호출을 TRACE32가 대신 실행


                    테스트 대상이 반복적으로 호출되지 않더라도 이 모드를 이용하면 반복하여 빠르게 테스트가 가능함


- BREAK 모드 : 테스트 시작점에 Breakpoint를 잡고 테스트하는 방식


           코드 흐름에 맞추어 테스트 진행됨


        ※ CMD : 각 테스트 케이스가 실행되기 전에 수행되는 명령어

 


2. FLASH Download : 타겟에 ELF 이미지파일의 다운로드와 관련된 설정 항목이다.

 


3. Debug Option : 테스트중 FAIL이 발생하면 그 시점에 타겟을 멈추게하는 기능


 타겟이 멈추면 그 시점을 디버깅하여 FAIL의 원인을 찾을수 있음


 [Continue Test] 버튼을 누르면 이어서 테스트 시작


4. RUNTIME Test : 각 테스트케이스별 수행시간을 측정하는 기능이다.



-   Timer Register Address : 타이밍 측정에 사용할 내부 타이머 레지스터 주소


-   Timer 1 Tick Time : Timer 1 tick 당 시간 정보


-   MAX Timer Value : 16bit or 32bit 선택, Max Timer 값 지정


5. Step Num : 함수 진입시 매개변수나 지역변수가 할당 되지 않을 경우에  테스트 시작점에서 지정한 횟수만큼 Step을 하고 테스트를 진행한다.


                  

 


③     DONE : Testcase를 작성하기 위한 csv파일 포맷이 자동 완성되어 열린다.


※ 엑셀과 연동하기 위해서는 config폴더의 excel_path.txt 안에 excel 실행파일 경로를 반드시 설정해주어야함

 

 


3-3. Test Case 입력 (CSV파일)


           

 

 

1. 기본 포맷 :  TYPE/[심볼or주소]

 


2. TYPE 정보


1. INP : Parameter, 매개변수


2. PRE : Pre-Condition, 전역변수 입력


3. OUT : 함수 Return값, 전역변수 출력 확인


 

3. 심볼/ 주소/ 레지스터


1.     심볼 : 심볼이 로딩되어 있는 경우 변수 이름 입력


ex) INP/tmp ,  OUT/result,  PRE/^coeff  (※ float 소수점 자료형은 심볼앞에 ^마킹)


  2.     주소 : 직접 주소값과 포맷을 입력 (INP 타입은 사용 불가)


ex) PRE/0x90000100(long)   ,  OUT/0x1000(short)


  3.     레지스터 : r( )함수를 이용하여 원하는 레지스터 이름 입력


ex) PRE/r(r2)   ,   OUT/R(D15)

 

4. 테스트케이스 값 입력

 


아래와 같이 calculator 함수의 명세서가 있다고 가정해 보자.


 

이러한 함수 사양 명세서를 보고 아래와 같이 여러개의 테스트케이스를 만들 수 있다.


참고로 아래처럼 입력값을 넣지 않고 빈칸으로 놔두게 되면 이전 테스트케이스의 값을 유지한다.



 

 

5. 랜덤값 입력


만약 원하는 범위내의 임의의 값을 대입하고 싶다면 아래처럼 rand(min~max) 형태로 입력할 수 있다.

                       

 

6. 증가값 입력 (신규 추가 기능)

 

 

특정 변수의 Min부터 Max까지의 Delta증가값에 따른 결과를 보고싶을 때 사용하는 기능으로 OUT 변수들의 결과값을 뽑아낼 수 있는 기능이다.


사용 방법은 inc(min~max:Delta)  형태로 입력할 수 있다. 

 

해당 결과는 아래와 같이 나온다.


 

<TEST CASE>

 

 

 

<REPORT>

 

 

 

 


3-4. Test 시작


   1. Main UI의   버튼을 누르면 테스트가 시작된다.


   2. Main UI의 AREA창을 통해 테스트 진행상황을 모니터링할 수 있다.


         

 

 

 

3-5. Test Report 결과 확인


     테스트케이스 대상 별로 폴더가 각각 생성되고 테스트 결과는 csv포맷으로 출력된다.

 

      RES/ 로 출력되는 TYPE은 실제 타겟에서 출력된 결과를 의미한다.


    아래와 같이 결과를 받아서 테스트케이스의 예상결과값과 다르게 나온 부분이 어디인지 한눈에 파악이 가능하다.

 



 

 

 

 

 

 

1.   소개 

 

디버깅도 일종의 테스트라고 할 수 있습니다. 작성한 개발 코드가 의도대로 동작하는지 보기 위해서는 테스트하려는 코드를 Running 하기 전에 입력되는 변수들을 원하는 값으로 변경합니다. 그 후 테스트 대상 코드를 Running 시키고 종료 시점에서 의도대로 값들이 출력되었는지 결과를 확인합니다.

하지만 테스트해야 할 코드가 수백개고 코드마다 테스트케이스가 수십개씩 이라면, 일일히 디버깅 하듯이 유저가 테스트 하는것은 많은 시간과 비용이 들게 됩니다. 또한 수정이 잦은 개발 단계의 코드는 반복 테스트가 많은 만큼 자동화 테스트는 꼭 필요합니다. 

한컴MDS 기술지원팀에서 제공하는 SW Testing Tool을 이용한다면, 이러한 반복된 작업을 파일로 정의하고 코드가 수정될때 마다 쉽게 테스트를 자동화하여 반복 수행할 수 있습니다. 또한 테스트 결과를 파일로 레포트 받아 오류가 발생한 테스트케이스 사항이 무엇인지 한눈에 파악하실 수 있습니다.

  1. 1.   소개

 

디버깅도 일종의 테스트라고 할 수 있습니다. 작성한 개발 코드가 의도대로 동작하는지 보기 위해서는 테스트하려는 코드를 Running 하기 전에 입력되는 변수들을 원하는 값으로 변경합니다. 그 후 테스트 대상 코드를 Running 시키고 종료 시점에서 의도대로 값들이 출력되었는지 결과를 확인합니다.

하지만 테스트해야 할 코드가 수백개고 코드마다 테스트케이스가 수십개씩 이라면, 일일히 디버깅 하듯이 유저가 테스트 하는것은 많은 시간과 비용이 들게 됩니다. 또한 수정이 잦은 개발 단계의 코드는 반복 테스트가 많은 만큼 자동화 테스트는 꼭 필요합니다. 

한컴MDS 기술지원팀에서 제공하는 SW Testing Tool을 이용한다면, 이러한 반복된 작업을 파일로 정의하고 코드가 수정될때 마다 쉽게 테스트를 자동화하여 반복 수행할 수 있습니다. 또한 테스트 결과를 파일로 레포트 받아 오류가 발생한 테스트케이스 사항이 무엇인지 한눈에 파악하실 수 있습니다.

 

 

반복 작업을 자동화 할 수 있는

TRACE32  SW Testing Tool

 

 

 

 

 

 

 


  1. 2.   실행 방법

 

  1. 받은 tools.zip 파일을 “T32설치폴더” 안에 tools라는 이름으로 압축해제 합니다.
  2. tools 폴더안에 있는 t32.men 파일을 복사하여 “T3설치폴더(C:\T32)”에 덮어쓰기를 합니다.

 

  1. 이후 TRACE32프로그램을 실행하면 아래와 같이 [mds]버튼이 추가됩니다.

 

  1. 생성된 [mds]버튼을 누르면 SW Testing Tool 이 실행됩니다.

 

3. 화면 구성 및 사용법

3-1. Main UI

 

 

 

①     Add Test Case File : Test Case를 설정/정의한 CSV파일을 등록하거나 새로 생성합니다.

②    Test Scenario : 테스트 시나리오 리스트를 보실 수 있습니다.

테스트케이스를 만들거나 추가 등록시키면 리스트가 업데이트 됩니다.

정의한 테스트케이스 파일과 T32 커맨드를 Start버튼을 누를 경우 순서대로 수행합니다.

[Edit Test Scenario]버튼을 통해 시나리오를 직접 수정하실 수 있습니다.

l  TEST_FILE : [테스트케이스 파일의 경로]

l  T32_CMD : [T32 명령어]

③     Simulator Debugging : 디버깅 환경을 시뮬레이터로 전환합니다.

시뮬레이터에서는 코드 커버리지나 백트레이스 등 고급 기능들을 사용하실 수 있습니다.

전환할 경우 PowerView가 재시작 되니 주의하세요.

④   ETC :

-       Coverage : 코드 커버리지를 보거나 리셋합니다.

-       Load Symbol : 심볼을 로딩합니다.

⑤    Test Start :  정의한 시나리오대로 테스트를 시작합니다. 

 

3-2. Test Case 생성

 

 

①    Test Unit : Sel 버튼을 눌러 테스트 함수를 검색하실 수 있습니다.

  주소를 직접 입력하시거나 심볼을 입력합니다.

- 테스트 시작 지점 (Input/ Pre-Condition 대입 시점)

- 테스트 끝 지점   (예상 Output 값과  실제 Output 값 비교 시점)

※ End Address를 입력하지 않을 경우 함수 종료 시점이 자동 입력됩니다.

②    Test Setting :  테스트 방법이나 항목을 설정합니다.

1. TEST MODE : 테스트 방식을 결정

-       CALL 모드 : 함수 단위 테스트시 함수 호출을 TRACE32가 대신 실행합니다.

                     테스트 대상이 반복적으로 호출되지 않더라도 이 모드를 이용하면

반복하여 빠르게 테스트하실 수 있습니다.

-       BREAK 모드 : 테스트 시작점에 Breakpoint를 잡고 테스트하는 방식입니다.

         코드 흐름에 맞추어 테스트 합니다.

        ※ CMD : 각 테스트 케이스가 실행되기 전에 수행되는 명령어

참고로 CALL 모드는 처음 한번만 수행됨

2. FLASH Download : 타겟에 ELF 이미지파일의 다운로드와 관련된 설정 항목입니다.

3. Debug Option : 테스트중 FAIL이 발생하면 그 시점에 타겟을 멈추도록 만듭니다.

                      타겟이 멈추면 그 시점을 디버깅하여 FAIL의 원인을 찾을수 있습니다.

                         [Continue Test] 버튼을 누르면 이어서 테스트합니다.

4. RUNTIME Test : 각 테스트케이스별 실행시간을 측정하실 수 있습니다.

 

-       Timer Register Address : 타이밍 측정에 사용할 내부 타이머 레지스터 주소

-       Timer 1 Tick Time : Timer 1 tick 당 시간 정보

-       MAX Timer Value : 16bit or 32bit 선택, Max Timer 값 지정

5. Step Num : 함수 진입시 매개변수나 지역변수가 할당 되지 않을 경우에 사용합니다.

                   Start Address에서 지정한 횟수만큼 Step을 합니다.  

③     DONE : Testcase를 작성하기 위한 csv파일이 포맷 완성되어 열립니다.

※ 엑셀과 연동하기 위해서는 config폴더의 excel_path.txt 안에

excel 실행파일 경로를 설정해 주셔야 합니다.

3-3. Test Case 입력 (CSV파일)

 

TEST_CASE를 CSV 포맷으로 작성해 주시면 됩니다.

l  기본 포맷 :  TYPE/[심볼or주소]

TYPE 정보

1. INP : Parameter, 매개변수

2. PRE : Pre-Condition, 전역변수 입력

3. OUT : 함수 Return값, 전역변수 출력 확인

              - T32는 함수 종료시 return이라는 심볼을 생성후 리턴값을 대입합니다.

심볼/ 주소/ 레지스터

  1. 1.     심볼 : 심볼이 로딩되어 있는 경우 변수 이름 입력

ex) INP/tmp ,  OUT/result,  PRE/^coeff

  1. 2.     주소 : 직접 주소값과 포맷을 입력 (INP 타입은 사용 불가)

ex) PRE/0x90000100(long)   ,  OUT/0x1000(short)

  1. 3.     레지스터 : r( )함수를 이용하여 원하는 레지스터 이름 입력

ex) PRE/r(r2)   ,   OUT/R(D15)

 

랜덤값 입력

rand(min~max) 으로 원하는 범위내의 임의의 값을 대입 가능

ex)

 

3-4. Test 시작

 

  1. Main UI의  버튼을 누르면 테스트가 시작됩니다.
  2. Main UI의 AREA창을 통해 테스트 진행상황을 모니터링할 수 있습니다.

 

3-5. Test 결과 확인

 

테스트케이스 대상 별로 폴더가 각각 생성되고 테스트 결과는 csv포맷으로 출력됩니다.

 

아래와 같이 결과를 받아서 테스트케이스의 예상결과값과 다르게 나온 부분이 어디인지 한눈에 파악하실 수 있습니다.