[DevOps] JAVA Gradle JaCoCo (Code coverage) 설정하기

본 내용에 대한 Source Code는 이 곳에서 확인하실 수 있어요.

🗂 목차

⚠️ 아래 목차 중 몇몇개의 링크가 걸리지 않는 문제로 글 맨 하단에 다음 글로 이동할 수 있게 해 두었습니다.

✅ [CI/CD] Jenkins와 Gitea 연동
✅ [CI/CD] Jenkins Trigger 정보 Discord로 보내기
✅ [CI/CD] 정적 코드 분석 툴 SonarQube와 Jenkins 연동
✅ [CI/CD] SonarQube를 통해 Code Convention 적용
✅ [DevOps] JAVA Gradle JaCoCo (Code coverage) 설정하기 
✅ [DevOps] JAVA Gradle JaCoCo (Code coverage) 설정하기 (추가)(https://junyharang.tistory.com/392)
✅ [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ① Application Linuxt(Ubuntu)에 SSH를 이용한 파일 전송
✅ [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ② Create Docker Image And BackUp
✅ [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ③ Application Server Docker Job (① Application 도커 존재 여부 확인)
✅ [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ③ Application Server Docker Job (② Application Docker Run)(https://junyharang.tistory.com/406)
✅ [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ③ Application Server Docker Job (③ Application Docker Health Check)
✅ [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ④ NGINX Server Docker Job (① NGINX 각 종 설정) 
✅ [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ④ NGINX Server Docker Job (② NGINX Docker 존재 여부 확인) 
✅ [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ④ NGINX Server Docker Job (③ NGINX Docker Run & Health Check)
✅ [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ④ NGINX Server Docker Job (③ NGINX 재 설정)

🤔 내가 만난 문제

⛔️ [Jenkins] java.lang.OutOfMemoryError: Java heap space

 

 

 

🚀 JaCoCo 설정

    🔽  개요

        📦 JaCoCo란?

JaCoCo는 Java Code의 Coverage를 Check하는 Plugin이에요.
Test Code를 진행하고, 해당 Test의 Coverage 결과를 사람이 보기 좋게 html, xml, csv 확장자로 Report를 생성해 주는 친구랍니다.

이 친구는 Test 결과가 개발자가 설정한 coverage 기준을 만족시키지 못하면 배포를 막을 수도 있어요. 이로 인해 Branch Coverage가 100%인 Project도 존재한다고 하네요.

이 친구를 요약하자면 아래와 같아요.

1. Line, Branch Coverage 제공.

2. Code coverage 결과를 File 형태로 제공.
   ∙ html, xml, csv

3. 개발자가 설정한 Coverage 기준 만족 여부 확인.

        📦 Coverage 란?

Code Coverage는 Test Case가 얼마나 충족되었는지를 나타내는 지표 중 하나에요. Test를 진행했을 때 'Code 자체가 얼마나 실행 되었는가?'를 수치로 확인하는 것이에요.

Code Coverage는 Source Code 기반으로 수행하는 White Box Test를 통해 측정하게 된답니다.

        📦 Coverage 측정 기준

Code 구조는 구문(Statement), 조건(Condition), 결정(Decision) 구조로 이뤄지고, 이러한 Code의 구조를 얼마나 Cover 했느냐에 따라 측정 기준이 나뉘게 되요.


1. 구문 (Statement)
   ∙ LineCoverage라고도 불리며,Code 한 줄이 한번 이상 실행된다면 충족. 만약 x가 -1일 때, Test Data로 활용할 경우 
      if문의 조건을 통과하지 못하기 때문에 3번 Code는 실행되지 않는다. 이 때문에 구문 Coverage는 3/4 * 100 = 75 %
      가 된다.

public void jaCoCoCoverage() {
    system.out.prinln("Start Line");			// 첫번째 구문

    if ( x > 0) {								// 두번째 구문
        system.out.println("middle Line");		// 세번째 구문
    }

    system.out.println("Last Line");			// 네번째 구문
}

2. 조건 (Condition)
   ∙ 조건은 모든 조건식을 말하며, 내부 조건이 true / false의 경우를 충족하는지 확인.

public void jaCoCoCoverage(int a, int b) {
	// Method A 실행 - 한번
    if ( a > 0 && b < 0) {				// 두번
    	// Method B 실행 - 세번
    }
    
    // Method C 실행 - 네번
}

위의 Code에서 내부 조건식은 a > 0일 때와 b < 0 때를 이야기하며, 각각 Boolean Type의 Return 값이 나오면 조건 Coverage를 만족.

a = 1, b = 1인 Test Case와 a = -1, b = -1 Test Case를 만들면 조건식 a > 0, b < 0은 각각 양수일 때와 음수일 때 모두 Test Case가 존재하기 때문에 조건 Coverage를 만족.

하지만, a > 0 && b < 0은 모두 false가 되기 때문에 조건 Coverage를 만족하더라도 구문 Coverage와 결정 Coverage를 만족하지 못하는 경우 발생.



3. 결정 (Decision)
Branch Coverage라고도 불리며, 모든 조건식이 true / false를 가지게 되면 충족.

public void jaCoCoCoverage(int a, int b) {
	// Method A 실행 - 한번
    if ( a > 0 && b < 0) {				// 두번
    	// Method B 실행 - 세번
    }
    
    // Method C 실행 - 네번
}

위의 함수에서 결정은 내부 조건이 아닌 조건식을 말한다. 즉, 위에 Code에서 a > 0 && b < 0을 이야기하는 것.
따라서 a = 1, b = 1일 때와 a = -1, b = 3으로 Test Case 구성 시 결정 Coverage 만족.

        📦 많이 사용하는 Code Coverage

가장 많은 이용을 하는 Coverage 방식은 구문 Coverage에요. 왜냐하면 조건 커버리지, 브랜치 커버리지의 경우 코드 실행에 대한 테스트보다 Logic의 시나리오에 대한 테스트에 더 가깝기 때문이에요.

위 두 커버리지는 조건문이 존재하지 않는 코드의 경우 그 코드는 커버리지 대상에서 아예 제외를 시켜버려요. 즉, 해당 코드들을 테스트하지 않는 것이지요.

그렇지만 구문 커버리지를 만족한다면 모든 코드를 테스트 코드가 커버했다고 말할 수 있을 것이에요. 물론 위에 결정 커버리지의 코드 예시에서 조건식이 false인 시나리오에 대해 테스트 됐다고 보장할 수는 없겠지만, 그래도 조건문 내부의 코드가 실행 되었을 때 문제가 없다는 것은 보장할 수 있을 것이에요.

 

    🔽  Spring Boot Gradle

        📦 JaCoCo Plugin 추가

Gradle 설정에 JaCoCo Plugin을 추가하고, Plugin 설정을 해주어야 해요. reportsDir로 Test 결과 Report를 저장할 경로를 바꿀수도 있답니다.


build.gradle

plugins {
    id 'jacoco'
}

jacoco {
  // JaCoCo 버전
  toolVersion = "0.8.5"

//  테스트결과 리포트를 저장할 경로 변경
//  default는 "${project.reporting.baseDir}/jacoco"
//  reportsDir = file("$buildDir/customJacocoReportDir")
}

 

build.gradle.kts

// kotlin DSL

plugins {
  jacoco
}

jacoco {
  // JaCoCo 버전
  toolVersion = "0.8.5"

//  테스트결과 리포트를 저장할 경로 변경
//  default는 "${project.reporting.baseDir}/jacoco"
//  reportsDir = file("$buildDir/customJacocoReportDir")
}

위와 같이 Gradle 설정에 JaCoCo Plugin을 추가하고, Plugin 설정을 해주었어요. repotsDir로 Test Report 저장 경로를 바꿀 수도 있어요.

자프링(Java + Spring)의 build.gradle에 작성하면 되고, 코프링(Kotlin + Spring)의 경우 build.gradle.kts에 작성해 주면 되요.

build.gradle

 

 

    🔽  Gradle task Configuration

        📦 Test Report Save and Coverage Check

Jacoco Gradle Plugin에는 jacocoTestReport와 jacocoTestCoverageVerification task 두 가지가 존재하는 것이에요.

1. jacoco TestReport : Binary Coverage 결과를 사람이 읽기 좋은 형태의 Report로 저장. html File로 생성하여 사람이 눈으로 쉽게 확인할 수 있고, SonarQube 등으로 연동하기 위해 xml, csv 같은 형태로 Report 생성 가능.

2. jacocoTestCoverageVerification : 개발자가 원하는 Coverage 기준을 만족하는지 확인할 수 있는 task. 예를 들어 Branch Coverage를 최소 80% 이상으로 유지하고 싶을 때, 이 곳에 설정. test task와 같이 Gradle Build 성공 / 실패를 결과로 보여줌.

build.gradle

jacocoTestReport {
  reports {
    // 원하는 리포트를 켜고 끌 수 있습니다.
    html.enabled true
    xml.enabled false
    csv.enabled false

//  각 리포트 타입 마다 리포트 저장 경로를 설정할 수 있습니다.
//  html.destination file("$buildDir/jacocoHtml")
//  xml.destination file("$buildDir/jacoco.xml")
  }
}

jacocoTestCoverageVerification {
  violationRules {
    rule {
      element = 'CLASS'

      limit {
        counter = 'BRANCH'
        value = 'COVEREDRATIO'
        minimum = 0.90
      }
      
      excludes = []
    }
  }
}

반응형

build.gradle.kts

// kotlin DSL

tasks.jacocoTestReport {
  reports {
    // 원하는 리포트를 켜고 끌 수 있습니다.
    html.isEnabled = true
    xml.isEnabled = false
    csv.isEnabled = false

//  각 리포트 타입 마다 리포트 저장 경로를 설정할 수 있습니다.
//  html.destination = file("$buildDir/jacocoHtml")
//  xml.destination = file("$buildDir/jacoco.xml")
  }
}

tasks.jacocoTestCoverageVerification {
  violationRules {
    rule {
      element = "CLASS"

      limit {
        counter = "BRANCH"
        value = "COVEREDRATIO"
        minimum = "0.90".toBigDecimal()
      }
      
      excludes = listOf("*.Kotlin.*")
    }
  }
}

728x90

 

build.gradle

 

1. element : Coverage를 Check할 단위(기준)을 정할 수 있으며, 총 6개 기준 제공.
   ∙ BUNDLE : Package Bundle(Project의 모든 File - Default Value)
   ∙ CLASS
   ∙ GROUP : 논리적 Bundle Group
   ∙ METHOD
   ∙ PACKAGE
   ∙ SOURCEFILE


2. counter : limit Method를 통해 지정할 수 있으며, Coverage 측정의 최소 단위. 이 때 측정은 java byte code가 실행된 것을 기준으로 측정되며, 총 6개 단위 제공.
   ∙ BRANCH : 조건문 등의 분기문 수
   ∙ CLASS : Class 수, 내부 Method가 한 번이라도 실행된다면 실행으로 간주.
   ∙ COMPLEXITY : 복잡도 
   ∙ INSTRUCTION : JAVA Byte Code 명령 수 (Default Value)
   ∙ METHOD : Method 개수, Method가 한 번이라도 실행된다면 실행으로 간주.
   ∙ LINE : 빈 줄을 제외한 실제 Code Line 수, Line이 한 번이라도 실행되면 실행으로 간주.


3. value : limit Method를 통해 지정할 수 있으며, 측정 Coverage를 어떤 방식으로 보여줄 것인가에 대한 정의. 총 5개 방식 제공.
   ∙ CONVEREDCOUNT : Cover된 개수
   ∙ COVEREDRATIO : Cover된 비율, 0 ~ 1 사이 숫자로 1이 100% (Default Value)
   ∙ MISSEDCOUNT : Cover되지 않은 개수
   ∙ MISSEDRATIO : Cover되지 않은 비율, 0 ~ 1 사이 숫자로 1이 100%
   ∙ TOTALCOUNT : 전체 개수


4. minimum : counter 값을 value에 맞게 표현했을 때의 최소값. 이 값을 통해 jacoco Test CoverageVerification 성공 여부 결정. 해당 값은 BigDecimal Type이고, 표기 자릿수만큼 Value 출력. 0.80이 아니라 0.8 입력 시 Coverage가 0.87이라도 0.8로 표기.


5. excludes : Coverage 측정 시 제외할 Class를 지정. Package Level의 경로로 지정하며, *, ?를 이용.

 

JaCoCo Plugin은 자동으로 모든 Test Type의 task에 JaCoCoTaskExtension을 추가하고, test task에서 그 설정을 변경(jaCoCo specific task configuration)할 수 있어요.


build.gradle

test {
  jacoco {
    destinationFile = file("$buildDir/jacoco/jacoco.exec")
  }
}

build.gradle.kts

tasks.test {
  extensions.configure(JacocoTaskExtension::class) {
    destinationFile = file("$buildDir/jacoco/jacoco.exec")
  }
}

아래 Code는 Plugin에서 test task에 default로 설정된 값이에요. 이 값들은 위의 destinationFile처럼 Override할 수 있어요.


build.gradle

test {
    jacoco {
        enabled = true
        destinationFile = file("$buildDir/jacoco/${name}.exec")
        includes = []
        excludes = []
        excludeClassLoaders = []
        includeNoLocationClasses = false
        sessionId = "<auto-generated value>"
        dumpOnExit = true
        classDumpDir = null
        output = JacocoTaskExtension.Output.FILE
        address = "localhost"
        port = 6300
        jmx = false
    }
}

build.gradle.kts

tasks.getByName<Test>("test") {
    extensions.configure(JacocoTaskExtension::class) {
        isEnabled = true
        destinationFile = file("$buildDir/jacoco/$name.exec")
        includes = listOf()
        excludes = listOf()
        excludeClassLoaders = listOf()
        isIncludeNoLocationClasses = false
        sessionId = "<auto-generated value>"
        isDumpOnExit = true
        classDumpDir = null
        output = JacocoTaskExtension.Output.FILE
        address = "localhost"
        port = 6300
        isJmx = false
    }
}

 

build.gradle

 

    🔽  JaCoCo 사용해 보기

        📦 Code 준비와 Test 실행

JaCoCo Test를 돌려 볼 Source Code와 Test Code를 준비합니다. 주니하랑은 JUnit5로 Test를 작성하고 있어요.
로 인해 JUnit이 함께 동작할 수 있도록 해주어야 해요.

build.gradle

test {
  useJUnitPlatform()
  finalizedBy 'jacocoTestReport' // 추가
}

build.gradle.kts

tasks.test {
    extensions.configure(JacocoTaskExtension::class) {
        destinationFile = file("$buildDir/jacoco/jacoco.exec")
    }

    finalizedBy("jacocoTestReport")
}

JaCoCo Plugin을 통해 jacocoTestReport Task로 Report를 생성하기 전에 test Task가 실행되어야 하고, jacoco Test Report Task에는 test Task와의 의존성이 설정되어 있지 않아요.

그렇기 때문에 test Task에 의존성에 대한 설정을 해주어야 해요.

jacocoTestReport Task와 jacocoTestCoverageVerification Task 순서도 매우 중요해요.

요약하자면 Unit Test가 진행되고, jacoco Test Report가 동작한 뒤 jacoco Test Coverage Verification 순서로 task가 진행되어야 해요.

이 순서는 위의 Code와 같이 finalizedBy라는 Method를 이용하여 설정할 수 있어요.

만약 위의 설정을 하지 않으면 jacocoTestReport task와 jacocoTestCoverageVerification task를 Skip하게 되는데, 이렇게 되면 실제 Test 자체가 동작하지 않게 되요.

설정이 다 되었으니 Test를 돌려 볼게요. 아래 명령어로도 실행할 수 있고,

./gradlew test

InteliJ 오른쪽 Gradle -> Tasks -> Verification -> Test를 실행할 수도 있어요.

Coverage 통과 시 build/reports/jacoco/test/html 경로에 index.html File이 생성된답니다.

Index.html을 브라우저를 통해 열면 아래와 같이 Corverage를 확인할 수 있어요.

JaCoCo Index.html

    🔽  입 맛에 맞추기

        📦 Coverage 제외

JaCoCo로 Test Code 수행 시 Test 할 필요가 없는 부분들도 Coverage에 잡힐때, 이를 제외하는 방법에 대해 알아볼게요.

1. 제외할 Class excludes 추가
   ∙ @SpringBootTest가 붙은 Class
   ∙ 각 종 Config Class
   ∙ DTO Class
   ∙ Request / Response Class
   ∙ Interceprot
   ∙ Exception
   ∙ QueryDSL 사용하기 위해 만들어진 Q Domain Class

위에 있는 친구들 외에 제외가 필요한 것들도 추가해 주면 되요. Q Class 경우 Class 이름이 Q + 대문자로 시작하기 때문에 그 특징을 잡아 제외 Class로 추가해주어야 해요.

jacocoTestReport에는 분석 Report 생성 시 특정 File 제외를 위해 defQdomain = [] 부터 afterEvaluate 쪽을 추가해 줄 것이에요.

jacocoTestCoverageVerification에는 검증을 제외할 Class들을 excludes에 추가해 줄 것이에요. 여기서도 Q Class들을 포함해서 제외할 것이구요.

 
build.gradle

jacocoTestReport {
    dependsOn test
    reports {
        html.enabled true
        xml.enabled true
        csv.enabled true

        html.destination file("src/jacoco/jacoco.html")
        xml.destination file("src/jacoco/jacoco.xml")
        csv.destination file("src/jacoco/jacoco.csv")
    }

    def Qdomains = []
    for (qPattern in '**/QA'..'**/QZ') {
        Qdomains.add(qPattern + '*')
    }

    afterEvaluate {
        classDirectories.setFrom(
                files(classDirectories.files.collect {
                    fileTree(dir: it, excludes: [
                    "**/*Application*",
                    "**/*Config*",
                    "**/*Dto*",
                    "**/*Request*",
                    "**/*Response*",
                    "**/*Interceptor*",
                    "**/*Exception*"
                    ] + Qdomains)
                })
        )
    }
    finalizedBy 'jacocoTestCoverageVerification'
}

jacocoTestCoverageVerification {
    def Qdomains = []
    for (qPattern in '*.QA'..'*.QZ') {
        Qdomains.add(qPattern + '*')
    }

    violationRules {
        rule {
            element = 'CLASS'
            enabled = true

            limit {
                counter = 'LINE'
                value = 'COVEREDRATIO'
                minimum = 0.60
            }

            limit {
                counter = 'BRANCH'
                value = 'COVEREDRATIO'
                minimum = 0.60
            }

            excludes = [
                    "**.*Application*",
                    "**.*Config*",
                    "**.*Dto*",
                    "**.*Request*",
                    "**.*Response*",
                    "**.*Interceptor*",
                    "**.*Exception*"
            ] + Qdomains
        }
    }
}

추가적으로 Lombok을 사용할 때, getter, builder Method 등을 쉽게 사용하는데, 이를 Test 범위에서 제외할 필요를 느껴 제외해 볼게요.

최초 Project Root Directory 아래 lombok.config File을 만들고, 아래 Option을 추가해 주었어요.
참고로 resources Directroy 아래 생성 시 적용이 안되니 주의해야 해요.

lombok.config

 

위 File을 작성하고, Gradle을 다시 실행해주어야 해요.

JaCoCo Index.html

 

 

🧐 참고 자료

Gradle 프로젝트에 JaCoCo 설정하기

테스트 커버리지(Test Coverage)

코드 분석 도구 적용기 - 1편, 코드 커버리지(Code Coverage)가 뭔가요?

 

 

이전 글: [CI/CD] SonarQube를 통해 Code Convention 적용

다음 글: [DevOps] JAVA Gradle JaCoCo (Code coverage) 설정하기 (추가)