flowlog

[Spring AI] 4편: MCP 서버 구동과 실행

joon95 — Fri, 20 Mar 2026 14:14:03 +0900

MCP 서버 구동 방식

MCP 연동을 통해 제일 먼저 고민한건 MCP서버를 어디에 둘까?였다.

stdio vs streamable-http

먼저 stdio 방식은 해당프로세스가 자식프로세스로 mcp 서버를 관리하는 것으로 별도의 네트워크 이슈가 발생하지 않는 장점이 있지만, mcp 프로세스의 메모리점유율이 높아질 경우 해당 서버의 모든 프로세스에 영향이 올 수 있으므로 Enterprise 환경에서 맞지 않다. 그래서 별도로 MCP Server를 가지고 API로 서비스할 수 있는 기능을 활용해야한다. 바로 Streamable-http 방식인데 25년3월부터 해당 방식이 등장했다.(그전에는 sse 방식을 지원함)

결론부터 말하자면 두가지 방식을 다 테스트 해봄~

Streamable-http : Google MCP

구글 캘린더에 일정을 추가&조회
추가로 gmail 을 여는 방법으로 아주 쉽게 기능 확장을 경험

stdio : Notion MCP

LLM, 다른 에이전트에서 정리된 데이터를 Notion 정리하기 위함

Google MCP Server

Streamable-http 방식으로 구글MCP 를 올리는 방법에서 삽질을 많이 했다.

그냥 google-mcp 면 다 되는 줄 알고 .. ^^

github 에 올라온 많은 google-mcp 중에 streamable-http 을 지원하도록 FastAPI 로 개발된 repository를 발견하고 잘 올렸다.

GitHub - taylorwilsdon/google_workspace_mcp: Control Gmail, Google Calendar, Docs, Sheets, Slides, Chat, Forms, Tasks, Search &

Control Gmail, Google Calendar, Docs, Sheets, Slides, Chat, Forms, Tasks, Search & Drive with AI - Comprehensive Google Workspace / G Suite MCP Server & CLI Tool - taylorwilsdon/google_work...

github.com

GCP 에서 프로젝트를 생성하고 client, client-sercret 을 발급하여 .env 파일에 잘 적는다.

그리고 내가 사용할 tools 를 선택하여 사용할 수 있다.

main.py --transport streamable-http --tools calendar

MCP-Inspector

MCP 서버가 정상인지 체크하기 위해 위 프로그램을 실행

npx @modelcontextprotocol/inspector

웹페이지가 하나 뜨는데 아래와 같이 입력하고 Connect 해보면 Tools에 LLM이 사용할 수 있는 목록이 나온다.

SpringAI코드

MCP를 연결하려면 Transport 모듈을 사용해야하는데 별도의 패키지를 써야한다.

implementation 'org.springframework.ai:spring-ai-starter-mcp-client-webflux'
implementation 'io.modelcontextprotocol.sdk:mcp:1.1.0'

spring:
  ai:
    mcp:
      client:
        enabled: true
        initialized: true
        type: ASYNC
        request-timeout: 2s
        toolcallback:
          enabled: true
        streamable-http:
          connections:
            google-calendar:
              url: http://localhost:8000
              endpoint: /mcp
  jackson:
    default-property-inclusion: non_null

mcp client 는 yml autoconfiguration 이 정상적으로 잘 되었다.

근데 google 연동에서 default-user 를 계속 찾아다녀서 spring.jackson.default-property-inclusion: non_null 을 넣어주었다.

이제 ToolCallbackProvider 객체를 보면 google mcp tools 를 모두 볼 수 있게된다.

구글캘린더 결과

구글 서비스 확장

위에서 설명했듯이 이제 서비스만 [사용] 해주면 구글의 모든 서비스를 LLM 이 이용할 수 있다.

그래서 바로 Gmail 을 활성화 해보았다.

그리고 메일함 내용 검색!!

Notion MCP

이제 MCP에 자신이 생겼다, stdio 모드로 해보자!!

spring mcp client stdio 에 적어주면 스프링 프로세스가 기동되면서 같이 실행된다.

spring:
  ai:
    mcp:
      client:
        enabled: true
        initialized: true
        type: ASYNC
        request-timeout: 5s
        toolcallback:
          enabled: true
        stdio:
          connections:
            notion:
              command: C:\\Program Files\\nodejs\\npx.cmd # windows 명령어 위치, linux는 npx 바로 써도됨
              args:
                - "-y"
                - "@notionhq/notion-mcp-server"
              env:
                NOTION_TOKEN: ${NOTION_API_KEY}
                # 핵심: npx가 내부적으로 node를 찾을 수 있도록 PATH를 직접 넘겨줍니다.
                PATH: "C:\\Program Files\\nodejs\\;%PATH%"

window 에서 실행하느라 명령어 위치를 찾고 node 위치를 알려주기 위해 작업

접근토큰

notion은 ntn 으로 시작하는 access-token을 받아야함

그래서 application 에서 callback url 을 받을 수 있도록 했음

- resources/templates/notion-auth-result.html

그리고 위 코드로 postman 을 통해 oauth 2.0 인증을 해 ntn_ 토큰을 가져왔다.

참고로 노션 접근토큰은 만료기한이 없다.!!!

마찬가지로 mcp-inspector 로 연결체크!!

문제: user_id 를 자꾸 찾음

아니 자꾸 user_id 를 입력하라는거야. 그래서 mcp-inspector 로 get-users tool을 요청해서 내 id를 알아냈고, 프롬프트에 해당 값을 박아놨음

당신은 노션 관리 에이전트입니다
user_id 값은 3264d4d8-7956-810a-8939-0027b6fd1837 이거야.
추가로, '노션 AI 전용공간'이라는 이름의 페이지를 먼저 검색(search)한 뒤, 그곳에 페이지를 생성하세요.
사용자 식별 정보 없이 페이지 내용만 생성하세요.

당신은 노션 시인입니다. 다음 순서를 엄격히 지키세요:
1. 'search' 도구로 '노션 AI 전용공간' 페이지 ID를 찾는다.
2. 'create_page' 도구로 해당 공간 아래에 제목을 정해 페이지를 만든다.
3. 위에서 생성된 'new_page_id'를 사용하여 'append_block_children' 도구로 시 본문을 작성한다.
모든 단계가 끝나기 전에는 답변을 종료하지 마세요.

연동 완료

[Spring AI] 1편: 토이 프로젝트 개요

[Spring AI] 2편: RAG 문서 임베딩

[Spring AI] 3편: Database 쿼리생성 및 실행을 위한 HITL(Human in the Loop)

GitHub - joonhyeok95/spring-ai-google-gen: 제미나이 무료API로 구현하는 PDF RAG, 데이터베이스 추출, LLM 서비

제미나이 무료API로 구현하는 PDF RAG, 데이터베이스 추출, LLM 서비스. Contribute to joonhyeok95/spring-ai-google-gen development by creating an account on GitHub.

github.com

[Spring AI] 3편: Database 쿼리생성 및 실행을 위한 HITL(Human in the Loop)

joon95 — Fri, 20 Mar 2026 14:13:53 +0900

샘플데이터베이스

postgresql용도 데이터베이스 샘플인 dvdrental 을 활용

DVDRental ERD

PostgreSQL Sample Database

This tutorial introduces you to a PostgreSQL sample database that you can use for learning and practicing with PostgreSQL.

neon.com

구현

Prompt

sqlTool 에 기능을 분류하여 agent가 테이블 스키마를 조회하고 테이블을 조죄할 수 있도록 했다.

그리고 잘못된 컬럼을 요청했을 때 자기 수정 규칙을 두어 최대 3번까지 수정을 재시도할 수 있다.

당신은 PostgreSQL 전문가입니다. 데이터베이스 이름은 'aidb'이며, DVD 대여 시스템입니다.

1. [탐색]: 질문에 관련된 테이블이 무엇인지 'listTables'로 확인합니다.
2. [분석]: 해당 테이블의 구조를 'describeTable'로 파악하여 정확한 컬럼명을 확인합니다.
3. [계획]: 위 정보를 바탕으로 쿼리 실행 순서를 계획합니다.
4. [실행]: 'executeSqlQuery'로 최종 데이터를 가져옵니다.                    

반드시 제공된 도구를 사용해 SQL을 실행한 후, 그 결과를 바탕으로 자연스럽게 답변하세요.

[자기 수정 규칙]
1. 'executeSqlQuery' 실행 결과 'SQL 에러 발생'이 포함되어 있다면, 에러 메시지를 분석하세요.
2. 잘못된 컬럼명이나 테이블명 때문이라면, 스키마를 추측하지 말고 information_schema를 조회하거나 쿼리를 수정하세요.
3. 최대 3번까지 수정을 시도할 수 있습니다.
4. 최종적으로 성공한 결과만 요약해서 사용자에게 전달하세요.

승인 Service

그리고 생성된 쿼리를 DB에 수행요청 하기 전에 사용자에게 승인을 위임한다.

사용자는 60sec 이내에 승인API를 전송해야한다.

approvalService.request(chatId, query).get(60, TimeUnit.SECONDS);

agent.service.ApprovalService.java

// AI가 호출: 승인 요청을 등록하고 UI에 알림
public CompletableFuture<Boolean> request(String chatId, String query) {
    String id = UUID.randomUUID().toString().substring(0, 8);// 60초 후 자동 만료되는 로직 추가 (Optional)
    CompletableFuture<Boolean> future = new CompletableFuture<Boolean>()
            .orTimeout(60, TimeUnit.SECONDS);
    pendingApprovals.put(id, future);
 // 1. DTO 객체 생성
    ApprovalRequest approvalRequest = ApprovalRequest.builder()
            .id(id)
            .query(query)
            .message("쿼리가 생성되어 사용자 승인을 기다립니다.")
            .requestedAt(LocalDateTime.now())
            .build();

    // ⭐️ 해당 ChatId에 연결된 Sink를 찾아 데이터 방출
    Sinks.Many<ApprovalRequest> sink = userSinks.get(chatId);
    if (sink != null) {
        Sinks.EmitResult result = sink.tryEmitNext(approvalRequest);
        log.info("  [백엔드] ChatId: {} 에게 승인 요청 전송 - ID: {}, 결과: {}", chatId, id, result);
    } else {
        log.warn("⚠️ ChatId: {} 에 대한 활성화된 구독자가 없습니다.", chatId);
        // 구독자가 없으면 즉시 실패 처리하거나 로직에 따라 조절
        future.complete(false);
    }        
    return future;
}

승인 요청 화면

채팅이 생성되면 클라이언트는 서버에 sse 구독을 해놓고,

서버가 sse를 전달하면 modal event가 발생되어 생성된 쿼리를 보여준다.

승인API

agent.web.ApprovalUiController.java

// 2. UI 버튼 클릭 시 호출
@PostMapping("/{id}/respond")
public Mono<ResponseEntity<String>> respond(@PathVariable("id") String id, 
        @RequestParam("approved") boolean approved) {
    return Mono.just(id)
        .publishOn(Schedulers.boundedElastic()) // 승인 처리를 별도 스레드에서 수행
        .map(requestId -> {
            approvalService.handleDecision(requestId, approved);
            return ResponseEntity.ok("Success");
        });
}

agent.web.ApprovalService.java

// 1. UI로 실시간 알림을 보내기 위한 통로 (SSE)
private final Map<String, Sinks.Many<ApprovalRequest>> userSinks = new ConcurrentHashMap<>();
// 2. 대기 중인 요청 저장소
private final Map<String, CompletableFuture<Boolean>> pendingApprovals = new ConcurrentHashMap<>();
// UI 버튼 클릭 시 호출: 승인 또는 취소
public void handleDecision(String id, boolean approved) {
    log.info("  [백엔드] 결정 수신 - ID: {}, 승인여부: {}", id, approved);
    CompletableFuture<Boolean> future = pendingApprovals.get(id);
    if (future != null) {
        future.complete(approved);
        pendingApprovals.remove(id); // 결정 완료 후 삭제
    } else {
        log.warn("⚠️ 이미 만료되었거나 존재하지 않는 승인 ID입니다: {}", id);
    }
}

상태를 complete로 만들어 중단되었던 쿼리를 수행한다.

검색해보기

이제 이런 검색을 해볼 수 있다!!

기초 조회

"영화(film) 테이블에서 상영 시간이 180분 이상인 영화 제목 5개만 알려줘.”
"특정 조건 + 리미트

통계/집계

"우리 서비스에 등록된 전체 고객(customer)은 총 몇 명이야?"
COUNT 함수 유도

조인(Join)

"가장 많이 대여(rental)된 영화 제목 TOP 3가 뭐야?"
film + inventory + rental 조인

수익 분석

"각 영화 카테고리별로 총 매출(payment) 합계를 계산해줘."
category + payment 집계

고객 분석

"이메일 주소가 'P'로 시작하는 고객들의 이름과 성을 나열해줘."
LIKE 패턴 검색

에이전트 협업

더 나아가 분석된 데이터를 수치화 할 수도 있다.

chartService 를 만들어 놨는데 "차트" 라는 단어가 질문에 포함되어있을 경우 sql+chart 두개의 Tool을 사용하도록 만들었다.

사용자 수 증가 추이 그래프

특정 영화 관람 건수 그래프

DVD 장르별 매출 순위

[Spring AI] 1편: 토이 프로젝트 개요

[Spring AI] 2편: RAG 문서 임베딩

[Spring AI] 4편: MCP 서버 구동과 실행

GitHub - joonhyeok95/spring-ai-google-gen: 제미나이 무료API로 구현하는 PDF RAG, 데이터베이스 추출, LLM 서비

제미나이 무료API로 구현하는 PDF RAG, 데이터베이스 추출, LLM 서비스. Contribute to joonhyeok95/spring-ai-google-gen development by creating an account on GitHub.

github.com

[Spring AI] 2편: RAG 문서 임베딩

joon95 — Fri, 20 Mar 2026 14:13:36 +0900

사용사례

필자는 경력기술서를 업로드하여 아래 질문을 확인하는 용도로 개발

- 내 기술 경력서 요약

- 기술 경력서 내용 개선포인트 체크

- 면접관이 본다면 어떤 질문을 할까?

RAG(Retrieval-Augmented Generation)

레그를 적재하고 검색할 수 있도록 해보자.

적재

RAG 적재에는 아래의 흐름을 가진다.

Document Loader -> Text Splitter -> Embedding -> VectorDB

우리는 수많은 Chunk 로 잘려진 데이터를 임베딩하여 VectorDB에 적재해야한다.

VectorDB는 다양한데 필자는 Postgresql의 vectorDB plugin을 활용해보았다.

Cloud Navtive VectorDB

종류	특징	추천 상황
Pinecone	완전 관리형(SaaS), 설정이 거의 필요 없음.	인프라 관리 없이 빠르게 MVP를 출시하고 싶을 때.
Milvus	오픈소스 기반, 매우 높은 확장성과 성능.	대규모 트래픽과 대용량 데이터를 다루는 엔터프라이즈 급.
Weaviate	키워드 검색(BM25)과 벡터 검색을 합친 하이브리드 검색 강점.	객체 지향적인 데이터 구조와 하이브리드 검색이 중요할 때.
Chroma	가볍고 사용이 간편함 (In-memory 지원).	로컬 개발 환경이나 소규모 프로젝트 테스트용.

설치형 VectorDB

pgvector (PostgreSQL): 풀스택 개발자들에게 가장 인기가 많습니다. 기존 SQL 쿼리와 벡터 검색을 JOIN해서 쓸 수 있습니다.
Elasticsearch / OpenSearch: 이미 검색 엔진으로 쓰고 있다면 최고의 선택입니다. 텍스트 검색과 벡터 검색을 버무리기 좋습니다.
Redis (RedisVL): 실시간성이 극도로 중요할 때 사용합니다. 캐시 레이어에서 바로 벡터 검색을 수행합니다.

PGVector 셋팅

docker-compose 기동

version: '3.8'
services:
  db:
    image: pgvector/pgvector:pg16 # pgvector가 내장된 Postgres 16 이미지
    container_name: pgvector_db
    ports:
      - "5432:5432"
    environment:
      - POSTGRES_USER=myuser
      - POSTGRES_PASSWORD=mypassword
      - POSTGRES_DB=aidb
    volumes:
      - ./postgres_data:/var/lib/postgresql/data

vector 확장자 실행 명령어

-- db 접속
docker exec -it pgvector_db psql -U myuser -d aidb

-- DB 접속 후 실행
CREATE EXTENSION vector;

-- 설치 확인 (버전이 나오면 성공!)
SELECT * FROM pg_extension WHERE extname = 'vector';

임베딩(Embadding)

처음에 로컬로 모두 구현하려고 했으나 노트북이 너무 느린관계로 제미나이로 변경했다.

참고로 적재할 때 임베딩모델과 검색할 때 모델은 동일해야한다.

올라마로 임베딩 모델 all-minilm 을 쓰면 384 차원 으로 임베딩했고,

제미나이 임베딩 모델 gemini-embedding-001 을 쓰면 최대 3072 차원까지 지원했다.

하지만 pgvector 에서 2000 차원까지 지원한다고 하기에 설정을 조정(768 차원).

변경하면서 테스트 했기 때문에 차원정보가 다르다는 에러를 마주했었고 그런 경우 해당 벡터테이블의 데이터를 지우면된다

- ERROR: different vector dimensions 768 and 3072

-- 1. 기존 데이터 전부 삭제 (차원이 다르면 검색이 안 되므로 어차피 지워야 함)
DELETE FROM vector_store;

-- 2. 이제 타입 변경 가능!
ALTER TABLE vector_store ALTER COLUMN embedding TYPE vector(768);

코드

spring:
  ai:
    vectorstore:
      pgvector:
        # index-type: HNSW      # 대규모 검색에 효율적인 인덱스 방식
        dimension: 768        # Gemini Embedding 모델의 기본 차원 (모델에 따라 확인 필요)
        collection-name: spring_pdf_rag
#    ollama:
#      base-url: http://localhost:11434
#      embedding:
#        options:
#          model: all-minilm
    google:
      genai:
        # spring AI 1.1.2>채팅모델>Google GenAI 규격인데 동작안함
        api-key: ${GOOGLE_API_KEY:missing_key}
        chat:
          options:
            model: gemini-3.1-flash-lite-preview
        # spring AI 1.1.2>임베딩모델>Google GenAI 규격인데 동작안함
        embedding:
          api-key: ${GOOGLE_API_KEY:missing_key}
          text:
            options:
              model: gemini-embedding-001 # 3072 지원함
              task-type: RETRIEVAL_DOCUMENT # 문서 저장 시

spring AI의 설정을 spring docs를 보고 하는데 잘 안되서.....직접 bean 생성함.

ai:
  api-key: ${GOOGLE_API_KEY:missing_key}
  model: gemini-3.1-flash-lite-preview
  default-system: "너는 20년 경력의 시니어 개발자야. 친절하고 간결하게 대답해줘."
  embed-model: gemini-embedding-001
  prompts:
    intent-route: classpath:prompts/intent-route.st
    general: classpath:prompts/general.st
    rag: classpath:prompts/rag.st

시스템프롬프트를 .st 형식으로 분류 함

@Getter
@Setter
@ConfigurationProperties(prefix = "ai")
public class AiProperties {
	private String apiKey;
    private String model = "gemini-1.5-flash"; // 기본값 설정
    private String defaultSystem;
 
    // 중첩 클래스로 프롬프트 관리
    private final Prompts prompts = new Prompts();

    @Getter
    @Setter
    public static class Prompts {
        private Resource intentRoute;
        private Resource general;
        private Resource rag;
    }
}

프로퍼티 값을 읽어 오고

@Primary
@Bean
public ChatClient chatClientSimple(GoogleGenAiChatModel chatModel, CustomRedisChatMemoryRepository chatMemoryRepository) {

    return ChatClient.builder(chatModel)
            .defaultSystem(aiProperties.getDefaultSystem())
            .defaultAdvisors(
                    MessageChatMemoryAdvisor.builder(
                            MessageWindowChatMemory.builder()
                            .chatMemoryRepository(chatMemoryRepository)
                            .maxMessages(20)
                            .build()
                            )
                    .conversationId("default")
                    .order(1)
                    .build()
            )
            .build();
}
// VectorDB 연결 클라이언트
@Bean
public ChatClient chatClientVector(GoogleGenAiChatModel chatModel, VectorStore vectorStore, CustomRedisChatMemoryRepository chatMemoryRepository) {

    return ChatClient.builder(chatModel)
            .defaultSystem(aiProperties.getDefaultSystem())
            .defaultAdvisors(QuestionAnswerAdvisor.builder(vectorStore)
                    .searchRequest(SearchRequest.builder()
                            .topK(3).build())
                    .build(),
                    MessageChatMemoryAdvisor.builder(
                            MessageWindowChatMemory.builder()
                            .chatMemoryRepository(chatMemoryRepository)
                            .maxMessages(20)
                            .build()
                            )
                    .conversationId("default")
                    .order(1)
                    .build()
            )
            .build();
}
@Bean
@Primary
public GoogleGenAiChatModel googleGenAiChatModel(
        Client googleGenAiClient,
        ObjectProvider<ToolCallingManager> toolCallingManager,
        ObjectProvider<RetryTemplate> retryTemplate,
        ObjectProvider<ObservationRegistry> observationRegistry) {
    // 모델 옵션 설정
    GoogleGenAiChatOptions options = GoogleGenAiChatOptions.builder()
            .model(aiProperties.getModel())
            .temperature(0.7) // 창의성 조절 (0.0 ~ 2.0)
            .build();
    // 모델 생성
    return new GoogleGenAiChatModel(
            googleGenAiClient, 
            options, 
            toolCallingManager.getIfAvailable(() -> null), // Tool 호출 관리
            retryTemplate.getIfAvailable(RetryTemplate::new), // 재시도 로직
            observationRegistry.getIfAvailable(() -> ObservationRegistry.NOOP) // 모니터링
    );    
}

@Bean
public EmbeddingModel embeddingModel() {
    // 1. 연결 정보 설정 (API Key 방식)
    GoogleGenAiEmbeddingConnectionDetails connectionDetails = 
        GoogleGenAiEmbeddingConnectionDetails.builder()
            .apiKey(aiProperties.getApiKey())
            .build();

    // 2. 옵션 설정 (TaskType 설정이 중요합니다)
    GoogleGenAiTextEmbeddingOptions options = GoogleGenAiTextEmbeddingOptions.builder()
            .model("gemini-embedding-001") // 공식 추천 모델
            // RAG용 문서 인덱싱이라면 RETRIEVAL_DOCUMENT가 정석입니다.
            .taskType(GoogleGenAiTextEmbeddingOptions.TaskType.RETRIEVAL_DOCUMENT)
            .dimensions(768) // default 3072나 postgresql 이 2000까지만 지원함
            .build();

    // 3. 모델 객체 생성 및 반환
    return new GoogleGenAiTextEmbeddingModel(connectionDetails, options);
}

챗모델과 임베딩 모델을 구글제미니로 설정한 뒤

백터DB가 없는 챗클라이언트와 백터용챗클라이언트를 생성해주었다.

추가로 레디스를 채팅기억장치로 쓰기 위해 CustomRedisChatMemoryRepository.java 를 생성하여 연결함

// 비동기 방식 webflux
public Mono<Void> ingestPdfStream(FilePart filePart) {
    // 1. FilePart의 내용을 Resource로 변환 (비동기 처리)
    return DataBufferUtils.join(filePart.content())
        .map(dataBuffer -> {
            // TikaReader는 InputStream이 필요하므로 버퍼에서 읽어옵니다.
            return new InputStreamResource(dataBuffer.asInputStream(true));
        })
        .publishOn(Schedulers.boundedElastic()) // 블로킹 작업(I/O, 임베딩)을 위한 스레드 전환
        .doOnNext(resource -> {
            // 2. PDF 읽기 및 분할
            TikaDocumentReader reader = new TikaDocumentReader(resource);
            List<Document> documents = reader.get();

            TokenTextSplitter splitter = new TokenTextSplitter(800, 100, 5, 10000, true);
            List<Document> splitDocuments = splitter.apply(documents);

            // 3. 벡터 DB 저장 (Gemini 임베딩 발생 지점)
            vectorStore.accept(splitDocuments);

            System.out.println("✅ Gemini 적재 완료: " + splitDocuments.size() + " 청크.");
        })
        .then(); // 결과값 없이 완료 신호만 보냄
}

그리고 파일을 처리할 수 있는 서비스를 생성했고, 컨트롤러에서 연결시켜주면 적재를 테스트할 수 있다.

http://localhost:8080/rag 에 접근해 확인할 수 있음

검색

클라이언트에게 만족감을 주기 위해 비동기 방식으로 데이터를 전달! (Webflux)

public Flux<String> askStream(String chatId, String message) {
    // 1. 유사 문서 검색 (Blocking 작업을 Flux 흐름으로 변환)
    return Mono.fromCallable(() -> {
                SearchRequest searchRequest = SearchRequest.builder()
                        .topK(4)
                        .query(message)
                        .build();
                return vectorStore.similaritySearch(searchRequest);
            })
            .subscribeOn(Schedulers.boundedElastic()) // 검색 작업은 워커 쓰레드에서!
            .flatMapMany(docs -> {
                // 2. 컨텍스트 조립
                String context = docs.stream()
                        .map(Document::getText)
                        .collect(Collectors.joining("\n\n"));

                return chatClient.prompt()
                        .advisors(advisor -> advisor.param("chat_memory_conversation_id", chatId))
                        .system(sp -> sp.text(prompts.getPrompts().getRag()).param("context", context))
                        .user(message) 
                        .stream()
                        .content();
            });
}

vectorStore 객체를 가져와 유사도 검색을 하면 된다.

+실제 운영에서는 하이브리드하게 유사도+단어 기반으로 검색을 구현해야 하는 경우가 생긴다고 함

Apache Tika

문서를 파싱하는데 어떤 라이브러리를 썼냐면

아파치 티카라고 다양한 문서포맷을 텍스트로 추출해주는 오픈소스가 있는데

spring 에서 티카를 채택하여 제공하고 있다.

    implementation 'org.springframework.ai:spring-ai-tika-document-reader'

문서 파싱의 아쉬움

작년에 프로젝트를 수행하며 타 AI 업체에서 아파치 티카를 사용한 사례가 있었는데,

apache tika의 장점은 지원하는 문서포맷이 많고, 텍스트로 추출해주는 것이다.

하지만 단점은 문서에 따라 하드하게 추출할 수 없는 점이였다.

(이미지 추출, 페이지 분류, 이미지 검색 등...)

이 경우 python 서버를 따로 구축해서 사용하길 권함.

물론 문서별로 파싱하는 것과 템플릿을 기준으로 딥하게 케이스를 나누면 아주 좋겠으나 힘들듯.

그리고 파이선진영에 다양한 라이브러리가 존재하니 검색해보면 좋음.

딥한 PDF 파싱 시 생각해 볼 점

아래는 유튜브에서 1년간 AI 프로젝트 사례를 보고 정리한 내용으로

PDF파일을 파싱하려면 어떤 고민 Point가 있는지 점검할 수 있었다.

1. 페이지 단위 분할이 되는가?

ex) 출처를 알아내기 위해 필요함.

2. 메타데이터 정보가 태깅되는가?

ex) 해당 문서의 몇페이지에서 발견한 내용인지, 파일명, 수정일, 작성자는 누구.

3. 영역을 Crop 할 수 있는가?

ex) 머리말이나 꼬리말로 이상한 검색 결과가 나올 수 있어 파싱영역을 지정.

4. 페이지 분할 형태를 읽을 수 있는가?
ex) 뉴스페이퍼처럼 분할되어있는 문서를 보고 영역별로 파싱할 수 있어야함

5. 표(테이블)을 추출 할 수 있는가?

ex) 정형화된 데이터로 추출하며, 메타데이터를 추출해야 함.

6. 이미지를 추출할 수 있는가?

ex) 커머스의 상품 이미지, 안전수칙, 그래프/차트 이미지와 같은 것을 데이터화 할 수 있어야 함.

7. 페이지가 넘어가며 맥락이 유지되는가?

ex) 유사도 청크를 체크 해야함, 청크오버랩(Chunk Overlab)

[Spring AI] 1편: 토이 프로젝트 개요

[Spring AI] 3편: Database 쿼리생성 및 실행을 위한 HITL(Human in the Loop)

[Spring AI] 4편: MCP 서버 구동과 실행

GitHub - joonhyeok95/spring-ai-google-gen: 제미나이 무료API로 구현하는 PDF RAG, 데이터베이스 추출, LLM 서비

제미나이 무료API로 구현하는 PDF RAG, 데이터베이스 추출, LLM 서비스. Contribute to joonhyeok95/spring-ai-google-gen development by creating an account on GitHub.

github.com

[Spring AI] 1편: 토이 프로젝트 개요

joon95 — Fri, 20 Mar 2026 14:04:46 +0900

spring AI 에서는 어떤식으로 활용될 수 있을지

2주간 구현해본 토이프로젝트(포스팅 맨하단에 github 링크)이며,

완전 무료로 사용할 수 있는 Gemini 를 활용했다.

genAI 모델: gemini-3.1-flash-lite-preview (분당 15회 제한이 있으니 천천히..ㅎ)

Embedd 모델 : gemini-embedding-001

올라마 임베딩 모델 : all-minilm

- 로컬에서 돌리려고 올라마 세팅을 했다가,
Rag 임베딩 수준이 처참(내 노트북 기준)해서 제미나이로 변경함

개발환경

springboot : 3.5.11
spring AI : 1.1.2
openJDK : 17
Gradle 8.14.4
VectorDB: pgvector 0.8.2
Database: postgresql(16.13-1)
Redis: version 3.0.504
UI : thymeleaf

Workflow

전체적인 워크플로우는 아래와 같다.

application workflow

프로세스 흐름

사용자가 질문을 던진다.
Orchestrator 에서 질문이 어떤 타입인지 추론하여 라우팅한다.
라우팅된 Agent Layer 에서 각각 정의된 시스템프롬프팅을 통해 Tool을 사용한다.

Agent 종류

LLM : 기본적인 질문
RAG : 문서적재(임베딩), 문서 유사도 검색
DATABASE : SQL 생성 및 실행
협업 : 특정 Agent를 두개 이상 합쳐서 사용하는 경우
MCP : LLM이 사용할 수 있는 프로토콜

구현된 화면

협업 에이전트(SQL+차트)

구글 MCP) 일정관리 Agent

노션 MCP) 시인 Agent

SQL Agent 자가 비판

협업(SQL + 디지털마케터)

LLM Agent와 RAG Agent

포스팅 아래의 순서로 작성함.

[Spring AI] 2편: RAG 문서 임베딩

[Spring AI] 3편: Database 쿼리생성 및 실행을 위한 HITL(Human in the Loop)

[Spring AI] 4편: MCP 서버 구동과 실행

GitHub - joonhyeok95/spring-ai-google-gen: 제미나이 무료API로 구현하는 PDF RAG, 데이터베이스 추출, LLM 서비

제미나이 무료API로 구현하는 PDF RAG, 데이터베이스 추출, LLM 서비스. Contribute to joonhyeok95/spring-ai-google-gen development by creating an account on GitHub.

github.com

요새 Hot한 MCP, 자동으로 개발 시켜보자

joon95 — Sun, 25 May 2025 23:51:59 +0900

이번주에 팀장님이 A2A와 MCP로 시대가 빠르게 변하고 있다고 알려주셔서 잠시 시간을 내어 테스트를 해보았다.

MCP란?

Model Context Protocol

개념: MCP는 Anthropic(Claude 개발사)이 만든 오픈 표준 프로토콜로, AI 모델(예: Claude)이 외부 시스템(파일시스템, 데이터베이스, API 등)과 안전하고 구조화된 방식으로 상호작용할 수 있도록 해줍니다

주요 역할: Claude 같은 LLM이 로컬 PC, 서버, 클라우드 등 다양한 리소스와 직접 연결되어 데이터를 읽거나, 도구를 실행하거나, 파일을 관리하는 등 실제 업무 자동화를 할 수 있게 합니다

비유: USB Type-C처럼, 다양한 시스템과 AI를 손쉽게 연결하는 "커넥터" 역할

활용 예시

파일 생성/수정/삭제, 폴더 정리
로컬 코드 분석 및 개발 지원
데이터 파일 읽기 및 자동화
이메일/일정 관리 자동화

A2A란?

Agent-to-Agent Protocol

개념: A2A는 Google이 주도해 만든 개방형 프로토콜로, 여러 AI 에이전트(Claude, GPT, 커스텀 등)가 서로 협력하고 통신할 수 있게 해주는 표준입니다

주요 역할: 각각 독립적으로 동작하는 여러 AI 에이전트가 서로를 발견하고, 역할을 분담하며, 협업해 복잡한 목표를 달성할 수 있게 합니다

비유: 여러 명의 전문가(에이전트)가 팀을 이뤄 각자 역할을 맡아 협력하는 "팀워크 프로토콜"

핵심 기능:

에이전트가 자신의 기능과 엔드포인트를 "에이전트 카드"라는 표준 JSON 파일로 공개
다른 에이전트가 이 카드를 읽고 적합한 파트너를 찾아 작업을 요청
HTTP/JSON-RPC 기반 통신, 실시간 스트리밍 지원

실제 활용 예시

MCP: Claude가 내 PC의 파일을 읽고, DB에서 데이터 추출, API 호출 등 "외부 도구와 직접 연결"해 자동화된 업무 처리.
A2A: 여행 예약처럼 항공권, 날씨, 숙박, 액티비티 등 각 역할별 에이전트가 서로 협업해 전체 일정을 구성.

MCP 툴로는 Claude 라는 친구를 활용하는데 아래 링크를 통해 Windows 에서 filesystem을 사용할 수 있도록 세팅한다.

For Claude Desktop Users - Model Context Protocol

In this tutorial, you will extend Claude for Desktop so that it can read from your computer’s file system, write new files, move files, and even search files. Don’t worry — it will ask you for your permission before executing these actions! 1. Downlo

modelcontextprotocol.io

세팅내용

window 설치형 Claude 를 켜서 개발자 설정을 열어 '설정 편집'을 누른다.

그럼 디렉토리에 파일이 하나 생겼는데 여기에 내용을 추가한다.

추가

이제 Claude를 껐다 키면

filesystem을 사용할 수 있게 된다.

세팅을 한 뒤 아래의 프롬프트를 입력했다.(참고로 유튜브 숏츠에서 우연히 보게됨)

directory: C:\Users\joonhyeok\works\weather-app\
위 디렉토리에 Modern한 디자인의 weather 앱을 만들어줘
* vue3, vuetify, tailwind 사용
상세 스펙
* weather 앱은 카드리스트 형태로 5일간의 날씨정보를 표시해주면 됨
* openweathermap을 사용하면 됨
.env 관리
* openweathermap api 키

파일 생성하기 위한 알람이 뜨고, 허용해준다.

무료 이기 때문에 자꾸 응답이 멈춘다.

계속, 계속...

실행방법.. 겁나 친절하다!

openWeatherMap API 키 발급

openWeatherMap에 접속해서 회원가입을 한 뒤 API키를 발급한다.

Members

Enter your email address and we will send you a link to reset your password.

home.openweathermap.org

근데 계속 401 인증에러가 발생해서 postman으로 API를 계속 호출해보았고...

컴퓨터를 끄고 내일 하려고 포기할 즈음 갑자기 응답이 왔다.

서울로 검색한 위치 위도/경도로 실제 날짜 검색도 정상으로 응답이 옴.

결과물

모바일

와, 진짜 이제는 애플리케이션을 이렇게 쉽게 만들 수 있는 세상이 왔다.

이제 엔지니어들은 자기가 구축한 서버에 이런식으로 애플리케이션을 생성하여 순식간에 App이 돌아가는 시연을 할수 있게되었고, 아주 높은 수준의 PoC를 수행할 수 있을 것 같다.

이제 6년 차, 그동안의 내 프로젝트를 정리하기 시작하다.

joon95 — Fri, 2 May 2025 22:40:58 +0900

그동안 프로젝트를 진행하면서 어떠한 고민들을 했었는지 내용을 짧게나마 정리해보려고 한다.

이 내용들을 기반으로 더 Deep하게 복기해보며 면접을 준비해야겠다.

[S사 프라이빗 클라우드 쿠버네티스 운영]

Iptable 설정 kube-proxy가 설정하는 네트워크의 체인들
클러스터 업데이트ㄱ Calico 이슈(IP설정방식의 변화 IPIP VS vxlan)
Longhorn 스토리지클래스 커널 이슈
Istio PoC (Virtual Routing, 트래픽)
Elastic APM PoC (Go/Vue Performance monitoring)
Kubespray 클러스터 운영 (ansible)
Prometheus thanos 설계/구축 (중복제거,예외)
Fluent-bit 의 리소스 부하 사례
EFK 운영 이슈 (샤드 복제)

[S사 의료 차세대 개발]

배치 관리 서비스k8s 라이브러리 - fabric VS k8s client
Keycloak 인증 인가 (Oauth2.0)
파일업로드 프로세스 (Nexacro to springboot)
다국어 프로세스 설계 (Gitlab EE API / Redis)
MSA 도메인 분리부터 설계까지

[S사 채용포털 개발]

파일프로세스 설계(AWS->on-prem)
다국어 프로세스 설계(Github Enterprise API, Redis)
MSA 환경에서 클라우드 개발

[S사 클라우드 포털 개발]

VRA/NSX Vmware 컴퓨팅/네트워크 자동화
Knox 결재, 메일
SVDI 가상데스크톱
HIWARE 서버접근제어
다국어 프로세스 설계(Github Enterprise API / Redis)
스프링 클라우드 MSA 환경 구축
MSA 환경에서 배치와 카프카

[L사 마이데이터 TA]

WAF Rule (기본Rule에 대한 이해)
사내 사업자서버와 제공자서버 인증 통과
MTLS by openresty
Proxy서버 DSR(Direct Source Return)
ELK스택 logstash DLQ(dead lock queue)
MSA기반의 OAuth2.0 (3scale, rhsso)

이미지에서 사물을 분석해주는 모델(VGG16)을 사용해 API로 만들어보자

joon95 — Wed, 11 Dec 2024 18:13:46 +0900

언젠가 AI를 해봐야지 생각하면서.. 미루고 있었다.

perplexity(GPT) 와 채팅을 하면서 문득 사전에 학습된 모델을 알게되어

VGG16 모델을 통해 이미지를 분석하는 테스트를 해보았다.

VGG16

먼저 VGG16 이란

- 키보드, 동물, 연필 등의 정보를 1000개의 Class로 분류 가능

- 3x3 커널을 사용

- 모델 이미지 입력 크기 224x224

GPU (CUDA) 세팅

CPU 를 사용했더니 너무 느려서 노트북에 내장되어 있는 그래픽카드를 셋업했다.

필자의 그래픽 카드정보는 NVIDIA GeForce GTX 1650 Ti with Max-Q Design 이며,

NVIDIA 사이트에서 Cuda를 지원하는지 체크하여 가능한 것임을 알았다.

TensorFlow GPU 지원-소프트웨어 요구사항

다음 NVIDIA® 소프트웨어가 시스템에 설치되어 있어야 합니다.

NVIDIA® GPU 드라이버 - CUDA® 11.2에는 450.80.02 이상이 필요합니다.
CUDA® Toolkit - TensorFlow는 CUDA® 11.2(TensorFlow 2.5.0 이상)를 지원합니다.
CUPTI는 CUDA® Toolkit과 함께 제공됩니다.
cuDNN SDK 8.1.0(cuDNN 버전)
(선택사항) TensorRT 6.0 - 일부 모델에서 추론 처리량과 지연 시간을 향상합니다.

세팅 시작

1. 그래픽카드 드라이버 업데이트

업무용PC라 한번도 안했던 것이라 바로 고.

2. CUDA 설치

CUDA ToolKit 버전 11.2

CUDA Toolkit 11.2 Downloads

Get CUDA Toolkit 11.2 for Linux and Windows.

developer.nvidia.com

현재 최신버전 12.6 여서 설치했더니, 에러가 나서 알아보니

텐서플로우에서 지원하는 안정된 버전을 쓰라고 한다.

3. cuDNN 설치

cuDNN 8.1 (cuda 11.2 지원)

NVIDIA 사이트에서 cuDNN 메뉴에 들어가 로그인을 해야만 다운로드가 가능하였다.

4. 라이브러리 다운로드

pip install tensorflow-gpu --user

4. 실제 GPU 사용하는지 Test Code 검증

import tensorflow as tf

# GPU 사용 가능 여부 확인
print("GPU 사용 가능 여부:", tf.test.is_built_with_cuda())

# 사용 가능한 GPU 목록 출력
print("사용 가능한 GPU 목록:", tf.config.list_physical_devices('GPU'))

# GPU 메모리 할당 테스트
if tf.test.is_built_with_cuda():
    # 간단한 GPU 연산 수행
    with tf.device('/GPU:0'):
        a = tf.constant([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]])
        b = tf.constant([[1.0, 2.0], [3.0, 4.0], [5.0, 6.0]])
        c = tf.matmul(a, b)
        print("GPU 연산 결과:", c)
else:
    print("GPU를 사용할 수 없습니다.")

# TensorFlow 버전 출력
print("TensorFlow 버전:", tf.__version__)

# CUDA 버전 출력 (사용 가능한 경우)
if tf.test.is_built_with_cuda():
    print("CUDA 버전:", tf.sysconfig.get_build_info()["cuda_version"])

위 파이선 코드를 실행하면 작업관리자에서 GPU 메모리 사용량이 올라간다.

VGG16 활용 코드

from tensorflow.keras.applications.vgg16 import VGG16, preprocess_input, decode_predictions
from tensorflow.keras.preprocessing import image
import numpy as np

# VGG16 모델 로드 (완전 연결 층 포함)
model = VGG16(weights='imagenet')

def identify_objects(img_path, top_n=5):
    # 이미지 로드 및 전처리
    img = image.load_img(img_path, target_size=(224, 224))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=0)
    x = preprocess_input(x)

    # 예측 수행
    preds = model.predict(x)
    
    # 예측 결과 디코딩
    results = decode_predictions(preds, top=top_n)[0]

    # 결과 출력
    print(f"이미지 '{img_path}'에서 식별된 객체들:")
    for i, (imagenet_id, label, score) in enumerate(results):
        print(f"{i+1}. {label}: {score:.2%}")

# 사용 예시
image_path = 'C:\\ML\\tf\\bg.jpg'
identify_objects(image_path)

이제 위 소스를 저장하고 실행하면 C:\ML\tf\bg.jpg 파일을 읽어 나오게된다.

이미지 'C:\azureML\tf\bg1.jpeg'에서 식별된 객체들:
1. patio: 55.62%
2. park_bench: 15.68%
3. shopping_cart: 6.67%
4. rocking_chair: 3.07%
5. shopping_basket: 1.81%

API로 만들기(Flask)

이제 편하게 사용하기 위해 API로 만들어보자.

from flask import Flask, request, jsonify
from werkzeug.utils import secure_filename
from tensorflow.keras.applications.vgg16 import VGG16, preprocess_input, decode_predictions
from tensorflow.keras.preprocessing import image
import numpy as np
import os

app = Flask(__name__)

# VGG16 모델 로드
model = VGG16(weights='imagenet')

# 업로드된 파일을 저장할 디렉토리 설정
UPLOAD_FOLDER = 'uploads'
if not os.path.exists(UPLOAD_FOLDER):
    os.makedirs(UPLOAD_FOLDER)

app.config['UPLOAD_FOLDER'] = UPLOAD_FOLDER

def analyze_single_image(filepath):
    img = image.load_img(filepath, target_size=(224, 224))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=0)
    x = preprocess_input(x)

    preds = model.predict(x)
    results = decode_predictions(preds, top=5)[0]

    return [
        {'label': label, 'score': float(score)}
        for (imagenet_id, label, score) in results
    ]

@app.route('/analyze', methods=['POST'])
def analyze_images():
    if 'files' not in request.files:
        return jsonify({'error': '파일이 없습니다'}), 400
    
    files = request.files.getlist('files')
    if not files or files[0].filename == '':
        return jsonify({'error': '선택된 파일이 없습니다'}), 400
    
    results = {}
    for file in files:
        filename = secure_filename(file.filename)
        filepath = os.path.join(app.config['UPLOAD_FOLDER'], filename)
        file.save(filepath)
        
        results[filename] = analyze_single_image(filepath)
        
        # 임시 파일 삭제
        os.remove(filepath)

    return jsonify(results)

if __name__ == '__main__':
    app.run(debug=True)

POST http://localhost:5000/analyze

files 로 사진을 업로드하면 된다.

응답값:

{
    "bg.jpg": [
        {
            "label": "desk",
            "score": 0.27180394530296326
        },
        {
            "label": "guillotine",
            "score": 0.2136017382144928
        },
        {
            "label": "file",
            "score": 0.06649696826934814
        },
        {
            "label": "apiary",
            "score": 0.04862062633037567
        },
        {
            "label": "crate",
            "score": 0.026243386790156364
        }
    ],
    "bg2.png": [
        {
            "label": "necklace",
            "score": 0.2780897617340088
        },
        {
            "label": "hook",
            "score": 0.07838109880685806
        },
        {
            "label": "Christmas_stocking",
            "score": 0.042882807552814484
        },
        {
            "label": "letter_opener",
            "score": 0.03623732924461365
        },
        {
            "label": "safety_pin",
            "score": 0.03522750362753868
        }
    ],
    "bg3.png": [
        {
            "label": "paintbrush",
            "score": 0.7162522077560425
        },
        {
            "label": "rubber_eraser",
            "score": 0.04436235502362251
        },
        {
            "label": "ballpoint",
            "score": 0.024050327017903328
        },
        {
            "label": "face_powder",
            "score": 0.023242339491844177
        },
        {
            "label": "wooden_spoon",
            "score": 0.016569746658205986
        }
    ]
}

[kubernetes] Storageclass Longhorn vs Kadalu

joon95 — Sat, 12 Oct 2024 21:04:42 +0900

올해 1년간 on-prem 쿠버네티스를 운영 프로젝트를 진행하고 있다. 특별히 RKE(Rancher Kubernetes Engine)에서는 Longhorn 이라는 스토리지클래스를 사용하도록 가이드 하고 있어 Rancher Cluster 들은 모두 Longhorn을 사용하고 있다. 그리고 kubespray로 구축된 클러스터는 Kadalu 라는 스토리지클래스를 사용하고 있는데 두 스토리지클래스의 사용 후기를 짧게 나마 적어놓으려 한다.

CNCF Cloud Native Storage Landscape

Longhorn	Kadalu
분산 블록 스토리지	분산 파일 스토리지

Longhorn

롱혼은 분산 블록 스토리지 솔루션으로, Blob Storage를 제공한다.
이로 인해 볼륨 기반의 고가용성과 복제 기능에 중점을 둘 수 있다.

주요기능

볼륨 복제 : 데이터를 여러 노드에 복제하여, 하나의 노드가 장애를 일으켜도 데이터 손실이 안됨
자동 복구 : 장애 노드나 디스크를 자동으로 복구
간단한 관리 : 설치와 사용이 간단하며 k8s 통합
UI 제공 : 직관적인 웹 UI 제공, 스토리지를 쉽게 관리할 수 있음
성능 : 고성능 블록 스토리지가 필요할 때 사용(데이터베이스, 로그처리 등)

운영후기

1. Longhorn 은 node 서비스에 의존적이기 때문에 서비스가 active 상태인지 모니터링이 필요

ISCSID - RWO 제공
NFS-COMMON - RWX 제공

2. WEB UI 를 활용한 스토리지 관리가 매우 편리함

스토리지 복제 및 관리 편리
설정 반영

Kadalu

카달루는 분산 파일 스토리지 솔루션으로, File Storage를 제공한다.

내부 로직은 GlusterFS 기반으로 동작한다.

주요기능

파일스토리지 제공 : 컨테이너 환경에서 애플리케이션이 파일 기반스토리지를 사용 가능
GlusterFS 통합 : 큰 용량의 데이터를 분산 처리할 수 있는 파일 스토리지 제공
저비용 : 블록 스토리지와 비교했을 때 파일 스토리지는 비용이 덜 들며, 로그 파일, 백업 파일, 대규모 비구조화 데이터 저장에 적합
확장성 : 대용량 데이터 처리, 동적 확장
간편한 설치 및 관리 : k8s 통합, 관리 용이

운영후기

1. 알아서 잘됨.. 문제가 난 적이 없음;;;

2. UI 가 있다고 해서 nginx에 적용해서 시도해봤으나 kadalu api 구성부분이 필요하다고 해서 gg침

정리

longhorn 은 node 에 의존적이다!!!! (nfs-common 서비스가 왜 죽을까.....!!! 좀 열받는다.)

kadalu 는 DISK 를 POD에서 포맷하기 때문에 node에 아무 관련이 없다.

즉, Cloud Native 에 적합하다. landscape에 GRADUATED 상태인 'Rook' 도 동일한 아키텍처로 봤다.

둘 다 장단점이 있으니.. 해본 것에 의미를 두자.

Golang Test Standard

joon95 — Thu, 10 Oct 2024 01:58:53 +0900

golang application 개발팀에서 테스트에 대한 가이드가 필요하다고 요청받아 찾아본 내용을 기술한다.

좋은 사례로 Thanos Teams, Uber, Devocean, Buzzvil 의 내용을 참고하였다.

Test Code의 표준화의 목적은 테이블 주도 테스트(Table-driven Test)로 개발자가 함수를 개발하며 여러 테스트 케이스를 수행해보며 중복을 제거할 수 있도록 표준을 정의한다.

먼저 테스트의 범위를 생각하면 아래 3가지의 항목이 존재한다.

1. Data Access Layer - 데이터베이스와의 상호작용, SQL 쿼리 검증

2. Business Layer - 비즈니스 로직이 의도한대로 작동하는가, 외부 의존성

3. Presentation Layer - API Endpoint 또는 Controller, Handler

로직에 대한 검증이 대부분이라 Business Layer를 주로 테스트 한다.

Library

제일 많이 사용되는 라이브러리는 testify 이다. 하지만 메소드 명을 문자열로 받아 type safe 하게 코드를 작성할 수 없다. 그리고 함께 붙어 있는 mockery는 Mocking 기법(가짜모듈)인데, 인터페이스를 읽어 자동으로 mock 객체를 생성해 준다.

그 다음으로 핫한 gomock 을 사용해보기로 했다. 이건 type safe 하게 코드를 작성할 수 있다.(타입을 기반한 메소드 자동완성)

참고로 gomock에서도 Mocking을 자동으로 해주는 mockgen이라는 라이브러리가 존재한다.

의존성 주입 및 변수 초기화 방법

// 1. 의존성 주입 형태 - Good
func NewUserService(userRepository UserRepository) *UserService{
    return &UserService{
        userRepository: userRepository,
    }
}

// 2. 의존성을 주입하지 않는 형태 - Bad
func NewUserServiceWithoutInjection(client *ent.UserClient) *UserService{
    return &UserService{
        userRepository: NewUserRepository(client),
    }
}

표준화

타노스팀, 우버에서 거의 비슷한 표준규칙을 가지고 있어 거의 그대로 가져왔다.

기본 작성 규칙

파일명은 _test.go 형식을 따른다.
테스트 대상 패키지에 _test 를 붙여서 테스트를 작성한다(Blackbox 테스트)
함수명은 맨 앞에 Test 를 붙인다.
매개변수는 t *testing.T 를 받는다.
실패지점에서 t.Fail() 을 호출한다.

파일	controller.go	controller_test.go
패키지	package articlesvc	package articlsvc_test
함수	GetArticles()	TestGetArticles()

구조체 슬라이스를 tests라고 하고, 각 테스트 케이스를 tt라고 한다. 또한 각 테스트 케이스의 입력 및 출력 값을 give 및 want 접두어를 사용하여 설명(explicating)하는 것을 권장한다.

tests := []struct{
  give     string
  wantHost string
  wantPort string
}{
  // ...
}

for _, tt := range tests {
  // ...
}

Mocking 예제

테스트할 로직 : 숫자를 넘겨받아 더해서 출력

모듈 인터페이스 파일 - doer.go
모듈 로직 구현 파일 - test.go
실제 메소드 구현 파일 - user.go
_test 파일 - user_test.go

package repository

// doer.go
type Doer interface {
	MyFuncPlus(int) int
}

인터페이스 파일을 생성했으면 mockgen 라이브러리로 mock 객체를 생성해 준다.(mock 폴더아래)

mockgen -source=./repository.go -destination=./mock/mock_repository.go -package=mock

package repository

// test.go
func MyFuncPlus(limit int) int {
	return limit + 22
}

package repository

// user.go
type DoerUser struct {
	Doer Doer
}

func (u *DoerUser) DoerUse(limit int) int {
	return u.Doer.MyFuncPlus(limit)
}

package repository_test

import (
	"testing"

	repository "github.com/{myRepo}/repo"
	mock "github.com/{myRepo}/repo/mocks"
	"github.com/stretchr/testify/assert"
	"github.com/golang/mock/gomock"
)

// Mocking Test
func TestMyFuncPlus(t *testing.T) {
	ctrl := gomock.NewController(t)
	defer ctrl.Finish()
	tests := []struct {
		name         string
		giveLimit    int
		wantExpected int
	}{
		{
			name:         "valid case",
			giveLimit:    50,
			wantExpected: 72,
		},
	}

	// Mock repository 설정
	mockRepo := mock.NewMockDoer(ctrl)
	testUser := &repository.DoerUser{Doer: mockRepo}

	for _, tt := range tests {
		t.Run(tt.name, func(t *testing.T) {
			// 기대하는 동작을 설정
			mockRepo.EXPECT().
				MyFuncPlus(tt.giveLimit).
				Return(tt.wantExpected).
				Times(1)
			// 테스트 진행
			result := testUser.DoerUse(tt.giveLimit)

			// 결과 확인
			assert.Equal(t, tt.wantExpected, result)
		})
	}

}

테스트 결과

> go test user_test.go -v  -run TestMyFuncPlus
=== RUN   TestMyFuncPlus
=== RUN   TestMyFuncPlus/valid_case
--- PASS: TestMyFuncPlus (0.00s)
    --- PASS: TestMyFuncPlus/valid_case (0.00s)
PASS
ok      command-line-arguments  0.489s

마치며..

go application 개발을 시작한다면 thanos team, uber 의 github에 가서 코딩스타일, 테스트에 관한 내용을 다 읽어보길 바란다. 추가로 이번에 자료를 검토해보면서 k8s resource(nginx-ingress, api-server, calico) code를 다운로드해서 test case를 분석해보니 정말 모든 테스트 케이스를 정의를 해 놓은 것을 보았다... 언젠가 그렇게 코딩하는 날이 오기를....

Elastic APM으로 VUE Application 모니터링

joon95 — Wed, 9 Oct 2024 00:12:27 +0900

지난번 Go Application 모니터링을 Elastic APM으로 적용하였고, 그 애플리케이션과 연결된 VUE(frontend) 프로젝트도 간단히 개발해놨었다. 그래서 이번엔 VUE에 RUM Agent를 적용해보려한다.

먼저 적용된 화면이다. 리소스 다운로드 시간에 대한 것들이 벌써부터 내 눈을 즐겁게 해준다.ㅋㅋ

작업 순서

npm install
rum agent js 파일을 다운 받아 public/js/ 안에 복사.
환경변수 설정.
main.js 에 javascript load 및 init 설정

NPM install

npm install @elastic/apm-rum --save

Rum Agent JS 파일 다운

아래 공식 github 에 들어가 Release 버전 확인 후 다운로드하자.

GitHub - elastic/apm-agent-rum-js

Contribute to elastic/apm-agent-rum-js development by creating an account on GitHub.

github.com

파일을 다운 받아 vue3 프로젝트의 js 폴더안에 넣었다.

main.js 설정

다운로드한 js 파일을 로드하고 세팅할 수 있도록 소스를 작성한다.

import { createApp } from 'vue'
import App from './App.vue'
import router from './router'

// Elastic APM RUM 에이전트 로드 및 초기화
const script = document.createElement('script');
script.src = '/js/elastic-apm-rum.umd.min.js'; // public 폴더 내 경로에 따라 수정
script.crossOrigin = '';
script.onload = () => {
  const apm = window.elasticApm.init({
    serviceName: process.env.VUE_APP_APM_SERVICE_NAME,
    serverUrl: process.env.VUE_APP_APM_SERVER_URL,
    environment: process.env.VUE_APP_APM_ENVIRONMEMT
  });

  console.log('Elastic APM initialized', apm);
};
document.head.appendChild(script);

// Vue 애플리케이션 생성
createApp(App).use(router).mount('#app')

환경변수 설정

Rum Agent는 Client Brower에서 통신이 이루어지기 때문에 Client는 Elastic APM Server과 연결할 수 있어야한다.

그래서 필자는 kubernetes에 elasticAPM 이 구축되어있어서 nodePort로 열어 연결하였다.

env.local

개발자 PC에서 먼저 확인하기 위해 local 환경을 잡아준다.

VUE_APP_APM_SERVICE_NAME=local-fe
VUE_APP_APM_SERVER_URL=http://{ip}:{port}
VUE_APP_APM_ENVIRONMEMT=local

env.dev

VUE_APP_APM_SERVICE_NAME=my-goapp-fe
VUE_APP_APM_SERVER_URL=http://{ip}:{port}
VUE_APP_APM_ENVIRONMEMT=dev

검증

설정을 마치고 개발자콘솔을 열어 events 라는 네트워크명과 Status가 202가 되었다면 정상적으로 Elastic APM에게 데이터를 전송한 걸 확인할 수 있다.

만약 Status 202이 아니라면 접속에 대한 이슈이니 네트워크 설정을 잘 해보자.

GitHub - joonhyeok95/vue3_study: golang_study2 와 연동하는 frontend app

golang_study2 와 연동하는 frontend app. Contribute to joonhyeok95/vue3_study development by creating an account on GitHub.

github.com

Elastic APM으로 Go Application 모니터링

joon95 — Wed, 9 Oct 2024 00:00:57 +0900

진행하고 있는 프로젝트의 개발팀에서 Golang 기반 Backend API를 개발하는게 있어서 연초에 VUE, GO Application 샘플을 개발해놓았다. (매우 간단하게...)

이후 Application Performance Monitoring을 어떻게 할 것인가?

에 대한 질문들로 Elastic APM을 사용해보기로 했다.

지금까지 java APM만을 셋업했었는데 golang은 어떻게 다른지 파악해보자.

Java와의 차이

java application은 javaagent 로 올리면 바이트코드를 읽어 자동으로 수집하지만 go application은 아니다.

그래도 http route, gorm 을 통해 어느정도 요청에 대한 그래프를 볼 수 있다.

필자는 라우터 라이브러리로 고릴라, 데이터베이스는 gorm으로 프로젝트를 구성하였다.

gorilla/mux
gorm

적용방법

elastic에서 지원하는 라이브러리를 사용하여 아주 간편하게 적용할 수 있는데, 라우터에는 미들웨어를 추가하고, gorm은 전용 driver를 활용하면 되며, 모두 Elastic 공식 가이드 문서를 참고하여 진행하였다.

모듈 다운로드

go get -u go.elastic.co/apm/v2

goilla/mux 적용

route.go 파일에서 Route 생성 부분에 추가한다.(맨 처음으로 미들웨어 등록 필수)

참고로 golang 에서 지원하는 라우터 종류가 많은데 고릴라를 활용하면 elastic apm 에서 추적하는 것이 많다고 한다.

func NewHttpHandler() http.Hander {
	...
	// Elastic APM 추가 ( gorilla mux 는 자동으로 트랜잭션을 추적하도록 도와줌)
	mux.Use(apmgorilla.Middleware())
	...
}

gorm 적용

dbConnection.go 파일에서 gorm.io/driver/mysql 라이브러리를 go.elastic.co/apm/module/apmgormv2/v2/driver/mysql 로 교체한 뒤 mysql.Open 을 변경한다..

import (
	...
	apmmysql "go.elastic.co/apm/module/apmgormv2/v2/driver/mysql"
	//"gorm.io/driver/mysql"
	...
)

func InitDB() {
	...
	db, err := gorm.Open(apmmysql.Open(dsn), &gorm.Config{})
	...
}

route.go 파일에서 미들웨어를 추가한다.

func NewHttpHandler() http.Hander {
  ...
	// DB Context 미들웨어 추가
  mux.Use(DBContextMiddleware)
  ...
}
// APM 미들웨어 함수
func DBContextMiddleware(next http.Handler) http.Handler {
	return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
		ctx := r.Context()
		DB = DB.WithContext(ctx)
		next.ServeHTTP(w, r)
	})
}

환경 변수 설정(Local)

먼저 개발자 PC에서 검증을 거치기 위해 local 테스트를 진행한다.

ELASTIC_APM_SECRET_TOKEN=QnVsV0laRUJ4OWo3QVBpdVZQbTU6MEVkcjJkRklUN2E0NDFCNUY1T3Yydw==
ELASTIC_APM_SERVER_URL=http://{ip}:{port}/
ELASTIC_APM_SERVER_TIMEOUT=60s

ELASTIC_APM_SERVICE_NAME=local-test
ELASTIC_APM_ENVIRONMENT=local

ELASTIC_APM_LOG_FILE=stderr
ELASTIC_APM_LOG_LEVEL=debug

설정 후 application 을 구동 하면 아래와 같이 나온다.(주기적으로 트랜잭션을 서버에 전달함)

{"level":"debug","time":"2024-08-07T14:40:39+09:00","message":"sent request with 2 transactions, 1 span, 0 errors, 0 metricsets"}
{"level":"debug","time":"2024-08-07T14:40:53+09:00","message":"gathering metrics"}
{"level":"debug","time":"2024-08-07T14:41:03+09:00","message":"sent request with 0 transactions, 0 spans, 0 errors, 4 metricsets"}

환경 변수 설정(Server)

서버에 배포했을 때 연결될 네트워크 정보를 설정한다.

필자의 환경은 애플리케이션을 kubernetes 에 배포하여 서비스명.네임스페이스.svc 경로로 서버를 지정하였고, APM 에서 수집될 명, 환경에 대한 구분을 변경해주었다.

ELASTIC_APM_SECRET_TOKEN=QnVsV0laRUJ4OWo3QVBpdVZQbTU6MEVkcjJkRklUN2E0NDFCNUY1T3Yydw==
ELASTIC_APM_SERVER_URL=http://apm-server-apm-server.logging.svc:8200
ELASTIC_APM_SERVER_TIMEOUT=60s

ELASTIC_APM_SERVICE_NAME=my-goapp-service
ELASTIC_APM_ENVIRONMENT=dev

#ELASTIC_APM_LOG_FILE=stderr
#ELASTIC_APM_LOG_LEVEL=debug

Kibana에서 확인

Postman API Test

먼저 간단하게 API를 호출하는 스크립트를 작성하였다.

랜덤값을 발생시켜 PUT API(데이터를 insert 하는 로직)에서 일부로 Duplicate Key 에러를 발생시키고자 한다.

Collection Enviroment Variable Setting

body raw data

Env Variable Random Rotate

 pm.environment.set("randomNumber", Math.floor(Math.random() * 500000));
 --- body raw
 {
    "UserId":"auto{{randomNumber}}",
    "FirstName":"first{{randomNumber}}",
    "LastName":"lim",
    "Email":"auto@{{randomNumber}}"
}

설정을 마친 뒤 Runner 를 통해 API를 자동으로 호출하자.

Kibana View

APM 탭에서 이제 아래와 같은 데이터를 확인할 수 있다. 트랜잭션 처리 속도는 분단위(TPM)로 볼 수 있는게 약간 아쉽다.

Error 가 발생한 Case를 확인할 수 있다.

Elastic APM Golang Error View

APM의 핵심인 구간별 레이턴시도 확인할 수 있다.

Elastic APM Trace View

무료로 이런 기능을 제공한다는 점에서 매우 괜찮게 느꼈다. 그동안 Logging 적재/분석용으로 ElasticSearch를 구축/운영 했었는데, 더 많은 기능들이 있었고, 실제로 사용하는 사례도 적잖게 있다고하니 도입을 검토 해볼만하다고 느낀다.

GitHub - joonhyeok95/golang_study2: 배포 환경 변수화

배포 환경 변수화. Contribute to joonhyeok95/golang_study2 development by creating an account on GitHub.

github.com

Set up the Agent | APM Go Agent Reference [2.x] | Elastic

To start reporting your Go application’s performance to Elastic APM, you need to do a few things: Within a Go module, install the Elastic APM Go agent package using go get: go get -u go.elastic.co/apm/v2 You can find a list of the supported frameworks an

www.elastic.co

Mariadb 백업, 복원하기(mariabackup)

joon95 — Tue, 8 Oct 2024 22:24:46 +0900

백업 종류

mariadb 를 백업하는 방법은 논리적인 방법과 물리적인 방법이 있다.

1. 논리적 백업(mysqldump)

- SQL 형태의 방식

- 모든 행을 스캔하여 테이블마다 insert 구문을 생성함

- 복원 시 시간이 오래 걸림(20GB Data -> 50분 소요)

2. 물리적 백업(mariabackup)

- XtraBackup 방식으로 구현된 mariadb 전용 백업 툴(mariadb 10.3 이상부터 지원)

- DB 데이터를 통째로 복사

- 복사중 데이터 업데이트 발생 가능성으로 인해 주의해야 함

물리적 백업이 복구에 시간이 훨씬 빠르기 때문에 물리적 백업을 채택(20GB Data -> 4분 소요)

백업

mariabackup 의 --backup 옵션을 활용한다.

mariabackup --backup --no-lock --target-dir=/tmp/$BACKUP_NAME --user=$USER --password=$PASSWORD

복원 절차

1. Get Backup File

2. Mariadb Container Stop

3. Mariadb-restore Container Start

4. mariadb-restore Backup File Copy & mariabackup Prepare/Copy Volume

5. Mariadb Container Start(Volume Mount)

Working Directory : /data

Mariadb Data Directory : /data/db_data

Mariadb Image : docker.io/bitnami/mariadb:11.4.3-debian-12-r2

실제 기동될 컨테이너(mariadb)와, 복원용 컨테이너(mariadb-restore)를 사용한다. (data 영역을 스왑하기 때문에 어쩔 수 없음)

서로 같은 볼륨을 마운트하는데 컨테이너 볼륨 마운트 경로는 다르게 한다.

- mariadb : /bitnami/mariadb/data

- mariadb-restore : /tmp/db_restore

docker run

먼저 작업할 컨테이너의 정보이다. 기동 후 stop 한다.

## mariadb-restore run
docker run -d \
  --name mariadb-restore \
  -e MARIADB_ROOT_PASSWORD={rootPassword} \
  -e MARIADB_USER={username} \
  -e MARIADB_PASSWORD={password} \
  -e MARIADB_DATABASE={databaseName} \
  -v /data/db_data:/tmp/db_restore/ \
  docker.io/bitnami/mariadb:11.4.3-debian-12-r2

docker stop mariadb-restore

## mariadb run
docker run -d \
  --name mariadb \
  -e MARIADB_ROOT_PASSWORD={rootPassword} \
  -e MARIADB_USER={username} \
  -e MARIADB_PASSWORD={password} \
  -e MARIADB_DATABASE={databaseName} \
  -v /data/db_data:/bitnami/mariadb/data \
  docker.io/bitnami/mariadb:11.4.3-debian-12-r2

docker stop mariadb

Backup File Download

백업한 파일은 tar 로 압축하여 minio 에 업로드해놨다. mc 를 사용해 파일을 다운로드 할 것이다.

*password 에 특수문자가 존재할 경우 작은 따옴표를 사용해 묶어줘야한다.

wget https://dl.min.io/client/mc/release/linux-amd64/mc
chmod +x mc
./mc alias set myminio http://{ip}:{api port}  'username' 'password'

백업되는 파일명은 'backup-YYYY-MM-DD.tar.gz'

1일 전 데이터를 가져와 /data 영역에 복사하자.

date=`date -d "-1 day" +"%Y-%m-%d"`
./mc cp myminio/{BucketName}/backup-$date.tar.gz /data/

Mariadb-restore Container

이제 복원용 컨테이너를 기동시키고, 백업한 파일을 카피, 검증, 복구한다.

cd /data

docker stop mariadb
docker start mariadb-restore
docker cp backup-$date.tar.gz mariadb-restore:/tmp/
docker exec -i mariadb-restore mkdir /tmp/db_temp
docker exec -i mariadb-restore tar -zxvf /tmp/backup-$date.tar.gz -C /tmp/db_temp
docker exec -i mariadb-restore mariabackup --prepare --target-dir=/tmp/db_temp
docker exec -i mariadb-restore mariabackup --copy-back --target-dir=/tmp/db_temp --datadir=/tmp/db_restore --user={username} --password={password}

--prepare 로 검증을 하고 --copy-back 명령어로 실제 data 영역에 복구하게 된다.

이제 mariadb Container에서 복구한 data 영역을 마운트하여 기동시켜야 한다.

Mariadb Container

실제 기동될 컨테이너를 기동 시키고 database에 접근하여 백업된 데이터베이스와 테이블을 조회해보자.

docker stop mariadb-restore
docker start mariadb

docker exec -it mariadb mariadb -u root -p
Enter password: {password}

MariaDB [(none)]> use {dbname};
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
MariaDB [dbname]> select * from user;

docker-compose

필자는 이렇게 복구한 데이터베이스 컨테이너에 애플리케이션을 붙여야해서 docker-compose 를 사용했다.

healthcheck 와 depends_on 을 추가하여 db가 완전히 기동된 후 application container를 기동하도록 설정한다.

# vi docker-compose.yml
version: '3.7'
services:
  mariadb:
    image: docker.io/bitnami/mariadb:11.4.3-debian-12-r2 
    environment:
      - MARIADB_ROOT_PASSWORD={rootPassword}
      - MARIADB_USER={initUsername}
      - MARIADB_PASSWORD={initPassword}
      - MARIADB_DATABASE={createDatebasename}
    ports:
      - "3306:3306"  # MySQL 기본 포트
    volumes:
      - /data/db_data:/bitnami/mariadb/data
    healthcheck:
      test: ["CMD", "mysqladmin", "ping", "--silent"]
      interval: 10s
      timeout: 5s
      retries: 5      
# 추후 app 추가
  backend:
    image: ...
    ports:
      - "80:80"
    depends_on:
      mariadb:
        condition: service_healthy

docker-compose up -d

Kubernetes Korea Community Day 2024 후기

joon95 — Tue, 24 Sep 2024 23:31:52 +0900

24년 9월 24일 서울 백범김구기념관에서 Kubernetes Korea Community Day 2024를 개최하여 다녀왔다.

각 세션 제목을 보고 너무 듣고 싶어서 기대가 많았고, 도전의 깊이를 넓혀 온 후기를 써본다.

어떻게 알게되었나?

직장동료가 페이스북 kubernetes korea group 에 수시로 들어가며 확인하던 중 발견하여 Join.

참가방법?

9월6일에 입장료 80,000원을 결제했고, 9월23일(행사 1일전) QR 코드가 문자로 날아왔다.

오전 세션

행사는 09시20분부터 QR을 찍어 네임카드를 발급받고, 10시부터 시작되었다.

약 800명 정도가 참여하였고, 오전은 전체가 한 자리에서 Akamai, F5, CNAI 세션을 들었다.

Kubernetes 10년, 그 너머의 항해: 살아남은 자의 인사이트

2014년부터 시작되었던 Kubernetes 첫 Commit, Kubernetes의 공식적인 배포는 2015년
빈약했던 오픈소스가 거대한 프로젝트가 되었고, 각종 서드파티마저 엄청난 규모로 성장하게 된 오픈소스 생태계

엣지로 확장된 Kubernetes: 미래의 클라우드 인프라를 재정의하다

아카마이는 기존 Global CDN 서비스를 운용하는 회사라 글로벌 리전에 충분한 네트워크 기술력이 바탕이되었고, 이제 컴퓨팅리소스를 구축하여 빠른 속도의 글로벌서비스를 제공할 수 있다. 특히 Linode라는 회사를 인수하여 LKE(Linode Kubernetes Engine) 서비스를 제공한다.

F5 CIS 와 NGINX 의 환상적인 조합으로 멀티클러스터 네트워킹 단순화 및 자동화

주요 내용 : F5 -> K8S 접근을 하다.
CIS로 멀티 쿠버네티스 클러스터에 접근하여 Network Hop을 줄였다.

Cloud Native AI: CNAI - CNCF

점심시간이 되어 듣지 않고 나와버림..^^;;

세션 후기

2014년 kubernetes 가 첫 commit을 하였다고 한 해에 나는 대학교 1학년이였고,
2015년 공식배포가 이뤄진 해에 나는 군대에 입대했고,
2016년 kubernetes 로 떠들석할 때도 나는 군대에 있었고,
2019년 kubernetes 를 대학교 졸업작품에 처음 적용했었다.
2019년 하반기부터 회사에 취직하여 지금까지 프로젝트를 하며 다양한 환경(OCP, ARO, AKS, NKS, RKE)에서 많은 것을 배웠다. 하지만 여전히 들어보지 못한 다양한 이름의 리눅스도 있었고, 많은 회사의 고민인 Network latency로 인해 Network Hop을 줄이려는 다양한 노력들, 그저 L7, L4, L2 스위치를 두는 것이 당연하다는 틀에 박힌 마인드를 잠시 벗어나게 해준 시간이였다.

오후 세션

세션당 20~35분의 시간이 정해져있고, 동시에 3개의 홀에서 3개의 세션이 진행된다. 그래서 1개를 선택해서 홀을 옮겨가며 들어야했다. 내가 들은 세션은 아래와 같다.

Kubernetes 접근 제어 proxy 서버 개발기
Kubernetes 에서 Kafka 활용하기
자율주행을 위한 차량 데이터 분석 플랫폼을 Kubernetes 위에서 활용하기
Lakehouse 구축을 위한 K8S 디자인패턴
VDI 이제 그만! Kubevirt 로 가볍고 빠른 VM 사용하기
안전한 쿠버네티스 운영을 위한 보안 Best Practice 소개
쿠버네티스 정책 및 권한 관리를 위한 기술들

Kubernetes 접근 제어 proxy 서버 개발기

RBAC의 한계를 통해 새로운 Proxy 솔루션을 개발하신 이야기 - QueryPie
1. Kubeconfig를 자동으로 생성, 유지관리해주는 Agent.
2. 관리서버를 통해 Kubernetes 앞단에서 API를 분석하고, 사용자 권한에 따라 데이터를 조작,재조합한다.
Kubernetes API 를 크게 3가지로 정의
1. Rest API (create, get, delete) - API Verb 로 해석, 파싱의 어려움으로 오픈소스 Convert 패키지 활용
2. SPDY Protocal (exec, port-forward) - stdout stream을 사용하여 사용자+컨테이너의 전체 입출력 데이터 활용
3. Event Stream (watch) - Decode 후 접근에 대한 필터링
응답 결과 분석
1. decompress
2. decode
3. check policy

Kubernetes 에서 Kafka 활용하기

Strimzi 라는 오픈소스를 활용하여 Kafka Enterprise 제공 가능
현재 CNCF 인큐베이팅 성숙도로 올라가있는 프로젝트
- Operator 기반의 설치로 이점이 존재
- Kafka Connect 와 Calico의 유연한 연결
- ODD(Open Data Discovery)로 데이타 흐름을 시각화
- Kafka-UI 의 최신(kafbat)
- API Curio - 스키마 레지스트리

자율주행을 위한 차량 데이터 분석 플랫폼을 Kubernetes 위에서 활용하기

안정성 등의 유럽 규제 강화로 인한 AI가 필수로 잡혀가고 있는 제조업 분야
대용량 데이터 수집, 처리를 위한 쿠버네티스 도입이 필수적
- 1초에 3-4GB의 카메라, 라이다센서 등의 데이터를 신속하게 전달해야함(k3s)
- 데이터 전달의 레이턴시로 인한 Public Cloud 에 존재하게 된 Hub GKE (Kubernetes)
- 방대한 데이터 분석을 위한 내부 서버(GPU기반의 Kubernetes Cluster)
모니터링(mimir, prometheus)

Lakehouse 구축을 위한 K8S 디자인패턴

300TB 데이터에서 대용량 조회를 안정적으로 제공하기 위한 빅데이터플랫폼 구성 후기
Network 최적화 패턴
- eBPF 기반 CNI
- XDP 기반 로드밸런싱
- nodeLocalDNS, CoreDNS 활용 및 튜닝
- Kube-proxy 비활성화
- externalTrafficPolicy: Local 로 바라보게 설정
- DSR 적용
- LVS(Linux Virtual Server)를 써서 Peer To Peer 방식을 구성

VDI 이제 그만! Kubevirt 로 가볍고 빠른 VM 사용하기

Cloudflare, Linux Foundation, Cloud craft 에서 사용자에게 제공하여 사용중
on-prem 에서 한계. GPU 서버 이슈가 존재
vmware 구독제로 인한 가격상승으로 가능성이 있는 오픈 프로젝트이지 않을까? 라는 도전의식

안전한 쿠버네티스 운영을 위한 보안 Best Practice 소개

보안의 3요소(CIA)를 Kubernetes 에서 어떻게 녹여 낼 것인가?
1. 기밀성 : Secret, RBAC, Policy, Selector
2. 보안성 : Image 검증, Security Context, Application 자체 보안
3. 가용성 : Resource 제한, QoS, Auto-Healing, 중앙 집중식 로깅/모니터링
클러스터 보안
- Host OS(보안패치, 악성 Process)
- 클러스터 접근 제어
- 네트워크 CNI
- ETCD(스토리지 보안, 암호화)
- API 서버보안(인증,인가,감사로그)
- TLS/SSL 적용, OAUTH, OIDC
컨테이너 보안
- Container Runtime 보안
- 이미지보안(이미지 스캔, 서명 및 취약점 관리)
- Cgroup, 네임스페이스 격리
- 샌드박스에서의 컨테이너 격리 실행
- 권한 제한 : root(x), 권한 최소화
- 파드, 컨테이너 보안(Security Context)
네트워크/서비스 보안
- Network Traffic Controller : CNI Plugin
- Network 정책(Ingress, Egress)
- Ingress Controller 보안
- CoreDNS 보안, DNS 암호화
- TLS통신, 인증서 관리
- Service Mesh 보안(Istio, LInkerd, ...)
- Network 격리, 필터링(kube-proxy, iptables)
- Rate Limiting, WAF, DDoS
로그/모니터링
- Prometheus, Grafana
- Fluent, ELK
- APM
- 분산 트레이싱(MSA)
- Audit 로깅
쿠버 보안 관련 도구
- kube-bench
- gVisor
- sysdig
- Trivy
- AppArmor

쿠버네티스 정책 및 권한 관리를 위한 기술들

RBAC 한계를 통해 드러난 솔루션
- Validation Admission Policy
- Kyverno
- OPA Gatekeeper
우리가 쓰고 싶은 기능
1. ResourceName을 패턴으로 매칭시키고 싶음(fix or matcher)
2. Object 별로 정의하고 싶음(Label)
3. 임의의 패턴을 지정하고 싶음(특정 팀이름은 특정 리소스 접근가능하게)
4. 외부연동제어를 하고 싶음(퇴사자 발생 시 서서히 권한을 제한시키는 등)
정책 구현을 Code로 한다 == Policy as Code

세션 후기

정말 빠르게 지나갔고, 너무 유익한 시간이였다. 나는 개발을 하며 쿠버네티스에 파이프라인을 구축하는 역할을 주로 수행하였는데, 늘 부족했던 부분인 '보안' 파트를 상세하게 정리해주는 세션이 있었기 때문이다. 이번 계기를 통해 보안파트를 잘 정리하려고 하며, 보안 관련 도구는 꼭 적용해봐야겠다!!! 그리고 실제 빅데이터플랫폼의 사례를 통해 수년의 고민들을 들을 수 있어 너무 좋았다.
올해 1월부터 RKE1, RKE2 기반의 on-prem Kubernetes 프로젝트를 진행하며 VM의 설정도 나름 만져왔는데 전혀 고민해보지 않았던 영역이 있어 부끄러운 마음도 들었다. 그리고 OPA Gatekeeper 는 CNCF 랜드스케이프에서 아이콘만 구경했지 별생각은 안들었는데 꼭 해봐야겠다는 생각이 들었다.

자바 Integer 비교 시 알아야 할 것

joon95 — Sat, 12 Aug 2023 19:54:34 +0900

이번년도는 1월부터 개발 프로젝트로 매우 바빠서 블로그 쓸 시간이 없다ㅜ(핑계는..)

지난 주에 내부적으로 개발한 core 모듈에서 버그를 하나 찾았는데 내부적으로 만든 함수 중 객체 비교를 위한 메소드(isEquals)에서 Integer 타입에 대한 처리를 == 으로 했었던 부분이였다.당연히 객체간 데이터 비교에서는 .equals 를 사용해야 하는 것은 익히 알고 있었는데, == 으로 되어있었다는...

그럼 Integer 데이터간 비교는 왜 ==로 하면 안되는지 알아보자!

래퍼 클래스(Wrapper Class)

래퍼 클래스란 기본 타입의 데이터를 객체로 취급해야하는 경우 사용된다.

- 기본 타입 데이터 타입 : byte,short,int,long,float,double,char,boolean (맨 앞이 소문자)

- 래퍼 클래스 : Byte,Short,Integer,Long,Float,Double,Character,Boolean (맨 앞이 대문자, 클래스 만들 때 보듯 ㅎㅎ)

tmi. 대학교 2학년 때 자바 수업에서 처음 래퍼클래스에 대해 배웠었음.

박싱(Boxing), 언박싱(Unboxing)

- 박싱 : 기본타입을 포장객체(래퍼클래스)로 만드는 만드는 과정

- 언박싱 : 포장객체(래퍼클래스)에서 기본타입의 값을 얻어내는 과정

Integer a = new Integer(10); // 박싱
int i = a.intValue(); // 언박싱

오토 박싱(AutoBoxing), 오토 언박싱(AutoUnBoxing)

앞에 오토가 들어가면 자동적으로 해주는 거다 (JDK 1.5부터 지원됨)

Integer a = 10; // 오토 박싱
int i = a; // 오토 언박싱

오토 캐시

Integer 클래스를 들어가보면 IntegerCache 라는 클래스가 존재한다.

기본적으로 -128~127 사이의 값에 대해서 지정된 heap memory 영역에 생성한다는 것이다.

-XX:AutoBoxCacheMax=<Size> 를 통해 수정도 가능하다.

    /**
     * Cache to support the object identity semantics of autoboxing for values between
     * -128 and 127 (inclusive) as required by JLS.
     *
     * The cache is initialized on first usage.  The size of the cache
     * may be controlled by the {@code -XX:AutoBoxCacheMax=<size>} option.
     * During VM initialization, java.lang.Integer.IntegerCache.high property
     * may be set and saved in the private system properties in the
     * jdk.internal.misc.VM class.
     *
     * WARNING: The cache is archived with CDS and reloaded from the shared
     * archive at runtime. The archived cache (Integer[]) and Integer objects
     * reside in the closed archive heap regions. Care should be taken when
     * changing the implementation and the cache array should not be assigned
     * with new Integer object(s) after initialization.
     */

    private static class IntegerCache {
        static final int low = -128;
        static final int high;
        static final Integer[] cache;
        static Integer[] archivedCache;

        static {
            // high value may be configured by property
            int h = 127;
            String integerCacheHighPropValue =
                VM.getSavedProperty("java.lang.Integer.IntegerCache.high");
            if (integerCacheHighPropValue != null) {
                try {
                    h = Math.max(parseInt(integerCacheHighPropValue), 127);
                    // Maximum array size is Integer.MAX_VALUE
                    h = Math.min(h, Integer.MAX_VALUE - (-low) -1);
                } catch( NumberFormatException nfe) {
                    // If the property cannot be parsed into an int, ignore it.
                }
            }
            high = h;

            // Load IntegerCache.archivedCache from archive, if possible
            CDS.initializeFromArchive(IntegerCache.class);
            int size = (high - low) + 1;

            // Use the archived cache if it exists and is large enough
            if (archivedCache == null || size > archivedCache.length) {
                Integer[] c = new Integer[size];
                int j = low;
                for(int i = 0; i < c.length; i++) {
                    c[i] = new Integer(j++);
                }
                archivedCache = c;
            }
            cache = archivedCache;
            // range [-128, 127] must be interned (JLS7 5.1.7)
            assert IntegerCache.high >= 127;
        }

        private IntegerCache() {}
    }

데이터 비교 코드

그럼 위에서 알게된 오토캐싱 내용을 기준으로 데이터를 비교해보자.

Integer a1 = 127;
Integer a2 = 128;
Integer a3 = -128;
Integer a4 = -129;

Integer b1 = 127;
Integer b2 = 128;
Integer b3 = -128;
Integer b4 = -129;

if(a1 == b1)	System.out.println("a1 == b1 : true");
else 			System.out.println("a1 == b1 : false");

if(a2 == b2)	System.out.println("a2 == b2 : true");
else 			System.out.println("a2 == b2 : false");

if(a3 == b3)	System.out.println("a3 == b3 : true");
else 			System.out.println("a3 == b3 : false");

if(a4 == b4)	System.out.println("a4 == b4 : true");
else 			System.out.println("a4 == b4 : false");

결과

a1 == b1 : true

a2 == b2 : false

a3 == b3 : true

a4 == b4 : false

왜 이런 결과가 나온지 주소값을 출력해보자

System.out.println("a1 address :"+System.identityHashCode(a1));
System.out.println("b1 address :"+System.identityHashCode(b1));
System.out.println("a2 address :"+System.identityHashCode(a2));
System.out.println("b2 address :"+System.identityHashCode(b2));
System.out.println("a3 address :"+System.identityHashCode(a3));
System.out.println("b3 address :"+System.identityHashCode(b3));
System.out.println("a4 address :"+System.identityHashCode(a4));
System.out.println("b4 address :"+System.identityHashCode(b4));

결과

a1 address :328241052

b1 address :328241052

a2 address :849031967

b2 address :1678413715

a3 address :1664479306

b3 address :1664479306

a4 address :1959690207

b4 address :522631570

오토캐싱에 정의된 값을 같은 주소를 가지고 있는 것을 볼 수 있다.

그러므로 == 값은 래퍼클래스에서 주소를 비교하는 것이다.

(참고로 int 와 같은 기본데이터는 == 로 비교하는게 맞다.)

결론은 래퍼클래스는 .equals 를 통해 객체의 데이터를 비교해야한다!

추가 테스트

그럼 오토박싱이 아닌 박싱으로 객체를 선언한다면?

(참고로 new Integer() 은 Deprecated Since 9)

Integer c1 = new Integer(1);
Integer c2 = new Integer(1);

if(c1 == c2) 	System.out.println("c1 == c2 : true");
else 			System.out.println("c1 == c2 : false");

System.out.println("c1 address :"+System.identityHashCode(c1));
System.out.println("c2 address :"+System.identityHashCode(c2));

결과

c1 == c2 : false

c1 address :95055266

c2 address :27317011

마치며

오토박싱... 오토언박싱.. 자바를 배울 때 좋은 거구나~ 하면서 배웠던 기억이 있는데

오토캐싱은 처음이였따^^^^^.ㅋㅋㅋㅋㅋㅋㅋ

간만에 학생 때로 돌아간 것 같은 기분을 느꼈다.

[CKA] Certified Kubernetes Administrator 자격 취득 후기

joon95 — Sat, 8 Jul 2023 15:16:43 +0900

서론

쿠버네티스를 처음 접했던 것은 대학교 3학년(2019) 졸업작품 때이다. 당시에는 app, db, svc, ing 서비스를 올리고 프로메테우스/그라파나를 통해 클라우드 모니터링부분을 다뤘었다. 이 후 취업을 하고 본격적으로 쿠버네티스 프로젝트를 진행하게 된건 2021년3월부터인데 벌써 2년4개월의 시간이 흘렀고 CKA 자격증이라는 것을 알게 되었다.(회사에서도 클라우드 사업을 위해 어느정도 CKA자격을 가진 인력이 필요로 했음)

무튼, 시험을 본 자로써 어디에 초점을 두고 공부해야하는지 글을 남기려한다.

준비기간

실제 자격증 준비 시간은 약 2.5일

필자는 그동안 프로젝트에서 쿠버네티스를 경험해왔기에 짧은 시간 준비를 하고 시험을 쳤다.

(실제 시험 수준은 너무 쉬웠다는거...+영어질문 해석에 오류가..좀)

검색해보니 유데미교육이 엄청많던데...사람들 2달,3주 준비한다길래 Pass...

CKA 신청을 하면 Killer.sh 이라는곳에서 무료로 2번 세션을 받아 실제 시험과 비슷한 환경에서 테스트를 할 수 있다고해서 Killer.sh을 이용하였다.

CKA 시험 핵심

요즘은 누구나 쿠버네티스에 컨테이너를 올리고, 서비스를 노출시키고, 볼륨을 마운트한다는 등의 액션은 충분히 할 수 있을 텐데, 이 시험에서 더 부각되었던 것은 Cluster Administrator로써의 더 상세한 통신관리라고 생각된다. (필자가 지금 껏 해오던 것은 CKA 보다는 CKAD(Kubernetes Certified Application Developer)로써의 Role이 상당히 일치했던 것)

그리고 시험시간은 총 120분인데 필자는 90분에 끝났으니 난이도는 쉬운편이였다.

아무튼 이 시험을 보고 나니 요구하는 내용을 좀 알겠다.

Multi Container Volume Shared
NetworkPolicy
TroublesShooting(K8S)
Cluster Upgrade & Worker Node Join
Etcd Backup&Restore
Scale In&Out
Static-Pod
Certificate
RBAC(Role Based Access Control)
Basic (Pod, Deploy, DaemonSet, StatefulSet, Secret, ConfigMap, PersistentVolume, PersistentVolumeClaim, Ingress, Service)

Killer.sh

필자는 Killer.sh로 준비하였는데, 문제를 딱 보면 말문이 막힌다(영어)

다행히 정답과 풀이과정을 모두 정리한 사이트가 있다.(크롬 번역기 필수..ㅋㅋ) 다들 검색해보셨듯이 Killer.sh에서 말하는 시험의 난이도는 상당하다.... 하지만 겁먹지말라.. 필자도 해냇으니..!!!

먼저 이 테스트 세션에서 배울 수 있는 내용을 보면(편하게 문제 순서대로^^)

Cluster 정보를 추출할 수 있는가? (kubectl 사용/미사용)
Master Node에 파드를 기동할 수 있는가? (Tolerations)
pod 스케일 조정 (kubectl scale)
readiness, liveness 활용
pod 상태 정렬 (kubectl --sort-by)
스토리지를 mount 해라 (Deploy, Pvc, PV)
리소스 모니터링 (kubectl top)
클러스터 상태 체크 (Process, static-pod, pod 구분 및 dns 종류)
마스터노드의 스케줄링 서비스가 중단되었을 때 마스터노드에서 Pod 기동하기 (Static-pod 개념을 알자)
RBAC 서비스계정 역할 부여 (k auth can-i 로 검증하기)
DaemonSet 생성
파드를 모든 워커노드에 1개만 분배하기 (podAntiAffinity)
다중 컨테이너 / 파드 공유 볼륨 (emptyDir)
클러스터 정보 체크 (서비스 CIDR, 네트워크 컨피그 파일 경로)
이벤트 로깅 (kubectl get events, 컨테이너 죽이기:crictl stop [containerId])
API Resources (kubectl api-resources)
컨테이너 RuntimeType 찾기 (crictl inspect [containerId])
트러블슈팅 kubelet 장애 (confing 경로를 잘 찾아서 해야함)
Secret 생성 및 마운트 (+마스터노드에 띄우기)
클러스터 버전 업그레이드 및 클러스터 가입 (apt-get / kubectl token create --print-join-command, 여기문제에는 kubeadm은 없어서 따로 해봐야함 drain/uncordon)
Static-pod (마스터노드 manifests에 yaml을 두어 올리는 것, expose 로 서비스 생성)
인증서 유효기간 확인 및 업데이트 (마스터 노드에서 인증서를 추출 : openssl x509 -in [파일.crt] -noout -text, 인증서 업데이트 : kubeadm certs renew)
kubelet 클라이언트/서버 인증서 정보 (/var/lib/kubelet/pki)
NetworkPolicy (Egress 구간 제어)
ETCD backup&restore

내용이.. 많다..ㅎㅎㅎㅎㅎㅎㅎㅎㅎ하하핳핳ㅎㅎ

하지만 그만큼 재밌는 경험을 하게 되었고, 무엇보다 다양한 영어질문을 읽고 해석하는 훈련이...되어간다. 그리고 120분이 지나면 세션을 재시작하여 시간을 체크 할 수 있다.(필자는 이걸 늦게 알아서 두번째 세션에서 120분 테스트해봄)

+CKA는 17문제고 killer.sh는 25문제이기 때문에 당연히 다 풀 수는 없었다.

하지만 겁먹지말고 시험보라!

KillerCoda

killercoda는 killer.sh 사이트에서 돌아다니다가 우연히 알게되었는데, 약 12케이스의 CKA 문제가 준비되어있다. 간단히 워밍업 정도의 내용으로 쉬운 편이고 여기서 새로 알게된건 priorityclass(우선순위)에 대해 알게 되었다. 옵션이 있는 건 알았는데 class로 정의하고 쓴다니....ㅎ

---잠시 시간을 내어 풀어보면 좋다---

마치며

만약 이 시험을 한 단어로 요약해보자면 스케줄링이라고 말하고 싶다.

항해를 떠나는 선장(Kubelet)님들에게 내 짐을 맡겨주세요... 라고

[Android] Thread로 간단한 처리해보기

joon95 — Tue, 20 Jun 2023 13:33:59 +0900

서론

갑작스럽게 회사 후임이 안드로이드를 물어봐서 간단히 테스트 글을 적어본다.

요구사항은 시크바(SeekBar)를 조절하면서 지속적으로 다른 곳에 데이터를 전송하는 내용이다.

시크바란?
시크바는 사용자가 범위 내에서 값을 선택할 수 있도록 도와주는 막대 형태의 뷰입니다. 음량/밝기 조절, 이미지 필터 적용, 동영상 재생 등 다양한 곳에 활용됩니다.

결과적으로 사용자가 바를 터치하고 있는 상태의 데이터를 지속적으로 전달해야한다.

(뭐 데이터가 변경될때만 보내면 간단한데, 변경이 아닌 사용자가 누르고 있는 상태에 대한 값을 보내고싶다고 했다)

그래서 Thread를 이용해서 0.3초마다 실행할 수 있도록 구현하고자한다.

결과화면

MainActivity

시크바의 리스너함수 start에서 Thread를 실행, stop에서 Thread를 종료시켰다.

전역변수로 데이터를 보관하여 변경점에 대한 데이터를 가지고 있는다.

public class MainActivity extends AppCompatActivity {
    ExampleThread thread;
    static int data=0;
    TextView txtView;
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        txtView = findViewById(R.id.text);
        SeekBar bar = findViewById(R.id.seekbar);
        bar.setOnSeekBarChangeListener(new SeekBar.OnSeekBarChangeListener(){
            @Override
            public void onProgressChanged(SeekBar p1, int p2, boolean p3)
            {
                data=p2;
            }
            @Override
            public void onStartTrackingTouch(SeekBar p1)
            {
                thread = new ExampleThread();
                thread.start();
            }
            @Override
            public void onStopTrackingTouch(SeekBar p1)
            {
                if(thread != null && thread.isAlive()){
                    thread.interrupt();
                    txtView.setText("데이터 전송 중지(" + data+")");
                }
            }
        });

    }

    private class ExampleThread extends Thread {
        @Override
        public void run() {
            while(!Thread.currentThread().isInterrupted()){
                try {
                    // 실제 로직
                    Log.d("onProgressChange", "값:" + data);
                    // UI에 적용
                    runOnUiThread(new Runnable() {
                        @Override
                        public void run() {
                            txtView.setText("실시간데이터전송중..." + data);
                        }
                    });
                    // 작업대기
                    Thread.sleep(300); // 0.3초간 Thread를 잠재운다
                } catch (InterruptedException e) {
                    //e.printStackTrace();
                    this.interrupt();
                }
            }
        }
    }

}

activity_main.xml

시크바와 간단히 상태를 보여줄 텍스트뷰를 넣어주었다.

<?xml version="1.0" encoding="utf-8"?>
<androidx.constraintlayout.widget.ConstraintLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:app="http://schemas.android.com/apk/res-auto"
    xmlns:tools="http://schemas.android.com/tools"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    tools:context=".MainActivity">

    <TextView
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:text="Hello World!"
        android:id="@+id/text"
        android:textSize="30dp"
        app:layout_constraintBottom_toBottomOf="parent"
        app:layout_constraintLeft_toLeftOf="parent"
        app:layout_constraintRight_toRightOf="parent"
        app:layout_constraintTop_toTopOf="parent" />

    <SeekBar
        android:id="@+id/seekbar"
        android:layout_width="match_parent"
        android:layout_height="150dp"
        android:max="100"/>
</androidx.constraintlayout.widget.ConstraintLayout>

결과화면

1. 사용자가 시크바를 누르면 Thread가 동작한다.

2. Thread는 시크바의 값을 0.3초마다 출력한다.

3. 사용자가 시크바 클릭을 해지하면 Thread가 멈춘다.

동영상 서비스가 종료되어 해당 콘텐츠를 재생할 수 없습니다.

오랜만에 안드로이드를 만지니 재밌었다.(옛날 생각)...

[Springboot] @JsonProperty는 언제 써야 할까!

joon95 — Wed, 22 Feb 2023 00:07:22 +0900

이번에 개발하다가 DB 테이블 컬럼 중 숫자형태의 'A_CNT' 이런 앞에가 짧은 컬럼이 있어서, 늘 하던대로 RequestDTO 에 aCnt 로 작성하고 난 뒤 Post 방식으로 데이터를 보내봤더니 자꾸만 0 이 넘어오는게 아닌가????

@JsonProperty

이 때 @JsonProperty를 쓰면된다.(변수가 많다면 @JsonNaming 으로 통합해도 됨)

@Getter
@Setter
@NoArgsConstructor
@AllArgsConstructor
public class Sample {
  @JsonProperty("a_cnt")
  private int aCnt;
}

이렇게 하고 요청할 때 a_cnt 로 던지면 정상적으로 오게된다.

추가로 mybatis 에서 camelCase vo를 자동으로 변환해 주는 설정은 아래와 같다.

<setting name="mapUnderscoreToCamelCase" value="true"/>

이렇게 하면 Sample Class에서 카멜케이스 표기법으로 변수를 작성하면 mybatis mapper에서 자동으로 변환된다.

[Post Request 스네이크] -> [springboot 카멜] -> [DataBase 스네이크]

원인 : 서로 다른 표기법

a_cnt 에 대한 API 요청의 처리가 달랐던 이유는 아래와 같다.

- POST Json : snake_case

- JAVA Entity : camelCase

근데 왜 다른건 되고 이것만 안되는 지는 잘 모르겠다. 누가알면 설명좀..

간혹 변환이 안되는 경우라는데...

스네이크 / 카멜 표기법

스네이크식은 단어가 - 가 아닌 _ 로 연결된다.

ex) my name is joon95 -> my_name_is_joon95

카멜식은 첫 단어 소문자, 두번째 단어부터 대문자로 시작하여 단어사이를 붙인다.

ex) my name is joon95 -> myNameIsJoon95

표기법은 보통 아래와 같은 사용처를 가지는 것 같다.

사용처	표기법
API	snake_case (통신 규격)
DB	snake_case
JAVA	camelCase, Class 파일만 UpperCase

추가로 다른 블로그를 보니

API 에서 Camel Case로 받는 것으로 정의하여 사용하는 케이스도 있다고 하는데

이런 부분은 jackson ObjectMapper를 사용해 데이터를 조작하면 된다고 한다.

ObjectMapper mapper = new ObjectMapper();
Sample sample = mapper.convertValue(params, Sample.class);

참고

[Spring] 스네이크 케이스로 받은 JSON 데이터를 객체 내 케멀케이스 변수에 매핑시키는 방법은 무

카멜 케이스 Entity에 스네이크 케이스 Json 데이터를 매핑시키는 방법을 알아보자

velog.io

[ORACLE] MERGE INTO 조건의 데이터가 없는 경우 NULL Row 처리하기

joon95 — Tue, 21 Feb 2023 23:13:50 +0900

지난 달부터 차세대 MSA 개발 프로젝트에 개발자로 투입되서 그동안 너무 바빴다.

FRONT-END로 넥사크로(NEXACRO)를 사용하고 있는데, GRID DataSet을 이용한 Multi Row 핸들링을 자주하게 되어 다중 처리에 대한 부분을 알아보았다.

그러던 중 merge into 를 사용한 update, insert를 구현하고 있었는데 조건절에서 데이터가 없다면 아무것도 실행하지 않는 현상이 생겼다. 조건, 업데이트문, 삽입문을 따로 돌려보면 전혀 에러가 없는 코드이고, 함께 돌려도 정상적인 코드로 멘탈이 슬슬 나가려할 때... 구글링을 하다가 내 상황과 같은 글을 찾게 되었다.(링크는 참고)

그 글에서는 오라클 9.2.0.4.0 버전에서는 되는데 9.2.0.3.0 버전에서 정상적으로 동작하지 않는 현상에 대해 알려주었다.(참고로 우리는 19.0.0.0.0 버전이다...)

그래서 어떻게 해야할까 찾는 도중 union all 로 묶고 NOT EXISTS 로 null row를 만드는 방법을 찾았다.

MERGE INTO 절

먼저 MERGE INTO 의 기본 형태를 알아보자.

MERGE /* sample.mergeSample */
INTO 테이블명
  USING dual
    ON (ID = #{id})
    WHEN MATCHED THEN
    	UPDATE SET
        	COL1 = #{val1}
            ...
    WHEN NOT MATCHED THEN
    	INSERT
        (
        	COL1,COL2,COL3,...
        )
        VALUES
        (
        	#{val1},#{val2},#{val3},...
        )

MERGE INTO 테이블명 : 사용할 테이블을 정의

USING DUAL : 비교할 테이블(현재는 1개 테이블 이용하기에 DUAL 사용)

ON ( ) : 비교 조건(해당 값을 기준으로 UPDATE를 하기 때문에 사용된 컬럼은 update하지 못함)

WHEN MATCHED THEN : ON 조건이 맞다면 실행한다.

WHEN NOT MATCHED THEN : ON 조건이 틀리다면 실행한다.

이렇게 코딩을 하면 1개의 쿼리에 insert, update로 알아서 처리되기 때문에

이미 있는 id 값이 넘어왔다면 자연스레 다른 컬럼을 update 하게 된다.

간단히 사용방법을 익혔으니 실제 적용한 코드를 살펴보자.

완성된 MERGE INTO

MERGE /* sample.mergeSample */
INTO 테이블 A
    USING (
    	SELECT ID
        FROM 테이블
        WHERE 1=1
        AND ROWNUM=1
        AND ... 조건추가
        
        UNION ALL
        
        SELECT NULL AS ID
        FROM DUAL
        WHERE NOT EXISTS (
            SELECT ID
            FROM 테이블
            WHERE 1=1
            AND ROWNUM=1
            AND ... 조건추가
        )
        AND ROWNUM=1
    ) B
    ON (A.ID = B.ID)
    WHEN MATCHED THEN
    	UPDATE SET
        	COL1 = #{val1}
            ...
    WHEN NOT MATCHED THEN
    	INSERT
        (
        	COL1,COL2,COL3,...
        )
        VALUES
        (
        	#{val1},#{val2},#{val3},...
        )

USING 부분의 코드가 상당부분 들어간걸 볼 수 있다.

이로써 조건에 맞는 row가 있다면 update를 실행하고,

조건에 맞는 데이터가 없다면 NULL row가 생겨 insert를 실행하게 된다.

참고

[ORACLE] MERGE INTO

9.2.0.4.0 버젼에선 아래와 같은 문법으로도 MERGE INTO 가 정상적으로 동작하였다. MERGE INTO TBL_1USING DUAL B ON (F6= 'Y' AND F1 = 'ALL' AND F3= '1') WHEN MATCHED THEN UPDATE SET REG_DATE = SYSDATE WHEN NOT MATCHED THEN INS

egloos.zum.com

[AzureDevops] Repos / Pipeline 구축기

joon95 — Thu, 5 Jan 2023 11:09:40 +0900

AzureDevops Pipeline 관련 포스팅을 이전에 했었는데, 당시엔 파이프라인 스크립트 라이브러리 사용에 익숙치 않았기 때문에 파이프라인 작성과 실행을 중심으로 작성하였다면, 오늘은 azure Pipeline 구축 및 사용에 대해 더 초점을 맞춰 글을 쓰려한다.

[AzureDevops] CI-CD Pipeline 구축 테스트

11월 3주간 Github Actions 과 AzureDevops 두 개의 CI-CD Pipeline 구축테스트를 진행하였고 Rest API 호출 방법까지 케이스를 정리해보았다. AzureDevops 도 GHES와 같이 Private 용도의 Server를 제공하며, 별도의 Self-

flowlog.tistory.com

Pipelines

Azure Devops 에 접속하여 Pipeline>All 페이지에 들어오면 폴더별로 체크할 경우에 깔끔하다.

Azure Pipelines

Repos

파이프라인에서 사용되는 yml 파일들은 모두 레포지토리에 저장된다.

joon95-spring-maven 이라는 레포지토리에 application 소스코드를 업로드하여 사용하고 있고, 추가 파이프라인에서 사용될 폴더를 만들었다.

- azdevops : Pipeline 에서 사용될 yml (CI,CD)

- manifests : Pipeline 에서 AKS에 배포할 yml

~~Dockerfile은 그냥 밖에 둠(귀찬)~~

Azure Repos

Dashboards

애저데브옵스는 자체 대시보드가 있는데, 전체적인 현황을 체크할 수 있어 나름 괜찮은 기능인 것 같다.

azure Devops Dashboard

마치며

그동안 익숙했던 gitlab, jenkins 환경을 벗어던지고.. 이제는 각 클라우드의 자체 git/pipeline 기능이 강력해지고 있다. 필자가 느끼기엔 아직 네이버클라우드쪽은 매우 부족하다고 느끼고 있고, 애저데브옵스는 애저리소스를 몇번의 클릭으로 바인딩할 수 있기 때문에 매우 편했다. 추가로 Github Actions도 애저파이프라인보다는 약간 부족한 감이 든다.(approve옵션에서 false할 경우 파이프라인을 종료시킨 깃헙액션)

뭐 그래도 결국 github나 gitlab이 git을 사용하는데 있어서 제일 익숙하고 편하다.

클라우드 벤더들도 자기들의 경쟁력을 올리기 위해 많은 기능들이 추가될 것이다.

[TmaxSoft] Jeus Webtob 도커 이미지 보안 개선

joon95 — Thu, 5 Jan 2023 10:42:21 +0900

이전에 포스팅한 글은 솔루션의 기본 세팅에서 내가 바로 적용할 수 있는 부분까지 확인해보았다.

[TmaxSoft] Jeus Webtob 도커 이미지 연동하기

이번에 on-prem을 MSA 클라우드 전환 프로젝트 PoC를 준비하며 Tmaxsoft 사의 Jeus, Webtob를 컨테이너로 옮기는 작업이 필요했다. 필자는 다른 프로젝트를 진행해오면서 React, Vue, Angluer 등의 스크립트언

flowlog.tistory.com

더 나아가서 프로세스 실행 유저와 프로세스 기동 위치 등을 수정하려 Dockerfile을 손보았다.

그럼 함께 확인해보자.

Webtob Dockerfile

FROM tmaxsoftofficial/webtob:5.0.0.2.217.41.3.2

##########################################################
# test package
# RUN yum update
# RUN yum install -y vim net-tools curl
##########################################################

# User add
RUN groupadd -r -g 2000 tmax && useradd -r -d /home/webtob -u 1000 -g tmax webtob
#RUN mv /home/start.sh /home/webtob/start.sh
#RUN setcap 'cap_net_bind_service=+ep' /home/webtob/bin/htl

# resouces ADD
RUN mkdir /home/webtob/docs/styles
COPY ./health.html /home/webtob/docs

# configuration
COPY ./http.m /home/webtob/config/http.m

RUN chown -R webtob. /home/webtob
RUN chown webtob. /home/start.sh

USER webtob
WORKDIR /home/webtob

CMD ["/home/start.sh"]

유저그룹 tmax / 유저명 webtob 로 생성해주었고, 웹투비 실행폴더는 default /home/webtob 이기 때문에 권한만 변경해주었다. 그리고 유저를 지정한 뒤 작업 디렉토리를 정해준 뒤 실행 스크립트를 커맨드에 명시해주었다.

또, setcap 부분이 있는데 이는 일반 유저가 1024 이하의 포트를 점유하기 위해 권한(privileged)을 풀어주는 명령어이다. 필자는 그냥 http.m 에서 listner 포트를 8000으로 변경하고 마무리 하였다.

이제 이 베이스이미지로 pipeline을 태우면 되는데,

/home/webtob/docs 안에 정적리소스를 넣어주면 완성된다.

Jeus Dockerfile

FROM tmaxsoftofficial/jeus:8.1.105067.1-jdk8-openjdk-ubuntu

###########################################################################
# test package
# RUN apt update
# RUN apt install -y vim net-tools curl
###########################################################################

# User add
RUN groupadd -r -g 2000 tmax && useradd -r -d /home/jeus -u 1000 -g tmax jeus
RUN mkdir /home/jeus

# Applications Deploy Location - pipeline
# COPY ./web-0.0.1-SNAPSHOT.war /root/app

# Configurations
COPY ./domain.xml /root/jeus8/domains/domain1/config/domain.xml

# scripts
COPY ./start.sh /root/script/
COPY ./env-run.sh /root/script/

RUN mv /root/* /home/jeus
RUN chown -R jeus. /home/jeus

USER jeus
WORKDIR /home/jeus

CMD ["script/start.sh"]

마찬 가지로 유저그룹 tmax / 유저명 jeus 로 생성해주었고, 제우스 실행 경로는 default /root 였기 때문에 /home/jeus 디렉토리를 생성하고 마지막에 폴더를 이동시켜주었다. 지난 포스팅과 비교해 script가 추가되었는데, domain.xml에서 추가로 값을 치환하는 작업이 필요해져서 별도의 env-run.sh 파일을 만들었고, 이를 기동시키기 위해 기존에 있던 start.sh에 1line을 추가해주었다. 마지막으로 컨테이너 실행 유저와 작업디렉토리를 정해준 뒤 실행스크립트를 커맨드에 넣었다.

이제 이 베이스이미지로 pipeline을 태우면 되는데,

app base 경로는 /home/jeus/app 이 되었으니 이 폴더에 실제 애플리케이션.war를 넣어주면 완성된다.

마치며

컨테이너 보안이라고 하기에 너무많은 부분이 있을 텐데, 많은 부분에 대해 모르는게 많다.

그냥 Redhat OCP 를 사용할 때의 기억을 참고하여 일반계정 및 작업디렉토리 등의 설정을 해보았다.

이제 enviroment 를 정의해서 컨테이너를 기동하면 된다.

[TmaxSoft] Jeus Webtob 도커 이미지 연동하기

joon95 — Fri, 30 Dec 2022 12:24:34 +0900

이번에 on-prem을 MSA 클라우드 전환 프로젝트 PoC를 준비하며

Tmaxsoft 사의 Jeus, Webtob를 컨테이너로 옮기는 작업이 필요했다.

필자는 다른 프로젝트를 진행해오면서 React, Vue, Angluer 등의 스크립트언어를 통해

front-end 와 back-end가 명확히 분리된 환경으로 컨테이너를 구성해 왔다.

기존의 Web->WAS 구조는 대학생 때 apache mod_jk를 통한 tomcat 연동을 해보았고,

이번기회에 Webtob와 Jeus 연동테스트를 진행하려한다.

Base Image

먼저 Tmax에서 제공하는 이미지를 확인해보니 두 이미지 모두 tmaxsoftofficial 유저에 의해 2년전에 배포가 되어있었다.

2022.12.30 기준으로 가장 마지막 태그 정보는 아래와 같다.

docker pull tmaxsoftofficial/jeus:8.1.105067.1-jdk8-openjdk-ubuntu
docker pull tmaxsoftofficial/webtob:5.0.0.2.217.41.3.2

각 컨테이너 이미지를 기동시켜서 버전을 확인해보았다.

- Webtob 5.0 SP 0 Fix #2

- Jeus 8 Fix#1

Webtob

이제 웹서버 역할을 하는 Webtob부터 설정해보자.

여기서는 정적리소스와 jeus 연동을 위한 JSV 설정이 필요하며,

webtob의 설정파일은 config 폴더 하위에 http.m을 기술한다.

컨텍스트경로설정

최초 파일을 보면 examples 로 설정되어있는데 '/' 로 변경하자.

*URI

*URI
uri             Uri = "/",   Svrtype = JSV

정적리소스

*EXT 절

http.m 파일은 *설정명칭 으로 구분되는데, 확장자에 따라 아래의 *EXT 내용을 추가해준다.

*EXT
htm             MimeType = "text/html", SvrType = HTML
html            MimeType = "text/html", SvrType = HTML
jsp             Mimetype = "application/jsp",  Svrtype=JSV
gif             MimeType = "image/gif", SvrType = HTML
jpeg            MimeType = "image/jpeg", SvrType = HTML
jpg             MimeType = "image/jpeg", SvrType = HTML
js              MimeType = "application/x-javascript", SvrType = HTML
css             MimeType = "text/css", SvrType = HTML
swf             MimeType = "application/octet-stream", SvrType = HTML
hwp             MimeType = "application/octet-stream", SvrType = HTML
doc             MimeType = "application/msword", SvrType = HTML
ppt             MimeType = "application/vns.ms-powerpoint", SvrType = HTML

*NODE 절

다음은 위에서 설정한 EXT에 대한 우선순위 'ServiceOrder' 항목을 추가한다.

*NODE
webtob1	        ...,
                ServiceOrder="ext,uri"

JSV

Webtob 에서 말하는 JSV는 Jeus와 연결하기 위한 옵션이다.

여기서 기존과 약간 다른 방식을 확인할 수 있었는데, apache-tomcat 구조에서는 mod_jk를 통한 web서버가 was를 바라연결하는 구조였다면 webtob는 jsvport를 listener로 열어두고 jeus가 연결하는 구조이다. 이는 webtob를 DMZ구간에서, jeus를 internal 망에서 운용할 경우 보안적 이점(out-bound)을 가져갈 수 있다.

*NODE 절

Jeus서버에서 접근할 포트를 지정한다.

*NODE
webtob1	        ...,
                JSVPORT=9900

*SVRGROUP 절

*SVRGROUP
jsvg            SVRTYPE = JSV

base image에 기본적으로 추가되어있다.

*SERVER 절

여기서 지정한 이름은 Jeus에서 똑같이 적어주어야한다(MyGroup)

적당히 프로세스 수량을 지정해 주자.

*SERVER
MyGroup         SVGNAME = jsvg, MinProc = 2, MaxProc = 1000, ASQCount = 1

MinProc : 웹 컨테이너와 최소 연결 개수

MaxProc : 웹 컨테이너와 최대 연결 개수

이 개수는 Jeus 환경 파일 중 <webtob-listener> 하위 <thread-pool> 설정값과 각각 일치하거나 커야 한다.

완성된 http.m

*DOMAIN
webtob


*NODE
webtob1         WEBTOBDIR="$WEBTOB_HOME",
                SHMKEY = 54000,
                DOCROOT="docs",
                PORT = "80",
                HTH = 1,
                #Group = "nobody",
                #User = "nobody",
                NODENAME = "$NODENAME",
                ERRORDOCUMENT = "503",
                #Options="IgnoreExpect100Continue",
                JSVPORT = 9900,
                LOGGING = "log1",
                ERRORLOG = "log2",
                SYSLOG = "syslog",
                ServiceOrder="ext,uri"

*HTH_THREAD
hth_worker
                  SendfileThreads = 4,
                  AccessLogThread = Y,
                  #ReadBufSize=1048576, #1M
                  #HtmlsCompression="text/html",
                  #SendfileThreshold=32768,
                  WorkerThreads=8

*SVRGROUP
htmlg           SVRTYPE = HTML
jsvg            SVRTYPE = JSV

*SERVER
MyGroup         SVGNAME = jsvg, MinProc = 2, MaxProc = 1000, ASQCount = 1


*URI
uri             Uri = "/",   Svrtype = JSV

*LOGGING
syslog          Format = "SYSLOG", FileName = "log/system.log_%M%%D%%Y%",
                        Option = "sync"
log1            Format = "DEFAULT", FileName = "log/access.log_%M%%D%%Y%",
                        Option = "sync"
log2            Format = "ERROR", FileName = "log/error.log_%M%%D%%Y%",
                        Option = "sync"

*ERRORDOCUMENT
503                     status = 503,
                        url = "/503.html"


*EXT
htm             MimeType = "text/html", SvrType = HTML
html            MimeType = "text/html", SvrType = HTML
jsp             Mimetype = "application/jsp",  Svrtype=JSV
gif             MimeType = "image/gif", SvrType = HTML
jpeg            MimeType = "image/jpeg", SvrType = HTML
jpg             MimeType = "image/jpeg", SvrType = HTML
js              MimeType = "application/x-javascript", SvrType = HTML
css             MimeType = "text/css", SvrType = HTML
swf             MimeType = "application/octet-stream", SvrType = HTML
hwp             MimeType = "application/octet-stream", SvrType = HTML
doc             MimeType = "application/msword", SvrType = HTML
ppt             MimeType = "application/vns.ms-powerpoint", SvrType = HTML

여기서 몇가지 확인해 볼 사항은

- DOCROOT : 리소스 제공 기본 경로

- PORT : webtob listener 포트

- LOGGING : 로그 파일 설정 정보

이제 기본적인 설정파일은 끝났다.

Dockerfile

웹사이트에서 사용할 정적리소스 파일, 내가 설정한 http.m 파일을 넣어주면 끝난다.

추가로 yum 을 통해 디버깅에 필요한 패키지를 설치할 수 있다.

FROM tmaxsoftofficial/webtob:5.0.0.2.217.41.3.2

RUN yum update
RUN yum install -y vim net-tools curl

COPY ./styles /home/webtob/docs/
COPY ./http.m /home/webtob/config/http.m

docker build & run

현재 작업한 위치의 파일리스트

도커이미지를 생성하고, 서비스포트 80과 jsv포트 9900을 포트포워딩 해주자.

docker build -t webtob-my:0.1 .
docker run -d -p 80:80 -p 9900:9900 --name webtob webtob-my:0.1
docker logs -f webtob

Jeus

Jeus(제우스)는 티맥스소프트에서 제공하는 유료 와스(WAS) 이다.

신입사원 때 WebSphere를 1달정도 사수를 따라다니며 유지보수를 했던 기억이 있는데, 유료 Was 솔루션들은 모두 비슷한 포맷으로 운용되는 것 같다. 당시에도 WebSphere 내부에서 서버/애플리케이션 등의 개념으로 여러 서비스를 올리기 위해 분리해둔 개념이 있었고, 제우스도 관리서버, 노드서버, 매니지드서버의 명칭으로 사용되고 있었다.

참고로 제우스에는 자체적으로 웹서버가 있다고 하지만, 결국 성능적 최적화를 위해 별도의 웹서버 분리를 지향한다.

클라우드 아키텍처

먼저 TmaxSoft에서 제공하고 있는 클라우드 환경에서의 아키텍처를 보자.

Jeus 클라우드 아키텍처

DAS(Domain Admin Server)라 불리는 관리서버가 각각의 애플리케이션인 매니지드서버를 총 관리하고 있었는데,

독립적인 os를 가지는 클라우드환경에서의 오토 스케일링 때문에 관리서버가 필요없게 되었고, 이로인해 모든 도메인은 별도 네이밍으로 운영되야한다.

기동 프로세스 분석

jeus 컨테이너를 기동한 뒤 ps -ef 로 프로세스를 분석해보았다.

{homeDirectory}/script/start.sh 를 실행하는데,

이때 env.sh을 실행해 시스템변수들을 체크하여 domain.xml 파일의 내용을 변경한다.

그리고 /root/jeus8/bin/startCloudServer 파일을 실행하여 서비스를 기동하게 된다.

위 내용을 기준으로 우리가 해야할 작업은 아래와 같다.

- 첫번째, 환경변수를 세팅

- 두번째, domain.xml 에 webtob 연동내용 삽입

- 세번째, domain.xml 에 배포할 애플리케이션 정보

환경변수세팅

프로세스 분석 시 env.sh 을 보았는데 아래내용을 참고해보자.

#!/bin/bash

export PATH="$JEUS_HOME/bin:$JEUS_HOME/lib:$PATH"

# JEUS properties option(ex: -Djeus.scf.group-id=prozone-1 #######
ADD_START_OPT="${ADD_START_OPT}"
export ADD_START_OPT

# Set SCF ID NAME ################################################
if [ -z $SCF_ID ]; then SCF_ID="prozone-1"; fi
SCF_GROUP_ID="-Djeus.scf.group-id=${SCF_ID}"
export SCF_ID
export SCF_GROUP_ID
##################################################################

# Set JVM-Option #################################################
export JAVA_VM_PROPERTIES="${JAVA_VM_PROPERTIES} -Xms1024m -Xmx1024m "
##################################################################

# DOMAIN ID set ##################################################
#BASE_ADDRESS=`grep "${HOSTNAME}" /etc/hosts | awk '{print $1}'`
if [ -z $BASE_ADDRESS ]; then export BASE_ADDRESS=0.0.0.0; fi
sed -i "s/%BASE_ADDRESS%/${BASE_ADDRESS}/g" ${DOMAIN_HOME}/config/domain.xml

if [ -z $SERVERNAME ]; then export SERVERNAME=`hostname`; fi
sed -i "s/%SERVERNAME%/${SERVERNAME}/g" ${DOMAIN_HOME}/config/domain.xml

if [ -z $BASE_PORT ]; then export BASE_PORT=9736; fi
sed -i "s/%BASE_PORT%/${BASE_PORT}/g" ${DOMAIN_HOME}/config/domain.xml

if [ -z $HTTP_PORT ]; then export HTTP_PORT=8080; fi
sed -i "s/%HTTP_PORT%/${HTTP_PORT}/g" ${DOMAIN_HOME}/config/domain.xml

if [ -z $HTTP_THREAD_MIN ]; then export HTTP_THREAD_MIN=10; fi
sed -i "s/%HTTP_THREAD_MIN%/${HTTP_THREAD_MIN}/g" ${DOMAIN_HOME}/config/domain.xml

if [ -z $HTTP_THREAD_MAX ]; then export HTTP_THREAD_MAX=20; fi
sed -i "s/%HTTP_THREAD_MAX%/${HTTP_THREAD_MAX}/g" ${DOMAIN_HOME}/config/domain.xml

if [ -z $APP_DIR ]; then export APP_DIR="${INSTALL_HOME}/app"; fi
sed -i "s+%APP_DIR%+${APP_DIR}+g" ${DOMAIN_HOME}/config/domain.xml

if [ -z $APP_NAME_1 ]; then export APP_NAME_1=examples; fi
sed -i "s/%APP_NAME_1%/${APP_NAME_1}/g" ${DOMAIN_HOME}/config/domain.xml

if [ -z $APPLICATION_PATH_1 ]; then export APPLICATION_PATH_1=examples.ear; fi
sed -i "s/%APPLICATION_PATH_1%/${APPLICATION_PATH_1}/g" ${DOMAIN_HOME}/config/domain.xml

if [ -z $APP_TYPE_1 ]; then export APP_TYPE_1=EAR; fi
sed -i "s/%APP_TYPE_1%/${APP_TYPE_1}/g" ${DOMAIN_HOME}/config/domain.xml

if [ -z $NODE_JAVA_1 ]; then export NODE_JAVA_1=false; fi
sed -i "s/%NODE_JAVA_1%/${NODE_JAVA_1}/g" ${DOMAIN_HOME}/config/domain.xml

# JEUS admin IP/PW
if [ -z $JEUS_USER ]; then export JEUS_USER=jeus; fi
if [ -z $PASSWORD ]; then export PASSWORD=jeus; fi

내용은 아주 쉬웠다. 환경변수가 없으면 default 값을 세팅하고 domain.xml에 문자열을 치환하는 것.

필자는 여기서 애플리케이션 정보 관련 정보를 docker run 에서 넣어줄 것이다.

- APP_NAME_1

- APPLICATION_PATH_1

- APP_TYPE_1

domain.xml

해당 파일의 위치는 /root/jeus8/domains/domain1/config/domain.xml 이다.

스크립트가 돌기전 파일을 추출하기 위해 sleep 명령어를 준 상태로 이미지를 기동하여 파일을 가져왔다.

Webtob Listener

이제 단순한 xml 작업인데, jeus domain.xml 을 검색해보면 어떤 태그가 존재하는지 설명이 나오니 참고바란다.

servers>server>web-engine 태그 하위에 webtob-connector 라는 태그를 작성하여 webtob 에서 설정한 jsv에 관한 내용을 작성할 것이다. (필자는 DAS화면에서 직접 webtob-connector를 만들어 생성된 xml을 이용하였다)

               <webtob-connector>
                  <name>my-webtob</name>
                  <postdata-read-timeout>30000</postdata-read-timeout>
                  <max-post-size>-1</max-post-size>
                  <max-parameter-count>-1</max-parameter-count>
                  <max-header-count>-1</max-header-count>
                  <max-header-size>-1</max-header-size>
                  <max-querystring-size>8192</max-querystring-size>
                  <wjp-version>2</wjp-version>
                  <registration-id>MyGroup</registration-id>
                  <network-address>
                     <port>9900</port>
                     <ip-address>20.41.116.235</ip-address>
                  </network-address>
                  <thread-pool>
                     <number>1000</number>
                     <thread-state-notify>
                        <max-thread-active-time>0</max-thread-active-time>
                        <interrupt-thread>false</interrupt-thread>
                        <active-timeout-notification>false</active-timeout-notification>
                        <notify-threshold-ratio>0.0</notify-threshold-ratio>
                        <restart-threshold-ratio>0.0</restart-threshold-ratio>
                     </thread-state-notify>
                  </thread-pool>
                  <hth-count>1</hth-count>
                  <request-prefetch>false</request-prefetch>
                  <read-timeout>120000</read-timeout>
                  <reconnect-interval>5000</reconnect-interval>
                  <reconnect-count-for-backup>12</reconnect-count-for-backup>
               </webtob-connector>

webtob *SERVER에 정의 하였던 MyGroup 을 registration-id 태그에 넣어주고,

접근 포트와 webtob ip를 작성해주면 완성된다.

deployed-application

이부분은 기본적으로 시스템변수로 변경이 되는데,

배포되는 애플리케이션의 root context가 기본으로 /{app name}으로 설정되어 '/' 로 변경하는 태그를 넣어주었다.

    <deployed-applications>
        <deployed-application>
        	...
            <context-path>/</context-path>
            ...
        </deployed-application>
    </deployed-applications>

Dockerfile

FROM tmaxsoftofficial/jeus:8.1.105067.1-jdk8-openjdk-ubuntu

RUN apt update
RUN apt install -y vim net-tools curl

COPY ./web-0.0.1-SNAPSHOT.war /root/app
COPY ./new-domain.xml /root/jeus8/domains/domain1/config/domain.xml

필요한 패키지를 apt install을 통해 다운하고,

배포할 애플리케이션을 deploy 경로에, 작성한 domain.xml 파일을 복사한다.

docker build & run

Jeus 작업디렉토리 파일정보

docker build -t jeus-my:0.1
docker run -d  -p 8080:8080 -p 9736:9736 \
 -e APP_NAME_1=web-0.0.1-SNAPSHOT \
 -e APPLICATION_PATH_1=web-0.0.1-SNAPSHOT.war \
 -e APP_TYPE_1=WAR \
 --name jeus-my jeus-my:0.1

docker logs –f jeus-my

9736 포트는 admin 콘솔인데 UI로 확인차 열어주었고, 앞서말한 환경변수를 다음과 같이 세팅해주었다.

테스트

이제 모든 설정이 완료되었다

webtob 80 port '/'로 접근하면 jsv 설정을 따라 jeus서비스를 연결하여 webtob를 통해 client가 응답을 받게 된다.

이 때 webtob access log를 확인하면 아래와 같이 .css 파일은 webtob로 요청이 오게된다.

확실한 테스트를 위해 해당 파일을 없애도 보고(Status Code 404)

해당파일 내용을 변경해가며 페이지 스타일의 변경을 확인하였다.

마치며

전통적인 3Tier 구조는 MSA 아키텍처가 생기며 점차 사용하지 않고 관심도 없었는데, 아직도 3Tier 구조를 사용하는 수많은 기업들이 남아있다. 뭐 고객사는 대부분 UNIX 빵빵한 서버에 WEB-WAS로 거의죽지않는 서비스를 하고있으니, ㅋㅋㅋ 그리고 대고객서비스가 아닌 이용자가 많지 않은 서비스는 필요가 없겠지만... 그래도 난 컨테이너화된 쿠버네티스가 너무 재밌고 좋다.

추가로 WAS에서 db connection을 관리하는 설정도 있는데 커뮤니케이션이 어떻게 될지 모르겠으나 나중에 해봐야겠다.

[MSA] SAGA pattern

joon95 — Mon, 19 Dec 2022 13:44:57 +0900

지난번 MSA 포스팅에 사용한 Outbox pattern글에 이어 SAGA pattern을 작성하려한다.

MSA : Outbox Pattern

MSA 아키텍처? 마이크로서비스아키텍처에 대한 화두가 널리 퍼진지 한 8년정도 된 것 같다. 대학교 1학년 때(2014년도)에 쿠버네티스에 대해 알게되어 도커컨테이너에 대해 공부했었던 기억이 있

flowlog.tistory.com

Saga패턴

Saga 패턴은 간단히 말해 이벤트에 대한 보상트랜잭션을 발행할 수 있는 것이다.

가장 흔한 예로 주문서비스가 있는데, 재고-주문-결제 라는 하위 이벤트가 존재하게 된다.

이 때, 기존 프로세스라면 재고->주문->결제를 정상적으로 수행하는데 만약 결제에서 잔액부족의 이유로 결제취소가 이루어진다면 해당 주문건에 대한 트랜잭션 롤백을 할 수 없게 된다. 재고는 이미 -1 상태이고, 주문도 정상적으로 들어가고, 결제쪽에서만 실패인 상황. 이렇게되면 이미 재고가 -1 상태임으로 주문실패건에 대한 회복이 불가하기 떄문에 다른 사용자마저 구매를 할 수 없게 된다. 이를 개선하고자 MSA 에서 saga패턴 개념이 들어온 것 같다.

위 프로세스에서 saga패턴이 들어간다면 재고-주문-결제 라는 하위 이벤트는 각 서비스가 되어 상태를 메지시큐(kafka)에 저장하여 주문에 대한 롤백이 가능하게 된다.

Saga 패턴에는 2가지 형식이 존재한다.

- Choreograph(코레오그래피) : 각 서비스들은 개별 event Queue 를 사용하는 형태

- Orchestration(오케스트레이션) : 중앙관리 별도 서비스(app)를 통해 2개의 event Queue를 사용하는 형태

더 상세하게 알아보자.

Choreograph (코레오그래피)

Sagapattern Choreograph

코레오그래피 방식은 위에서 설명한대로 마이크로서비스가 각각의 event를 가지게 되어 kafka의 Topic 관리포인트가 매우 많아지게 되므로 운영자는 메시지큐 솔루션의 이해가 많아야 한다. 그리고 무조건 kafka를 통해 하지만 각 마이크로서비스는 port를 점유하고 있지 않기 때문에 전체적인 네트워크 관점에서 자유로운(?) 것 같은 느낌이 든다...ㅋㅋㅋ

그럼 각 서비스의 역할을 보자.

주문서비스는 주문이벤트라는 토픽을 발행한 뒤, 각 마이크로서비스의 event를 listen 하여 주문상태를 체크하게 된다.

서비스A,B...은 주문이벤트를 읽어 각 프로세스를 수행한 뒤 각자의 event 토픽에 수행내역을 저장한다.

추가로 이런 프로세스들이 진행되며 RDBS 보다는 NOSQL을 사용한 사례가 몇몇 보인다. 이유를 생각해보면 서비스A,B..는 실제 테이블 반영전에 별도의 주문상태를 테이블에 저장하게 되는데 외부테이블에 종속적인게 아닌 nosql 성향의 데이터를 정의하기 때문이다.

상세한 프로세스를 예를 들어보자. (이해를 돕기위해 Topic 로그를 확인)

프로세스

1. 주문서비스에서 주문이벤트가 들어온다.

여기서 주문상태(orderStatus)가 최초 생성상태이고, 이후 각서비스들의 토픽상태를 통해 변경된다.

- 최초:ORDER_CREATED

- 완료:ORDER_COMPLETED

- 실패:ORDER_CANCELLED

{
  "eventId":"9de11486-99c7-450c-b215-885df191f876",
  "date":"2022-10-27T01:52:51.461+00:00",
  "purchaseOrder":
    {
      "orderId":"00516b17-63c5-4018-8168-861f23c9cfc4",
      "productId":2,
      "price":200,
      "userId":1
    },
  "orderStatus":"ORDER_CREATED"
}

2. 주문이벤트 기다리던 서비스A,B...가 프로세스를 수행 한뒤 각자의 토픽에 데이터를 전송

인벤토리 프로세스가 정상처리되었으면 status:RESERVED 를 리턴한다.

{
  "eventId":"39d0c4e1-a79b-4682-bc18-730d32232c9b",
  "date":"2022-10-27T01:52:51.490+00:00",
  "inventory":
    {
      "orderId":"00516b17-63c5-4018-8168-861f23c9cfc4",
      "productId":2
    },
  "status":"RESERVED"
}

결제 프로세스가 만약 비정상처리되었으면 status:REJECTED 를 리턴한다.

{
  "eventId":"50ab7508-0f12-4f3d-9659-6287e82403ba",
  "date":"2022-10-27T01:52:51.478+00:00",
  "payment":
    {
      "orderId":"00516b17-63c5-4018-8168-861f23c9cfc4",
      "userId":1,
      "amount":200
    },
  "paymentStatus":"REJECTED"
}

3. 각 서비스들의 상태체크 및 롤백

모든 마이크로서비스 프로세스의 event 토픽을 기다리고 정상인지 체크하는데 정상일 경우 주문 상태를 'ORDER_COMPLETED' 로 변경하게 되고, 위와 같이 특정서비스가 REJECTED 상태를 내보냈다면 주문상태를 'ORDER_CANCELLED' 로 변경하여 각 마이크로서비스는 해당 주문건을 rollback 하는 프로세스를 진행하게 된다.

rollback 프로세스는 어렵지 않다. -count 한 내용을 거꾸로 +count 해주면 된다.

(필자는 rollback 이라하여 database transaction 발생 이전으로 돌리는 줄알았으나, 샘플코드에서 간단히 update로 구현하여 롤백을 구현하였음)

Orchestration (오케스트레이션)

Saga Pattern Orchestration

오케스트레이션 방식은 별도의 관리서비스를 통한다는 부분이 다르다. 코레오그래피와 달리 관리자는 메시지큐(kafka)에서 딱 2개 토픽만 모니터링하면 되어 관리포인트가 줄어들었고, 대신 별도의 중앙관리서비스를 직접 구현 및 관리를 필요로 한다. 이 방식은 아무래도 MSA 아키텍처를 제대로 이해한 AA급의 개발자가 있어야 현실적으로 가능해보인다. 그래도 back-end 서비스는 중앙관리서비스와 tcp 통신을 하기 때문에 기존과 동일한 개발로직을 가져가면 되어 편하다.

프로세스

이전에 설명한 코레오그래피와 다른 점만 짚고 넘어가보자.

주문서비스에서 주문 토픽이 생성되면 중앙관리서비스에서 모든 제어를 담당하게되어 각 백엔드 서비스들에게 tcp 통신을 요청하게 되고 모든 서비스의 상태를 체크한뒤 주문성공여부에 대한 내용을 업데이트한다.

마치며

MSA(마이크로서비스아키텍처)를 설계하며 Saga패턴에 대해 알아보았다.

배달의민족 같은 트래픽이 많은 대고객 서비스에서 충분히 사용되고 있는데, 금융이나 실제 현업의 IT담당자들은 이렇게까지 MSA 구조를 설계하고 수용하려하지 않는 것 같다...

서비스가 어마어마하게 커져가는 기업만... 가능할 것 같은(?)

뭐, 작은서비스에 이렇게까지 들어가면 오버스펙이겠지만 ㅎㅎㅎㅎ

결국 차세대, 차세대해도... 비즈니스를 설계하는 사람이 잘 파악해야 가능할듯

안녕하세요, 제 블로그 방문을 환영합니다.

joon95 — Wed, 14 Dec 2022 01:21:43 +0900

동양미래대학교 컴퓨터소프트웨어공학(학)과 (3+1년) 졸업

19년10월~24년12월 메타넷티플랫폼에서 Devops&Develop

24년12월~현재 메타넷디지털에서 Develop&Devops

다양한 쿠버네티스 오케스트레이션 툴을 사용한 경험

- OCP, ARO, NKS, AKS, RKE, kubespray, kubesphere

MSA 아키텍처 설계/구현(SpringCloud기반)

CI-CD 파트

- jenkins, Github Action, AzureDevops Pipeline, ArgoCD, Harbor, ArgoCD, Nexus, Jfrog

전체적인 아키텍처를 알고 그릴 줄 아는 것

마지막으로 제 블로그에 글을 읽고 이상한 부분이나 궁금한 점 댓글로 소통 부탁드립니다.

+사내추천 환영입니다. 연락주십쇼_-_(dkttkemf@gmail.com)

--- Blog History ---

2022.12.14 berry 스킨적용(이상한 현상이 있을 수 있습니다.)

2022.08.01 hLLOW 스킨적용

2022.07.29 블로그 개설

[Springboot] 대용량 Select Query OOM 방지를 위한 스트림

joon95 — Tue, 13 Dec 2022 00:12:08 +0900

서론

대량의 select 쿼리를 날릴 때 대부분의 개발자들은 Memory 요소를 파악하지 못하는 것 같다.

이번에도 몇십만건의 데이터를 한번에 load 해서 front에 뿌리는 프로세스에서 was가 후두둑 죽어가는게 아닌가.

이전 프로젝트에서도 배치개발을 하던 과장급 프리랜서가 있었는데,

운영에 올리자마자 터지고 난리도 아니였다.

그들의 답변은 항상 '개발환경에선 잘된다, 단지 데이터가 많을 뿐 -> 인프라문제다.'

제발 메모리 이슈좀 알아서 해결해라!!!!!!!!!!!!

테스트 목적

'직접'해보자

Q. 수십~수백만 건의 데이터를 어떻게 사용자에게 보여줄 것인가???

검색해보니 제일먼저 Mybatis fetchSize 조정이 있었다.(default 10)

- 만약 1000개의 데이터를 select 한다면 fetchSize만큼 짤라서 함, 1000/10=100번의 db요청.

- 성능개선이 어마어마하다고 함, 보통 1000 사용하는듯)

다음은 Mybatis resultHandler를 이용한 컨트롤 제일 정확한 핸들러인거 같다.

- 추가적으로 excel 파일 생성 시, 이 핸들러로 oom 방지를 많이 한다고 한다.(나중에 해봐야지)

마지막으로 브라우저에 뿌리는 역할은 Stream 방식이 있다.(본 블로그는 이걸 사용할 것)

- Stream 방식은 이전에 tail -f 기능을 springboot로 구현하기 에 포스팅한 SSE와 비슷한 개념인 것 같다.

springboot Sse(Server Send Event) 단방향 통신을 이용해 tail -f 기능 구현

1. 난 이걸 왜 쓰게되었나? OCP 웹콘솔에 보면 pod의 log를 지속적으로 호출하는 페이지가 있는데, 말 그대로 서버가 클라이언트 쪽에 로그를 일방적으로 보내는 방식인거 같았고, 이걸 구현해보고

flowlog.tistory.com

sse 는 접속한 브라우저가 구독을 해놓아서 구독을 해지할 때까지 지속적으로 데이터를 뿌리는 역할이였지만,

여기서 사용할 Stream은 그냥 ResponseBodyEmitter 로 설정한 시간 동안 전송하고 완료처리를 하게 된다.

대용량 데이터 샘플

수백만건 데이터를 어떻게 해볼까 하다가 검색해보니 샘플 데이터가 바로나왔다.

아래 링크에서 다운해서 mysql에 올리면 2,838,426건의 데이터가 있는 테이블이 있다.

필자는 이 database의 salaries 테이블을 조회하려 한다.

GitHub - datacharmer/test_db: A sample MySQL database with an integrated test suite, used to test your applications and database

A sample MySQL database with an integrated test suite, used to test your applications and database servers - GitHub - datacharmer/test_db: A sample MySQL database with an integrated test suite, use...

github.com

Springboot

자, 이제 stream 이 되도록 소스를 구현하자.

Spring initializr

spring init 사이트에서 mybatis, mysql, lombok, web, devTools 를 선택해 가져왔다.

알아서 다운받고 maven project import !

귀찮아할 수 있으니 pom.xml도 첨부하겠다..

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
		<version>3.0.0</version>
		<relativePath/> <!-- lookup parent from repository -->
	</parent>
	<groupId>com.example</groupId>
	<artifactId>demo</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<name>demo</name>
	<description>Demo project for Spring Boot</description>
	<properties>
		<java.version>17</java.version>
	</properties>
	<dependencies>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-web</artifactId>
		</dependency>
		<dependency>
			<groupId>org.mybatis.spring.boot</groupId>
			<artifactId>mybatis-spring-boot-starter</artifactId>
			<version>3.0.0</version>
		</dependency>

		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-devtools</artifactId>
			<scope>runtime</scope>
			<optional>true</optional>
		</dependency>
		<dependency>
			<groupId>com.mysql</groupId>
			<artifactId>mysql-connector-j</artifactId>
			<scope>runtime</scope>
		</dependency>
		<dependency>
			<groupId>org.projectlombok</groupId>
			<artifactId>lombok</artifactId>
			<optional>true</optional>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-test</artifactId>
			<scope>test</scope>
		</dependency>
	</dependencies>

	<build>
		<plugins>
			<plugin>
				<groupId>org.springframework.boot</groupId>
				<artifactId>spring-boot-maven-plugin</artifactId>
				<configuration>
					<excludes>
						<exclude>
							<groupId>org.projectlombok</groupId>
							<artifactId>lombok</artifactId>
						</exclude>
					</excludes>
				</configuration>
			</plugin>
		</plugins>
	</build>

</project>

project 구조

간단하게 만들어질 프로젝트 구조에 대해 확인해보자.

mybatis 사용 시 늘 보던 구조^^

(service interface는 귀찮아서 뺏다ㅋ)

application.properties

간단히 로그레벨, datasource, mybatis 설정을 넣어주었다.

(대학생 때는 항상 root-context.xml 만들고 난리였는데, 이제 이거만해도 잘된당)

(springboot-mybatis-starter 가 생겨서 그렇다나 뭐라나..?)

logging.level.root: INFO
# database
spring.datasource.url: jdbc:mysql://localhost:3306/employees?characterEncoding=utf8
spring.datasource.username: root
spring.datasource.password: admin1234
spring.datasource.driver-class-name: com.mysql.cj.jdbc.Driver
spring.datasource.hikari.maximum-pool-size: 30
# mybatis
mybatis.type-aliases-package: com.example.demo.model
mybatis.mapper-locations: classpath:mybatis/mapper/**/*.xml

근데 datasource.hikari 로 다 선언해야되는거로 알고잇었는데 url 오류가 계속 나서 이거로했다.(아는 사람 댓글 좀요)

debug 로그를 확인해보니 pool 갯수가 잘 변경되고 있음;

SalaryMapper.xml

resources/mybatis/mapper 아래 위치하는 파일이다.

mybatis 에서 모든 쿼리들을 바로 볼 수 있는 xml ㅎㅎ

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.example.demo.mapper.SalaryMapper">
  <select id="getSalaryOri" resultType="SalaryModel">
    SELECT * FROM salaries;
  </select>
  <select id="getSalary" resultType="SalaryModel" fetchSize="1000">
    SELECT * FROM salaries;
  </select>
  <select id="getAllSalary" parameterType="map" resultType="map" fetchSize="-2147483648">
    SELECT * FROM salaries;
  </select>
</mapper>

fetchSize가 있는 경우 / 없는 경우 와 stream 용도로 사용할 All을 작성하였다.

Model(DTO)

샘플데이터로 사용할 Salary Table 구조를 확인한 뒤 작성하였다.

package com.example.demo.model;

import lombok.Builder;
import lombok.Data;

@Builder
@Data
public class SalaryModel {
	private int emp_no;
	private int salary;
	private String from_date;
	private String to_date;
}

Mapper

package com.example.demo.mapper;

import java.util.List;
import org.apache.ibatis.annotations.Mapper;
import org.apache.ibatis.session.ResultHandler;
import com.example.demo.model.SalaryModel;

@Mapper
public interface SalaryMapper {
	List<SalaryModel> getSalaryOri();
	List<SalaryModel> getSalary();
	void getAllSalary(ResultHandler handler);
}

stream 용도로 사용할 mapper는 void 형식으로 작성해야한다고 함

Handler

stream 을 위한 핸들러이다. (deprecated 된 라이브러리이니 주의바람)

package com.example.demo.handler;

import java.util.Observable;
import org.apache.ibatis.session.ResultContext;
import org.apache.ibatis.session.ResultHandler;

public class RowHandler extends Observable implements ResultHandler{
	@Override
	public void handleResult(ResultContext resultContext) {
		// TODO Auto-generated method stub
		super.setChanged();
		super.notifyObservers(resultContext.getResultObject());
	}
}

Service

package com.example.demo.service;

import java.util.List;
import java.util.Observer;

import org.apache.ibatis.session.ResultContext;
import org.apache.ibatis.session.ResultHandler;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import com.example.demo.handler.RowHandler;
import com.example.demo.mapper.SalaryMapper;
import com.example.demo.model.SalaryModel;

@Service
public class SalaryService {
	@Autowired
	public SalaryMapper mapper;
	public List<SalaryModel> getSalaryOri(){
		return mapper.getSalaryOri();
	}
	public List<SalaryModel> getSalary(){
		return mapper.getSalary();
	}
	public void getAllSalary(Observer observer) {
		RowHandler resultHandler = new RowHandler();
		resultHandler.addObserver(observer);
		mapper.getAllSalary(resultHandler);
	}
}

Controller

package com.example.demo.controller;

import java.io.IOException;
import java.util.List;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.servlet.mvc.method.annotation.ResponseBodyEmitter;

import com.example.demo.model.SalaryModel;
import com.example.demo.service.SalaryService;

import lombok.extern.slf4j.Slf4j;

@Slf4j
@RestController
public class JoonController {

	@Autowired
	SalaryService salaryService;
	@GetMapping(value="/ori")
	private List<SalaryModel> salaryOri() {
		List<SalaryModel> salaryList = salaryService.getSalaryOri();
    	return salaryList;
	}
	@GetMapping(value="/sal")
	private List<SalaryModel> salary() {
		List<SalaryModel> salaryList = salaryService.getSalary();
    	return salaryList;
	}
	@GetMapping(value="/stream")
	private ResponseBodyEmitter stream() {
		// timeout 10분
		final ResponseBodyEmitter emitter = new ResponseBodyEmitter(600000L);

		ExecutorService executorService = Executors.newSingleThreadExecutor();
		executorService.execute(() -> {
			salaryService.getAllSalary((observer, args) -> {
			  try {
			    emitter.send(args.toString() + "\n");
			  } catch (IOException e) {
			    log.error("### Stream 방식으로 목록을 전달하던 중 에러 발생", e);
			  }
			});
			emitter.complete();
		});
		return emitter;
	}	
}

이렇게 총 3개의 api 가 완성되었다.

GET /ori : default

GET /sal : fetchSize 1000 세팅

GET /stream : stream 핸들러

모니터링 환경 세팅

필자는 jconsole 을 이용하여 모니터링 할 것이다.

그리고 eclipse 에서 바로 run 과 동시에 모니터링을 하고 싶다.

그렇게 하기 위해선 eclipse 에 jconsole 이 모니터링할 포트를 설정해주어야한다.

eclipse

eclipse 상단 메뉴 중 run>run configurations 에 들어가 Arguments에 아래내용을 추가하자.

위 3개만 있으면 되고 추가적으로 메모리지정 및 gclog 도 추가해줬음.

port는 임의로 9611 로 지정하였으니 jconsole에서 이쪽으로 연결해주면 된다.

-Dcom.sun.management.jmxremote.port=9611
-Dcom.sun.management.jmxremote.rmi.port=9611
-Dcom.sun.management.jmxremote.ssl=false
-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath=C:\sts-workspace
-verbose:gc
-Xms2048m
-Xmx2048m

jconsole

jconsole 은 java에 기본적으로 설치되어있따!

더블클릭해서 실행한 뒤, localhost:port 로 연결하면 모니터링된다.

테스트

정확한 히스토리를 남기면서 하고싶어서 Postman을 중점으로 해보았다.

response 되는 Body Size가 195MB 정도 되어 postman에

Error: Maximum response size reached 가 발생하였다.

찾아보니 default로 설정된 값이 50MB 여서 settings 에서 0으로 잠시 세팅해주었다.

결과

먼저 필자는 fetchSize 에 대해 놀라운 변화가 없었다. 아마 Column 들의 Size가 작아서 그런거 같기도하다.

그럼 Stream과 비교하면 어느정도의 차이가 났을까?

어마어마하다.

메모리에 가지고 한번에 return 해주면

- 크롬에서 Memory 오류 발생하는 현상 간혹 발생

- 소요시간 5분19초~49초 사이

- Heap 메모리 사용률은 최대 1.7GB, 평균 1.5GB

반면에 Stream 테스트는

- 유저가 지속적으로 update 되는 데이터를 보기때문에 사용성 우수

- 소요시간 1분24초로 (4배의 속도상승)

- Heap 메모리 사용률 최대 1.3GB, 평균 0.7GB

마무리

물론 Stream이 정답은 아닐 것이다.

이번 실습으로 개발자의 역량이 얼마나 중요한지 개인적으로 느꼈다.

그리고 gc.log 는 뭐 기본적으로 보게되는데,

HeapDump 설정은 그냥 생각만 하고 귀찮아서 거의 방치한 상태였다.

개발자들의 실수를 support 하기 위해 다음부턴 꼭. ㅋ챙겨보자..ㅋ

Github

해당 테스트에 사용한 소스코드는 github에 업로드하였다.

GitHub - joonhyeok95/spring-stream-mysql: 280만건 데이터를 화면에 뿌릴 때 stream 방식으로 테스트하는 샘플

280만건 데이터를 화면에 뿌릴 때 stream 방식으로 테스트하는 샘플. Contribute to joonhyeok95/spring-stream-mysql development by creating an account on GitHub.

github.com

참고 사이트

[Spring] Stream 형태로 Response 응답 주기 (feat. MyBatis, Observer)

환경 Spring Version : 4.2 이상 MySQL + MyBatis 문서 Http Stream Return은 총 3가지가 있는듯하다. (Spring 4.2부터) - ResponseBodyEmitter : https://docs.spring.io/autorepo/docs/spring-framework/4.3.5.RELEASE/javadoc-api/org/springframework/w

seongtak-yoon.tistory.com

[Trouble Shooting] Spring HeapDump 설정 및 분석

joon95 — Mon, 12 Dec 2022 21:39:51 +0900

신규 구축 프로젝트 중 erp application 서비스가 자꾸 죽는다고, ..

환경은 쿠버네티스 기반인데 OOM 떨어지게 개발해놓고 '나'한테 전화가 쏟아진다.

인프라 명목을 단정짓기위해 분석을 시작하고 팩트로 조져보자!

dump 경로 및 gc로그 설정

먼저 heapdump 옵션과 gc log 설정을 하여 모니터링 하기 위해 deployment yaml 에 설정을 추가해주었다.

spec:
  template:
    containers:
    - args:
      - -XX:+HeapDumpOnOutOfMemoryError
      - -XX:HeapDumpPath=/덤프파일경로/
      - -XX:+PrintGCDetails
      - -verbose:gc
      - -Xloggc:/가비지컬렉터로그경로/gc.log:time,level,tags
      - -jar
      - -Dspring.profiles.active=prod
      - 실행될애플리케이션.jar
      - -javaagent:dd-java-agent.jar
      command:
      - java

gc.log 모니터링

개발사에게 대용량 쿼리요청시 잘 처리해달라고 그렇게 말했으나... 역시나.... 여러 페이지에서 옵션으로 [전체조회] 버튼이 있었는데 29만 row의 데이터를 조회하는 페이지에서 눌러보니 memory가 미친듯이 올라가며 full gc가 수행되는걸 볼 수 있었다.

HeapDump 분석

heap dump가 떨어져 바로 파일을 옮겨 분석을 해보았다.(파일 사이즈는 약 4.2GB)

분석 프로그램은 Eclipse MemoryAnalyzer 를 이용하였다.

tomcat threads 1.6 G / mysql Result Set 1.5 GB 영역을 사용했다.

각 영역의 설명을 보니 결국 select에서 문제인 것 같다.

Hint 1 은 1번 문제가 2번과 관련이 있을 수 있다는 내용이다.

그럼 이제 더 상세하게 봐보자.

최상위 Object에서 List Objects > with outgoing을 눌러보니 아래와 같은 정보가 나온다

rowData들을 몇개 찍어보면 테이블명과 컬럼명들도 확인할 수 있다.

마무리

1.5기가의 heap을 사용하게 된 경위를 이렇게 찾을 수 있었다.

개발사가 테스트할 때부터 눈에 보이던 부분인데, 개발자들은 이걸 잘 안보는 거 같다..

mybatis를 사용할 때 어떻게 개선할 수 있는지 개인적으로 프로젝트를 해봐야겠다.

[Gradle] build Error - validity check failed

joon95 — Sat, 10 Dec 2022 23:08:29 +0900

얼마전에 NCP(Naver Cloud Platform) 프로젝트 중 개발사에서 Gradle 기반의 springMVC 이미지를 빌드 에러가 난다고 연락이 왔다.

PKIX path validation failed: java.security.cert.CertPathValidatorException: validity check failed

개발사 말로는 local 환경에서는 정상적으로 라이브러리를 가져올 수 있으나, Naver 빌드시 보안상 오류가 아니냐고 해서 확인 요청이 온 것이다.

결과적으로는 라이브러리 사이트에서 tls 인증서가 만료가 된 상황이였다.

오픈이 1주일도 안남은 상태에서 정신없다보니 그런거라 생각하며..

필자도 1시간동안 찾아 해멘 끝에 이 것을 찾을 수 있었다.

보통 개발자들이 로컬환경에서 tls 인증을 false 상태로 하니... 이런일도 생길 수 있다는 것을 새삼 느꼈다.

물론 지금까지 Nexus 를 구축한 폐쇄망 환경에서만 프로젝트를 했어서 감히 생각도 못했던 부분이다..

그리고 에러를 찾던 도중, 실제 gradle 명령어가 날린 vm의 인증서를 체크하라는 타 블로그 들도 있어 NCP쪽에 문의해보았는데 NCP의 SourceBuild는 cloud에 있는 ubuntu 이미지로 기동하기 때문에 따로 인증서를 등록하는 부분이 없다고 한다. (괘니 NCP욕만했음^^; 이부분은 AzureDevops나 GithubAction의 cloud runner 를 이용한다면 동일한 것 같다.)

[AzureDevops] CI-CD Pipeline 구축 테스트

joon95 — Tue, 6 Dec 2022 21:08:26 +0900

11월 3주간 Github Actions 과 AzureDevops 두 개의 CI-CD Pipeline 구축테스트를 진행하였고

Rest API 호출 방법까지 케이스를 정리해보았다.

AzureDevops 도 GHES와 같이 Private 용도의 Server를 제공하며,

별도의 Self-Hosted Runner를 이용할 수있다.

AzureDevops URL은 dev.azure.com/{Organization}/{Project} 로 들어갈 수 있다.

기초적인 파이프라인 생성방법

Pipelines 메뉴에 들어가 repository, 배포위치 등을 손쉽게 선택하여 파이프라인의 뼈대를 쉽게 생성할 수 있다.

pipeline Create Git Repository Target

repository select

Choice Deploy Target

사용자의 구독에 운영중인 자원들을 손쉽게 선택할 수 있다.

필자는 AKS 에 배포할 것으로 Deploy to Azure Kubernetes Service 를 선택한 뒤, 구독정보, 클러스터이름, 네임스페이스 지정, 이미지이름 등을 선택을 하면, Review 화면에서 자동생성된 pipeline을 볼 수 있게된다.

Auto Configuration Pipeline

이렇게 기본적으로 소스 빌드/푸쉬가 프로세스를 확인할 수 있다.

이제 입맛에 맞게 수정해보자.

파일 위치

생성을 하면 기본적으로 최상단('/')에 azure-pipelines.yml 이라는 파일명으로 생성하게 된다.

실행 조건 (trigger)

소스 코드 상단에 trigger 옵션이 자동으로 지정되어 main 브랜치에 소스변경 이벤트가 감지되면 자동으로 파이프라인이 실행된다.

추가적으로 save를 한 뒤 Edit Pipeline을 누른 후, 우측 상단에 [...] 버튼을 클릭하여 Triggers 를 눌러보면,

기본적으로 Triggers가 활성화 되어 있기 때문에 불필요하면 여기서 Disable 해주면된다.

Trigger Disable

실행시 변수 입력

파이프라인 실행 당연히 배포할 태그명이나 브랜치정보들을 변수화하여 받아와야하니 설정해보자.

우측 상단에 Variables 버튼을 누르면 변수를 정의할 수 있는 우측 창이 하나 나온다.

New variable 을 클릭해 변수를 생성해보자.

변수명은 'MY_TAG'

default 값은 sample-001 로 주었다.

그리고 Let users override this value when running this pipeline 버튼을 클릭해 파이프라인 실행시 값을 덮어쓸 수 있게 해주자.

추가로 밑에 script에서 사용할 수 있는 방법이 나오니 변수 확인용으로 찍어봐도 된다.

CI pipeline (Spring App)

이후 파이프라인 구성은 정말 쉽게 할 수 있도록 되어있다.

예를 들면 필자가 maven 기반의 Springboot Application 을 git에 올려두어서 소스를 package 하는 명령어를 사용하고 싶다면, 우측 Tasks에서 검색해보면 거의 모든(?) 파이프라인이 이미 구성되어있어 이름만 맞춰주면 된다.

AzureDevops Pipelien Tasks

# 만들어진 샘플

resources:
- repo: self

variables:
  dockerRegistryServiceConnection: '*************'
  imageRepository: 'spring-app'
  containerRegistry: '**********.azurecr.io'
  dockerfilePath: '**/Dockerfile'
  imagePullSecret: '************acr34208459-auth'
  vmImageName: 'ubuntu-latest'
  branch: 'spring'

stages:
- stage: Build
  displayName: Build stage
  jobs:
  - job: Build
    displayName: Build
    pool:
      vmImage: $(vmImageName)
    steps:
    
    - task: Maven@4
      displayName: Maven Build
      inputs:
        mavenPomFile: 'pom.xml'
        publishJUnitResults: true
        testResultsFiles: '**/surefire-reports/TEST-*.xml'
        javaHomeOption: 'JDKVersion'
        mavenVersionOption: 'Default'
        mavenAuthenticateFeed: false
        effectivePomSkip: false
        sonarQubeRunAnalysis: false
        
    - task: Docker@2
      displayName: Build and push an image to container registry
      inputs:
        command: buildAndPush
        repository: $(imageRepository)
        dockerfile: $(dockerfilePath)
        containerRegistry: $(dockerRegistryServiceConnection)
        tags: |
          $(MY_TAG)

파이프라인 실행

이제 파이프라인을 실행해보자!

run 즉시엔 클라우드서버의 image를 사용하기에 잠시 Not started 상태였다가 기다리면 시작된다.

Stage를 클릭하여 들어가보면 각 job마다 log가 찍힌다.

필자가 변수에 집어넣은 값으로 실제 이미지가 ACR(Azure Container Registry)에 푸쉬되었다.

Rest API

azureDevOps 는 api 버전이 변경되기 때문에 rest api 사용시 꼭 버전을 지정해야한다.

PAT(Personal Access Token)

먼저 PAT(Personal Access Token)을 발급 받아야 한다.

토큰을 발행 해준다. pipeline 쪽 권한을 부여하였다.

호출 Data 작성

URL : dev.azure.com/{조직}/{프로젝트명}/_apis/pipelines/{pipeline_id}/runs?api-version=7.0

Header Authorization은 basic 방식으로 username:password 를 base64 인코딩한 값이다.

body 에는 branch, variable 을 json 규격에 맞게 보내면 된다.

curl --location --request POST \
'https://dev.azure.com/joon95/**************-poc/_apis/pipelines/4/runs?api-version=7.0' \
--header 'Content-Type: application/json' \
--header 'Authorization: Basic ***************************' \
--data-raw '{
    "resources": {
        "repositories": {
            "self": {
                "refName": "refs/heads/main"
            }
        }
    },
    "variables": {
        "MY_TAG": {
            "isSecret": false,
            "value": "AZ-DEVOPS-POSTMAN-22.11.28"
        }
    }
}'

이렇게 작성하여 요청을해보면 내가 요청한 MY_TAG 값으로 이미지가 빌드/푸쉬 되는걸 확인할 수 있다.

마치며.

이번 설명엔 azureDevops 캡처 이미지가 너무 많아서

파이프라인 중간에 사용자가 개입하여 승인/거절 (approve) 프로세스는 다음 포스팅에 정리하려 한다.

Blue/Green 배포도 잘 정리해 두었으니 곧 포스팅하겠다.

[AzureDevops] Image Tag Not working to Pipeline Create

joon95 — Mon, 5 Dec 2022 14:06:53 +0900

휴... azureDevops Pipeline 사용 중 이미지버전(Tag)를 변수로 받아와서 배포하는 시나리오에서
자꾸 태그를 가져오지 못하는 현상이 생겼다...

대체 왜이럴까!!!!!!!!!!

계속 찾던 와중에... 발견해버렸따....

azure Devops 에서 pipeline을 생성할 때 데이터를 구독에서 연결되어 있는 자원을 선택할 수 있는데

Image Name 부분에 '-' 가 들어간 경우 실제 pipeline.yml 에서 '-'가 삭제되는 현상....

이렇게 spring-app 이미지이름을 지정했는데

실제 pipeline.yml 에 선언된 변수는 - 가 자동으로 제거됨;;;

[Github Actions] CI-CD Pipeline 구축 테스트

joon95 — Sat, 3 Dec 2022 23:29:41 +0900

11월 3주간 Github Actions과 AzureDevop Pipeline 을 테스트 해보았고

Rest API 호출 테스트까지 케이스를 정리해보려 한다.

추가로 Github Enterprise (일명 GHES) 도 구축하여 이것저것 사용해 보았는데

Actions 사용을 위해 별도의 Runner를 기동하는 Host가 필요했고,

기존 Github Marketplace 에서 사용하던 라이브러리를 못 쓰게되어

모든 것을 shell script 로 작성해야했다.

(GHES는 폐쇄망 기준으로 만들어져 깃헙 마켓플레이스를 사용하려면

GHES서버, 러너서버 모두 아웃바운드 트래픽을 열어주어야 한다고함)

자 그럼 그동안 했던 내용을 정리해보자.

파일 위치

기본적으로 레파지토리 최상위 경로기준 /.github/workflows/*.yml 에 파일을 정의하면 된다.

workflow 실행 조건 (on:)

action을 정의하려고 하면 제일먼저 어떤 상황에 사용될지 정의하는 부분이 있다.

on:
  pull_request:
    branches: 
      - main
  push:
    branches: 
      - main
  repository_dispatch:
    types: [CI-001]
  workflow_dispatch:
    inputs:
      VERSION:
        required: false
        default: "1.0"
        type: string

push

의미 그대로 repository 에 push가 일어났을 때

pull_request

의미 그대로 repository branch merge 가 일어났을 때

repository_dispatch

Rest API 를 사용하기 위한 설정.

필자는 webhook 기능을 작성하기 위해 repository_dispatch 를 사용했고,

여기서 정한 types 를 통해 이름을 지정하여 실행하도록 되어 있다.

이때 json 규격의 데이타를 통해 변수를 정의하여 사용할 수 있다.

workflow_dispatch

수동으로 기동.

이 때 각 변수를 inputs 을 통해 지정할 수 있는데 필수여부, 기본값, 타입을 지정하여 사용한다.

Actions>작성한액션에 들어가보면 Run workflow 버튼이 생기고,

inputs에 정의한 변수를 재정의 할 수 있도록 창이 띄워진다.

workflow_dispatch 수동 조작

jobs 정의

이제 실행한 job을 정의해야한다.

jobs

jobs:
  deployapp:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@master
        with:
          ref: ${{ github.event.inputs.BRANCH }}
  approveapp:
    runs-on: ubuntu-latest
    needs: deployapp
    environment: joon
    steps:
      - run: echo asked for approval joonhyeok
  promotereject:
    runs-on: ubuntu-latest
    needs: approveapp
    steps:
      - name: Promote App
        run: echo '다음 프로세스~'

jobs는 큰 실행 단위이며, 나중에 Action을 실행했을 경우 아래그림처럼 step이 보인다.

job

runs-on: ubuntu-latest

이 옵션은 JOB이 실행될 vm을 지정해 준다.

만약 GHES에 구축하였을 경우 self-hosted runner 를 사용하기 때문에 runner의 label을 지정하여야한다.

steps:

이 옵션은 아래에 선언되는 것들이 모두 각각의 step이라 칭하게 된다.

워크플로우를 작동해보면 아래와 같이 분류되어 각각의 항목을 볼 수 있다.

steps

needs:

이 옵션은 선처리 되어야할 job에 의존성을 부여하여 해당 job이 완료되었을 경우 실행하라는 의미이다.

enviroment:

이 옵션을 지정하면 job 실행을 위한 승인 또는 딜레이 타임을 지정할 수 있다.

구성 방법은 레포지토리>Settings>Enviroments 에서 생성할 수 있다.

Github Action Environments Create

reviewer 에는 사용자의 full name을 적어주어야 뜬다...ㅋ

Wait timer는 기다리는 시간이다.

Secret

스크립트 작성 시 암호화가 필요한 내용은 Settings>Secrets 기능을 사용하면 된다.

github secret

필자는 Azure 서비스 중 ACR, AKS 을 이용하고 있기 때문에 관련 접근 값을 지정하였다.

github secret list

지정한 secret 을 사용할 때는 ${{ secrets.acr_password }} 을 쓰면 된다.

승인전략

enviroments 설정 하면 아래와 같은 프로세스가 진행된다.

reviewer waiting

생성된 Review deployments 를 눌러

가벼운 코맨트를 적어 Approve and deploy를 누르면 다음 스텝을 진행하라는 의미이다.

이렇게 중간에 유저가 직접적으로 관여할 수 있는 프로세스를 추가할 수 있다.

근데 만약 취소를 누르면 거기서 모든 job이 중단되어버린다.

예로 blue/green 배포를 구현하려 해보았는데,

신규pod를 배포하고 나서 github 유저가 승인/거절 프로세스를 넣으려했는데,

거절할 경우 신규pod를 제거해야하는데, 모든 job이 중단되어 버리는 현상이 발생하였다.

AzureDevops에서는 거절할 경우 프로세스를 정의하여 script가 실행되게 하였는데

Aithub Action에선 if{{ failure }} 옵션을 가지 못하고 바로 끝나버리는 것이였다.

(물론 필자가 잘못했을 수도 있는데, 아직 해결을 못했다... 아시는분 댓글좀..ㅠㅠ)

타 블로그 글을 보니 개발계/검증계 배포 후 승인전략을 넣어 운영계에 배포하는 프로세스로 쓰더라..

github 의 의도가 겨우 이거뿐인지..ㅜㅜ

Sample CI-CD.yaml

지금까지 간단한 변수 데이터들을 사용하는 방법을 설명했다.

이해의 도움을 주기 위해 필자가 작성한 샘플을 하나 보여주려한다.

워크로드 내용은

1. 변수화(레포 브랜치, 이미지이름, 이미지버전, 배포할 네임스페이스)

2. Springboot (Maven) packge

3. Azure Container Registry push

4. Azure Kubernetes Service Deploy (사전 작성한 deployment.yml)

name: spring-manual-CI/CD

on:
  workflow_dispatch:
    inputs:
      VERSION:
        required: false
        default: "1.0"
        type: string
      BRANCH:
        required: false
        default: "main"
        type: string
      IMAGENAME:
        required: false
        default: "php"
        type: string
      NAMESPACE:
        required: false
        default: "default"
        type: string
        
jobs:
  build-and-deploy:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@master
        with:
          ref: ${{ github.event.inputs.BRANCH }}
      - uses: azure/docker-login@v1
        with:
          login-server: lottechemicalacr.azurecr.io
          username: ${{ secrets.acr_username }}
          password: ${{ secrets.acr_password }}
          
      - name: Set up JDK 11
        uses: actions/setup-java@v2
        with:
          java-version: '11'
          distribution: 'adopt'
          
      - name: Build with Maven
        run: mvn --batch-mode --update-snapshots package
        
      - name: Build and push image to ACR
        id: build-image
        run: |
          echo ls -al
          docker build "$GITHUB_WORKSPACE/" -f  "Dockerfile" -t lottechemicalacr.azurecr.io/${{ github.event.inputs.IMAGENAME }}:${{ github.event.inputs.VERSION }} --label dockerfile-path=Dockerfile
          docker push lottechemicalacr.azurecr.io/${{ github.event.inputs.IMAGENAME }}:${{ github.event.inputs.VERSION }}
      - uses: azure/k8s-set-context@v1
        with:
          kubeconfig: ${{ secrets.aks_kubeconfig }}
        id: login

      - name: Create namespace
        run: |
          namespacePresent=`kubectl get namespace | grep ${{ github.event.inputs.NAMESPACE }} | wc -l`
          if [ $namespacePresent -eq 0 ]
          then
              echo `kubectl create namespace ${{ github.event.inputs.NAMESPACE }}`
          fi
      - uses: azure/k8s-deploy@v1.2
        with:
          namespace: ${{ github.event.inputs.NAMESPACE }}
          manifests: |
            manifests/deployment.yml
            manifests/service.yml
          images: |
            lottechemicalacr.azurecr.io/${{ github.event.inputs.IMAGENAME }}:${{ github.event.inputs.VERSION }}

ㅎㅎ 적당히 참고하시라..

Rest API 사용

당연히 github action 페이지에 와서 굳이 워크로드 승인 절차를 수동으로 할 일은 없어야 되기 때문에 Rest API를 사용해보자.

먼저 PAT(Personal Access Token)을 발급받아야한다.

PAT(Personal Access Token)

PAT 발급

간단하게 workflow 권한을 주었더니 repo 이하 권한이 default로 선택되었다.

호출 data 작성

Type	Value
Method	POST
URL (Public Github)	api.github.com/repos/{Owner}/{ReposName}/dispatches
URL (Enterprise Github)	{domain}/api/v3/repos/{owner}/{reposName}/dispatches
Header Authorization	Bearer {Token}
Header Accept	application/vnd.github+json
Header Content-Type	application/json
Body (Json)	{ event_type: String, client_payload: Object }

Enterprise Github 와 같이 테스트를 진행하였기에 URL을 두개 정리하였고,

github 에서 API 사용시 Accept를 vnd.github+json 으로 지정하는게 가이드였다.

API 호출에 대한 응답값은 204에 No Content 이다.

이렇게 데이터를 쭉~ 해서 curl 명령어로 보자면 아래와 같은 형태가 된다.

curl --location --request POST 'https://api.github.com/repos/joonhyeok95/php-new-app/dispatches' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer ghp_************************' \
--header 'Accept: application/vnd.github+json' \
--data-raw '{
  "event_type": "CI-001",
  "client_payload": {
    "passed": false,
    "message": "Error: timeout",
    "tag": "PUB-POSTMAN-0.1"
  }
}'

payload 부분을 보자면

event_type

이벤트타입은 on>repository_dispatch>types 에 적은 이름을 호출한다.

client_payload

클라이언트 페이로드는 작성자가 변수를 할당할 수 있게 되고,

작성한 워크로드 파일에서 ${{ github.event.client_payload.변수명 }} 으로 사용할 수 있다.

마치며,

Github Enterprise 때문에 해당 부분을 테스트하게 되었는데,

역시나 public에 비하면 제한사항이 많아 불편했다.(물론 스크립트로 다 할 수 있는데, Github에서 공식적으로 라이브러리를 제공하니 그쪽을 사용함에도 무리없이 이용할 수 있어야지..ㅎㅎ)

그리고 필자는 이전 프로젝트에서 반년동안 Gitlab을 사용해 왔기 때문에, Github가 매-우 불편하다....(개인적)

gitlab 빠가 되어버렷...

다음은 AzureDevops Pipeline 구축 후기를 올릴 예정이다.

Devops 여러분 다들 파이팅^^

[NKS] velero 백업 및 복원하기

joon95 — Mon, 7 Nov 2022 16:03:51 +0900

네이버 쿠버네티스 서비스에서 velero를 통한 클러스터 백업&복원을 가이드하고 있다.

velero 는 vmware-tanzu에서 업데이트하고 있는 github 링크를 통해 사용하면 된다.

1. VELERO 셋업

1-1. velero 다운로드

22년 11월 7일 기준으로 현재 1.8.1 버전이 최신이다.

github 에서 다운로드 받고 압축을 푼뒤 실행할 수 있는 폴더로 이동시켜주자.

$ wget https://github.com/vmware-tanzu/velero/releases/download/v1.8.1/velero-v1.8.1-linux-amd64.tar.gz
$ tar -xvzf velero-v1.8.1-linux-amd64.tar.gz
$ sudo mv velero-v1.8.1-linux-amd64/velero /usr/local/bin/velero

1-2. 클라우드 인증정보(s3)

velero 의 저장소는 S3기반의 오브젝트 스토리지이기 때문에 정보를 지정해주자.

필자는 네이버클라우드의 오브젝트스토리지를 사용하며, 지역은 KR 이다.

$ cat cloud-credential

[default]
aws_access_key_id=본인의엑세스키
aws_secret_access_key=본인의시크릿키
region=KR
server_api_uri=https://ncloud.apigw.ntruss.com/vserver/v2

1-3. Object Storage 생성

다음은 NCP 콘솔에서 오브젝트스토리지를 하나 만들어주자.

필자는 joon95backup 이란 버킷을 생성하였다.

1-4. Velero 서버 설치

이제 쿠버네티스에 velero를 올릴 것이다.

여기서 사용되는 velero 계정(service account)은 cluster-admin 권한으로 생성되 클러스터의 모든 권한을 얻어 자유롭게 백업을 할 수 있게 된다.

여기에 쓰인 nks의 경로들은 모두 ncp 사용가이드에 적혀있는데로 사용하면 된다.

$ velero install \
 --kubeconfig $KUBE_CONFIG \
 --provider velero.io/aws \
 --bucket joon95bucket \
 --image nks.kr.private-ncr.ntruss.com/velero:v1.8.1 \
 --plugins nks.kr.private-ncr.ntruss.com/velero-plugin-for-aws:v1.0.0,nks.kr.private-ncr.ntruss.com/velero-plugin-for-ncloud:v0.0.6 \
 --backup-location-config region=kr,s3ForcePathStyle="true",s3Url=https://kr.object.ncloudstorage.com \
 --use-volume-snapshots=false \
 --secret-file=./cloud-credential

1-5. 설치 확인

간단히 velero 네임스페이스에 리소스들에 정상적으로 돌아가는 것을 확인하면 된다.

$ kubectl get all --namespace velero

1-6. 스냅샷 구성

$ velero --kubeconfig $KUBE_CONFIG snapshot-location create default --provider ncloud/volume-snapshotter-plugin

2. 백업

이제 velero 명령어를 통해 백업을 해보자.

$ velero backup  --kubeconfig $KUBE_CONFIG create ns-joon-backup --include-namespaces joon

진행이 정상적인지 체크해보자.

velero backup  --kubeconfig $KUBE_CONFIG get ns-joon-backup
velero backup  --kubeconfig $KUBE_CONFIG describe ns-joon-backup

describe 명령어 결과

velero backup get

실제 s3 버킷에 접근해보면 아래와 같이 백업이 되어있다.

bucket velero backup list

3. 복원

네임스페이스를 날리기전 상태를 캡처해놓고~

해당 네임스페이스를 모두 날리고 진행한다.

삭제를 잘 확인하였다면 restore create 를 통해 복원을 실행한다.

$ velero restore --kubeconfig $KUBE_CONFIG create --from-backup ns-joon-backup

잠시 후 리소스를 조회해보면 정상적으로 복구된 걸 확인할 수 있다.

4. Velero 삭제

먼저 생성한 backup 을 삭제하는 방법이다.

$ velero backup  --kubeconfig $KUBE_CONFIG delete ns-joon-backup

다음은 쿠버네티스에 올라간 velero 서버를 삭제하는 명령어이다.

$ kubectl delete namespace/velero clusterrolebinding/velero
$ kubectl delete crds -l component=velero

velero crds 리스트

내용 추가 (22.11.08)

위 내용으로 네임스페이스별 백업&복원테스트를 완료하였는데 문제가 발생했다.

바로 NAS pv 를 붙여보니 404 Not Found 에러가 지속적으로 발생하는 것.

알아보니 pv를 백업하려면 무결성보장을 위한 fsfreeze 명령어를 실행하여 백업을 뜨는데,

NAS는 프리징을 지원하지 않아서 NAS를 사용하는 PV는 백업을 못한다는 것이였다.

추가로 PV를 백업하려면 restic을 활성화 해서 오브젝트스토리지로 백업할 수 있다.

velero install --use-restic 옵션을 통해 활성화 할 수 있다.

그리고 restic은 오브젝트 스토리지에 접근 시 암호에 특수문자가 포함되어 있으면 에러가 발생한다고 하니 패스워드설정 시 참고하자.

마치며..

이렇게 쿠버네티스 클러스터를 백업 복원하는 실습을 해보았다.

첨에 버킷을 찾을 수 없다는 에러메시지가 계속 나와서 해멧는데...

access key, secret key, url 정보를 눈이 빠지게 쳐다봤지만... 똑같앗앗다...

그래서 그냥 velero 서버를 다시 설치하니.. 잘됨...(아놔)..

뭐. 전체적인 방법은 간단하니 좋다..^^

[MSA] Outbox Pattern

joon95 — Fri, 4 Nov 2022 13:58:18 +0900

MSA 아키텍처?

마이크로서비스아키텍처에 대한 화두가 널리 퍼진지 한 8년정도 된 것 같다.

대학교 1학년 때(2014년도)에 쿠버네티스에 대해 알게되어 도커컨테이너에 대해 공부했었던 기억이 있는데,

인프라(infrastructure)영역은 쿠버네티스, 오픈시프트(redhat), 탄주(vmware) 등의 오케스트레이터를 통해 널리 사용하고 있는 것 같다.

그럼 이제 어플리케이션영역이 마이크로서비스화 되어야한다.

필자는 작년 한 해동안 마이데이터 제공자 API 프로젝트를 openshift 기반 환경에서 진행하였는데,

redhat 기반이라 해당 플랫폼에서 제공하는 3scale(API G/W), rhsso(인증), Fuse, Jboss 를 사용하여 컨테이너를 운용했다.

하지만 마이데이터 제공자는 단순히 Read API를 제공하는 것이기 때문에 복잡한 비즈니스 로직을 가져가진 않았다.

그럼 어플리케이션영역의 마이크로서비스는 어떻게 해야할까?

먼저 비즈니스 로직을 도메인별로 분류하고 구분지어야 한다.

실제 MSA 서비스로의 전환 사례는 배달의민족 기술블로그 글에 잘 설명되어 있으니 한번 읽어보길 바랍니다.

회원시스템 이벤트기반 아키텍처 구축하기 | 우아한형제들 기술블로그

{{item.name}} 최초의 배달의민족은 하나의 프로젝트로 만들어졌습니다. 배달의민족의 주문수는 J 커브를 그리는 빠른 속도로 성장했고, 주문수가 커지면서 자연스럽게 트래픽 또한 매우 커졌습니

techblog.woowahan.com

MSA 중 Outbox 패턴

마이크로 서비스 아키텍처의 종류는 여러가지가 있다.

- SAGA 패턴(Choreography, Orchestration)

- CQRS 패턴

- OUTBOX 패턴

- Event Sourcing

...

여러개가 나오는데 필자는 이번에 Outbox 패턴과 SAGA패턴 2가지를 해보았고,

이 포스팅에선 Outbox 패턴에 대한 포스팅을 할 것이다.

그럼 이 친구는 무엇일까? Outbox 패턴에서의 핵심은 kafka connector 라는 놈이다.

이 친구가 database의 트랜잭션 로그를 읽어들여 카프카 토픽에 정보를 보내고, 나머지 마이크로서비스가 토픽을 읽어 back 작업을 하게 된다.

카프카 커넥터는 Confluent 라는 유료제품과 Debezium 무료제품이 있다.

필자는 Debezium(데브지움)을 사용하였고 사이트에서 설명하는 아키텍처는 아래와 같다.

Debezium Kafka Connector Architecture

말 그대로 db 트랜잭션 로그를 읽어 다른곳에 연결해주는 역할이다.

Outbox 아키텍처

예제 소스는 링크에서 가져왔는데,

springboot application까지 image로 만들어 1개의 docker network 안에서 통신하는 예제로

디버깅을 하면서 체크할 수 없게 구현을 해놓았다.

그래서 개발자의 pc에서 docker network에 어떻게 접근하여 통신이 이루어지는지에 대한 그림을 그렸다.

MSA outbox pattern

1. 클라이언트가 주문서비스에 주문을 요청한다.

2. 주문서비스는 주문(customer_order), 주문이벤트(outbox) 테이블에 insert 한다.(이때 outbox 테이블은 바로 delete 함)

3. kafka 커넥터는 database의 특정 테이블(oubox)의 트랜잭션로그를 연결(connect)하고 있기 때문에 변화를 감지한다.

4. kafka 커넥터는 특정 테이블(outbox)의 트랜잭션을 kafka에 날린다.(이 때 보내는 토픽명은 orders_server.orders.outbox : 커넥터에정의한db명.db명.table명)

5. 배달서비스는 위 토픽을 구독하고 있기 때문에 데이터를 가져가 처리한다.

docker-compose

위에서 그린 그림을 docker 컨테이너로 구현해 보자.!!!

- mysql : 데이터베이스

- zookeeper : 카프카관리용

- kafka : 카프카서버

- kafka maanger : 모니터링용

- kafka connector : 카프카커넥터

총 5개의 컨테이너를 구동할 것이다.

많은 시행착오를 겪었는데, docker network bridge(default)로 사용하면 dns 구성이 안되어 container 끼리 통신이 안되었다. 그래서 network 를 새로 만들면 auto dns 부분이 적용되 컨테이너끼리 통신이 된다고 한다.

그래서 docker compose 를 사용하면 어떻게 되나 찾아보니 bridge network를 자동으로 생성하여 각 도커서비스의 이름으로 dns를 이름에 맞게 구성할 수 있다.

또, 이번에 알았는데 window docker는 host 모드를 못쓴다고 한다.

카프카, 주키퍼 이미지를 debezium 꺼로 하니 연결이 잘안되어 bitnami 이미지로 변경하였다

그리고 depends_on 옵션을 사용해 먼저 기동되야 할 컨테이너의 의존성을 걸 수 있다.(docker --link 옵션)

kafka 쪽은 docker 네트워크 안에선 kafka:29092 로 통신하도록하고, 외부에선 localhost:9092로 접근하도록 옵션을 준다.

version: '3'
services:
  zookeeper:
    hostname: zoo
    image: 'bitnami/zookeeper:latest'
    ports:
      - '2181:2181'
    environment:
      - ALLOW_ANONYMOUS_LOGIN=yes
  kafka:
    hostname: kafka
    image: 'bitnami/kafka:latest'
    ports:
      - '9092:9092'
    privileged: true
    environment:
      - KAFKA_BROKER_ID=1
      - KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      - KAFKA_LISTENERS=PLAINTEXT://kafka:29092,PLAINTEXT_HOST://kafka:9092
      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka:29092,PLAINTEXT_HOST://localhost:9092
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
      - ALLOW_PLAINTEXT_LISTENER=yes
    depends_on:
      - zookeeper
  mysql:
    image: mysql
    hostname: mysql
    ports:
      - "3307:3306"
    environment:
      MYSQL_ROOT_PASSWORD: root
  manager:
    image: sheepkiller/kafka-manager
    ports:
      - 9000:9000
    environment:
      - ZK_HOSTS=zookeeper:2181
    depends_on:
      - zookeeper
  
  connect:
    links:
      - zookeeper
      - kafka
    ports:
      - 8083:8083 
    environment:
      - GROUP_ID=1 
      - CONFIG_STORAGE_TOPIC=my_connect_configs 
      - OFFSET_STORAGE_TOPIC=my_connect_offsets 
      - STATUS_STORAGE_TOPIC=my_connect_statuses 
      - BOOTSTRAP_SERVERS=kafka:29092
    image: quay.io/debezium/connect:1.9
    depends_on:
      - mysql
      - kafka
      - zookeeper

kafka Connector 연결

connect 컨테이너에 접근해 POST /connectors 에 생성요청을 해야한다.

curl -i -X POST -H "Accept:application/json" \
-H  "Content-Type:application/json" http://localhost:8083/connectors \
-d '{
    "name": "orders-connecter",
    "config": {
        "connector.class": "io.debezium.connector.mysql.MySqlConnector",
        "tasks.max": "1",
        "database.hostname": "mysql",
        "database.port": "3306",
        "database.user": "root",
        "database.password": "root",
        "database.server.id": "100",
        "database.server.name": "orders_server",
        "database.include.list": "orders",
        "table.include.list":"orders.outbox",
        "database.history.kafka.bootstrap.servers": "kafka:29092",
        "database.history.kafka.topic": "schema_changes.orders",
        "transforms": "unwrap",
        "transforms.unwrap.type": "io.debezium.transforms.ExtractNewRecordState"
    }
}'

docker compose 를 이용해 각 컨테이너의 dns를 세팅해주었기 때문에 데이터베이스와 카프카서버의 접근정보를 다음과 같이 기입하였고, 사용할 커넥터명, 연결 할 데이터베이스, 테이블명, 트랜잭션변경을 기록할 토픽을 정의해주면 된다.

연결된 커넥터 확인은 동일한 주소에 GET 으로 요청하면된다.

kafka Manager

카프카 클러스터의 정보를 GUI 환경으로 보기 위한 툴 manager를 설정해보자.

localhost:9000 에 접근한 뒤 Add Cluster 버튼을 눌러 추가한다.

kafka manager cluster add

host 정보는 zookeeper 를 입력하거나 host.docker.internal 을 사용해야한다.

왜냐하면 매니저컨테이너에서 주키퍼서버로 연결을 하기 때문이다.

가볍게 localhost:2181 을 써주면 매니저컨테이너에서 자신의 컨테이너의 2181로 binding 하기때문에 error가 발생한다.

이렇게 등록된 클러스터를 보면 토픽정보를 볼 수 있다.

kafka manager dashboard

테스트

자 스프링부트를 기동하고 주문을 요청해보자.

curl --location --request POST 'http://localhost:8080/order' \
 --header 'Content-Type: application/json' \
 --data-raw '{
               "name": "joon",
               "quantity": 95
             }'

데이터베이스에 접근해 생성된 데이터를 확인하면.

show databases;
use orders;
show tables;

select * from customer_order;
select * from outbox;

customer_order table

customer_order 테이블과 outbox 테이블에 insert 한 뒤

outbox 테이블은 delete 를 날린다.

(주문서비스에서 stdout 로그를 남기고 있음.)

Outbox [id=4, event=order_created, eventId=3, payload={name=joon, quantity=95}, createdAt=2022-11-03T10:50:33.784361600]

이 때 kafka connector 는 outbox 테이블에 들어온 트랜잭션로그를 읽어 kafka에 보내는데

토픽의 내용을 보면 아래와 같다.

# order_server.orders.outbox 
{"schema":{"type":"struct","fields":[{"type":"int32","optional":false,"field":"id"},{"type":"string","optional":true,"field":"event"},{"type":"int32","optional":true,"field":"event_id"},{"type":"string","optional":true,"name":"io.debezium.data.Json","version":1,"field":"payload"},{"type":"string","optional":true,"name":"io.debezium.time.ZonedTimestamp","version":1,"field":"created_at"}],"optional":false,"name":"orders_server.orders.outbox.Value"},"payload":{"id":3,"event":"order_created","event_id":3,"payload":"{\"name\":\"joon\",\"quantity\":95}","created_at":"2022-11-03T10:50:34Z"}}

이제 딜리버리서비스는 해당 토픽을 읽어 Payload 값을 출력한다.

KafkaMessage [payload=PayLoad [id=3, event=order_created, eventId=3, payload={"name":"joon","quantity":95}, createdAt=2022-11-03T10:50:34Z]]

마치며

마이크로서비스아키텍처를 그동안 들어만 봤지 어떻게 구성하고 유지하는지에 대해 감이 잡히지 않았는데

SAGA패턴과 outbox 패턴을 구현해보면서 조금 알것 같다.

현재 MSA 프로젝트에서 이러한 패턴을 정의하고 비즈니스 로직을 수립해 나아가고 있는데

결국 다른 개발자들의 역량이 어느정도 받쳐주어야 가능할 것 같다는 생각이 든다.

조만간 SAGA 패턴 2가지에 대해 포스팅을 남길 예정이다.

[JAVA] 간단한 .java 파일을 실행 가능한 .jar 파일로 만들고 도커 이미지로 쿠버네티스 cronjob 생성하기

joon95 — Thu, 3 Nov 2022 13:35:17 +0900

어제 간단한 특정시간이 지난 뒤 프로세스가 종료되는 자바파일을 구현해야하는 상황이 생겼다.

그래서 jar 파일을 만들고 Dockerfile을 작성한 뒤 Docker image를 생성하고,

쿠버네티스 cronjob 에서 가져오는 것 까지해보았다.

먼저 .jar 파일은 그동안 maven, gradle을 통해 자동으로 쭈루룩 만들어줬었는데,

그냥 test.java main 메소드 하나 있는 것을 컴파일하여 나온 .class 파일과 매니패스트파일을 합치는 작업을 해주면 된다.

근데 이때 매니패스트 지정하는데에 시행착오를 겪었다..

(문자열 끝에 엔터가 필요하다고...)

test.java

가장먼저 개발을 할 test.java 를 만들자.

간단히 Thread를 통해 3초의 대기를 준 뒤 프로세스가 종료되게 하였다.

import java.text.SimpleDateFormat;
import java.util.Calendar;
class joon_test {
    public static void main(String args[]) throws InterruptedException {
        System.out.println("Metanet java run...");
		int num = 3 ;
		// time output format
		SimpleDateFormat fmt = new SimpleDateFormat("HH:mm:ss");
		for(int i=0; i < num; i++){
			Calendar cal = Calendar.getInstance() ;
			// print (now times + i )
			System.out.println("Metanet ... " + fmt.format(cal.getTime()) + "=" + i) ;
			// 1sec sleeping
			Thread.sleep(1000);
		}
        System.out.println("Metanet java stop.");
    }
}

manifest.txt

매니패스트파일에선 .jar가 실행될 때 메인이 되는 클래스가 무엇인지 정의해 준다.

(꼭 라인 끝에 enter를 쳐서 1줄을 띄어 줘야한다. 안 그럼 에러가 난다..)

Main-class: joon_test

컴파일 & 합치기

제일 먼저 .java 를 컴파일하여 .class를 생성하자. (파일은 클래스명.class 가 생성된다)

$ javac .\test.java

아래 명령어로 매니패스트와 클래스파일을 합쳐주자.

(이때 옵션의 mf 순서에 따라 뒤에 인자를 맞춰주어야함 매니패스트파일과 클래스파일)

$ jar -cvmf manifest.txt joon.jar joon_test.class

이제 .jar가 생성되었다.아래 명령어로 기동해보자.

$ java -jar joon.jar
Metanet java run...
Metanet ... 12:49:40=0
Metanet ... 12:49:41=1
Metanet ... 12:49:42=2
Metanet java stop.

Dockerfile 작성

이제 docker image 생성을 위한 파일을 작성해야한다.

가벼운 openjdk alpine 이미지를 가져와 실행하도록 했다.

FROM openjdk:17-alpine

LABEL maintainer="Lim joon hyeok"
LABEL title="job sample image"
LABEL version="1.0"
LABEL description="sampling"

COPY ./joon.jar /

# Start the service
CMD ["java","-jar","/joon.jar"]

Image Build & Push

위 Dockerfile을 빌드하자

$ docker build -t job-test:1.0 .
[+] Building 21.4s (7/7) FINISHED
 => [internal] load build definition from Dockerfile                                                                                                                                         0.0s 
 => => transferring dockerfile: 269B                                                                                                                                                         0.0s 
 => [internal] load .dockerignore                                                                                                                                                            0.1s 
 => => transferring context: 2B                                                                                                                                                              0.0s 
 => [internal] load metadata for docker.io/library/openjdk:17-alpine                                                                                                                         3.7s 
 => [internal] load build context                                                                                                                                                            0.1s 
 => => transferring context: 1.31kB                                                                                                                                                          0.0s 
 => [1/2] FROM docker.io/library/openjdk:17-alpine@sha256:4b6abae565492dbe9e7a894137c966a7485154238902f2f25e9dbd9784383d81                                                                  16.2s 
 => => resolve docker.io/library/openjdk:17-alpine@sha256:4b6abae565492dbe9e7a894137c966a7485154238902f2f25e9dbd9784383d81                                                                   0.1s 
 => => sha256:53c9466125e464fed5626bde7b7a0f91aab09905f0a07e9ad4e930ae72e0fc63 928.44kB / 928.44kB                                                                                           0.8s 
 => => sha256:d8d715783b80cab158f5bf9726bcada5265c1624b64ca2bb46f42f94998d4662 186.80MB / 186.80MB                                                                                           9.7s 
 => => sha256:4b6abae565492dbe9e7a894137c966a7485154238902f2f25e9dbd9784383d81 319B / 319B                                                                                                   0.0s 
 => => sha256:a996cdcc040704ec6badaf5fecf1e144c096e00231a29188596c784bcf858d05 951B / 951B                                                                                                   0.0s 
 => => sha256:264c9bdce361556ba6e685e401662648358980c01151c3d977f0fdf77f7c26ab 3.48kB / 3.48kB                                                                                               0.0s 
 => => sha256:5843afab387455b37944e709ee8c78d7520df80f8d01cf7f861aae63beeddb6b 2.81MB / 2.81MB                                                                                               0.5s 
 => => extracting sha256:5843afab387455b37944e709ee8c78d7520df80f8d01cf7f861aae63beeddb6b                                                                                                    0.6s 
 => => extracting sha256:53c9466125e464fed5626bde7b7a0f91aab09905f0a07e9ad4e930ae72e0fc63                                                                                                    0.3s 
 => => extracting sha256:d8d715783b80cab158f5bf9726bcada5265c1624b64ca2bb46f42f94998d4662                                                                                                    6.2s 
 => [2/2] COPY ./mtp.jar /                                                                                                                                                                   0.9s 
 => exporting to image                                                                                                                                                                       0.2s 
 => => exporting layers                                                                                                                                                                      0.1s 
 => => writing image sha256:f4884aad8840a6bc1fd5acd9578d391d1d09d14428f4788835b4ddcfd0d63fbc                                                                                                 0.0s 
 => => naming to docker.io/library/joon-test:1.0

생성된 이미지 조회

$ docker images joon-test
REPOSITORY   TAG       IMAGE ID       CREATED              SIZE
joon-test    1.0       f4884aad8840   About a minute ago   326MB

이제 생성한 이미지를 원격 레지스트리 서버에 올려야한다.

필자는 Naver Container Registry 를 사용중이다.

docker tag 명령어로 각자 레지스트리 도메인을 가지는 이미지로 변경 한 뒤

docker login 후에 원격컨테이너레지스트리에 푸쉬하자.

(임시로 url을 기입하였습니다.)

$ registry_url=joon95-sample-url.kr.ncr.ntruss.com
$ docker tag mtp-job-test:0.1 $registry_url/job-test:1.0
$ docker login -u 유저네임 $registry_url
password: 패스워드입력
$ docker push $registry_url/job-test:1.0

secret

쿠버네티스에서 private image에 접근하기 위한 secret을 생성해야한다.

생성될 namespace는 default에 생성하였다.

$ kubectl create secret docker-registry 생성할secret명 \
    --docker-server=컨테이너레지스트리URL 
    --docker-username=유저명 
    --docker-password=패스워드 
    -n default

cronjob

이제 1분마다 자동으로 실행될 크론잡을 작성하자.

apiVersion: batch/v1
kind: CronJob
metadata:
  namespace: default
  name: sample-cronjob
spec:
  schedule: "*/1 * * * *"
  concurrencyPolicy: "Forbid"
  #startingDeadlineSeconds: 200
  #suspend: false
  successfulJobsHistoryLimit: 2
  failedJobsHistoryLimit: 1
  jobTemplate:
    spec:
      backoffLimit: 0
      template:
        metadata:
          labels:
            parent: "sample-cronjob"
        spec:
          imagePullSecrets:
            - name: 생성한시크릿명
          containers:
            - command: ["java", "-jar", "joon.jar"]
              image: 컨테이너레지스트리서버URL/job-test:1.0
              imagePullPolicy: Always
              name: job-sample
              resources: {}
          dnsPolicy: ClusterFirst
          schedulerName: default-scheduler
          securityContext: {}
          terminationGracePeriodSeconds: 30
          restartPolicy: Never

$ kubectl apply -f cronjob.yaml -n default

이제 1분마다 job pod가 기동됩니다. 로그를 보면 정상적으로 출력되고요 ㅎㅎ

현재시간을 stoud log 찍은 뒤 3초 후 종료(Completed) 되는 프로세스가 완료되었습니다.

이전에 포스팅했던 3scale 백업 고도화에서 dockerfile / cronjob 에 대한 설정을 미리 검토해놓아서 쉽게 적용할 수 있었습니다.

[Springboot] Fabric8 kubernetes 리소스 컨트롤하기

joon95 — Wed, 26 Oct 2022 23:59:08 +0900

스프링부트에서 쿠버네티스 리소스를 컨트롤하기 위해 제공되는 라이브러리가 2개 있다.

하나는 kubernetes에서 제공하는 것이고

또 하나는 Fabric8 에서 제공하는 라이브러리이다.

이 두개의 차이는 이 링크에서 아주 잘 설명하고 있다.

위 링크에서 대충 보자면 kubernetes는 객체를 선언하고 하는 작업들이 많고

Fabric8은 웹소켓을 이용한다는 것이다.

(소스 구현부도 Fabric이 편해보임..)

이제 간단히 k8s 리소스를 가져와보자.

Pom.xml

k8s / ocp 라이브러리가 따로 존재한다.(필자의 현재 코드는 k8s용)

<!-- k8s client -->
<dependency>
    <groupId>io.fabric8</groupId>
    <artifactId>kubernetes-client</artifactId>
    <version>6.1.1</version>
</dependency>
<!-- ocp https://mvnrepository.com/artifact/io.fabric8/openshift-client -->
<dependency>
    <groupId>io.fabric8</groupId>
    <artifactId>openshift-client</artifactId>
    <version>6.1.1</version>
</dependency>

Controller

간단히 GET /k8s/namespace 에 접근하면 모든 namespace를 출력해준다.

@RequestMapping("/k8s")
public class K8sTest {
    @GetMapping(value ="/namespace", produces = "application/json")
    public @ResponseBody NamespaceList testsetsetset() {
        NamespaceList ns = null;
        try (KubernetesClient client = new KubernetesClientBuilder().build()) {
            client.pods().inAnyNamespace().list()
                .getItems()
                .stream()
                .map(Pod::getMetadata)
                .map(ObjectMeta::getName)
                .forEach(System.out::println);

            NamespaceList ns = client.namespaces().list();
            ns.getItems().forEach((d) -> { 
                log.info("namespace : " + d.getMetadata().getName());
            });
        }
        return ns;
    }
}

여기서 쿠버네티스 client 객체는 아래 우선순위에 따라 적용된다.

1. 시스템속성

2. 환경 변수

3. 큐브 구성파일

4. 서비스 계정 토큰 및 탑재된 CA인증서

필자는 스프링부트가 기동되고 있는 host에 k8s 접근용 큐브 구성파일이 존재한다(~/.kube/config)

테스트

브라우저에서 호출

호출시 로그 출력

마치며

Fabric8 라이브러리를 처음알게 되었는데, 정말 쉽게 자원을 컨트롤할 수 있었다.

이렇게 쿠버네티스 대사보드나 ocp 웹콘솔 같은 걸 만들어보는 프로젝트를 진행해 보아도 좋을 것 같다.

[Spring Cloud] Zipkin(집킨) 분산 추적 해보기

joon95 — Wed, 26 Oct 2022 23:43:11 +0900

Zipkin(집킨)은 스프링클라우드에서 제공하는 분산추적 서비스이다.

Zipkin(집킨)서버와 sleuth(슬루스)가 있으며

집킨서버는 데이터를 보관 및 웹대시보드를 제공하며,

슬루스는 로그 데이터들을 잘 처리하여 집킨에 보내는 역할이다.

집킨서버의 데이터 저장소는

- 인메모리

- mysql

- 카산드라

- elasticSearch

로 설정할 수 있으며 별다른 설정이 없을 경우 인메모리(WAS)에 저장하게 된다.

Zipkin 구동

간단히 도커를 통해 기동하며 port는 default 9411 을 사용한다.

docker run -d -p 9411:9411 openzipkin/zipkin

Zipkin index page

Pom.xml

zipkin 사용을 위한 라이브러리 추가

위에서 설명했듯이 슬루스란 친구를 통해 데이터를 zipkin서버에 보낸다.

<!-- zipkin -->
<dependency>
	<groupId>org.springframework.cloud</groupId>
	<artifactId>spring-cloud-sleuth-zipkin</artifactId>
    <version>3.1.4</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.springframework.cloud/spring-cloud-sleuth-zipkin -->
<dependency>
	<groupId>org.springframework.cloud</groupId>
	<artifactId>spring-cloud-starter-sleuth</artifactId>
    <version>3.1.4</version>
</dependency>

properties

집킨 서버와 슬루스의 트랜잭션 전송 비율을 정의한다.

(probability: 1.0은 100%를 의미함)

spring.zipkin.base-url=http://localhost:9411
spring.sleuth.sampler.probability=1.0

테스트

설정 후 springboot 를 실행하면 Log가 달라진 것을 확인할 수 있다.

Zipkin 대시보드를 보면 트레이스들이 잡힌다.

zipkin trace list

트레이스를 하나 클릭해보면 상세하게 소요시간 스텝이 보이게된다.

zipkin trace detail view

추가로 spring.application.name 을 지정하면

spring.application.name=my-app-joon95

로그부분과 대시보드의 serviceName이 변경된다.

마치며

MSA 아키텍처에서는 서비스A에서 B,C,D.. 많은 네트워크 구간들을 통해 서비스를 제공하게되는데, 이때 발생되는 loss를 이러한 Zipkin(집킨)을 통해 파악할 수 있다. 여기서 적용되어있는 redis를 통한 캐시 정책 이 외에도 kafka를 통한 메시지큐서비스로 SAGA패턴을 구성해 볼 예정이다.

스프링클라우드가 얼마나 많은 고민들을 하여 라이브러리를 제공하게 되었는지 그 노력은 정말 대단하다.

[Springboot] Sse(Server Send Event) 단방향 통신을 이용해 tail -f 기능 구현

joon95 — Wed, 26 Oct 2022 23:27:41 +0900

난 이걸 왜 쓰게되었나?

OCP 웹콘솔에 보면 pod의 log를 지속적으로 호출하는 페이지가 있는데, 말 그대로 서버가 클라이언트 쪽에 로그를 일방적으로 보내는 방식인거 같았고, 이걸 구현해보고 싶다는 생각이 들어 통신모듈을 찾아보다가 SSE(Server Send Event)라는 라이브러리를 알게되어 찾아보니 보통 접속중인 사용자에게 push 알림을 보내는 용도, 스포츠 중계서비스에 이용할 수 있다. 필자는 리눅스에서 로그 파일을 볼 때 이용하는 tail -f 기능으로 활용해보려한다.

단방향 통신을 위한 모듈

SeeEmitter 클래스는 2015년(Spring Framework 4.2)부터 사용할 수 있게 되었다.

Internet Exporer를 제외한 모든 브라우저를 지원한다.

HTTP/1.1 프로토콜 사용시 브라우저에서 1개 도메인에 대해 생성할 수 있는 EventStream은 최대 6개이다.

HTTP/2 프로토콜 사용시 브라우저와 서버간 최대 100개까지 유지 가능하다.

주의사항

JPA 설정 시

SSE 통신을 사용하는 동안 HTTP Connection이 계속 열려있으므로 응답 API쪽에서 JAP를 사용하고 open-in-view 속성이 true로 되어있다면, DB Connection도 같이 열려있게되니 반드시 해당 속성을 false로 해야한다

Nginx 리버스 프록시

위 설정을 사용한다면 아래와 같은 세팅이 적용된다.

1. 기본적으로 Upstream 요청 시 HTTP/1.0 버전을 사용함

2. Nnginx에서 Connectiob: close 헤더를 사용함

이를 해결하기 위해 아래설정을 추가하자.

proxy_set_header Connection '';
proxy_http_version 1.1;

그 외에도 proxy buffering 기능을 비활성화하여 SSE 응답에 대해 즉각적인 대응이 되도록 해야한다. 이 부분은 SSE 응답 API 쪽에서 헤더에 X-Accel-Buffering: no 를 붙여주면 SSE 응답만 버퍼링을 하지 않도록 할 수 있다고 한다. (자세한 설명은 참고 링크를 확인)

Scale out 시 문제

SseEmitter 객체는 서버 메모리에 저장되어 있어 인스턴스를 늘리는 경우 커넥션을 해당 컨테이너에 유지시키는 방식을 써야한다. 해싱방식을 쓸 순 있지만, Redis 같은 메시지 브로커나 분산 캐시를 통해 문제를 해결할 수 있다고 한다.

구현

application.properties

로그 파일을 파일로 저장하고 롤링, 보관주기를 설정하자.

스프링 application 실행 위치에 myapp.log 로 생성되게 하였다.

logging.file.path=.
logging.file.name=myapp.log
logging.pattern.rolling-file-name=myapp-%d{yyyy-MM-dd}.%i.log
logging.file.max-history=2
logging.file.max-size=1MB
logging.file.total-size-cap=10MB
logging.file.clean-history-on-start=true

sse.html

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
<input id="input"/>
<button id="send">로그파일 읽기</button>
<div id="messages"></div>
<script>
    const eventSource = new EventSource(`/subscribe?id=${Math.random()}`);
    eventSource.onopen = (e) => { console.log(e); };
    eventSource.onerror = (e) => { console.log(e); };
    eventSource.onmessage = (e) => {
        document.querySelector("#messages").appendChild(document.createTextNode(e.data + "\n"));
    };
    document.querySelector("#send").addEventListener("click", () => {
        fetch(`/publish?message=${document.querySelector("#input").value}`);
    });
</script>
</body>
</html>

페이지가 로딩되면 바로 /subscribe?id=랜덤값을 보내어 파일쓰레드생성을 요청할 것이다..

Input 태그를 넣어두었는데 이부분을 활용하면 접속한 세션 전체에 메시지를 전달하도록 할 수 있다.

파일 읽기

파일을 읽어 sse 객체에 send 해준다.

@Slf4j
public class FileThread extends Thread{
    private static final int DELAY_MILLIS = 1000;
    private boolean isRun;
    //대상 파일
    private final File file;
    private final Map<String, SseEmitter> sse;
    
    public FileThread(File file, Map<String, SseEmitter> sse) {
        this.file = file;
        this.sse = sse;
    }

    @Override
    public void run() {
        isRun = true;
        if (!file.exists()) {
            System.out.println("Failed to find a file - " + file.getPath());
        }
        //try 문에서 Stream을 열면 블럭이 끝났을 때 close를 해줌
        try (BufferedReader br = new BufferedReader(new InputStreamReader(new FileInputStream(file), StandardCharsets.UTF_8))) {
            while (isRun) {
                //readLine(): 파일의 한 line을 읽어오는 메소드
                final String le = br.readLine();
                if (le != null) {
//                  System.out.println("New line added - " + le);
                    sse.forEach((id, emitter) -> {
                        try {
                            emitter.send(le, MediaType.TEXT_PLAIN);
                        } catch (Exception e) {
//                          deadIds.add(id);
                            log.info("disconnected id : " + id);
                        }
                    });            	
                } else {
                    Thread.sleep(DELAY_MILLIS);
                }
            }
        } catch (Exception e) {
            System.out.println("Failed to tail a file - " + file.getPath());
        }
        System.out.println("Stop to tail a file - " + file.getName());
    }
}

Sse Controller

GET /tails url 에 접근하면 위에서 생성한 sse.html 을 출력하고

GET /subscribe?id=랜덤값 을 통해 sse객체에 id 값을 맵핑한다.

GET /publish 는 파일쓰레드를 생성하여 지속적으로 클라이언트에게 메시지를 보내게 된다.

@Slf4j
@Controller
public class LogsSse {

    private static final Map<String, SseEmitter> CLIENTS = new ConcurrentHashMap<>();

    @GetMapping(value="/tails")
    public String page() {
    	log.info("springboot application log tails -f page");
        return "html/sse";
    }

    
    @GetMapping(value="/subscribe", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public SseEmitter subscribe(String id) throws IOException {
        SseEmitter emitter = new SseEmitter();
        CLIENTS.put(id, emitter);
        emitter.onTimeout(() -> CLIENTS.remove(id));
        emitter.onCompletion(() -> CLIENTS.remove(id));

        emitter.send("서버와 연결되었습니다. ID(" + id + ")", MediaType.TEXT_PLAIN);
        log.info("서버와 연결되었습니다. ID(" + id + ")");

        return emitter;
    }

    @GetMapping(value="/publish")
    public @ResponseBody HashMap<String, Object> publish(String message) {
        HashMap<String,Object> map = new HashMap<String,Object>();
        Set<String> deadIds = new HashSet<>();

        CLIENTS.forEach((id, emitter) -> {
            try {
//                emitter.send(message, MediaType.TEXT_PLAIN);
                log.info("전송ID : " + id + ", 내용 : " + message);
                fileGet();
            } catch (Exception e) {
                deadIds.add(id);
                log.info("disconnected id : " + id);
                thread.interrupt();
            }
        });
        
        map.put("status","success");
        deadIds.forEach(CLIENTS::remove);
        return map;
    }

    FileThread watcher = null;
    Thread thread = null;
    // 스프링부트 로그를 읽어오기
    public void fileGet() {
    	if(thread==null) {
	    	File file = new File("myapp.log");    
	    	watcher = new FileThread(file, CLIENTS);
	    	thread = new Thread(watcher);
	    	thread.setDaemon(true);
	        thread.start();
    	}
    }
}

테스트

작성한 /tails 페이지에 접근해보자.

페이지접근 시 sse.html 의 eventSource를 통해 /subscribe 페이지에 랜덤한 id값을 보내어 sseEmitter 객체를 생성하게 되고, [로그파일 읽기] 버튼을 누르면 쓰레드를 생성해 file을 지속적으로 읽어 sseEmitter 객체에 들어온 클라이언트들에게 로그를 보낸다.

여러 브라우저를 동시에 켜서 확인할 수 있고, 접속한 랜덤한 ID 별로 데이터를 전달하게된다.

마치며

통신에 대한 부분은 항상 소켓만 생각했었고, 소켓으로만 구현해보았었는데,

찾아보니 역시 용도에 따라 라이브러리가 이미 존재했다..ㅋ

ocp 콘솔을 쓰면서 항상 logs 메뉴를 자주 눌렀었는데 이번 기회를 통해 재밌는 기능을 구현해봐서 재밌었다.

참고블로그

https://jsonobject.tistory.com/558

https://tecoble.techcourse.co.kr/post/2022-10-11-server-sent-events/

https://jinseongsoft.tistory.com/146

[Kubernetes] docker Desktop Kubernetes PV 붙이기

joon95 — Wed, 26 Oct 2022 16:04:43 +0900

도커데스크톱으로 쿠버네티스를 올리고 pv를 붙이려면 hostpath로 하면 된다.

참고로 hostpath는 node의 storeage를 사용하는 것으로,

도커데스크톱은 pc 위에 1개의 노드풀로 올라가 있기 때문에 사용할 수 있다.

필자는 C:/kubernetes/storage/ 경로를 스토리지로 사용하고

샘플 pod에 toolbox 폴더라는 pv를 붙였다.

먼저 deployment.yaml 에 volume을 작성하자.

경로는 /run/desktop/mnt/host/c/ 뒤에 작성하면 된다.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: toolbox-deployment
spec:
  selector:
    matchLabels:
      app: toolbox
  replicas: 1 # tells deployment to run 2 pods matching the template
  template:
    metadata:
      labels:
        app: toolbox
    spec:
      containers:
        - name: toolbox
          image: webdevops/toolbox:latest
          ports:
            - containerPort: 80
          command: ["/bin/sh", "-c"]
          args: ["sleep 600"]
          volumeMounts:
            - mountPath: /local-dir
              name: vol
      volumes:
        - name: vol
          hostPath:
            path: /run/desktop/mnt/host/c/kubernetes/storage/toolbox
            type: Directory

참고로 해당 경로에 폴더가 존재해야한다.

폴더를 미리 만들어 주지 않았을 경우 아래와 같은 에러가 발생함!

MountVolume.SetUp failed for volume "vol" : hostPath type check failed: /run/desktop/mnt/host/c/kubernetes/storage/toolbox is not a directory

배포 후 pod 에 들어가 df 명령어를 쳐보면 마운트가 된것을 확인할 수 있다.

해당 경로로 이동해 파일을 생성하면 잘된다.

[Kubernetes] nginx-ingress로 들어온 path를 삭제하고 백엔드에 전달하기

joon95 — Wed, 26 Oct 2022 15:41:34 +0900

쿠버네티스 ingress 설정 중

path에 따라 서비스를 연결시켜주는 방법

metadata>annotaions 안에 rewrite 를 넣어주고

nginx.ingress.kubernetes.io/rewrite-target: /$2

spec>rules>http>paths 안에 아래와 같이 적용하면 된다.

path: /외부접근패스(/|$)(.*)

이렇게하면 사용자가 도메인/외부접근패스 로 들어올 경우

nginx 에 / 로 설정된다. "GET / HTTP/1.1" 200

도메인/외부접근패스/패스1/패스2 로 들어온다면

nginx 에 /패스1/패스2 로 전달된다. "GET /패스1/패스2 HTTP/1.1" 200

[Springboot] kafka JSON 통신하기

joon95 — Tue, 25 Oct 2022 21:32:10 +0900

그동안 메시지 큐에 대해 알고만 있지 사용은 해보지 않았다.

메시지 큐는 어떤 서비스A가 서비스B에게 데이터를 전송할 때 서비스B가 만약 메모리등의 이슈로 정상적인 응답을 하지 못할 경우 해당 요청에 대한 데이터에 유실이 발생할 수 있어서 그 중간 매개체로 사용하게 된다.

실제로 작년에 ELK, EFK 를 구축할 때 메시지 큐를 포함한 아키텍처를 많이 보았었다. filebeat 에서 Logstash로 데이터를 전송할 때나, Logstash에서 Elasticsearch 에 데이터를 전송할 때 메시지큐를 사용하는 것이다.

메시지 큐는 카프카(Kafka), 레빗엠큐(RabbitMQ) 등의 솔루션이 있고, 이 글은 카프카를 사용하여 JSON 타입의 메시지 전송을 해볼 것이다.

카프카(Kafka)

카프카는 도커로 올려두었다. 도커컴포즈를 이용한 다양한 글들은 바로 찾을 수 있으니 패스.

간단히 사용 포트만 확인하자면

- 카프카 port : 9092

- 주키퍼 port : 2181

참고로 주키퍼는 간단히 설명하자면.. 카프카서버 관리를 위한 서비스이고, 위키백과에선 다음과 같이 설명한다.

아파치 주키퍼는 아파치 소프트웨어 재단 프로젝트중의 한 소프트웨어 프로젝트로서 공개 분산형 구성 서비스, 동기 서비스 및 대용량 분산 시스템을 위한 네이밍 레지스트리를 제공한다.

Pom.xml

kafka를 사용하기 위한 디펜던시를 추가하자.

<!-- kafka -->
<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>

application.properties

카프카서버와 offset 설정에 대해 설정한다.

spring.kafka.bootstrap-servers=localhost:9092
spring.kafka.consumer.auto-offset-reset=earliest

auto-offset-reset 설정은 카프카가 컨슈머(Consumer)를 새로 생성하여 토픽에서 데이터를 가져올 때 offset 정보가 존재하지 않을 때 디폴트값을 설정하는 사항이다.

옵션은 3개로 아래를 참고하자.

- 'latest' : 가장 마지막 offset

- 'earliest' : 가장 처음 offset

- 'none' : exception 발생

KafkaMsgVO

json 데이터를 보낼 VO를 작성하자. 간단히 name, msg 2개의 String 데이터를 작성하였다.

@Getter
@NoArgsConstructor
@AllArgsConstructor
public class KafkaMsgVO {
	private String name;
	private String msg;
}

KakfaConfig

DefaultKafkaProducerFactory 를 Map<String, Object> 형식으로 정의해주고

group_id 를 foo 로 하였다. consumer에서 메시지를 가져올 때 groupId를 정의하니 참고.

@EnableKafka
@Configuration
public class KafkaConfig {

	@Value("${spring.kafka.bootstrap-servers}")
	private String servers;
	
	@Bean
	public ProducerFactory<String, KafkaMsgVO> msgProducerFactory() {
	    Map<String, Object> config = new HashMap<>();
	    config.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, servers);
	    config.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
	    config.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, JsonSerializer.class);
	    return new DefaultKafkaProducerFactory<>(config);
	}

	@Bean
	public KafkaTemplate<String, KafkaMsgVO> msgKafkaTemplate(){
		return new KafkaTemplate<String, KafkaMsgVO>(msgProducerFactory());
	}

	@Bean
	public ConsumerFactory<String, KafkaMsgVO> consumerFactory() {
        Map<String, Object> props = new HashMap<>();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, servers);
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "foo");
        return new DefaultKafkaConsumerFactory<>(props, new StringDeserializer(), new JsonDeserializer<>(KafkaMsgVO.class));
    }

    @Bean
    public ConcurrentKafkaListenerContainerFactory<String, KafkaMsgVO> kafkaListenerContainerFactory() {
        ConcurrentKafkaListenerContainerFactory<String, KafkaMsgVO> factory = new ConcurrentKafkaListenerContainerFactory<>();
        factory.setConsumerFactory(consumerFactory());
        return factory;
    }
}

KafkaConsumer 서비스

test_topic 토픽의 groupId는 foo 인 메시지를 대기하며 메시지가 발행되면 sysout 로그를 남긴다.

@Service
public class KafkaConsumer {
@KafkaListener(topics = "test_topic", groupId = "foo")
    public void consume(KafkaMsgVO vo){
        System.out.println("name = " + vo.getName());
        System.out.println("consume message = " + vo.getMsg());
    }
}

KafkaProducer 서비스

메시지큐에 메시지를 전달하는 역할

@Service
public class KafkaProducer {
    private static final String TOPIC = "test_topic";
    private final KafkaTemplate<String, KafkaMsgVO> kafkaTemplate;

    @Autowired
    public KafkaProducer(KafkaTemplate kafkaTemplate) {
	this.kafkaTemplate = kafkaTemplate;
    }

    public void sendMessage(KafkaMsgVO message) {
        System.out.println(String.format("Produce message(KafkaMsgVO) : %s", message));
        this.kafkaTemplate.send(TOPIC, message);
    }
}

KafakController

사용자가 메시지를 보내기 위한 컨트롤러를 작성

POST /kafka 를 통해 카프카에 메시지를 보내도록 하자.

@RestController
@RequestMapping(value = "/kafka")
public class KafkaController {
    private final KafkaProducer producer;

    @Autowired
    KafkaController(KafkaProducer producer) {
        this.producer = producer;
    }

    @PostMapping
    public String sendMessageJson(@RequestBody KafkaMsgVO message) {
        this.producer.sendMessage(message);
        return "success";
    }
}

테스트

먼저 kafka 서버에서 test_topic 토픽을 모니터링하자.

$ kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test_topic --from-beginning

kafka consumer

먼저 Kafka Producer로 메시지를 전달해보자.

$ kafka-console-producer.sh --broker-list localhost:9092 --topic test_topic

kafka producer

그럼 모니터링 쉘창에 전송되고 springboot console 창에도 데이터가 들어온다.

springboot consumer

다음은 직접 작성한 컨트롤러를 통해 메시지를 전달해보자.

postman kafka 메시지 전달

메시지가 카프카에 전달되면 KafkaListen 을 통해 메시지를 읽어온다.

springboot consumer

마치며

이렇게 카프카를 사용하여 메시지큐를 테스트하였다.

여기선 DefaultKafka를 건드려서 그런지 여러개의 토픽을 가져올 수 없다.

시간이 되면 다양한 topic과 group-id를 구현해보아야겠다.

[Springboot] springBoot와 springCloud 버전 맞추기

joon95 — Mon, 24 Oct 2022 17:36:13 +0900

스프링부트 application을 개발하던 중 스프링 클라우드 zipkin 을 사용하려다 에러가 발생하였다.

configurationPropertiesBeans' defined in class path resource [org/springframework/cloud/autoconfigure/ConfigurationPropertiesRebinderAutoConfiguration.class]: Post-processing of merged bean definition failed; nested exception is java.lang.IllegalStateException: Failed to introspect Class [org.springframework.cloud.context.properties.ConfigurationPropertiesBeans] from ClassLoader [jdk.internal.loader.ClassLoaders$AppClassLoader@7382f612]

뭐 이런.. Bean 등록 중 에러가 발생하였는데, 찾아보니 springboot 버전이랑 맞지 않아서 그렇다고 한다.

pom.xml에 바로 추가하고 넘어가버렸더니 빨간박스를 보지못했....

필자는 springboot 2.7.4 버전이였고,

해당버전은 springboot cloud의 2021.0.x release 이상 버전을 사용해야한다는 것이다.

참고로 2021.0.x 중 최신은 2022.10.24 기준 아래와 같다.

그래서 필자는 Sleuth 3.1.4 버전을 사용하였다.

<!-- zipkin -->
<dependency>
	<groupId>org.springframework.cloud</groupId>
	<artifactId>spring-cloud-sleuth-zipkin</artifactId>
    <version>3.1.4</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.springframework.cloud/spring-cloud-sleuth-zipkin -->
<dependency>
	<groupId>org.springframework.cloud</groupId>
	<artifactId>spring-cloud-starter-sleuth</artifactId>
    <version>3.1.4</version>
</dependency>

이 링크를 타고 가면 springboot에 맞는 springcloud 버전을 확인할 수 있다.

[DockerDesktop] access permissions 에러

joon95 — Thu, 20 Oct 2022 10:29:46 +0900

어제까지 잘 쓰고 있던 컨테이너 하나가 갑자기 안올라간다.

Error: (HTTP code 500) server error - Ports are not available: listen tcp 0.0.0.0:2181: bind: An attempt was made to access a socket in a way forbidden by its access permissions.

필자는 kafka zookeeper 를 도커컴포즈로 올려두고 사용하고 있었는데 위와 같은 에러가 계속 나고있었다..

로컬에 구축한 쿠버네티스에서 포트를 잡는건가? 하고

> netstat -an | findstr 2181

으로 찾아보았지만, 포트를 점유하고 있는 프로세스는 없었다...............

이리저리 검색하다보니 그냥 pc를 껏다키라고 .....

껏다키니 잘된다..ㅎ

도커데스크탑쓰다가 에러가 나면 그냥 껏다 켜보자.!

[DockerDesktop] kubernetes 설치 후 kubectl 안될 때

joon95 — Wed, 19 Oct 2022 15:42:34 +0900

이번에 로컬에 kubernetes를 올리고 테스트할 일이 생겨

docker desktop에서 클릭한번으로 구축되는 kubernetes를 해보았다.

근데 필자는 kubectl 명령어로 기존에 사용하던 cluster들 정보가 수두룩 하기때문에

신규 생성된 로컬 클러스터가 자동으로 바뀌지 않았다.

쿠버네티스 동작 확인

설치는 정상적으로 되어 running 상태이고,

실행 중인 docker Desktop icon 우클릭>kubernetes 항목을 통해 생성된 자격증명을 확인할 수 있었다.

kubectl config 적용

이제 저이름을 찾아서 kubectl의 context를 지정해주면 된다.

$ kubectl config get-contexts
CURRENT   NAME             CLUSTER          AUTHINFO         NAMESPACE
*         docker-desktop   docker-desktop   docker-desktop

docker-desktop이라는 컨텍스트를 지정해주자.

$ kubectl config set-context docker-desktop
Context "docker-desktop" modified.

테스트

이제 정상적으로 로컬 쿠버네티스의 자격증명으로 명령어를 날릴 수 있다.

$ kubectl get no
NAME             STATUS   ROLES                  AGE     VERSION
docker-desktop   Ready    control-plane,master   5m12s   v1.22.5

마치며

여러 kubenetes cluster를 사용하며 config들이 엄청 쌓여있었는데

이번에 docker 로 올린 쿠버네티스의 이름이 무엇인지 찾다가 알게되어 기록한다

(첨엔 local 이라는 클러스터인줄 알았음.ㅋㅋㅋ)

[성능테스트] nGrinder Script POST 해보기

joon95 — Thu, 13 Oct 2022 17:25:54 +0900

지난 포스팅에 nGrinder 설치 및 GET 테스트를 마쳤다.

이제 2가지 테스트를 해볼 건데,

로그인 시도와 로그인한 사용자만 이용할 수 있는 페이지를 요청하는 것이다.

필자가 구현해둔 application은 아래와 같다.

URL	Method	Parameter
/	POST	email, password
/user	GET	-

이제 nGrinder Script 작성을 해보자.

import static net.grinder.script.Grinder.grinder
import static org.junit.Assert.*
import static org.hamcrest.Matchers.*
import net.grinder.script.GTest
import net.grinder.script.Grinder
import net.grinder.scriptengine.groovy.junit.GrinderRunner
import net.grinder.scriptengine.groovy.junit.annotation.BeforeProcess
import net.grinder.scriptengine.groovy.junit.annotation.BeforeThread
// import static net.grinder.util.GrinderUtils.* // You can use this if you're using nGrinder after 3.2.3
import org.junit.Before
import org.junit.BeforeClass
import org.junit.Test
import org.junit.runner.RunWith

import org.ngrinder.http.HTTPRequest
import org.ngrinder.http.HTTPRequestControl
import org.ngrinder.http.HTTPResponse
import org.ngrinder.http.cookie.Cookie
import org.ngrinder.http.cookie.CookieManager

/**
* A simple example using the HTTP plugin that shows the retrieval of a single page via HTTP.
*
* This script is automatically generated by ngrinder.
*
* @author admin
*/
@RunWith(GrinderRunner)
class TestRunner {

	public static GTest test
	public static HTTPRequest request
	public static Map<String, String> headers = ["Content-Type":"application/x-www-form-urlencoded"]
	public static Map<String, Object> params = ["email":"joon95@metanet.co.kr","password":"1234"]
	public static List<Cookie> cookies = []

	@BeforeProcess
	public static void beforeProcess() {
		HTTPRequestControl.setConnectionTimeout(300000)
		test = new GTest(1, "ing-default-albingressst-af3c8-13072783-b03408722853.kr.lb.naverncp.com")
		request = new HTTPRequest()

		// Set header data
		headers.put("Content-Type", "application/x-www-form-urlencoded")
		grinder.logger.info("before process.")
	}

	@BeforeThread
	public void beforeThread() {
		test.record(this, "test")
		grinder.statistics.delayReports = true
		grinder.logger.info("before thread.")
	}

	@Before
	public void before() {
		request.setHeaders(headers)
		CookieManager.addCookies(cookies)
		grinder.logger.info("before. init headers and cookies")
	}

	@Test
	public void test() {
		HTTPResponse response = request.POST("http://ing-default-albingressst-af3c8-13072783-b03408722853.kr.lb.naverncp.com", params)

		if (response.statusCode == 301 || response.statusCode == 302) {
			grinder.logger.warn("Warning. The response may not be correct. The response code was {}.", response.statusCode)
		} else {
			assertThat(response.statusCode, is(200))
		}
		request.GET("http://ing-default-albingressst-af3c8-13072783-b03408722853.kr.lb.naverncp.com/user")
		
	}
}

기본적으로 생성되는 부분 이외에 필자가 넣은 것은

headers와 params에 데이터를 넣어준 것과

이렇게 쉽게 로그인 테스트를 진행하였다.

nGrinder Performance Test

[성능테스트] nGrinder 사용해보기

joon95 — Thu, 13 Oct 2022 16:04:41 +0900

네이버클라우드에 쿠버네티스를 구축하고 springboot pod를 올렸다.

또 클라우드 서비스에서 redis, postgresql를 올렸는데,

redis 캐시관련해서 성능테스트를 해보고 싶어져서 몇 년 전부터 듣기만했던 Ngrinder 를 비로소 경험 해보려 한다.

Java 설치

ngrinder 는 .war 파일로 java가 깔려있어야한다.

(아래 링크의 이전 포스팅을 참고하라.)

포스팅에서 설치하는 자바 버전은 jdk18 인데,

grinder는 1.8 또는 11만 지원한다고 하니 버전을 잘 선택해야 한다.

우분투 20.04.3 LTS 에 openJDK 직접 설치하기

우분투에 openjdk를 설치하려하니 잘 안되서... ppa 레포를 등록하고 패키지 찾고하면 된다하는데 자꾸 안되서 수동 설치방법을 기록한다. https://jdk.java.net/archive/ 해당 페이지에 들어가 다운할 tar.gz

flowlog.tistory.com

Ngrinder 설치

아래 링크로 이동하면 최신 버전을 확인할 수 있다.

Releases · naver/ngrinder

enterprise level performance testing solution. Contribute to naver/ngrinder development by creating an account on GitHub.

github.com

링크를 복사 한뒤 wget으로 다운

$ wget https://github.com/naver/ngrinder/releases/download/ngrinder-3.5.6-20221007/ngrinder-controller-3.5.6.war
--2022-10-13 14:22:16--  https://github.com/naver/ngrinder/releases/download/ngrinder-3.5.6-20221007/ngrinder-controller-3.5.6.war
Resolving github.com (github.com)... 20.200.245.247
Connecting to github.com (github.com)|20.200.245.247|:443... connected.
HTTP request sent, awaiting response... 302 Found
Location: https://objects.githubusercontent.com/github-production-release-asset-2e65be/4709330/2130268d-0cdc-4462-8404-277959f1f84d?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=AKIAIWNJYAX4CSVEH53A%2F20221013%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20221013T052216Z&X-Amz-Expires=300&X-Amz-Signature=6d95bc22eb8a32da4fe196a0135dc3acbb031e3a369f545e66cc356106f4ebe4&X-Amz-SignedHeaders=host&actor_id=0&key_id=0&repo_id=4709330&response-content-disposition=attachment%3B%20filename%3Dngrinder-controller-3.5.6.war&response-content-type=application%2Foctet-stream [following]
--2022-10-13 14:22:16--  https://objects.githubusercontent.com/github-production-release-asset-2e65be/4709330/2130268d-0cdc-4462-8404-277959f1f84d?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=AKIAIWNJYAX4CSVEH53A%2F20221013%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20221013T052216Z&X-Amz-Expires=300&X-Amz-Signature=6d95bc22eb8a32da4fe196a0135dc3acbb031e3a369f545e66cc356106f4ebe4&X-Amz-SignedHeaders=host&actor_id=0&key_id=0&repo_id=4709330&response-content-disposition=attachment%3B%20filename%3Dngrinder-controller-3.5.6.war&response-content-type=application%2Foctet-stream
Resolving objects.githubusercontent.com (objects.githubusercontent.com)... 185.199.109.133, 185.199.111.133, 185.199.108.133, ...
Connecting to objects.githubusercontent.com (objects.githubusercontent.com)|185.199.109.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 153953219 (147M) [application/octet-stream]
Saving to: ‘ngrinder-controller-3.5.6.war’

ngrinder-controller-3.5.6.war                      100%[==============================================================================================================>] 146.82M  7.74MB/s    in 15s

2022-10-13 14:22:32 (9.74 MB/s) - ‘ngrinder-controller-3.5.6.war’ saved [153953219/153953219]

다운이 다 되었으면 java로 기동

(--port 로 실행포트를 지정할 수 있다.)

$ java -jar ngrinder-controller-3.5.6.war --port=8300

nginder controller application run

springboot 로그가 쭉 뜨면서 기동된다.

각자 지정한 port 로 접속해보면 아래와 같은 페이지가 뜨고

최초 계정은 admin/admin 이다.

ngrinder main page

계정 패스워드 수정

우측 상단 admin>User Management 로 들어가면 기본적으로 생성된 계정이 있다.

nGrinder default User

기본적으로 패스워드는 id와 동일하게 되어있고 edit 버튼을 통해 패스워드를 변경할 수 있다.

nGrinder User Password Change

Agent 설치

이제 실제 스크립트가 실행될 agent 서버를 만들어야한다.

우측 상단 admin>Download Agent 를 누르면 agent 파일이 다운된다.

특정 서버에 agent 파일을 넣고 압축을 푼다.

$ tar -xvf ngrinder-agent-3.5.6-223.130.162.121.tar

(다운받은 에이전트 파일 뒤의 223.130.162.121 은 controller 서버의 ip이다.)

필자는 네이버클라우드 안에 있는 서버임으로 private ip 통신을 해야하기 때문에 controller 서버 ip를 수정해야된다.

config 파일은 .ngrinder_agent 폴더 안에 있다.(기존 host정보를 주석처리하고 private ip 로 지정함)

$ vi ~/.ngrinder_agent/agent.conf

#agent.controller_host=223.130.162.121
agent.controller_host=10.160.227.6

이제 agent 를 실행해보자.

참고로 agent 는 JAVA_HOME 환경변수를 통해 실행된다.

export JAVA_HOME=자바설치경로/bin

$ ~/ngrinder-agent/run_agent.sh
2022-10-13 14:59:39,970 INFO  agent config: NGRINDER_AGENT_HOME : /root/.ngrinder_agent
2022-10-13 14:59:40,233 INFO  starter: ***************************************************
2022-10-13 14:59:40,233 INFO  starter:    Start nGrinder Agent ...
2022-10-13 14:59:40,234 INFO  starter: ***************************************************
2022-10-13 14:59:40,234 INFO  starter: JVM server mode is disabled.
2022-10-13 14:59:40,249 INFO  starter: connecting to controller 10.160.227.6:16001
2022-10-13 14:59:40,273 INFO  agent controller daemon: The agent controller daemon is started.
2022-10-13 14:59:40,337 INFO  agent controller: Connected to agent controller server at /10.160.227.6:16001
2022-10-13 14:59:40,337 INFO  agent controller: Waiting for agent controller server signal

이제 우측상단>Agent Management 페이지로 들어가면 활성화된 agent가 목록에 뜬다.

nGrinder Agent Management

Test Script 작성

이제 상단메뉴의 Script를 눌러 생성해보자.

기본적으로 GET 방식으로 입력한 url 을 호출하는 스크립트가 생긴다.

Validate 버튼을 눌러 테스트할 수 있다.

스크립트 실행시 아래와 같은 에러가 발생한다면,

java 버전이 1.8 or 11 인지 확인하여야한다.(JAVA_HOME 환경변수 기준)

2022-10-13 15:07:16,788 ERROR worker-bootstrap: Error initialising worker process
net.grinder.engine.common.EngineException: Setting of Local DNS provider failed
        at net.grinder.engine.process.GrinderProcess.<init>(GrinderProcess.java:154)
        at net.grinder.engine.process.WorkerProcessEntryPoint.run(WorkerProcessEntryPoint.java:78)
        at net.grinder.engine.process.WorkerProcessEntryPoint.main(WorkerProcessEntryPoint.java:60)
Caused by: java.lang.ClassNotFoundException: sun.net.spi.nameservice.NameService
        at java.base/jdk.internal.loader.BuiltinClassLoader.loadClass(BuiltinClassLoader.java:641)
        at java.base/jdk.internal.loader.ClassLoaders$AppClassLoader.loadClass(ClassLoaders.java:188)
        at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:521)
        at java.base/java.lang.Class.forName0(Native Method)
        at java.base/java.lang.Class.forName(Class.java:383)
        at java.base/java.lang.Class.forName(Class.java:376)
        at org.ngrinder.dns.NameServiceProxy.set(NameServiceProxy.java:59)
        at net.grinder.engine.process.GrinderProcess.<init>(GrinderProcess.java:151)
        ... 2 common frames omitted

Test Plan 설정 및 시작

이제 위에서 작성한 스크립트를 어떤 role 로 실행할지 정해야한다.

상단 메뉴 Performance Test>Create Test

테스트이름, Agent 는 실제 기동중인 agent 대수 만큼만 선택가능, 작성한 script 선택.

가상유저를 몇개 할지, Duration(테스트 진행 시간) 등을 설정한 후 Save and Start 하면된다.

nGrinder Performance Test Report

테스트가 끝나면 Report 페이지가 뜬다.

마무리.

이렇게 nGrinder 를 사용하여 셋팅부터 호출까지 진행해 보았다.

이제 회원가입, 로그인 script를 구현하여 테스트를 진행할 것이다.

[OpenJDK] 우분투 20.04.3 LTS 에 openJDK 직접 설치하기

joon95 — Thu, 13 Oct 2022 14:21:25 +0900

우분투에 openjdk를 설치하려하니 잘 안되서...

ppa 레포를 등록하고 패키지 찾고하면 된다하는데

자꾸 안되서 수동 설치방법을 기록한다.

https://jdk.java.net/archive/

해당 페이지에 들어가 다운할 tar.gz의 링크를 복사

서버에서 wget을 통해 파일을 다운

$ wget https://download.java.net/java/GA/jdk18.0.2/f6ad4b4450fd4d298113270ec84f30ee/9/GPL/openjdk-18.0.2_linux-x64_bin.tar.gz
--2022-10-13 14:04:39--  https://download.java.net/java/GA/jdk18.0.2/f6ad4b4450fd4d298113270ec84f30ee/9/GPL/openjdk-18.0.2_linux-x64_bin.tar.gz
Resolving download.java.net (download.java.net)... 23.219.68.76
Connecting to download.java.net (download.java.net)|23.219.68.76|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 188255633 (180M) [application/x-gzip]
Saving to: ‘openjdk-18.0.2_linux-x64_bin.tar.gz’

openjdk-18.0.2_linux-x64_bin.tar.gz                100%[==============================================================================================================>] 179.53M  69.4MB/s    in 2.6s

2022-10-13 14:04:42 (69.4 MB/s) - ‘openjdk-18.0.2_linux-x64_bin.tar.gz’ saved [188255633/188255633]

압축을 푼다

$ tar -xvf openjdk-18.0.2_linux-x64_bin.tar.gz

jdk-18.0.2 이라는 폴더명으로 풀렸다.

적당한 곳에 파일을 위치하고 환경변수 PATH에 경로를 추가해주면 끝

(필자는 귀찮아서 /root/jdk-18.0.2 에 위치하고 있음)

home directory 에 있는 .bash_profile 을 열고 PATH 변수에 경로설정을 했다.

$ vim ~/.bash_profile
export PATH=$PATH:$HOME/jdk-18.0.2/bin

이제 터미널창을 껏다 키거나 source 명령어를 돌려주면 적용된다.

$ source ~/.bash_profile

java 버전보기

$ java --version
openjdk 18.0.2 2022-07-19
OpenJDK Runtime Environment (build 18.0.2+9-61)
OpenJDK 64-Bit Server VM (build 18.0.2+9-61, mixed mode, sharing)

끝.

이제 Ngrinder로 성능테스트를 해 볼 예정이다.

[PostgreSql] Error: SCRAM authentication requires libpq version 10 or above

joon95 — Thu, 13 Oct 2022 13:08:42 +0900

네이버 클라우드에 postgresql 서비스를 올리고

ubuntu VM에서 postgres-client 패키지를 다운한뒤 원격 접근하려하니 에러가 발생하였다.

에러

psql: SCRAM authentication requires libpq version 10 or above

root@bastion:~# psql -h pg-ceq8g.vpc-cdb-kr.ntruss.com -U mydata -d mydb -W
Password for user mydata:
psql: SCRAM authentication requires libpq version 10 or above

원인

원인은 간단하다.

접근하려는 클라이언트의 psql 버전이 낮아서 그렇다.

그래서 postgresql에 접근하는 명령어인 psql 이 들어있는 postgres-client 패키지의 버전을 올리면 된다.

postgresql-client-11 설치

$ apt install -y curl ca-certificates gnupg
$ curl https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add -
$ sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/postgresql.list' 
$ apt update -y
$ apt install -y postgresql-client-11

확인

이제 정상적으로 원격 접속이 가능했다.

root@bastion:~# psql -h pg-ceq8g.vpc-cdb-kr.ntruss.com -U mydata -d mydb -W
Password:
psql (11.17 (Ubuntu 11.17-1.pgdg20.04+1), server 13.3)
WARNING: psql major version 11, server major version 13.
         Some psql features might not work.
Type "help" for help.

mydb=>

참고자료

How to Upgrade PostgreSQL Client from version 10 to version 11 on Ubuntu 18.04

Upgrade PostgreSQL-Client of Ubuntu 18.04 from default version 10 to version 11.

medium.com

[GIT] 불필요한 파일 업로드 제한하기

joon95 — Thu, 13 Oct 2022 11:16:09 +0900

지난 spring 멀티 모듈프로젝트 구성 후 이것저것 테스트를 하다가

target 폴더 제한하는 방법을 기록해두려한다.

뭐 이미 알고 있듯이 .gitignore 파일을 작성하면 된다.

추가로 이미 업로드 된 상태라면 git rm -r --cache [폴더]로 지운 뒤 push 해주면 된다.

.gitignore 파일 작성

git clone 후 최상단 경로에 작성해야 한다.

# ignore properties file
test/core/target
test/market/target
test/target/

.metadata
test/.settings
test/core/.settings
test/market/.settings

적당히 target 과 .settings / .metadata 폴더를 제외시켰다.

참고로 필자의 폴더구조는 아래와 같다.(window cmd 명령어)

> tree | findstr /v /r /c:"^........│" /c:"^│....... "

└─test
    ├─.settings
    ├─core
    │  ├─.settings
    │  ├─src
    │  └─target
    │      ├─classes
    │      │  ├─com
    │      │  │  └─joon95
    │      │  │      └─test
    │      │  │          └─core
    │      │  │              ├─controller
    │      │  │              ├─monster
    │      │  │              ├─repository
    │      │  │              ├─service
    │      │  │              └─vo
    │      │  ├─META-INF
    │      │  │  └─maven
    │      │  │      └─org.springframework.boot
    │      │  │          └─core
    │      │  └─static
    │      │      ├─css
    │      │      └─html
    │      ├─generated-sources
    │      │  └─annotations
    │      ├─generated-test-sources
    │      │  └─test-annotations
    │      └─test-classes
    ├─market
    │  ├─.settings
    │  ├─src
    │  └─target
    │      ├─classes
    │      │  ├─com
    │      │  │  └─joon95
    │      │  │      └─test
    │      │  │          └─market
    │      │  │              └─stage
    │      │  └─META-INF
    │      │      └─maven
    │      │          └─com.joon95
    │      │              └─market
    │      ├─generated-sources
    │      │  └─annotations
    │      ├─generated-test-sources
    │      │  └─test-annotations
    │      └─test-classes
    └─target
        └─classes
            └─META-INF
                └─maven
                    └─com.joon95
                        └─test

기존 업로드된 폴더 제거

필자는 이미 target 폴더 외 모든 폴더를 commit & push 해놓았다.

이 상태로는 .gitignore 파일이 생겨도 기존 폴더를 삭제하지 않는다.

그래서 git cache를 날려 폴더나 파일을 삭제해야한다.

필자는 1번에 모든 폴더를 날려버리고 진행했다.

$ git rm -r --cached .

rm '.gitignore'
rm 'README.md'
rm 'test/.classpath'
rm 'test/.gitignore'
rm 'test/.project'
rm 'test/.settings/org.eclipse.core.resources.prefs'
rm 'test/.settings/org.eclipse.jdt.apt.core.prefs'
rm 'test/.settings/org.eclipse.jdt.core.prefs'
rm 'test/.settings/org.eclipse.m2e.core.prefs'
rm 'test/core/.classpath'
rm 'test/core/.project'
rm 'test/core/.settings/org.eclipse.core.resources.prefs'
rm 'test/core/.settings/org.eclipse.jdt.apt.core.prefs'
rm 'test/core/.settings/org.eclipse.jdt.core.prefs'
rm 'test/core/.settings/org.eclipse.m2e.core.prefs'
rm 'test/core/.settings/org.springframework.ide.eclipse.prefs'
rm 'test/core/Dockerfile'
rm 'test/core/pom.xml'
rm 'test/core/src/main/java/com/joon95/test/core/Application.java'
rm 'test/core/src/main/java/com/joon95/test/core/AuthInterceptor.java'
rm 'test/core/src/main/java/com/joon95/test/core/RedisConfig'
rm 'test/core/src/main/java/com/joon95/test/core/SpringSecurity.java'
rm 'test/core/src/main/java/com/joon95/test/core/WebMvcConfig.java'
rm 'test/core/src/main/java/com/joon95/test/core/controller/UserController.java'
rm 'test/core/src/main/java/com/joon95/test/core/monster/MonsterController.java'
rm 'test/core/src/main/java/com/joon95/test/core/repository/UserRepository.java'
rm 'test/core/src/main/java/com/joon95/test/core/service/UserService.java'
rm 'test/core/src/main/java/com/joon95/test/core/vo/Sample.java'
rm 'test/core/src/main/java/com/joon95/test/core/vo/User.java'
rm 'test/core/src/main/resources/application-local.properties'
rm 'test/core/src/main/resources/application-master.properties'
rm 'test/core/src/main/resources/application.properties'
rm 'test/core/src/main/resources/static/css/bootstrap.min.css'
rm 'test/core/src/main/resources/static/css/style.css'
rm 'test/core/src/main/resources/static/html/add.html'
rm 'test/core/src/main/resources/static/html/item.html'
rm 'test/core/src/main/resources/static/html/items.html'
rm 'test/core/src/main/resources/static/index.html'
rm 'test/core/target/classes/META-INF/MANIFEST.MF'
rm 'test/core/target/classes/META-INF/maven/com.joon95/core/pom.properties'
rm 'test/core/target/classes/META-INF/maven/com.joon95/core/pom.xml'
rm 'test/core/target/classes/application-local.properties'
rm 'test/core/target/classes/application.properties'
rm 'test/core/target/classes/com/joon95/test/core/Application.class'
rm 'test/core/target/classes/com/joon95/test/core/AuthInterceptor.class'
rm 'test/core/target/classes/com/joon95/test/core/SpringSecurity.class'
rm 'test/core/target/classes/com/joon95/test/core/WebMvcConfig.class'
rm 'test/core/target/classes/com/joon95/test/core/controller/UserController.class'
rm 'test/core/target/classes/com/joon95/test/core/monster/MonsterController.class'
rm 'test/core/target/classes/com/joon95/test/core/repository/UserRepository.class'
rm 'test/core/target/classes/com/joon95/test/core/service/UserService.class'
rm 'test/core/target/classes/com/joon95/test/core/vo/Sample.class'
rm 'test/core/target/classes/com/joon95/test/core/vo/User.class'
rm 'test/core/target/classes/static/css/bootstrap.min.css'
rm 'test/core/target/classes/static/css/style.css'
rm 'test/core/target/classes/static/html/add.html'
rm 'test/core/target/classes/static/html/item.html'
rm 'test/core/target/classes/static/html/items.html'
rm 'test/core/target/classes/static/index.html'
rm 'test/core/target/core-0.0.1-SNAPSHOT.jar'
rm 'test/core/target/core-0.0.1-SNAPSHOT.jar.original'
rm 'test/core/target/maven-archiver/pom.properties'
rm 'test/core/target/maven-status/maven-compiler-plugin/compile/default-compile/createdFiles.lst'
rm 'test/core/target/maven-status/maven-compiler-plugin/compile/default-compile/inputFiles.lst'
rm 'test/core/target/maven-status/maven-compiler-plugin/testCompile/default-testCompile/createdFiles.lst'
rm 'test/core/target/maven-status/maven-compiler-plugin/testCompile/default-testCompile/inputFiles.lst'
rm 'test/market/.classpath'
rm 'test/market/.project'
rm 'test/market/.settings/org.eclipse.core.resources.prefs'
rm 'test/market/.settings/org.eclipse.jdt.apt.core.prefs'
rm 'test/market/.settings/org.eclipse.jdt.core.prefs'
rm 'test/market/.settings/org.eclipse.m2e.core.prefs'
rm 'test/market/.settings/org.springframework.ide.eclipse.prefs'
rm 'test/market/pom.xml'
rm 'test/market/src/main/java/com/joon95/test/market/Application.java'
rm 'test/market/src/main/java/com/joon95/test/market/stage/StageController.java'
rm 'test/market/src/main/resources/application.properties'
rm 'test/market/target/classes/META-INF/MANIFEST.MF'
rm 'test/market/target/classes/META-INF/maven/com.joon95/market/pom.properties'
rm 'test/market/target/classes/META-INF/maven/com.joon95/market/pom.xml'
rm 'test/market/target/classes/application.properties'
rm 'test/market/target/classes/com/joon95/test/market/Application.class'
rm 'test/market/target/classes/com/joon95/test/market/stage/StageController.class'
rm 'test/pom.xml'
rm 'test/target/classes/META-INF/MANIFEST.MF'
rm 'test/target/classes/META-INF/maven/com.joon95/test/pom.properties'
rm 'test/target/classes/META-INF/maven/com.joon95/test/pom.xml'

물론 . 을 쓰지않고 파일명이나 폴더명을 입력해서 삭제할 수 있다.

삭제가 되었으면 add & commit & push 하자.

$ git add .
$ git commit -m "ignore 파일제외 적용"
$ git push

필자는 네이버클라우드의 git인 SourceCommit 에서 테스트중이다.

ncp SourceCommit (Git)

이제 깔끔하게 지워진 레포지토리를 구경할 수 있다.

[Eclipse] Lombok 적용하기

joon95 — Fri, 7 Oct 2022 13:07:03 +0900

한번 세팅하면 까먹는 Lombok 설치방법..!

먼저 Lombok 설치파일을 다운하자.

https://projectlombok.org/download

설치파일은 eclipse나 sts 설치폴더로 이동 시킨 뒤 cmd 창에서 실행시킨다.

java -jar lombok.jar

lombok.jar 실행

약간의 로딩시간을 기다리면 자동으로 IDEs가 잡힌다.

lombok install

만약 안잡히면 Specify location... 버튼을 클릭해 직접 eclipse 나 sts 실행파일을 지정해주면된다.

sts(eclipse) exe 파일 선택

Install / Update 버튼을 클릭해주자.

lombok install successful

설치가 완료되었고 quit installer 로 종료하자.

다음은 pom.xml 에 lombok 디펜던시를 추가하자.

내용은 아까 다운로드받은 site에서 install 메뉴를 선택한뒤 각자에 맞는 것을 클릭하면 나온다.

lombok global navigation menu

<dependency>
	<groupId>org.projectlombok</groupId>
	<artifactId>lombok</artifactId>
	<version>1.18.24</version>
	<scope>provided</scope>
</dependency>

이제 alt+F5 로 maven update를 진행하면

lombok import

lombok 라이브러리를 사용할 수 있게 되었다.

[유전자분석] IGV 라이브러리 사용하기

joon95 — Thu, 6 Oct 2022 15:10:23 +0900

지난 번에 유전자 분석을 위한 bam 파일에 대해 공부했었다.(자세한건 아래 링크참고)

유전자 분석을 위한 bam 파일

프로젝트에서 유전자 분석을 위한 IGV(Integrative Genomics Viewer) 사용을 해봤다. IGV란 유전체 데이터셋을 시각화 해주는 그래픽 기반 프로그램으로 오픈소스이다. igv 사이트에 들어가면 자바스크립

flowlog.tistory.com

여기서 유전자를 분석하기 위해 IGV(Integrative Genomics Viewer) 툴을 잠시 보았는데,

자바스크립트로 IGV 라이브러리를 활용해보았다.

간단히 부트스트랩 css를 적용하였고, 멀티분석을 위한 track을 추가하는 기능까지 넣어보았다.

테스트를 위한 bam 파일은 url 방식으로 호출한다.

기능구현

먼저 페이지를 열어보면 아래와 같은 화면이 뜨도록 구현하였다.

GENOME 은 분석 기초데이터, locus는 분석 후 그래프의 이동할 위치정보를 넣어주면된다.

페이지 로드

아래 track 추가하기 버튼을 추가하여 track을 추가할 수 있다.

track 추가하기

분석하기 버튼을 누르면 tracks 에 입력된 데이터를 class 기준으로 불러와 데이터를 가공하여

igv-div 라는 div id 안에 그래프를 그려준다.

유전자 분석 그래프 IGV

소스코드

필자가 작성한 소스코드이다.

<html>
  <head>
    <meta name="viewport" content="width=device-width, initial-scale=1" />
    <!-- 부트스트랩 -->
    <link
      href="https://cdn.jsdelivr.net/npm/bootstrap@5.2.2/dist/css/bootstrap.min.css"
      rel="stylesheet"
      integrity="sha384-Zenh87qX5JnK2Jl0vWa8Ck2rdkQ2Bzep5IDxbcnCeuOxjzrPF/et3URy9Bv1WTRi"
      crossorigin="anonymous"
    />
    <script
      src="https://cdn.jsdelivr.net/npm/bootstrap@5.2.2/dist/js/bootstrap.bundle.min.js"
      integrity="sha384-OERcA2EqjJCMA+/3y+gxIOqMEjwtxJY7qPCqsdltbNJuaOe923+mo//f6V8Qbsw3"
      crossorigin="anonymous"
    ></script>
    <title>IGV 유전자 분석 테스트 - joon95</title>
    <!-- igv 라이브러리 -->
    <script src="https://cdn.jsdelivr.net/npm/igv@2.13.3/dist/igv.min.js"></script>
    <script>
      function load_tracks() {
        var tracksNames = document.getElementsByName("in_name");
        var tracksUrls = document.getElementsByName("in_url");
        var tracksIndexUrls = document.getElementsByName("in_indexURL");
        var tracksFormats = document.getElementsByName("in_format");
        var res = [];
        var obj = {};
        for (var i = 0; i < tracksNames.length; i++) {
          obj = {
            name: tracksNames[i].value,
            url: tracksUrls[i].value,
            indexURL: tracksIndexUrls[i].value,
            format: tracksFormats[i].value,
          };
          res.push(obj);
        }
        return res;
      }
      function add_track() {
        var content =
          "<div class='col-sm-3 mb-3'>" +
          "<div><span class='input-group-text'>tracks</span>" +
          "<ul class='list-group'>" +
          "<li class='list-group-item'>Name :<input type='text'id='in_name'name='in_name'value=''class='form-control'/></li>" +
          "<li class='list-group-item'>url :<input class='form-control'type='text'id='in_url'name='in_url'value=''/></li>" +
          "<li class='list-group-item'>indexURL :<input class='form-control'type='text'id='in_indexURL'name='in_indexURL'value=''/></li>" +
          "<li class='list-group-item'>Format :<input type='text'id='in_format'name='in_format'value=''class='form-control'/></li>" +
          "</ul></div></div>";
        var trackAria = document.getElementById("tracks");
        trackAria.insertAdjacentHTML("beforeend", content);
      }
      function igv_start() {
        var igvDiv = document.getElementById("igv-div");
        // input value
        var IGVgenome = document.getElementById("in_genome").value;
        var IGVlocus = document.getElementById("in_locus").value;

        var tracks_content = load_tracks();
        var options = {
          genome: IGVgenome,
          locus: IGVlocus,
          tracks: tracks_content,
        };
        igv.createBrowser(igvDiv, options).then(function (browser) {
          console.log("Created IGV browser");
        });
      }
    </script>
  </head>
  <body style="margin: 25px">
    <figure class="text-center">
      <blockquote class="blockquote">
        <p>유전자 분석 IGV 라이브러리 테스트</p>
      </blockquote>
      <figcaption class="blockquote-footer">
        joon95.tistory.com <cite title="Source Title">joon95</cite>
      </figcaption>
    </figure>
    <form>
      <div class="input-group mb-3">
        <span class="input-group-text">GENOME</span>
        <input
          type="text"
          id="in_genome"
          name="in_genome"
          class="form-control"
        />
      </div>
      <div class="input-group mb-3">
        <span class="input-group-text">locus</span>
        <input
          type="text"
          id="in_locus"
          name="in_locus"
          class="form-control"
        />
      </div>
      <div class="row" id="tracks"></div>
      <div class="input-group mb-3">
        <input
          type="button"
          class="btn btn-primary"
          value="분석하기"
          onclick="igv_start();"
        />
        <input
          type="button"
          class="btn btn-Secondary"
          value="track 추가하기"
          onclick="add_track();"
        />
      </div>
    </form>
    <!-- 그래프 영역 -->
    <div id="igv-div"></div>
  </body>
</html>

함수는 igv_start(), add_track(), load_tracks() 총 3개로 구성하여

각각 IGV라이브러리 호출, 트랙 추가, 트랙데이터를 가공하는 기능을 구현하였다.

파일 호스팅 서버

테스트 데이터는 amazon s3 버킷에 업로드된 파일을 불러온다.

필자는 nginx를 올려 내 pc의 파일을 호스팅해 가져오게 하고 싶다.

이 부분에서 자꾸 에러가 떠서 보았는데, CORS 에러가 뜨고있었다.!!!

proxy에 CORS 설정을 해주자.

간단히 /igv 경로로 들어올 경우 해당 경로의 파일을 보여주도록 함.

nginx 설정

server {
    listen       80;
    server_name localhost;
    location /igv {
        alias C:\openresty-1.21.4.1-win64\html\igv;
        autoindex on;
        add_header 'Access-Control-Allow-Origin' '*';
    }
 }

nginx 를 기동하고 파일을 경로에 업로드하면 아래와 같이 확인할 수 있다.

nginx 파일 호스팅

이제 위에서만든 소스코드로 파일을 불러와보자.

igv 데이터 입력

igv 데이터 분석

이렇게 파일을 잘 불러올 수 있었다.

추가로 클라우드에서 Cors 설정을 어떻게 하는지 확인해보자

Azure storageaccount

Azure 도 stroage account explorer 프로그램에서 지정가능하고,

REST API, AzureCli 등 많은 방식이 존재한다.

필자는 Azure CLI를 통해 진행하였다.

$ az login
$ accountName=서비스어카운트네임
$ accountKey=서비스어카운트키

# cors 추가
$ az storage cors add '
	--methods GET '
	--origins * '
	--services f '
	--allowed-headers * '
	--account-name accountName '
	--account-key accountKey

# cors 목록
$ az storage cors list `
	--services f `
	--account-name accountName '
	--account-key accountKey

# cors 전체삭제
$ az storage cors clear `
	--services f `
	--account-name accountName '
	--account-key accountKey

참고로 --services 는 4개이다.

b : Blob

f : File

q : Queue

t : Table

AWS s3

아마존에서는 S3 버킷에 들어간다.

상단 탭바 중 '권한' 에 들어간다.

맨 밑으로 스크롤 한뒤 CORS 항목에서 [편집] 버튼을 클릭한다.

json 형식으로 설정을 기입한다.(소스 아래 첨부)

[
    {
        "AllowedHeaders": [
            "*"
        ],
        "AllowedMethods": [
            "HEAD",
            "GET",
            "PUT",
            "POST",
            "DELETE"
        ],
        "AllowedOrigins": [
            "*"
        ],
        "ExposeHeaders": [
            "ETag",
            "x-amz-meta-custom-header"
        ]
    }
]

이것으로 해당 버킷의 CORS 설정이 끝났다.

NCP object storage

ncp 의 오브젝트스토리지는 aws의 s3와 동일하다고 한다.

그래서 awscli 를 설치해서 설정하는 것도 가능하다.

오늘은 S3 Browser 라는 프로그램을 이용하여 등록해보자.(다운로드링크)

https://s3browser.com/download.aspx

프로그램을 실행하면 접속할 서버를 지정하는데,

Account type은 S3 Compatible Storage 로 하고

네이버 클라우드의 API key를 입력해야한다.

그리고 Rest Endpoint 는 kr.object.ncloudstorage.com 를 입력.

정상적으로 등록되었다면 생성한 버킷들이 보인다.

이제 cors 설정을 등록해보자

상단메뉴 Buckets>CORS Configuration... 클릭

S3 Browser 에서 CORS 설정 메뉴

AWS CORS 적용시 사용했던 json 을 그대로 넣었더니 json은 안된다고 떴다.

그래서 XML 포맷을 작성하여 넣었다.

CORS XML 설정

이렇게 해서 NCP 쪽 오브젝트스토리지도 cors 설정이 되었다.

마치며.

오랜만에 자바스크립트를 썼는데, 간단히 놀기는 편했다.ㅋㅋ

하다가 잘 안되던건 DOM에 태그를 삽입할 경우 .insertAdjacentHTML 태그를 써야하는것과

자바스크립트에서 사전식 데이터 형태를 컨트롤하는게 익숙하지 않아 헷갈렸다.

오랜만에 코딩한거 치곤 나는 만족하나.. 또 다른 생각이 있다면 댓글 부탁드립니다.

[Springboot] Maven 멀티 모듈 프로젝트 만들기(Eclipse)

joon95 — Tue, 4 Oct 2022 16:02:15 +0900

이제는 쿠버네티스 서비스가 주로 이루면서, 마이크로서비스아키텍처 서비스개발이 많이 진행되어가고 있다.

spring 에서도 gateway, discovery, config 등 cloud 서비스를 구축하는데에 필요한 데모프로젝트들이 많이 있는데,

오늘은 Maven 멀티 모듈 프로젝트를 구성을 포스팅한다.

Maven Project 생성

가장 먼저 Eclipse 를 키고 New>Maven Project 를 선택한다.

Eclipse Project 생성 창

상위 프로젝트
프로젝트 타입	Maven Project
프로젝트 이름	test
패키지 이름	com.joon95.test

Maven Module 생성

이제 1에서 생성한 project를 우클릭>New>Other Maven Module을 생성한다.

테스트로 core, market 프로젝트를 만들었다.

하위 프로젝트
프로젝트 타입	Maven Module	프로젝트 타입	Maven Module
프로젝트 이름	core	프로젝트 이름	market
패키지 이름	com.joon95.test.core	패키지 이름	com.joon95.test.market

생성된 Maven 폴더 구조를 보자.

Project Explorer View

Package Explorer View

그동안 멀티모듈 프로젝트에 익숙치 않아서 Package Explorer View만 보았는데,

Project Explorer View로 보니 확실히 모듈단위가 나뉘어져서 보기 좋았다.

Spring boot 세팅

Maven Project (test)

이제 spring starter 모듈을 어디에서 가져올까 했는데,

Maven Module 프로젝트는 pom.xml에 parent 태그가 자동으로 지정되어 있어서

pom.xml parent tag

상위 프로젝트인 'test'에 현날짜기준 가장 최신의 spring-boot-starter-parent 라이브러리를 가져오게했다.

Maven Repository

test 프로젝트의 pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.joon95</groupId>
  <artifactId>test</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <name>multi-proj</name>
  <packaging>pom</packaging>
  <modules>
    <module>core</module>
    <module>market</module>
  </modules>
  <parent>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-parent</artifactId>
    <version>2.7.4</version>
  </parent>
</project>

Maven Module (core)

먼저 공통 모듈로 사용할 core 프로젝트먼저 세팅해보자.

pom.xml 에 8080 port 를 listen 할 spring-boot-starter-web 을 넣어주고,

빌드 플러그인을 maven 으로 세팅해줬다.

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <parent>
    <groupId>com.joon95</groupId>
    <artifactId>test</artifactId>
    <version>0.0.1-SNAPSHOT</version>
  </parent>
  <artifactId>core</artifactId>
  <name>core-proj</name>
  <properties>
    <java.version>11</java.version>
  </properties>

  <dependencies>
    <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
  </dependencies>
  <build>
    <plugins>
      <plugin>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-maven-plugin</artifactId>
        <configuration>
          <excludes>
            <exclude>
              <groupId>org.projectlombok</groupId>
              <artifactId>lombok</artifactId>
            </exclude>
          </excludes>
        </configuration>
      </plugin>
    </plugins>
  </build>
</project>

(Alt+F5 로 Maven Build)

그리고, SpringBoot를 실행시킬 Main Java를 생성해야한다.

먼저 패키지가 없으니 생성해주자.

src/main/java 마우스 우클릭>New>Package

Package 생성

패키지이름은 com.joon95.test.core 로 만들었다.

이제 Class를 만들어주자.

생성한 패키지 마우스 우클릭>New>Class

Class 생성

통상 자동으로 생성되는 이름인 Application 로 만들었다.

내용은 그냥 SpringBootApplication 어노테이션을 붙여주어 스프링이 기동되게 한다.

package com.joon95.test.core;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class Application {
    public static void main(String[] args) {
        SpringApplication.run(Application.class, args);
    }
}

여기까지 잘 따라 왔다면 springboot를 실행시켜보자.

springboot run

springboot 로그

정상적으로 기동되었다면 8080 포트가 열리고, 접근할 수 있다.

간단하게 실행포트와 로그 수준을 바꿔보았다.

src/main/resources/application.properties

logging.level.root = DEBUG
server.port = 8081

이제 타 프로젝트에서 실행할 수 있는 컨트롤러를 간단히 생성해보자.

패키지명 : com.joon95.test.core.monster

클래스명 : MonsterController

package com.joon95.test.core.monster;

import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

@RestController
public class MonsterController {
	
	@GetMapping("/test")
	public String newLog(@RequestParam String param) {
		System.out.println("===========core프로젝트의 method 호출========");
		System.out.println("newLog : " + param);
		System.out.println("=========================================");
		return "파라메타는 " + param;
	}
}

호출해보기

생성한 MonsterController를 타 프로젝트(market)에서 사용할 것이다.

Maven Module (market)

core 모듈 .jar 추출

제일 먼저 core 모듈 사용을 위해 빌드를 돌려 .jar 파일로 만들어 주자.

core 프로젝트 우클릭>Run As>Maven build

Goals : clean package

(기존 빌드내용을 지우고 새로 패키징하라는 의미)

만약 아래처럼 build error 가 난다면

필자의 경우엔 OpenJDK Platform binary 라는 process를 꺼주니 되었다.

(이전 build 로 만들어진 .jar를 삭제하려니 사용중이라고 해서 찾아냄)

빌드가 되었으면, core 프로젝트의 target 폴더 안에 빌드가 완료된 .jar 파일이 생성된다.

이제 이 파일을 가지고 다른 maven 프로젝트에서 사용할 수 있다.

market 프로젝트 설정

core 프로젝트 설정처럼 pom.xml을 작성한 뒤,

추출한 .jar 를 가져올 수 있도록 설정해줘야 한다.

market 프로젝트 우클릭>Build Path>Configure Build Path

classpath 클릭>Add External JARs...

이렇게 하면 노란색 하이라이팅 처리한 부분이 생긴다.

이제 pom.xml 에서 해당 라이브러리를 디펜던시 추가를 해주면 이용할 수 있다.

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <parent>
    <groupId>com.joon95</groupId>
    <artifactId>test</artifactId>
    <version>0.0.1-SNAPSHOT</version>
  </parent>
  <artifactId>market</artifactId>
  <properties>
    <java.version>11</java.version>
  </properties>
  <!--
  <repositories>
    <repository>
      <id>local-joon95</id>
      <name>local my repos</name>
      <url>file://C:\sts-workspace\test\core\target</url>
    </repository>
  </repositories>
  -->
  <dependencies>
    <dependency>
      <groupId>com.joon95.test</groupId>
      <artifactId>core</artifactId>
      <version>0.0.1-SNAPSHOT</version>
    </dependency>
    <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
  </dependencies>  
  <build>
    <plugins>
      <plugin>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-maven-plugin</artifactId>
        <configuration>
          <excludes>
            <exclude>
              <groupId>org.projectlombok</groupId>
              <artifactId>lombok</artifactId>
            </exclude>
          </excludes>
        </configuration>
      </plugin>
    </plugins>
  </build>
</project>

pom 설정이 되었다면 core 프로젝트처럼 Application.java 클래스를 생성해주자.

이제 컨트롤러를 하나 만들어서 core에서 만들어둔 메소드를 실행시켜보자.

패키지명 : com.joon95.test.market.stage

클래스명: StageController

package com.joon95.test.market.stage;

import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import com.joon95.test.core.monster.MonsterController;

@RestController
public class StageController {
	
	@GetMapping("/stage1")
	public String stage1(@RequestParam String param) {
		MonsterController monsterController = new MonsterController();
		monsterController.newLog(param);
		return "market프로젝트 " + param;
	}
}

이제 market 프로젝트를 run 시키면, core에서 작성한 MonsterController가 작동하는 것을 볼 수 있다.

오버라이딩 등등 수많은 액션을 취할 수 있으니 역시 개발 최고.

마치며.

멀티모듈 프로젝트를 이해해보려 쭉 진행해보았다....

뭐... 공통이 되는 모듈에 더 많은 사항을 테스트 해보며 더 알아가려한다.

예를 들면 mysql, postgresql 등 커넥터를 core에서 만들어두고

core를 가져가 사용할 때 불필요한 패키지는 exclude 하는 것이다.

[Openresty] x-forwarded-for 설정하기

joon95 — Fri, 30 Sep 2022 10:50:42 +0900

x-forwarded-for 는 백엔드서버가 접근하는데 클라이언트의 ip를 체크하기 위해서 사용한다.

다양한 네트워크 구간이 존재하기 때문에 proxy 서버에서 x-forwarded-for 설정이 없다면

백엔드서버의 바로 앞단에 있던 proxy 서버의 ip를 가지고 있는다.

테스트 환경

openresty 서버를 2개를 두어 proxy pass 시 x-forwarded-for ip를 로그로 찍으며 테스트한 걸 기록하려한다.

테스트 VM	Public IP	Private IP
호출서버	223.130.162.121
proxy 1번	175.45.193.85	10.160.227.8
proxy 2번	175.106.97.177	10.160.227.9

시나리오는 아래와 같다.

1. 호출서버에서 proxy 1번 호출(http)

2. proxy 1번서버는 proxy2번서버로 proxy pass

3. proxy 2번서버는 proxy1번서버 81포트로 proxy_pass, 헤더값을 none 으로 치환

4. proxy 1번서버의 81포트는 index.html 페이지 return

proxy pass로 흘려주고, 중간에 헤더값을 강제로 치환시키며 log를 분석한다.

nginx.conf 수정

proxy 1번서버

간단히 80, 81 포트를 열고

proxy pass 는 Proxy 2번의 Private IP를 사용해보았다.

server {
    listen 80;
    location / {
        proxy_pass http://10.160.227.9;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

server {
    listen       81;
    location / {
         root   html;
         index  index.html index.htm;
    }
}

proxy 2번서버

80 포트를 열고 proxy 1번 public ip의 81 포트로 접근하며,

커스텀헤더인 sa-head의 값을 none 으로 설정하였다.

server {
    listen       80;
    location / {
        proxy_pass http://175.45.193.85:81;
        proxy_set_header sa-head "none";
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

access.log 포맷

log_format  main  'remote_addr : $remote_addr '
                  'x-forwarded-for : "$http_x_forwarded_for" '
                  'proxy_add_x_forwarded_for : "$proxy_add_x_forwarded_for" '
                  'sa_head : "$http_sa_head"';

간단하게 이전 ip, x-forwararded-for, 커스텀헤더를 출력하게 하였다.

(커스텀헤더는 http_헤더명 방식으로 사용할 수 있음)

로그포맷을 사용하려면 access_log 쪽에 포맷이름을 기입해주어야한다.

access_log  logs/access.log  main;

호출테스트

이제 호출을 해보자

$ curl 175.45.193.85 -H 'sa-head:joon95'

1번째(proxy1:80 listen)

remote_addr : 223.130.162.121 
 x-forwarded-for : "-" 
 proxy_add_x_forwarded_for : "223.130.162.121"
 sa_head : "joon95"

2번째(proxy2:80 listen)

remote_addr : 10.160.227.8
 x-forwarded-for : "223.130.162.121"
 proxy_add_x_forwarded_for : "223.130.162.121, 10.160.227.8" 
 sa_head : "joon95"

3번째(proxy1:81 listen)

remote_addr : 175.106.97.177 
 x-forwarded-for : "223.130.162.121, 10.160.227.8" 
 proxy_add_x_forwarded_for : "223.130.162.121, 10.160.227.8, 175.106.97.177"
 sa_head : "none"

로그를 보면 x-forwarded-for 헤더에 추가적으로 ip가 넘어가는 걸 볼 수 있다.

근데 proxy_add_x_forwarded_for 라는 변수는 넘어온 x-forwarded-for ip 목록에 remote_addr를 추가해서 가지고 있다는 사실을 확인할 수 있었다. 그래서 proxy_pass 를 사용할 때 x-forwarded-for 헤더에 이 변수를 기입하여 모든 ip를 연속적으로 넘길 수 있다(nginx 사이트의 해당 변수 처리를 보았음).

마치며

간만에 로그를 분석해가며 테스트해보았는데, 많은 도움이 된 것 같다.

긴 글 읽어주셔서 감사합니다.^^

참고사이트

Using the Forwarded header | NGINX