yoob의 기술블로그

[Spring Boot] database 2개이상 connection 하는방법

yoob — Tue, 12 Sep 2023 11:01:59 +0900

기존의 데이터베이스에서 마이그레이션하고 최신의 데이터베이스에 값을 밀어넣기위해 두개이상의 디비 커넥션 하는방법을 찾아봤다. 여러가지 방법이있긴했지만, 생각보다 이론은 헷갈리는것 같긴한데.. 자꾸보다보면 이해할 수 있을것

같다.

1. application.properties

spring.datasource.main.driver-class-name=net.sf.log4jdbc.sql.jdbcapi.DriverSpy
spring.datasource.main.jdbc-url=jdbc:log4jdbc:postgresql://ip:port/db
spring.datasource.main.username=
spring.datasource.main.password=

spring.datasource.sub.driver-class-name=net.sf.log4jdbc.sql.jdbcapi.DriverSpy
spring.datasource.sub.jdbc-url=jdbc:log4jdbc:postgresql://ip:port/db
spring.datasource.sub.username=
spring.datasource.sub.password=

main 과 sub 로 두개로 나눠서 설정해준다.

2. config

@Configuration
@EnableTransactionManagement
@MapperScan(value="com.snk.lab.main", sqlSessionFactoryRef = "mainSqlSessionFactory")
public class MainDataSourceConfig {
	
	@Primary
	@Bean(name="mainDataSource")
	@ConfigurationProperties(prefix = "spring.datasource.main")
	public DataSource dataSource() {
		return DataSourceBuilder.create().type(HikariDataSource.class).build();
	}

	@Primary
	@Bean(name="mainSqlSessionFactory")
	public SqlSessionFactory mainSqlSessionFactory(@Qualifier("mainDataSource") DataSource mainDataSource
			, ApplicationContext applicationContext) throws Exception{
		SqlSessionFactoryBean sqlSessionFactoryBean = new SqlSessionFactoryBean();
		sqlSessionFactoryBean.setDataSource(mainDataSource);
		
		sqlSessionFactoryBean.setMapperLocations(applicationContext.getResources("classpath:mybatis/com/snk/lab/main/**/*.xml"));
		
		return sqlSessionFactoryBean.getObject();
	}
	
	@Primary
	@Bean(name="mainSqlSessionTemplate")
	public SqlSessionTemplate mainSqlSessionTemplate(SqlSessionFactory mainSqlSessionFactory) throws Exception{
		return new SqlSessionTemplate(mainSqlSessionFactory);
	}
}

@Configuration
@EnableTransactionManagement
@MapperScan(value="com.snk.lab.sub", sqlSessionFactoryRef = "subSqlSessionFactory")
public class SubDataSourceConfig {
	
	@Bean(name="subDataSource")
	@ConfigurationProperties(prefix = "spring.datasource.sub")
	public DataSource dataSource() {
		return DataSourceBuilder.create().type(HikariDataSource.class).build();
	}

	@Bean(name="subSqlSessionFactory")
	public SqlSessionFactory subSqlSessionFactory(@Qualifier("subDataSource") DataSource subDataSource
			, ApplicationContext applicationContext) throws Exception{
		SqlSessionFactoryBean sqlSessionFactoryBean = new SqlSessionFactoryBean();
		sqlSessionFactoryBean.setDataSource(subDataSource);
		
		sqlSessionFactoryBean.setMapperLocations(applicationContext.getResources("classpath:mybatis/com/snk/lab/sub/**/*.xml"));
		
		return sqlSessionFactoryBean.getObject();
	}
	
	@Bean(name="subSqlSessionTemplate")
	public SqlSessionTemplate subSqlSessionTemplate(SqlSessionFactory subSqlSessionFactory) throws Exception{
		return new SqlSessionTemplate(subSqlSessionFactory);
	}
}

3. controller

@RestController
@RequestMapping("/migration")
public class MigrationController {

	@Autowired
	private MigrationService migrationService;
	
	@PostMapping(value="/module")
	public ResponseEntity<String> moduleMigration() {
	    try {
	        migrationService.moduleMigration();
	        return ResponseEntity.ok("Data migration completed successfully");
	    } catch (Exception e) {
	        return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR)
	                             .body("Data migration failed: " + e.getMessage());
	    }
	}
}

4. service

@Service
public class MigrationService {

	@Autowired
	private MainDataBaseMapper mainMapper;
	
	@Autowired
	private SubDataBaseMapper subMapper;
	
	@Transactional
	public void moduleMigration() throws Exception {
        // 기존 데이터베이스에서 정보를 가져옵니다.
        List<Map<String, Object>> subData = subMapper.selectSubModuleInfo();

        for(Map<String, Object> data : subData) {
        	Map<String, Object> transformData = transform(data);
        	System.out.println(transformData);
        }
        
    }
	
    /*사용하던 코드라 그대로 복붙해서 이부분은 참고안해도됨.*/
	public Map<String, Object> transform(Map<String, Object> originalData){
		Map<String, Object> data = new HashMap<>();
		
		data.put("del_yn", originalData.get("pmi_del_yn").toString());	// int 형태이기 때문에 문자열로 변경해줘야됨.
		data.put("frst_reg_dt", originalData.get("last_reg_dt"));
		
		return data;
	}
	
}

5. mapper

@Mapper
public interface MainDataBaseMapper {
	void insertMainInfo(Map<String, Object> data) throws Exception;
	
	List<Map<String, Object>> getAllMainInfo() throws Exception;
}

@Mapper
public interface SubDataBaseMapper {
	 List<Map<String, Object>> getAllSubInfo() throws Exception;

	 List<Map<String, Object>> selectSubModuleInfo() throws Exception;
	 
}

이때 각각의 경로를 다르게 해줘야하니 참고바람

ex) com.snk.lab.main.management.mapper , com.snk.lab.sub.management.mapper

[프로그래머스 : Java] x만큼 간격이 있는 n개의 숫자

yoob — Fri, 1 Sep 2023 16:24:12 +0900

1. 링크

https://school.programmers.co.kr/learn/courses/30/lessons/12954

프로그래머스

코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요.

programmers.co.kr

2. 풀이

class Solution {
    public long[] solution(int x, int n) {
        long[] answer = new long[n];
        for(int i=1; i<=n; i++){    // i가 1부터 시작해야 * 했을때 0으로 안나옴
            answer[i-1] = (long)x*i;    // -10000000 이상, 10000000 이하 이기때문에 long으로 형변환시켜준다.
        }
        return answer;
    }
}

[프로그래머스 : Java] 최솟값 만들기

yoob — Fri, 1 Sep 2023 15:59:41 +0900

1. 링크

https://school.programmers.co.kr/learn/courses/30/lessons/12941

프로그래머스

programmers.co.kr

2. 코드

import java.util.*;

class Solution
{
    public int solution(int []A, int []B)
    {
        int sum = 0;
        Integer[] bb = new Integer[B.length];   // 기본 데이터타입으로는 내림차순이 안됨. 내림차순으로 정렬해주기위해 레퍼형태로 변경
        
        for(int i=0; i<B.length; i++){
            bb[i] = Integer.valueOf(B[i]);  // B의 값을 bb 에 넣어줌
        }
        
        Arrays.sort(A); // 오름차순정렬
        Arrays.sort(bb, Collections.reverseOrder());    // 내림차순정렬
        for(int i=0; i<A.length; i++){
            sum += A[i]*bb[i];  
        }
        
        return sum;
    }
}

[프로그래머스 : MySql] 조건에 부합하는 중고거래 댓글 조회

yoob — Thu, 31 Aug 2023 21:29:19 +0900

1. 링크

https://school.programmers.co.kr/learn/courses/30/lessons/164673?language=mysql

프로그래머스

programmers.co.kr

2. sql문

-- 코드를 입력하세요
SELECT a.title, a.board_id, b.reply_id, b.writer_id, b.contents, date_format(b.created_date,'%Y-%m-%d') as created_date
from used_goods_board a inner join used_goods_reply b on a.board_id = b.board_id
where a.created_date like '2022-10%' order by b.created_date asc, a.title asc ;

[프로그래머스 : Java] 원소들의 곱과 합

yoob — Thu, 31 Aug 2023 21:13:38 +0900

1. 링크

https://school.programmers.co.kr/learn/courses/30/lessons/181929

프로그래머스

programmers.co.kr

2. 코드

import java.util.*;

class Solution {
    public int solution(int[] num_list) {
        int a = 1;  // 곱
        int b = 0;  // 합
        for(int i=0; i<num_list.length; i++){
            a *= num_list[i];
            b += num_list[i];
        }
        
        double bb = Math.pow(b, 2); // 제곱
        
        System.out.println(a + " " + bb);
        
        if(a <= bb){
            return 1;    
        }else{
            return 0;
        }
        
    }
}

[Spring Boot] 공공데이터 API 를 활용하여 DataBase 에 Scheduled를 통해 insert 하기

yoob — Thu, 10 Aug 2023 16:47:56 +0900

https://www.data.go.kr/index.do

공공데이터 포털

국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Datase

www.data.go.kr

공공데이터를 사용 할 일이 있어서 위의 포털에서 데이터를 DB에 밀어넣을 일이 생겼다.

나같은경우는 표준산업분류코드를 사용했다.

기본적으로 공공데이터포털에서 로그인 > 활용신청은 끝난 상태라고 생각하고, 코드상에서만 설명하겠다.

1. controller

/*
 *  1. www.data.go.kr (공공데이터포털)
 *  2. 표준산업분류코드 API
 *  3. 24개월마다 갱신해줘야됨 (마지막 갱신일 2023.08.09 박성윤)
 *  4. 데이터는 JSON 형태로 받아옴
 * */
@RestController
@RequestMapping("/api/batch/indust")
public class IndustController {
	
	@Autowired
	private IndustService industService;
	
	@Value("${api.url}") // application.properties 또는 yml 파일에 설정한다.
	private String apiUrl;
	
	@Value("${api.serviceKey}") // application.properties 또는 yml 파일에 설정한다.
	private String serviceKey;

	@PostMapping
	@Scheduled(cron = "0 0 3 1 9 ?")
    public ResponseEntity<String> industBatch() throws Exception{
        try {
            String responseData = fetchDataFromAPI();
            // 가져온 데이터를 DTO 객체 리스트로 파싱
            List<IndustDataDto> dataList = parseResponseData(responseData);
 			// 데이터를 DB에 저장
 			industService.insertData(dataList);

            return ResponseEntity.ok(responseData);
        } catch (Exception e) {
            return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR).body(e.getMessage());
        }
    }

	private List<IndustDataDto> parseResponseData(String responseData) throws Exception {
        JSONObject jsonObj = new JSONObject(responseData);
        JSONArray dataArray = jsonObj.getJSONArray("data");

        List<IndustDataDto> dataList = new ArrayList<>();

        for (int i = 0; i < dataArray.length(); i++) {
            JSONObject item = dataArray.getJSONObject(i);
            IndustDataDto data = new IndustDataDto();

            data.setMajor_emp_name(item.optString("고용업종명(대분류)"));
            data.setMajor_emp_code(item.optString("고용업종코드(대분류)"));

            data.setSub_emp_name(item.optString("고용업종명(중분류)"));
            if(!item.isNull("고용업종코드(중분류)")) {
                data.setSub_emp_code(item.getInt("고용업종코드(중분류)"));
            }

            data.setMinor_emp_name(item.optString("고용업종명(소분류)"));
            if(!item.isNull("고용업종코드(소분류)")) {
                data.setMinor_emp_code(item.getInt("고용업종코드(소분류)"));
            }

            data.setDetail_emp_name(item.optString("고용업종명(세세분류)"));
            if(!item.isNull("고용업종코드(세세분류)")) {
                data.setDetail_emp_code(item.getInt("고용업종코드(세세분류)"));
            }

            dataList.add(data);
        }
        return dataList;
    }
	
    private String fetchDataFromAPI() throws Exception {
    	// API URL 구성
        StringBuilder urlBuilder = new StringBuilder(apiUrl);
        urlBuilder.append("?" + URLEncoder.encode("serviceKey","UTF-8") + "=" + serviceKey);
        urlBuilder.append("&" + URLEncoder.encode("page","UTF-8") + "=" + URLEncoder.encode("1","UTF-8"));
        urlBuilder.append("&" + URLEncoder.encode("perPage","UTF-8") + "=" + URLEncoder.encode("1200","UTF-8"));
		// HTTP 요청 수행
        URL url = new URL(urlBuilder.toString());

        HttpURLConnection conn = (HttpURLConnection) url.openConnection();
        conn.setRequestMethod("GET");
        conn.setRequestProperty("Content-type", "application/json");

        try (BufferedReader rd = new BufferedReader(new InputStreamReader(conn.getInputStream()))) {
            StringBuilder sb = new StringBuilder();
            String line;
            while ((line = rd.readLine()) != null) {
                sb.append(line);
            }
            return sb.toString();
        } finally {
            conn.disconnect();
        }
    }
    
    
}

2. Service

@Service
public class IndustService {

	@Autowired
	private IndustMapper industMapper;
	
	public void insertData(List<IndustDataDto> dataList) {
		for(IndustDataDto data : dataList) {
			industMapper.insertIndustData(data);
		}
	}
}

3. Mapper

@Mapper
public interface IndustMapper {

	void insertIndustData(IndustDataDto data);
}

[PostgreSql] Boolean 타입 데이터 삽입

yoob — Wed, 9 Aug 2023 10:16:20 +0900

데이터 마이그레이션을 하는 도중 boolean 데이터타입에 어떤 값들이 들어갈수 있는지 궁금해서 찾아봤다.

postgresql의 boolean 타입 컬럼에 대한 입력 값

true 는 'true', 't', 'yes', 'y', 'on', '1'(문자열로서)

false 는 'false', 'f', 'no', 'n', 'off', '0'(문자열로서)

솔직히 true/false 또는 1/0 은 알고있었지만 다른부분들은 있는지 몰랐는데 이번에 알게됨 ㅎㅎ

[DataBase] 데이터베이스에서의 Null 에 대한 깨달음(필독!!)

yoob — Wed, 26 Jul 2023 13:47:53 +0900

페이스북 광고가 떠서 보다가 아래와 같은 문제가 있었다.

문제

다음 쿼리문의 빈칸에 들어가면 오류가 생기는 구문을 고르시오.

문제 : select ( ) from dual;

1. null+1

2. null * null

3. 2/null

4. null<1

이해못하고 순간벙쪄서 보는데 처음엔 null이 더하기 곱하기 나누기 다 된다고?? 싶어서 모두 다 정답아니야? 라고 생각했는데 진짜 오만이었다..

정답은 3번 이다.

설명

NULL에 더하기와 곱하기 연산을 수행할 수 있다. 하지만 NULL과 숫자를 더하거나 곱하면 결과는 항상 NULL이 된다. 이는 데이터베이스의 특성으로, NULL은 "알 수 없는 값"을 나타내기 때문에 숫자와의 연산 결과도 알 수 없는 값이 되는 것이다.

예를 들어:

NULL + 1 = NULL
NULL * 5 = NULL

또한, 나눗셈 연산에서 0으로 나누는 것은 오류를 발생시키기 때문에 다음과 같이 NULL과 나눗셈을 조합하는 경우도 오류가 발생한다.

2 / NULL = NULL (오류 발생)

이러한 특성을 이해하고 쿼리문 작성 시 주의하여야 한다. 연산 중에 NULL 값이 발생하지 않도록 NULL 여부를 체크하거나 NVL 함수 등을 사용하여 NULL 값을 다른 값으로 대체하는 방법을 고려할 수 있다.

라는 내용을 찾았다.

정말 기초인데도 애매한 부분이었던것같다. 더 공부할수있도록 해야겠다.

[SpringBoot/JPA] 자동화로 최초생성일과 최종수정일 입력하는 방법

yoob — Wed, 26 Jul 2023 10:53:36 +0900

아래와 같이 데이터베이스 이력관리 테이블에 따라 항상 최초생성일과 최종수정일은 붙어다닌다.

MbrEntity mbrntity = MbrEntity.builder()
				.frstDt(LocalDateTime.now())
                .updtDt(LocalDateTime.now())
				.build();

JPA에서 일일히 엔티티마다 작성해주기엔 너무 노가다라서,,, 이를 위해 반복된 작업을 없애기위한 방법을 작성한다.

Spring Boot 기준으로 Application.java 파일에서 이렇게 수정해주자

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.data.jpa.repository.config.EnableJpaAuditing;

@EnableJpaAuditing
@SpringBootApplication
public class Application {

	public static void main(String[] args) {
		SpringApplication.run(Application.class, args);
	}

}

@JpaAuditing 어노테이션을 추가해준다.

그다음 Entity 에서 아래와 같이 수정한다.

	@CreatedDate
	@Comment("최초등록일시")
	private LocalDateTime frstDt;
	
	@LastModifiedDate
	@Comment("최종수정일시")
	private LocalDateTime updtDt;

@CreatedDate : 최초등록할때 jpa 가 자동으로 등록

@LastModifiedDate : 수정할때 jpa 가 자동으로 수정

그리고 마지막으로 entity 클래스의 어노테이션으로 이걸 추가해준다.

@EntityListeners(AuditingEntityListener.class)

이제 신경쓰지않아도 인스턴스가 생성되거나 수정될때 자동으로 입력되는것을 확인할수있다.

[Spring Boot] Spring Security 의존성 추가 시 bulid.gradle 파일 에러 해결

yoob — Tue, 25 Jul 2023 17:05:21 +0900

Spring Boot 프로젝트 진행중에 로그인관련한 라이브러리를 사용하기위해 Security 의존성을 추가했다.

그런데 아래와 같은 오류가 발생했다.

무슨문제인지몰라서 이것저것 해보던 와중에

설마 버전을 같게 해야되는건가? 싶어서 바꿔보았더니 오류가 사라졌다.

아무래도 버전별로 차이가 있기때문에 그런거같긴한데..

나는 spring boot 3 버전이 익숙치 않아서 아직까진 2버전을 쓰고있다.

여튼 결론적으로 버전을 꼭 맞춰주도록 하자!

의존성 검색 사이트

https://xn--mvnrepository-9u13d.com/artifact/org.springframework.boot/spring-boot-starter-security/2.7.13