Update README.md

README.md

@@ -11,6 +11,7 @@ base_model:
 
 `polyglot-ko-1b-txt2sql`은 한국어 자연어 질문을 SQL 쿼리로 변환하기 위해 파인튜닝된 텍스트 생성 모델입니다.  
 기반 모델은 [`EleutherAI/polyglot-ko-1.3b`](https://huggingface.co/EleutherAI/polyglot-ko-1.3b)를 사용했으며, LoRA를 통해 경량 파인튜닝되었습니다.
+파인튜닝을 처음 해본 글쓴이가 실습용으로 만든 첫 모델로 성능을 보장할 순 없으니 참고바랍니다.
 
 ---
 
@@ -23,13 +24,33 @@ base_model:
 
 ---
 
-## 학습 데이터
+## 학습 데이터셋
 
 모델은 한국어 SQL 변환 태스크를 위해 설계된 자연어 질문-쿼리 페어로 파인튜닝되었습니다.  
-데이터는 다음 두 가지 소스 기반으로 구성되었습니다:
-
 - [shangrilar/ko_text2sql](https://huggingface.co/datasets/shangrilar/ko_text2sql) 데이터셋 일부
-- OpenAI 기반 LLM(GPT) 추론을 통해 생성된 synthetic Korean SQL pairs
+
+- 전처리: DDL-Question-SQL 구조로 prompt 구성
+- 크기: 약 25,000건의 DDL + 자연어 질문 + SQL 정답 쌍
+
+---
+
+## 평가 결과 
+- 평가 방식: GPT-4.1-nano 모델에게 gen_sql과 gt_sql 비교 후 평가 요청
+- 평가 기준: 결과 동일 여부 기반 yes/no 판단 (JSON response: {"resolve_yn": "yes"})
+- 평가 결과:
+  - **베이스 모델 정확도**: 68%
+  - **파인튜닝 모델 정확도**: 19%
+
+---
+
+## 문제점
+  - 베이스라인 모델은 gen_sql에 SQL 쿼리를 생성하지 못하고, 질문을 반복하거나 의미 없는 텍스트를 출력하는 경우가 많았다.
+  - 파인튜닝 모델은 SQL 형태를 흉내내긴 했지만, 존재하지 않는 컬럼명이나 테이블명을 포함하는 등 논리적으로 틀린 쿼리를 생성했다.
+    
+  - 평가 모델(GPT-4.1-nano)은 베이스라인 모델이 잘못 생성한 쿼리에 대해 "resolve_yn": "yes"라고 잘못 판단하는 경우가 많았다.
+  - 예를 들어, gen_sql이 SQL 형식을 전혀 따르지 않더라도 resolve_yn = yes로 잘못 평가되는 경우가 있었다.
+  - 컬럼명 및 테이블명이 존재하지 않거나 잘못된 쿼리임에도 resolve_yn = yes로 잘못 분류된 경우가 존재했다.
+  - 평가자(GPT 모델)는 문법적 타당성이나 테이블 구조 반영 여부를 제대로 판단하지 못하고, 단순 텍스트 유사성에 기반해 판별하는 경향을 보였다.
 
 ---