데이터 설명
원본 파일 경로
변환 파일 경로
주피터 노트북 작업 파일
| 데이터 | 감성+VOC여부 | 감성 | VOC여부 | 상담유형+VOC유형(복수레이블) | 상담유형 | VOC유형 |
|---|---|---|---|---|---|---|
| Train(기존) | 29070 (14535 * 2) | 14535 | 14535 | 22054 (16834 + 5220) | ||
| Train(STT aug.) | 40448 (22024 * 2) | 20215 | 20197 | 31381 | ||
| Train(STT aug.+160건) | 40768 (20384 * 2) | 20375 | 20357 | - | - | - |
| Test | 3230 (1615 * 2) | 1615 | 1615 | 2578 (1934 + 644) |
| 모델 | Test 1615건(감성) | Test 1615건(VOC여부) | 검증셋 604건(감성) | 검증셋 604건(VOC여부) |
|---|---|---|---|---|
| 모델#1: Multi-task + STT aug | 93.56% | 95.17% | 96.19% | 91.39% |
| 모델#1-1: 160건 추가 학습(LGE정답) | 93.93% | 95.54% | 96.69% | 94.70% |
| 모델#1-2: 160건 추가 학습(LG AI정답) | 93.99% | 95.54% | 96.69% | 95.03% |
| 모델: 160건 추가 학습(LG AI정답) + class_mask | 93.69% | 95.29% | 93.21% | 91.23% |
| 모델: 160건 추가 학습(LG AI정답) + class_mask + same_prompt (EOS) | 93.75% | 94.74% | 90.07% | 86.09% |
| 모델 | Test 1615건(감성) | Test 1615건(VOC여부) | 검증셋 604건(감성) | 검증셋 604건(VOC여부) |
|---|---|---|---|---|
| 모델#2: Single-task + STT aug | 93.25% | 94.48% | 96.19% | 94.53% |
OLD: 상담유형 11/29자, VOC유형 2023/01/04자 학습데이터
| 모델 | Test 1934건(상담유형) | Test 644건(VOC유형) |
|---|---|---|
| 모델#1: Multi-task + STT aug | Top1: 73.74% / Top3: 91.31% | Top1: 56.99% / Top3: 80.75% |
| 모델: Multi-task + STT aug + class_mask | Top1: 73.89% / Top3: 91.88% | Top1: 52.95% / Top3: 75.78% |
| 모델: Multi-task + STT aug + class_mask + same_prompt (unused6) | Top1: 73.78% / Top3: 91.68% | Top1: 53.73% / Top3: 76.56% |
상담유형 2023/02/17자, VOC유형 2023/02/07자 학습데이터
| 모델 | Test 1934건(상담유형) | Test 644건(VOC유형) |
|---|---|---|
| 모델: Multi-task + STT aug + class_mask | Top1: 75.03% / Top3: 91.78% | Top1: 51.85% / Top3: 78.24% |