감성분류 및 VOC여부 분류 모델

• 성능

  • 감성분류

    모델	Task	전처리	LGE 검증셋 160개	Test set 1615개
    1.7B	Multitask(감성+VOC)	-	84.38%	94.49%
    1.7B	Multitask(감성+VOC)	노멀라이즈(clean+KIWI)	76.88% (-7.5%)	93.07% (-1.42%)

  • VOC 여부 분류

    모델	Task	전처리	LGE 검증셋 160개	Test set 1615개
    1.7B	Multitask(감성+VOC)	-	52.5%	95.6%
    1.7B	Multitask(감성+VOC)	노멀라이즈(clean+KIWI)	74.38% (+21.88%)	94.92% (-0.68%)

• 모델 파일 경로

  • 1.7B Multitask learning, 전처리 미적용 모델
    • /ex_disk/soonpil/ckpt/lingvo_1.7b_multitask_5cls_220908_0120/lingvo_1.7b_multitask_5cls_220908_0120.ckpt
  • 1.7B Multitask learning, 노멀라이즈(clean+KIWI) 적용 모델
    • /ex_disk/soonpil/ckpt/lingvo_1.7b_multitask_5cls_221226_1703/lingvo_1.7b_multitask_5cls_221226_1703.ckpt
  • 레이블 매핑 파일
    • /ex_disk/soonpil/ckpt/lingvo_1.7b_multitask_5cls_221226_1703/textlabel_to_int_map_sentiment.json
    • /ex_disk/soonpil/ckpt/lingvo_1.7b_multitask_5cls_221226_1703/textlabel_to_int_map_isvoc_range_3~4.json

• Multi-task learning 관련 정보

상담유형 및 VOC유형 분류 모델

• 데이터
• 성능

  • 상담유형 분류

    모델	Task	전처리	Top-1	Top-3
    1.7B MT	Multitask(상담유형+VOC유형)	-	74.20%	91.52%
    1.7B MT	Multitask(상담유형+VOC유형)	노멀라이즈(clean+KIWI)	72.91%	91.42%

  • VOC유형 분류

    모델	Task		Top-1	Top-3
    1.7B MT	Multitask(상담유형+VOC유형)	-	55.75%	78.56%
    1.7B MT	Multitask(상담유형+VOC유형)	노멀라이즈(clean+KIWI)	55.40%	78.56%

• 모델 파일 경로

  • 1.7B(MT) Multittask learning 모델

    • /ex_disk/soonpil/ckpt/lingvo_1.7b_cat_multitask_221228_1705/lingvo_1.7b_cat_multitask_221228_17057b_cat_multitask_221228_1705.ckpt
    • 레이블 매핑 파일 (빈도수 20 이상 유형 기준)

  • 1.7B(MT) Multitask learning, 노멀라이즈(clean+KIWI) 적용 모델

    • /ex_disk/soonpil/ckpt/lingvo_1.7b_cat_multitask_230102_1241/lingvo_1.7b_cat_multitask_230102_1241.ckpt
    • 레이블 매핑 파일 (빈도수 20 이상 유형 기준)

  • Multi-task learning 관련 정보

참고 Link

• 🚤 감성분류/VOC여부 분류 Robustness 개선모델 학습 실험
• 🚁 Multi-task Learning: 감성분류+VOC여부분류
• ‣