팀내 데이터 가공 자료

• 수집

지식인 크롤링 - Baseline Code(상렬)

지식인 크롤링 - 과학 과목(세연)

지식iN과 지식iN API 튜토리얼(세연)

팀 데이터 제작 과정

왜 가공이 필요한가?(소연)

Similarity model에게 필요한 훈련 데이터 모으기(소연)

사전크롤링_네이버.ipynb

반의어 제작

• KorSTS 뭔가 klue STS 데이터셋 제작 과정 따랐을 것 같음(https://arxiv.org/pdf/2105.09680.pdf , p16)

• ROUGE : https://huffon.github.io/2019/12/07/rouge/

• 1차 데이터 제작

  • 안돼있는 것 : 앞 단어에 따른 조사 처리, 명사↔ 동사 가능한 형태만 고려하는게 아니라서 약간 막무가내 pair @seyeon park 대충 만들면 이렇게 됩니다 명사동사 매칭은 어떻게 할지 좀 고민해볼라고요

  gen_data_test_4.csv

한국어 토큰화가 필요한 이유

• 한국어는 띄어쓰기가 제대로 지켜지지 않는 경우가 많다는 것이다.
• 두 번째 이유는 한국어는 교착어이기 때문이다.

Korean lemmatization (세연)

• 전처리 : https://swalloow.tistory.com/100