[기술에 집중하는 쪽으로 생각]

• 토픽 1 : Information retrieval on video
  • 멀티모달즉 접근 : 이미지 말고 동영상에서의 retrieval
  • 특정 text를 입력으로 넣으면, 해당 video 내 text가 설명하는 구간을 몇개 추천해줌
  • 다른 방향으로는 netflix 혹은 youtube 에서 일부 구간을 빠르게 축약하는 모델
  • 코멘트
    • 데이터 구하기 어려운 것! multimodal의 학습이 어려운점! 구체적인 비즈니스모델에서 시작한 아이디어
    • 첫 번째에서는 모델로 VATT 채택해서 써봐도 좋을 것 같습니다. (Video-Audio-text Transformer) https://arxiv.org/pdf/2104.11178.pdf
• 토픽 2 : Dialog summarization & recommentation
  • 톡방에서 이루어지는 일련의 대화를 바탕으로 아이템 추천 (첫번째 제안한 것은 음식 추천)
  • 식사 후 대화를 통해 해당 식당에 대한 평점을 자동적으로 매기고, 다음 추천 때 그 점수를 반영
  • 코멘트
    • 음식과 음식 외에 유사한 서비스가 많아서 그런 서비스를 너무 따라가게 되지 않을까
    • 제가 미식 스타트업이랑 카카오톡 텍스트로 해봤는데, 식당 추천까지는 해봤는데 평점 반영은 좋은 것 같아요. 매칭을 어떻게 해야 될지가 고민입니다.