AI 기능 피드백 수집 메커니즘 (v3 PMF 시그널 수집)¶

목적: 6모 시즌 14일 동안 AI 사용 데이터 + 정성 피드백을 수집해 PMF 시그널 + 다음 라운드 product 개선 우선순위를 도출. 6모 시즌 결제 push를 미룬 만큼, 이 메커니즘이 작동해야 v3 의사결정이 정당화됨.

3-Tier 메커니즘¶

Tier	방식	트리거	응답률 목표	시그널 강도
T1 인앱	1-tap thumb 👍/👎 + 1줄 코멘트	AI 대화 종료마다	30~50% (low friction)	약하지만 대량
T2 폴	Google Forms (NPS + 정성 3문항)	Day 7, Day 14, 챌린지 종료 직후	6% (인증자 200 → 30)	중간, 정성 풍부
T3 인터뷰	30분 줌 + 답례 1만원	T2 응답자 중 신청	1.5% (200 → 5건)	강하지만 적음

세 tier의 시그널을 3-way triangulate 해서 결론 도출. T1만으로는 selection bias, T3만으로는 sample size 부족.

T1 — 인앱 thumb (즉시 시그널)¶

트리거¶

AI와 학생 대화가 5 turn 이상 진행 후 학생이 "정답 선택" 또는 "대화 종료" 누른 직후 1회.

UI (mvp-front 신규 컴포넌트)¶

┌─────────────────────────────────────┐
│  방금 AI 대화 어땠어?                  │
│                                     │
│      👍              👎              │
│   도움됐어        부족했어            │
│                                     │
│  (선택) 한 줄 코멘트: __________      │
│                                     │
│  [건너뛰기]              [제출]      │
└─────────────────────────────────────┘

수집 데이터 schema¶

필드	타입	비고
`id`	uuid
`user_id`	int	학생 익명 ID
`conversation_id`	uuid	AI 대화 단위
`challenge_day`	int	Day 1~14 (챌린지 외도 가능)
`thumb`	enum	`up` / `down` / `skipped`
`comment`	text	nullable, 최대 200자
`turn_count`	int	그 대화의 총 turn 수
`solved_correctly`	bool	학생이 정답 선택했는지
`created_at`	timestamp

분석 룰¶

시그널	해석	액션
👍 비율 > 70%	AI 사고 유도가 학생 체감 도움됨	현 dial 유지
👍 비율 50~70%	평타	코멘트 정성 분석
👍 비율 < 50%	AI dial 문제 — 너무 빙빙 돌거나 너무 즉답	Phase 3 우선순위 1번
`solved_correctly` & 👎	답은 맞췄지만 학생 만족 X (이해 부족)	사고력 포인트 명시도 강화
코멘트에 "답 알려줘" / "그냥 알려달라" 빈도	학생이 답 회피에 피로	즉답 모드 옵션 A/B 실험 후보
코멘트에 "이해 됐다" / "재밌다"	긍정 신호	인스타 후기 자료화 (동의 받고)

백엔드 의뢰¶

POST /api/feedback/thumb
Body: { conversation_id, thumb, comment, turn_count, solved_correctly }
저장: feedback_thumb 테이블
분석 대시보드: 일별 👍 비율 / 코멘트 워드 클라우드

⚠️ 본 task 범위 외. 6/5까지 ready 필요. 백엔드 의뢰서는 marketing/user-actions/checklist.md C 항목에 추가.

T2 — 챌린지방 폴 (NPS + 정성)¶

발송 일정¶

폴	발송 시점	응답 마감
Mid-Poll	Day 7 (6/12) 18:00	Day 9 (6/14) 23:59
End-Poll	Day 14 (6/19) 22:00	Day 16 (6/21) 23:59
Post-Poll	Day 21 (6/26) 11:00	Day 24 (6/29) 23:59

Mid-Poll 문항 (Google Forms)¶

제목: 6모 챌린지 Day 7 중간 폴 — 1분만!

#	문항	타입	필수
1	디에듀 AI를 친구에게 추천한다면? (0~10)	척도	✅
2	가장 좋았던 점 한 줄	단답	❌
3	가장 아쉬운 점 한 줄	단답	❌
4	챌린지 풀이 시 AI가 답을 안 알려주는 방식, 어땠나요?	5지선다 (너무 답답 / 약간 답답 / 적당 / 약간 부족 / 너무 부족)	✅
5	다음 주에도 챌린지 계속 참여할 것 같나요?	객관식 (그렇다 / 모르겠다 / 아니다)	✅
6	이름 (선택)	단답	❌

응답 인센티브: "30명 응답 시 추첨 5명 스타벅스" (보너스)

End-Poll 문항 (Day 14 종료)¶

Mid-Poll + 다음 추가:

#	문항	타입
7	14일 동안 가장 인상 깊었던 문제 한 가지	단답
8	디에듀 AI로 "사고력이 늘었다"고 느끼나요?	5지선다 (확실히 / 약간 / 잘 모르겠다 / 별로 / 전혀)
9	1:1 인터뷰 (30분, 1만원 답례) 신청하실래요?	객관식 (예/아니오) → "예" 응답 시 카톡 ID 입력
10	월 9,900원이라면 계속 쓸까요?	5지선다 (확실 / 약간 의향 / 모르겠다 / 별로 / 전혀)

Post-Poll (D+7, 챌린지 끝나고 1주 뒤)¶

"버즈가 빠진 후의 진짜 retention 시그널" 측정용

#	문항	타입
1	챌린지 끝난 후 디에듀 AI 다시 써본 적 있나요?	객관식 (예/아니오)
2	한 줄 후기	단답
3	9월 모의고사 시즌에 비슷한 챌린지 한다면 참여?	객관식

T2 분석 룰¶

시그널	해석	액션
NPS ≥ 40	강한 PMF 시그널	Phase 3 결제 push 7월 중순 정상 진행
NPS 20~40	약한 PMF, 개선 여지	결제 push 8월로 추가 연기 + product 개선 라운드
NPS < 20	PMF 미달	결제 push 중단, product pivot 검토
Q4 "너무 답답" 응답 30%+	즉답 회피 강도 dial 과함	즉답 모드 옵션 A/B 실험
Q5 "계속 참여" 60%+	14일 동안 retention 시그널 강함	engagement metric 추가 신뢰
Q10 결제 의향 ("확실/약간 의향") 30%+	가격 가설 합리적	9,900원 그대로 진행
Q10 결제 의향 < 15%	가격/가치 미스매치	가격 재검토 또는 가치 강화

T3 — 1:1 인터뷰 (정성 핵심)¶

모집¶

End-Poll Q9에서 "예" 응답한 학생 + 챌린지 인증 5회 이상 학생 → 합쳐서 10명 후보 → 일정 가능한 5명 확정.

일정¶

6/22~6/28 (1주일) 5건 진행
1건당 30분 줌
답례: 1만원 기프티콘 인터뷰 직후 발송

인터뷰 질문지¶

Block 1 — 학생 컨텍스트 (5분) 1. 평소 어떻게 공부하나요? 막힐 때 어떻게 해결? 2. ChatGPT나 콴다, 다른 AI 학습 도구 써본 적? 3. 6모 성적은 어땠나요? (강요 X)

Block 2 — 디에듀 AI 사용 경험 (15분) 4. 챌린지 14일 중 가장 기억나는 순간? 5. AI가 답을 안 알려주는 방식, 어땠나요? 처음과 끝이 달랐나요? 6. AI 질문이 "도움됐다" 순간 vs "답답했다" 순간을 한 가지씩 떠올려보면? 7. 14일 동안 본인이 사고력이 늘었다고 느낀 순간이 있나요? 구체적으로? 8. 다음 시험에서 디에듀 AI 또 쓸 것 같나요? 왜?

Block 3 — 의사결정 (10분) 9. 디에듀 AI 월 9,900원이라면 어떻게 결정할까요? 무엇이 결정 요인? 10. 어떤 기능이 추가되면 9,900원이 명확하게 가치 있다고 느낄까요? 11. 친구에게 추천한다면 어떻게 설명하실래요? 12. 마지막으로 하고 싶은 말씀?

인터뷰 시 운영자 룰¶

❌ 디에듀 AI 변호하지 않기 ("그건 이런 의도였어요" 금지)
✅ "왜?" 5번 — 표면 답에 만족 X
❌ leading question ("AI가 사고력 키워주는 것 같죠?") 금지
✅ "구체적 순간" 묻기 ("그때 어떻게 느꼈나요?")
✅ 침묵 견디기 — 학생이 생각하는 시간 존중
✅ 모든 인터뷰 줌 녹화 + 트랜스크립트

분석 schema (스프레드시트)¶

학생 ID	학년	인증 횟수	NPS	결제 의향	핵심 인용 1	핵심 인용 2	카테고리 (긍정/개선/이탈 사유)

5건 끝나면 카테고리별 인용 모아서 wiki에 케이스 스터디 페이지 작성.

결정 시점 매트릭스 (PMF 게이트)¶

시점	수집 시그널	결정
Day 7	T1 일주일 누적 + T2 Mid-Poll	운영 dial 조정 (발송 시간, 인증 룰) — 큰 변경 X
Day 14	T1 14일 누적 + T2 End-Poll	챌린지 마무리 톤 + 인터뷰 신청자 확정
Day 21 (6/26)	T2 Post-Poll + T3 인터뷰 5건	Phase 3 의사결정: 결제 push 진행 / 1라운드 product 개선 / pivot
7/15	T3 인터뷰 분석 + T1 누적 retention	결제 시스템 ready → 결제 시범 push 시점 결정

v3 의사결정 게이트 (3가지 가능한 시나리오)¶

시나리오 A — Strong PMF (NPS ≥ 40, retention 50%+)¶

7월 중순 결제 push 정상 진행
9월 모의고사 시즌에 본격 확장
인스타 광고 10만원 cap 풀어 50만원으로 확대 검토

시나리오 B — Weak PMF (NPS 20~40, retention 30~50%)¶

결제 push 8월로 연기
T1/T2 코멘트 기반 product 개선 라운드 (즉답 모드 옵션, AI 질문 dial)
9월 시즌에 다시 측정

시나리오 C — No PMF (NPS < 20, retention < 30%)¶

결제 push 중단
인터뷰 5건 깊이 분석 → product hypothesis 재검토
"사고력 코치 AI" 컨셉 자체 pivot 검토 (예: 선생님용으로 우회)

세 시나리오 모두 사전에 명시함으로써 결정 시점에 감정적 합리화 회피.

KPI 트래킹 시트 (단일 진실의 원천)¶

새 Google Sheets Dedu_FeedbackKPI에 다음 탭:

탭	내용
`T1_thumb`	인앱 thumb 응답 raw + 일별 집계
`T2_mid_poll`	Day 7 폴 응답
`T2_end_poll`	Day 14 폴 응답
`T2_post_poll`	Day 21 폴 응답
`T3_interview`	인터뷰 분석 schema
`summary`	NPS / retention / 핵심 인용 종합 → 의사결정 게이트 시점에 채움

Summary 탭 핵심 셀¶

D7 NPS: =AVERAGEIF(T2_mid_poll!E:E, ">=0")
D14 NPS: 동일
D7 → D14 retention: =COUNTIFS(T1_thumb!created_at, ">=2026-06-13")/UNIQUE_USERS_D7
결제 의향률: =COUNTIF(T2_end_poll!Q10, "확실")/COUNTA(T2_end_poll!Q10)

의존성 / 사용자 직접 작업 추가¶

marketing/user-actions/checklist.md 항목 신규 추가 (v3 patch):

C2 — 백엔드 POST /api/feedback/thumb 엔드포인트 의뢰 (6/5 마감)
C3 — mvp-front 대화 종료 시 인앱 thumb 컴포넌트 통합 의뢰 (6/5 마감)
B2 — Google Forms Dedu_FeedbackKPI 시트 + 3개 폴 (Mid/End/Post) 생성 (5/30 마감)
J1 — Day 7 폴 발송 (6/12 18:00) — 챌린지방 + 이메일 양쪽
J2 — Day 14 폴 발송 (6/19 22:00)
J3 — Day 21 폴 발송 (6/26 11:00)
K — 인터뷰 5건 일정 잡기 + 진행 (6/22~6/28)
L — Day 21 시점 결정 미팅 (시나리오 A/B/C 결정)