CiteTrue와 ZeroGPT 비교
ZeroGPT는 「이 글을 AI가 썼나」에 답하려 합니다. CiteTrue는 더 좁고 훨씬 검증하기 쉬운 질문에 답합니다 — 「이 참고문헌들이 실재하고, 본문이 주장하는 내용을 담고 있나」. 두 번째 질문에는 링크를 열어 확인할 수 있는 정답이 있지만, 첫 번째에는 없습니다.
우리 판정이 버티는 이유
대부분의 인용 검증 도구는 판단 전체를 언어 모델에 맡기고 모델이 한 말을 그대로 보여 줍니다. 하지만 모델은 환각을 일으킵니다 — 이 분야가 존재하는 이유가 바로 그것입니다. 그래서 우리는 모델을 맨 앞이 아니라 맨 뒤에 둡니다.
- 01
1. 추측하지 않고 구문 분석한다
모든 참고문헌은 저자, 제목, 연도, 학술지, DOI 같은 요소로 분해됩니다. 분해하는 것은 인용 형식을 위해 만들어진 파서이지, 제목이 무엇 같으냐고 모델에게 묻는 방식이 아닙니다.
- 02
2. 권위 있는 데이터베이스에서 대조한다
분해된 참고문헌을 Crossref와 OpenAlex에 조회하고, DOI가 없으면 공개 웹에서도 찾습니다. 돌아오는 것은 실제 식별자를 가진 실제 레코드입니다.
- 03
3. 일치도를 결정론적으로 점수화한다
후보 레코드는 제목 토큰에 대한 Sørensen-Dice 유사도로 점수를 매깁니다. 제목 점수가 0.7을 넘고 저자 목록이 일치할 때만 일치로 인정합니다. 연도가 어긋나면 안내로 표시할 뿐, 조용히 넘어가지 않습니다. 같은 참고문헌은 언제나 같은 점수를 냅니다.
- 04
4. 그다음에야 모델에게 묻는다
언어 모델은 결정론적 단계에서 진짜 일치를 찾지 못했을 때만 호출합니다. 후보와 원문을 읽고 맞는 것이 있는지 판단하게 하는 것이죠. 모델은 최후의 수단이지 심판이 아닙니다. 바로 이 순서 때문에 환각이 끼어들 자리가 없습니다. 모델이 등장하는 시점에는 이미 근거가 다 나와 있으니까요.
실질적인 의미는 이렇습니다. 여기서 진짜라고 표시된 참고문헌은 제목과 저자 모두에서 실제 레코드와 일치했고, 그 레코드를 직접 열어 볼 수 있습니다. 인용이 그럴듯해 보인다는 모델의 인상이 아닙니다.
참고문헌 목록을 처리하는 속도
한 건을 확인하는 데도 여러 출처에 여러 번 조회가 들어갑니다. 그것을 한 건씩 순서대로 처리하는 것이 긴 목록에서 느리게 느껴지는 이유입니다. 우리는 병렬로 돌리고 끝나는 대로 결과를 내보냅니다.
- 병렬로 처리하는 참고문헌 수
- 앱에서는 한 번에 20건, API로는 100건
- 참고문헌 50건짜리 목록
- 50건을 줄 세우는 대신, 세 차례의 병렬 조회로 내보냅니다
- 도착하는 대로 결과 표시
- 참고문헌 단위로 스트리밍 — 나머지가 도는 동안 먼저 끝난 판정부터 읽습니다
- 대량 작업
- 지도교수 앞에 쌓인 논문 더미는 앱의 5배 동시성으로 API를 통과합니다
서로 다른 역할을 비교하면
| 비교 항목 | CiteTrue | ZeroGPT |
|---|---|---|
| 답하는 질문 | 이 참고문헌들이 실재하고 주장을 뒷받침하나 | 이 글이 AI가 쓴 것처럼 보이나 |
| 그 답을 검증할 수 있나 | 예 — 모든 판정이 근거가 된 레코드로 연결됩니다 | 아니요 — 확률 점수뿐, 열어서 확인할 것이 뒤에 없습니다 |
| 잘못된 지목 | 검증에 실패하면 해당 참고문헌과 이유를 짚어 주므로, 그것을 두고 따져 볼 수 있습니다 | 판별기가 사람이 쓴 글을 잘못 짚는 일은 알려져 있고, 특히 비원어민에게서 그렇습니다 |
| 연구윤리 사안에서의 활용 | 저자 앞에 내놓을 수 있는 증거 | 단독 증거로는 널리 논란이 됩니다 |
| 비용 | 하루 30건 무료, 이후 $5.99/월부터 | 무료 등급과 유료 요금제 |
| 편의성 | 참고문헌 목록을 붙여넣으면 건별로 결과가 나옵니다 | 글을 붙여넣으면 전체에 대해 점수 하나가 나옵니다 |
그래서 무엇을 써야 하나
어떤 문서를 믿을 수 있는지 가리려는 것이라면, 지어낸 인용은 확실한 증거이고 판별기 점수는 그렇지 않습니다. 참고문헌을 먼저 확인하세요 — 그 결과는 저자와의 대화에서 버티지만, 확률 점수는 버티지 못합니다.