[NLP] ProcessBench: Identifying Process Errors in Mathematical Reasoning

ACL 2025

논문 링크: https://aclanthology.org/2025.acl-long.50/

---

벤치마크 비교

Table 1

• Solution Diversity는 정답 생성을 위해 사용된 LM의 다양성을 의미하며, # Solution Generators와 대응됨
• 기존 벤치마크 대비고난도 수학 문제를 포함하며, 에러 발생 단계에 대한 전문 annotator 기용
• 다양한 모델로부터 natural solutions 도출 및 대량 테스트 케이스 확보

오류 기준

1. Mathematical errors

- 공식 적용/대수적 변환/단순 계산 오류

2. Logical errors

- 근거 없는 가정/타당하지 않거나 결함 있는 추론

3. Conceptual errors

- 문제 개념 오해/수학적 개념의 잘못된 적용

4. Completeness errors

- 해의 타당성에 영향을 미치는 핵심 조건, 제약 조건, 증명 누락

오류 평가

• 오류 기준은 네 가지 유형으로 정의하지만, 이는 annotators에게 제공되는 가이드라인일 뿐 데이터셋에는 오류 타입이 별도 저장되지 않음
• 전문 annotators는 오류 기준이 아닌 자신의 수학적 전문성을 바탕으로 단계별 추론 과정의 옳고 그름을 판단하도록 권장되며, 오류 타입을 명시적으로 라벨링하지 않음
• 첫 번째 오류 이후의 단계들은 잘못된 전제를 기반으로 전개되므로 개별 단계의 정답 여부를 명확히 정의하기 어려움
• 따라서 이후 단계의 옳고 그름을 평가하지 않고 어디서부터 잘못되기 시작했는지를 정확히 짚어내는 능력만을 평가

데이터 수집

• 문제 선별
  
  • 기존 수학 데이터셋으로부터 문제 수집
    • GSM 8K
    • MATH, OlympiadBench, Omni-MATH

• 정답 생성
  • 풀이 다양성을 위해 총 12개 LLMs를 풀이 생성을 위해 사용
  • error 최종 답안이 오답으로 판정되어 샘플링된 풀이
  • correct 최종 답안이 정답으로 판정되어 샘플링된 풀이
  • 서브셋마다 실제 사용된 생성 모델 구성에 차이가 존재
    • MATH
      • 코드 버그로 인해 기여도 없는 모델 존재 (2/12)
      • Llama-3.1-70B-Instruct, Qwen2.5-72B-Instruct
    • OlympiadBench, Omni-MATH
      • 고난도 문제 대해 정확도 낮은 모델이 전문가 라벨링 단계에서 제외되어 기여도 없는 모델 존재 (4/12)
      • Meta-Llama-3-8B-Instruct, Meta-Llama-3-70B-Instruct, Qwen2-1.5B-Instruct, Qwen2.5-1.5B-Instruct

Table 4

정답 형식 표준화

• 기용 LLM
  • Qwen2.5-72B-Instruct
• 방법
  • 정답 내부 모든 줄바꿈을 공백으로 대체
  • LLM에게 정답 텍스트를 유지하면서 표준 줄바꿈(“\n\n”)을 사용하여 문단을 나누도록 지시
  • LLM이 정답 텍스트를 일부라도 수정한 경우 (<0.5%), 해당 정답은 제거

Figure 6

전문가 라벨링

• 기용 LLM
  • Qwen2.5-72B-Instruct
• 방법
  • 채택된 12개 LLMs로부터 도출된 CoT 내부 정답(final answer in model-generated solution)과 실제 정답(reference answer)을 비교하여 정답 검증 요청
  • (모델 생성 풀이, 정답) 및 (모델 생성 풀이, 오답) 샘플링
  • 능력 검사 및 라벨링 튜토리얼을 거쳐 고용된 박사급 전문 인력에게 원본 문제의 참고용 풀이와 정답을 제공하고 각 CoT를 단계별로 검증하며 가장 먼저 발생한 오류를 검사
  • 각 CoT 당 3명의 전문가에게 할당되며, 의견이 일치하지 않을 경우 3명의 의견이 합치할 때까지 해당 CoT를 풀이할 전문가를 추가 배정
  • 제거
    • 단계별 추론 과정에 대해 5명 중 3명 전문가 내부 의견이 합치되지 않은 CoT (label 태깅이 다른 경우)
    • 전문가 집단이 과정 전체(step by step solution)를 정답(label=-1)으로 판단했으나, 최종 답안(final answer)이 오답(final_answer_correct=false)인 CoT

통계

• 용어 표기
  • # Samples 샘플 개수
    • GSM 8K: 400
    • MATH, OlympiadBench, Omni-MATH: 1000
    • 총계: 3400
  • % Process Errors
    • 최종 답안이 정답인 경우에 풀이 내부에 오류가 포함 비율, P(annotated as erroneous | final answer=true)
  • # Steps 추론 단계 수
    • % ≥ n steps 풀이 과정 단계 수가 n 이상인 샘플의 비율
  • % 3/n agreement 개별 CoT 대해 전문가 n명 이내로 3인 합의에 도달한 샘플 비율
    • (% 3/3) + (% 3/4) + (% 3/5) = 100%

Table 2

• 고난도 문제일수록 모델 생성 풀이 과정 단계 수 증가
• 최종 답안이 오답인 문제의 풀이 과정은 정답인 문제의 풀이 과정보다 단계 수가 많은 경향

Figure 3

• 4개 서브셋 모두 오류 대부분이 추론 과정 초기에 발생

Figure 4

• 모든 모델에서 고난도 문제일수록 오류를 포함한 풀이 증가
• 고난도 문제에 대해 정답 풀이 중 과정 오류 비율이 크게 증가함에 따라 rule-based RL의 한계를 확인 가능

평가

• 척도
  • 각 서브셋에 대해 오류가 없는(label=-1) 샘플 정확도와 오류가 있는(label ≠ -1) 샘플 정확도의 조화 평균 (f1-score)
• 태스크 정의
  • 풀이 과정에서 (가장 처음 발생한 오류 단계/오류 없음) 식별
• 방법
  • PRMs는 추론 단계별 답안 예측 결과로부터 가장 먼저 발생한 오류 단계 추출
  • Critic models은 *프롬프트 템플릿에 따라 단계별 검토 후 가장 먼저 오류가 발생하는 문단의 인덱스 반환

Figure 7

• blue text: 문단으로 나뉜 입력 수학 문제와 풀이 과정
• red text: 요구하는 출력 내용 및 형식

결과

• PRMs 및 critic models 모두 성능 감소하며 추론 과정 오류 식별 자체가 어려운 태스크임을 보여줌
• PRMs는 critic models보다 성능 저하가 두드러지며 추론 과정 오류 식별 능력 부족함을 확인 가능
• 특히 PRMs보다 human annotation 기반 단순 미세조정이 일반화 측면에서 더욱 효과적
• 오픈소스 중에서는 QwQ-32B-Preview가 가장 우세하며 GPT-4o에 근접, 그러나 o1-mini에는 못 미침

---

데이터 샘플

huggingface 링크: https://huggingface.co/datasets/Qwen/ProcessBench

• id
• generator
  • 답안 생성 위해 사용된 생성 모델
• problem
  • 기존 데이터셋으로부터 수집된 수학 문제
• steps
  • 최종 답안 포함 문장 단위 CoT
• final_answer_correct
  • 최종 답안의 정답 여부
• label
  • 처음으로 오류가 발생한 단계의 인덱스
  • 0부터 시작
  • 오류가 없다면 -1로 태깅

"id": "math-22",  
"generator": "Qwen2-7B-Instruct",  
"problem": "Find the integer $n,$ $0 \\\\le n \\\\le 180,$ such that $\\\\cos n^\\\\circ = \\\\cos 568^\\\\circ.$",  
"steps": \[  
  "To find the integer \\\\(n\\\\), \\\\(0 \\\\leq n \\\\leq 180\\\\), such that \\\\(\\\\cos n^\\\\circ = \\\\cos 568^\\\\circ\\\\), we can use the periodic properties of the cosine function. First, recall that the cosine function has a period of \\\\(360^\\\\circ\\\\). This means that: \\\\\[ \\\\cos \\\\theta = \\\\cos (\\\\theta + 360k) \\\\\] for any integer \\\\(k\\\\).",  
  "Given \\\\(\\\\cos 568^\\\\circ\\\\), we need to reduce this angle to an equivalent angle within the first cycle of \\\\(0\\\\) to \\\\(360^\\\\circ\\\\). We do this by subtracting multiples of \\\\(360^\\\\circ\\\\) until we get an angle within this range: \\\\\[ 568^\\\\circ - 360^\\\\circ = 208^\\\\circ \\\\\] So, \\\\(\\\\cos 568^\\\\circ = \\\\cos 208^\\\\circ\\\\).",  
  "However, we want to find \\\\(n\\\\) such that \\\\(0 \\\\leq n \\\\leq 180\\\\). Since cosine is also symmetric about \\\\(180^\\\\circ\\\\), we know that: \\\\\[ \\\\cos \\\\theta = \\\\cos (180^\\\\circ - \\\\theta) \\\\\] Therefore, \\\\(\\\\cos 208^\\\\circ = \\\\cos (180^\\\\circ - 208^\\\\circ)\\\\), which simplifies to: \\\\\[ \\\\cos 208^\\\\circ = \\\\cos (-28^\\\\circ) \\\\\]",  
  "The cosine function is also even, meaning it is symmetric about the y-axis: \\\\\[ \\\\cos (-\\\\theta) = \\\\cos \\\\theta \\\\\] Thus, \\\\\[ \\\\cos (-28^\\\\circ) = \\\\cos 28^\\\\circ \\\\\]",  
  "So, \\\\(n = 28^\\\\circ\\\\). Hence, the integer \\\\(n\\\\), \\\\(0 \\\\leq n \\\\leq 180\\\\), such that \\\\(\\\\cos n^\\\\circ = \\\\cos 568^\\\\circ\\\\) is \\\\(n = 28\\\\). The answer is \\\\(\\\\boxed{28}\\\\)."  
\],  
"final\_answer\_correct": false,  
"label": 2