■ ‘대한민국 서·논술형 평가의 현주소를 진단하고 갈 길을 모색한다’ 연속토론회 ② 결과보도(2026.09.14.) |
|
|
|
중고교 서·논술형 평가, 문항 비율 확대 넘어 ‘수업, 평가’ 체제 변화로 나아가야... |
|
|
▲ 사교육걱정없는세상은 9월 9일(수) 「서·논술형 평가 도입을 위한 현황 진단과 과제」 4회 연속토론회의 제2차 토론회인 「<중고등> 교육과정과 현장의 서·논술형 평가를 살핀다」를 개최하였음. ▲ 최진영 일산동고 국어과 교사, 신지연 인헌고 국어과 교사, 김경태 인헌고 과학과 교사, 이현아 구리여중 영어과 교사, 조병일 조치원중 수학과 교사 등 중·고교 현장 교사 5인이 발제를 맡아 실제 중·고등학교 수업과 평가 경험을 토대로 서·논술형 평가 전환의 가능성과 과제를 제시함. ▲이날 발제와 토론을 통해 도출된 내용은 다음과 같음. - 경기 북부 42개 고교의 고1 공통 6과목을 분석한 결과 논술형 평가 반영 비율은 평균 4%였지만, 평가 요소·수행 수준·배점 구조가 드러나는 분석적 채점기준은 61.5%에서만 확인됨. 서·논술형 평가 정책의 초점을 ‘얼마나 많이 실시하는가’에서 ‘어떤 평가를 얼마나 신뢰할 수 있게 실시하는가’로 옮겨야 한다는 지적이 제기됨.
- 현장 교사들은 서논술형 평가의 필요성에 공감하면서도, 짧은 성적처리 일정과 채점 부담이 열린 답안을 ‘키워드 채점’이 가능한 문항으로 축소시킬 수 있다고 지적함.
- 서답형 100% 정기시험을 운영해 온 과학 교사의 사례에서는 평가 변화가 학생의 공부 방식과 수업의 변화로 이어질 가능성이 확인됨. 다만 이를 개별 교사의 열정에 맡기지 않고, 학교 단위에서 평가 경험을 축적할 수 있도록 공동 연구협의시간과 인력·평가 시스템을 지원해야 한다는 제안이 나옴.
- 서논술형 평가의 안착을 위해서는 ‘어떻게 채점할 것인가’에 앞서 ‘무엇을 평가할 것인가’를 분명히 하고, 교과별 사고력과 수행 수준을 판단할 평가 프레임을 마련해야 한다는 의견이 제시됨. 또한 ‘성취기준·성취수준→수업에서의 경험→평가에서의 수행’이 연결되도록 평소 수업에서 질문하고 분석하며 근거를 들어 설명하는 경험을 충분히 제공해야 한다고 강조함.
- 이번 토론회에서는 △서술형논술형의 개념과 교과별 평가 프레임 마련 △실제 학생 답안을 활용한 채점 연수와 교사 간 협의 △출제·채점·피드백 시간 보장 △학생·학부모에게 평가기준과 결과를 설명하는 소통체계 등이 주요 과제로 제시됨.
▲ 9월 16일(수) 오후 6시 개최되는 제3차 토론회에서는 「서‧논술 사교육 시장의 지형과 반응을 짚는다」를 주제로 실제 학교 현장의 수업과 평가 실태를 살펴볼 예정임. |
|
|
사교육걱정없는세상은 9월 9일(수) 오후 6시부터 9시까지 ‘대한민국 서·논술형 평가의 현주소를 진단하고 갈 길을 모색한다’ 연속토론회 제2차 토론회 「<중·고등> 교육과정과 현장의 서·논술형 평가를 살핀다」를 개최했습니다. 이날 토론회에는 국어·과학·영어·수학 교사 5명이 참여해 학교에서 실제 서‧논술형 평가를 운영하며 확인한 학생들의 변화와 교사들의 어려움, 향후 필요한 제도적 지원을 논의했습니다. 발제자들은 각자의 교과와 학교에서 서‧논술형 평가를 시도한 경험을 바탕으로 ▲서‧논술형의 개념과 채점기준 명확화, ▲촉박한 채점기간과 민원 부담으로 인한 키워드 채점의 한계 ▲교사의 평가 경험 축적, ▲교과별 역량을 담은 평가 프레임 마련, ▲수업에서부터 설명하고 표현하는 경험 제공 등을 주요 과제로 제시했습니다. |
|
|
■ 최진영 국어과 교사(경기 일산동고): 고교현장에서 서·논술형 평가 이미 상당 비중… 이제는 평가의 질을 높일 때 |
|
|
제1발제: 최진영 국어과 교사(경기 일산동고) |
|
|
첫 번째 발제를 맡은 최진영 국어과 교사(경기 일산동고)는 학생의 개념 이해와 자료 분석, 사고 과정을 확인할 수 있다는 점에서 서·논술형 평가의 교육적 필요성에 공감하면서도, 단순히 평가 반영 비율을 높이는 것만으로는 그 취지를 구현하기 어렵다고 지적했습니다. 발제자가 경기 북부 고양·파주·의정부 42개 고교의 2026학년도 고1 공통 6과목 평가계획을 분석한 결과, 논술형 평가의 평균 반영 비율은 39.4%로 나타났습니다. 그러나 높은 반영 비율이 곧바로 평가의 질을 의미하는 것은 아니었습니다. 실제 현장에서는 단답형·완성형까지 서·논술형으로 이해하는 경우가 있고 시·도교육청마다 반영 비율을 산정하는 방식도 달랐습니다. 또한 학생의 답안을 어떤 요소와 수준에 따라 평가하고 점수를 부여할 것인지가 평가계획서에 충분히 구체화되어 있는지도 과제로 확인됐습니다. 평가 요소와 수행 수준, 배점 구조가 모두 드러나는 분석적 채점기준은 분석 대상의 61.5%에서만 확인됐습니다. 다만 이는 공시된 평가계획서를 기준으로 분석한 결과로, 별도의 채점표가 실제 평가에서 활용됐을 가능성은 남아 있습니다. 이를 위해서는 교사의 평가 전문성을 개인의 노력이나 책임에만 맡겨서는 안 된다고 지적했습니다. 실제 학교 현장에서 어려움이 집중되는 지점은 평가계획을 세우는 것보다 많은 학생의 답안을 채점하고, 교사 간 판단을 조정하며, 그 결과를 학생과 학부모에게 설명하고 이의제기에 대응하는 과정이기 때문입니다. 서·논술형 평가가 학생의 사고 과정을 제대로 평가하려면 성취기준과 수업, 문항, 채점기준이 긴밀하게 연결되어야 하고, 교사들이 실제 학생 답안을 함께 검토하며 판단기준을 조정하는 경험도 축적되어야 한다고 설명했습니다. 이에 발제자는 ▲공동 출제·예비채점·경계성 답안 검토 등을 위한 채점·협의시간의 제도적 보장, ▲실제 문항과 학생 답안을 활용한 실습 중심 연수, ▲소규모 학교와 소수 교과 교사를 위한 학교 간 평가 협의체, ▲민원과 이의제기를 교사 개인에게 맡기지 않는 학교·교육청 차원의 지원체계가 필요하다고 제안했습니다. 평가 모니터링 역시 학교나 교사를 서열화하는 방식이 아니라, 문항과 채점기준의 취약점을 확인하고 어려웠던 평가 사례까지 함께 축적해 필요한 연수와 지원으로 환류하는 방향으로 운영돼야 한다고 강조했습니다. |
|
|
■ 신지연 국어과 교사(서울 인헌고): 학생의 사고를 묻고 싶어도 ‘3분 채점’… 열린 답안을 평가할 여건 필요 |
|
|
신지연 국어과 교사(서울 인헌고)는 선택형 평가만으로는 학생이 무엇을 알고 있는지를 넘어 ‘어떻게 생각했는지’를 충분히 확인하기 어렵다고 지적했습니다. 실제로 한 학생이 객관식 문제의 정답은 맞히지 못했지만 개념을 정확히 이해한 상태에서 나름의 근거를 갖고 판단했던 사례를 소개하며, 하나의 정답만 확인하는 평가에서는 이러한 사고 과정이 드러나지 않는다고 설명했습니다. 또한 2022 개정 교육과정의 성취기준을 객관식 문항으로 구현하려다 선지의 정오를 명확히 가르기 어려워 출제를 포기했던 경험을 들며, 학생이 무엇을 선택했는지만이 아니라 자료를 어떻게 파악하고 분석하며 판단했는지를 확인할 수 있는 평가가 필요하다고 강조했습니다. 그러나 발제자는 이러한 문제의식을 가지고 있으면서도 실제 정기고사에서는 학생의 열린 사고를 평가하는 문항을 충분히 출제하기 어려웠다고 돌아봤습니다. 짧은 성적처리 기간과 채점 부담, 민원에 대한 우려 때문에 특정 키워드가 포함되면 점수를 주는 방식의 문항을 만들어 왔고, 그 결과 학생의 고차원적 사고를 평가해야 할 서·논술형이 사실상 ‘정해진 답을 직접 써내는 문항’으로 축소됐다는 것입니다. 대신 상대적으로 채점시간의 여유가 있고 중간 피드백이 가능한 수행평가에서 긴 글쓰기 과제를 운영해 왔지만, 최근에는 생성형 AI를 활용해 학생들이 과제를 빠르게 완성하면서 이러한 방식 역시 학생 자신의 사고와 글쓰기를 확인하는 데 한계가 커지고 있다고 설명했습니다. 이에 발제자는 서·논술형 평가가 단순히 답을 길게 쓰게 하는 방식이 아니라 학생의 실제 사고 과정과 ‘저자성’을 확인하는 방향으로 바뀌어야 한다고 제안했습니다. 이를 위해 성취기준에서 ‘무엇을 아는가’를 나타내는 명사보다 ‘파악한다’, ‘평가한다’, ‘설명한다’와 같은 수행 동사에 주목해 학생이 판단에 이르는 과정을 드러내는 문항을 설계하고, 생성형 AI 시대에는 학생 자신의 경험과 문제의식을 근거로 생각을 펼치도록 하는 열린 문항도 필요하다고 강조했습니다. 다만 현재 자신이 담당하는 두 과목에서 시험마다 약 250장의 답안지를 3일 안에 1차 채점해야 해 답안 한 장에 쓸 수 있는 시간이 약 3분에 불과하다며, 이러한 평가를 실제 학교에서 구현하려면 충분한 채점시간과 민원 대응체계, 출제·채점 경험을 공유할 수 있는 실습 중심 연수와 교사 간 협업체계가 함께 마련돼야 한다고 제안했습니다. |
|
|
■ 김경태 과학과 교사(서울 인헌고): 서답형 100% 평가가 수업과 학생의 공부를 바꿔… 경험 축적할 ‘학교 단위 지원’ 필요 |
|
|
김경태 과학과 교사(서울 인헌고)는 “수업에서 역량을 기른다면, 배움에 걸맞게 역량을 평가해야 한다”는 문제의식에서 2022년부터 생명과학Ⅰ·Ⅱ 정기시험을 서답형 100%(단답형 40% 포함)로 운영해 온 경험을 소개했습니다. 선택형 문항에서는 학생이 실제로 자료를 분석해 답을 찾았는지, 오답을 제거해 맞혔는지, 유형을 암기했는지 확인하기 어려운 만큼, 기억과 이해를 넘어 지식을 실제 맥락에 적용하고 자료를 분석·평가하는 과정까지 확인할 수 있도록 평가 방식을 바꿨다고 설명했습니다. 평가의 변화는 수업에도 이어져, 학생들이 수업 안에서 개념을 습득하는 데 그치지 않고 이를 활용하고 심화하며, ‘구체적으로 설명하기’, ‘근거를 바탕으로 추론하기’, ‘자료 해석하기’와 같은 수행 수준을 반복적으로 경험하도록 수업을 설계했다고 밝혔습니다. 이러한 수업과 평가의 변화는 학생들의 학습 방식에도 영향을 미쳤습니다. 학생들은 “애매하게 개념을 알고 있으면 풀어낼 수 없어 사소한 개념이라도 온전히 이해하고 넘어가며 공부했다”, “수업 활동지를 더 열심히 채웠다”, “객관식 문제를 서술형으로 바꿔 다시 풀어봤다”고 평가했습니다. 성취도가 낮았던 한 학생은 오픈북 서술형 수행평가에 대해 “내가 가장 집중해서 공부한 시간은 생명과학 수행평가 시간이었다”고 밝혔습니다. 발제자는 이 사례를 통해 서‧논술형 평가가 단지 학습 결과를 확인하는 시험에 그치지 않고, 학생이 답을 찾는 과정에서 다시 배우는 학습 경험이자 형성평가로도 기능할 수 있다고 설명했습니다. 다만 발제자는 자신의 사례가 개별 교사의 열정만 있으면 누구나 서술형 중심 평가를 할 수 있다는 ‘하면 된다’의 사례로 읽혀서는 안 된다고 강조했습니다. 자신이 이러한 평가를 지속할 수 있었던 데에는 함께 서술형 평가를 시도하고 서로의 실천을 지지해 온 동료 교사와 학교의 문화가 중요한 토대가 됐다는 것입니다. 이에 서‧논술형 평가 확대를 위해서는 개별 교사에게 비율 확대를 요구하거나 연수를 제공하는 데 그치지 않고, 학교 단위에서 문항 개발과 채점, 평가 결과를 함께 분석하고 경험을 축적할 수 있도록 ▲교사 간 공동 연구·협의 시간 확보, ▲교원 정원 등 인력 지원, ▲전자 채점과 문항 분석 등 평가 시스템 구축, ▲학교의 평가를 교육청이 함께 책임지고 지원하는 체계가 필요하다고 제안했습니다. |
|
|
■ 이현아 영어과 교사(경기 구리여중): ‘어떻게 채점할까’보다 ‘무엇을 평가할까’ 먼저… 교과별 평가 프레임 필요 |
|
|
제4발제: 이현아 영어과 교사(경기 구리여중) |
|
|
이현아 영어과 교사(경기 구리여중)는 서‧논술형 평가가 확대되고 있지만 실제 학교에서는 여전히 단답형이나 짧은 지식 서술, 정해진 조건을 충족하는 문항에 머무르는 경우가 많다고 지적했습니다. 채점의 객관성과 효율성을 높이기 위해 AI 자동채점이나 복수채점 등의 방안이 논의되고 있지만, 이러한 방식 역시 키워드 중심의 채점으로 흐를 경우 학생의 고차원적인 사고를 평가한다는 서‧논술형 평가의 취지를 구현하기 어렵다는 것입니다. 이에 이 교사는 ‘어떻게 채점할 것인가’를 논의하기에 앞서 ‘왜 평가하며, 무엇을 평가할 것인가’부터 분명히 해야 한다고 강조했습니다. 발제자는 평가가 학생을 선발하고 성취수준을 판단하는 기능에 그치지 않고, 학생이 자신의 학습을 성찰하고 수정하며 다음 학습으로 나아가게 하는 성장의 기제가 되어야 한다고 설명했습니다. 이를 위해서는 학생이 사실적 지식을 알고 있는지를 넘어, 개념을 연결하고 문제를 분석하며 가설을 구성·적용하고 새로운 관점으로 판단하는 과정까지 평가할 수 있어야 합니다. 그러나 2022 개정 교육과정은 역량을 강조하면서도 총론과 교과 각론의 연결이 충분하지 않고, 교육과정과 평가 역시 분리되어 설계돼 있어 교사가 실제 평가에 활용할 공식적인 평가 프레임이 부족하다고 지적했습니다. 이에 발제자는 국가 차원에서 교과 고유의 본질적 이해와 탐구 방식, 학생의 사고와 학습이 발전하는 흐름을 담은 포괄적인 ‘평가 프레임’을 마련해야 한다고 제안했습니다. 학생이 단순히 용어를 기억하는 수준인지, 개념 간 관계를 연결하는지, 자신의 가설을 구성하고 적용·분석하는지 등을 판단할 수 있는 준거와 수행 동사를 함께 제공해야 한다는 것입니다. 이러한 공통의 평가 프레임은 획일적인 채점 매뉴얼이 아니라, 교사들이 각자 개발한 평가 과제와 채점 방식을 논의하고 경험을 축적하는 ‘공통 언어’가 되어야 하며, 교사는 이를 다시 학생과 수업의 맥락에 맞게 해석하고 구체화해야 한다고 강조했습니다. AI 자동채점 역시 이러한 교사의 전문적 판단을 대체하는 방식으로 접근해서는 안 된다고 지적했습니다. AI는 채점 부담을 줄이는 보조수단으로 활용할 수 있지만 학생마다 다른 논증의 맥락과 탐구 과정을 충분히 해석하는 데 한계가 있고, 평가 결과를 학생과 학부모에게 설명하고 최종적으로 판단하는 책임 역시 교사에게 남는다는 것입니다. 따라서 서‧논술형 평가의 전환은 채점 기술을 먼저 정하는 것이 아니라, 무엇을 가치 있는 배움으로 보고 평가할 것인지에 대한 공통의 틀을 마련하고 교사가 이를 전문적으로 판단할 수 있도록 하는 데서 출발해야 한다고 강조했습니다. |
|
|
■ 조병일 수학과 교사(세종 조치원중): 시험에서 ‘생각을 쓰라’면 수업에서도 설명하게 해야… 수업·평가 일치가 출발점 |
|
|
제5발제: 조병일 수학과 교사(세종 조치원중) |
|
|
마지막 발제를 맡은 조병일 수학과 교사(세종 조치원중)는 서‧논술형 평가가 제대로 작동하려면 시험 문항을 바꾸기에 앞서 학생들이 수업에서부터 자신의 생각을 설명하고 이유와 근거를 제시하는 경험을 충분히 해야 한다고 강조했습니다. 교사가 풀이를 설명하고 학생이 받아 적는 수업을 해놓고 시험에서 갑자기 ‘왜 그렇게 생각했는지 설명하라’고 요구해서는 수업과 평가 사이에 간극이 생길 수밖에 없다는 것입니다. 발제자의 수학 수업은 ‘탐구 흔적 남기기→예습점검→탐구활동→설명하기→개념정리’의 흐름으로 운영됩니다. 학생이 수업 전에 자신이 이해한 내용과 궁금한 점을 기록하고, 수업에서는 서로의 생각을 확인하며 문제를 탐구한 뒤 자신이 이해한 개념과 해결 과정을 다른 학생에게 설명하고 다시 글로 정리하도록 합니다. 조 교사는 2022 개정 교육과정의 성취기준과 성취수준에서도 ‘설명하기’, ‘이유 제시하기’, ‘관계 파악하기’ 등의 수행을 요구하고 있는 만큼, 이러한 수행을 평가에서만 갑자기 요구할 것이 아니라 수업에서부터 충분히 경험하도록 해야 한다고 설명했습니다. 이를 ‘성취기준·성취수준→수업에서의 경험→평가에서의 수행’이 같은 방향을 바라보는 구조로 정리했습니다. 장기적으로는 이러한 수업과 평가의 연결을 강화하기 위해 ‘교사별 평가’가 가능한 체제로 나아갈 필요가 있다고 제안했습니다. 같은 성취기준을 가르치더라도 교사가 수업에서 강조한 질문과 학생이 경험한 탐구 과정은 다를 수 있기 때문에, 모든 교사가 동일한 시험만 치르는 구조에서는 수업과 평가를 정밀하게 연결하는 데 한계가 있다는 것입니다. 다만 교사별 평가는 교사가 임의로 평가한다는 의미가 아니라, 공통의 교육과정과 성취기준·성취수준을 토대로 각자의 수업과 평가를 연결하는 방식이며, 이를 위해 교과협의회와 전문적 학습공동체에서 문항·채점기준·학생 답안을 함께 검토하며 판단 기준을 지속적으로 조율해야 한다고 강조했습니다. 또한 이러한 변화가 개별 교사의 노력만으로 가능하지는 않다고 지적했습니다. 서‧논술형 평가를 확대하려면 수업과 평가를 함께 설계할 수 있는 실습 중심 연수, 충분한 채점과 학생 확인 시간, 동료 교사와 공동 연구·협의할 수 있는 여건, 교사가 수업과 평가에 집중할 수 있는 업무 구조가 함께 마련돼야 한다는 것입니다. 발제자는 결국 서‧논술형 평가의 확대는 ‘문항의 변화’에 그쳐서는 안 되며, 학생이 생각하고 설명하는 수업의 변화와 이를 가능하게 하는 제도의 변화가 함께 이루어져야 한다고 강조했습니다. |
|
|
■ 종합토론: 서·논술형 평가, ‘비율 확대’ 앞서 평가의 공통 기준과 학교의 실행 조건 마련해야 종합토론에서는 서·논술형 평가를 학교 현장에 안정적으로 정착시키기 위해서는 단순히 문항의 반영 비율을 높이는 것을 넘어, 무엇을 평가할 것인지에 대한 공통의 준거와 이를 실제 수업·평가로 구현할 여건을 함께 마련해야 한다는 데 논의가 모였습니다. 현재는 지역과 학교에 따라 서술형·논술형의 개념과 산정방식이 다르고, 성취기준에 ‘설명한다’, ‘분석한다’와 같은 수행 동사가 제시돼 있어도 어느 수준의 수행을 의미하는지 충분히 구체화되어 있지 않다는 것입니다. 이에 서·논술형 평가의 개념과 범위를 분명히 하는 한편, 교과별 특성과 학생의 수행 수준을 판단할 수 있는 평가 프레임을 마련해 교사들이 문항과 학생 답안을 함께 논의할 수 있는 ‘공통 언어’를 만들어야 한다는 제안이 나왔습니다. 다만 공통 기준을 마련하는 것이 모든 학교와 교사의 평가를 획일화하는 방식이어서는 안 된다는 점도 강조됐습니다. 학생에게 평가에서 자신의 생각과 판단 근거를 설명하도록 요구하려면 평소 수업에서도 질문하고 탐구하며 설명하는 경험이 충분히 제공돼야 하며, 공통의 성취기준과 평가 준거를 토대로 각 교사가 자신이 운영한 수업과 평가를 연결할 수 있어야 한다는 것입니다. 즉, 교육과정에서 요구하는 능력을 수업에서 충분히 경험하고, 그 경험한 내용을 평가에서도 직접 설명하고 표현할 수 있도록 수업과 평가가 하나의 흐름으로 이어져야 한다는 점이 강조됐습니다. 이러한 평가를 가능하게 하기 위한 학교의 운영 여건도 주요 쟁점으로 논의됐습니다. 짧게 개념이나 이유를 설명하는 문항과 자료를 분석해 논증하는 문항은 학생에게 필요한 사고시간뿐 아니라 교사의 채점시간도 다른 만큼, 기존의 시험시간과 성적처리 일정을 그대로 둔 채 서·논술형 문항의 비중만 높여서는 평가의 질을 확보하기 어렵다는 지적입니다. 분석적 채점기준을 개발하고 실제 학생 답안을 함께 검토하는 데에도 상당한 시간과 전문성이 필요한 만큼 이를 교사 개인의 역량이나 노력에만 맡기지 않고, 실제 답안을 활용한 채점 연수와 교사 간 공동채점·협의시간, 문항 및 평가결과를 함께 분석할 수 있는 지원체계를 마련해야 한다는 데 의견이 모였습니다. 평가에 대한 학생과 학부모의 신뢰를 높이기 위해서는 평가 결과를 ‘설명할 수 있는 체계’도 필요하다는 의견이 제시됐습니다. 교사들이 공동으로 학생 답안과 채점기준을 검토해 판단의 일관성을 높이는 한편, 학생과 학부모에게 평가의 목적과 기준, 점수의 근거를 충분히 설명하고 정당한 이의제기가 가능한 절차를 마련해야 한다는 것입니다. 이는 서·논술형 평가의 공정성을 단순히 동일한 답과 점수를 산출하는 문제로 접근하기보다, 평가의 기준과 판단 과정에 대한 신뢰를 형성하는 문제로 함께 다뤄야 한다는 의미입니다. 이번 토론회를 통해 서·논술형 평가의 안착을 위해서는 ▲서술형·논술형의 개념과 교과별 평가 프레임 마련, ▲교육과정-수업-평가의 일관성 확보, ▲실제 학생 답안을 활용한 교사 연수와 공동채점·협의 체계 구축, ▲출제·채점·피드백을 위한 충분한 시간 보장, ▲학생·학부모가 평가기준과 결과를 이해할 수 있는 소통체계 마련 등이 주요 과제로 확인됐습니다. 특히 시험에서 갑자기 ‘생각을 쓰라’고 요구하는 것이 아니라, 평소 수업에서부터 학생이 질문하고 분석하고 근거를 들어 설명하는 경험을 축적하도록 하는 것이 서·논술형 평가 전환의 출발점이라는 점이 강조됐습니다. 사교육걱정없는세상은 1·2차 토론회에서 확인한 교육과정적 토대와 학교 현장의 과제를 바탕으로, 오는 9월 16일(화)에 열리는 제3차 토론회에서는 「서·논술 사교육 시장의 지형과 반응을 짚는다」를 주제로 평가 변화에 따른 사교육 시장의 움직임과 영향을 살펴볼 예정입니다. 그리고 마지막 제4차 토론회에서는 서·논술형 대입제도의 설계와 정착 방안을 논의할 것입니다. 이를 통해 서·논술형 평가가 새로운 시험 부담과 사교육 수요로 이어지지 않고 학생의 사고와 표현을 성장시키는 평가로 정착하기 위해 필요한 정책적 조건을 구체화해 나갈 것입니다. 이어지는 토론회에도 많은 관심과 참여를 부탁드립니다.
※ 연속토론회 현장 참여 신청 ☞ https://forms.gle/Yz1g5xML9vYv2pmj6 |
|
|
2026. 09. 14. (사)사교육걱정없는세상 (공동대표 신소영, 나성훈) |
|
|
|
■ ‘대한민국 서·논술형 평가의 현주소를 진단하고 갈 길을 모색한다’ 연속토론회 ② 결과보도(2026.09.14.)
중고교 서·논술형 평가, 문항 비율 확대 넘어 ‘수업, 평가’ 체제 변화로 나아가야...
▲ 사교육걱정없는세상은 9월 9일(수) 「서·논술형 평가 도입을 위한 현황 진단과 과제」 4회 연속토론회의 제2차 토론회인 「<중고등> 교육과정과 현장의 서·논술형 평가를 살핀다」를 개최하였음.
▲ 최진영 일산동고 국어과 교사, 신지연 인헌고 국어과 교사, 김경태 인헌고 과학과 교사, 이현아 구리여중 영어과 교사, 조병일 조치원중 수학과 교사 등 중·고교 현장 교사 5인이 발제를 맡아 실제 중·고등학교 수업과 평가 경험을 토대로 서·논술형 평가 전환의 가능성과 과제를 제시함.
▲이날 발제와 토론을 통해 도출된 내용은 다음과 같음.
▲ 9월 16일(수) 오후 6시 개최되는 제3차 토론회에서는 「서‧논술 사교육 시장의 지형과 반응을 짚는다」를 주제로 실제 학교 현장의 수업과 평가 실태를 살펴볼 예정임.
사교육걱정없는세상은 9월 9일(수) 오후 6시부터 9시까지 ‘대한민국 서·논술형 평가의 현주소를 진단하고 갈 길을 모색한다’ 연속토론회 제2차 토론회 「<중·고등> 교육과정과 현장의 서·논술형 평가를 살핀다」를 개최했습니다. 이날 토론회에는 국어·과학·영어·수학 교사 5명이 참여해 학교에서 실제 서‧논술형 평가를 운영하며 확인한 학생들의 변화와 교사들의 어려움, 향후 필요한 제도적 지원을 논의했습니다.
발제자들은 각자의 교과와 학교에서 서‧논술형 평가를 시도한 경험을 바탕으로 ▲서‧논술형의 개념과 채점기준 명확화, ▲촉박한 채점기간과 민원 부담으로 인한 키워드 채점의 한계 ▲교사의 평가 경험 축적, ▲교과별 역량을 담은 평가 프레임 마련, ▲수업에서부터 설명하고 표현하는 경험 제공 등을 주요 과제로 제시했습니다.
■ 최진영 국어과 교사(경기 일산동고): 고교현장에서 서·논술형 평가 이미 상당 비중… 이제는 평가의 질을 높일 때
제1발제: 최진영 국어과 교사(경기 일산동고)
첫 번째 발제를 맡은 최진영 국어과 교사(경기 일산동고)는 학생의 개념 이해와 자료 분석, 사고 과정을 확인할 수 있다는 점에서 서·논술형 평가의 교육적 필요성에 공감하면서도, 단순히 평가 반영 비율을 높이는 것만으로는 그 취지를 구현하기 어렵다고 지적했습니다. 발제자가 경기 북부 고양·파주·의정부 42개 고교의 2026학년도 고1 공통 6과목 평가계획을 분석한 결과, 논술형 평가의 평균 반영 비율은 39.4%로 나타났습니다. 그러나 높은 반영 비율이 곧바로 평가의 질을 의미하는 것은 아니었습니다. 실제 현장에서는 단답형·완성형까지 서·논술형으로 이해하는 경우가 있고 시·도교육청마다 반영 비율을 산정하는 방식도 달랐습니다. 또한 학생의 답안을 어떤 요소와 수준에 따라 평가하고 점수를 부여할 것인지가 평가계획서에 충분히 구체화되어 있는지도 과제로 확인됐습니다. 평가 요소와 수행 수준, 배점 구조가 모두 드러나는 분석적 채점기준은 분석 대상의 61.5%에서만 확인됐습니다. 다만 이는 공시된 평가계획서를 기준으로 분석한 결과로, 별도의 채점표가 실제 평가에서 활용됐을 가능성은 남아 있습니다.
이를 위해서는 교사의 평가 전문성을 개인의 노력이나 책임에만 맡겨서는 안 된다고 지적했습니다. 실제 학교 현장에서 어려움이 집중되는 지점은 평가계획을 세우는 것보다 많은 학생의 답안을 채점하고, 교사 간 판단을 조정하며, 그 결과를 학생과 학부모에게 설명하고 이의제기에 대응하는 과정이기 때문입니다. 서·논술형 평가가 학생의 사고 과정을 제대로 평가하려면 성취기준과 수업, 문항, 채점기준이 긴밀하게 연결되어야 하고, 교사들이 실제 학생 답안을 함께 검토하며 판단기준을 조정하는 경험도 축적되어야 한다고 설명했습니다.
이에 발제자는 ▲공동 출제·예비채점·경계성 답안 검토 등을 위한 채점·협의시간의 제도적 보장, ▲실제 문항과 학생 답안을 활용한 실습 중심 연수, ▲소규모 학교와 소수 교과 교사를 위한 학교 간 평가 협의체, ▲민원과 이의제기를 교사 개인에게 맡기지 않는 학교·교육청 차원의 지원체계가 필요하다고 제안했습니다. 평가 모니터링 역시 학교나 교사를 서열화하는 방식이 아니라, 문항과 채점기준의 취약점을 확인하고 어려웠던 평가 사례까지 함께 축적해 필요한 연수와 지원으로 환류하는 방향으로 운영돼야 한다고 강조했습니다.
■ 신지연 국어과 교사(서울 인헌고): 학생의 사고를 묻고 싶어도 ‘3분 채점’… 열린 답안을 평가할 여건 필요
제2발제: 신지연 국어과 교사(서울 인헌고)
신지연 국어과 교사(서울 인헌고)는 선택형 평가만으로는 학생이 무엇을 알고 있는지를 넘어 ‘어떻게 생각했는지’를 충분히 확인하기 어렵다고 지적했습니다. 실제로 한 학생이 객관식 문제의 정답은 맞히지 못했지만 개념을 정확히 이해한 상태에서 나름의 근거를 갖고 판단했던 사례를 소개하며, 하나의 정답만 확인하는 평가에서는 이러한 사고 과정이 드러나지 않는다고 설명했습니다. 또한 2022 개정 교육과정의 성취기준을 객관식 문항으로 구현하려다 선지의 정오를 명확히 가르기 어려워 출제를 포기했던 경험을 들며, 학생이 무엇을 선택했는지만이 아니라 자료를 어떻게 파악하고 분석하며 판단했는지를 확인할 수 있는 평가가 필요하다고 강조했습니다.
그러나 발제자는 이러한 문제의식을 가지고 있으면서도 실제 정기고사에서는 학생의 열린 사고를 평가하는 문항을 충분히 출제하기 어려웠다고 돌아봤습니다. 짧은 성적처리 기간과 채점 부담, 민원에 대한 우려 때문에 특정 키워드가 포함되면 점수를 주는 방식의 문항을 만들어 왔고, 그 결과 학생의 고차원적 사고를 평가해야 할 서·논술형이 사실상 ‘정해진 답을 직접 써내는 문항’으로 축소됐다는 것입니다. 대신 상대적으로 채점시간의 여유가 있고 중간 피드백이 가능한 수행평가에서 긴 글쓰기 과제를 운영해 왔지만, 최근에는 생성형 AI를 활용해 학생들이 과제를 빠르게 완성하면서 이러한 방식 역시 학생 자신의 사고와 글쓰기를 확인하는 데 한계가 커지고 있다고 설명했습니다.
이에 발제자는 서·논술형 평가가 단순히 답을 길게 쓰게 하는 방식이 아니라 학생의 실제 사고 과정과 ‘저자성’을 확인하는 방향으로 바뀌어야 한다고 제안했습니다. 이를 위해 성취기준에서 ‘무엇을 아는가’를 나타내는 명사보다 ‘파악한다’, ‘평가한다’, ‘설명한다’와 같은 수행 동사에 주목해 학생이 판단에 이르는 과정을 드러내는 문항을 설계하고, 생성형 AI 시대에는 학생 자신의 경험과 문제의식을 근거로 생각을 펼치도록 하는 열린 문항도 필요하다고 강조했습니다. 다만 현재 자신이 담당하는 두 과목에서 시험마다 약 250장의 답안지를 3일 안에 1차 채점해야 해 답안 한 장에 쓸 수 있는 시간이 약 3분에 불과하다며, 이러한 평가를 실제 학교에서 구현하려면 충분한 채점시간과 민원 대응체계, 출제·채점 경험을 공유할 수 있는 실습 중심 연수와 교사 간 협업체계가 함께 마련돼야 한다고 제안했습니다.
■ 김경태 과학과 교사(서울 인헌고): 서답형 100% 평가가 수업과 학생의 공부를 바꿔… 경험 축적할 ‘학교 단위 지원’ 필요
제3발제: 김경태 과학과 교사(서울 인헌고)
김경태 과학과 교사(서울 인헌고)는 “수업에서 역량을 기른다면, 배움에 걸맞게 역량을 평가해야 한다”는 문제의식에서 2022년부터 생명과학Ⅰ·Ⅱ 정기시험을 서답형 100%(단답형 40% 포함)로 운영해 온 경험을 소개했습니다. 선택형 문항에서는 학생이 실제로 자료를 분석해 답을 찾았는지, 오답을 제거해 맞혔는지, 유형을 암기했는지 확인하기 어려운 만큼, 기억과 이해를 넘어 지식을 실제 맥락에 적용하고 자료를 분석·평가하는 과정까지 확인할 수 있도록 평가 방식을 바꿨다고 설명했습니다. 평가의 변화는 수업에도 이어져, 학생들이 수업 안에서 개념을 습득하는 데 그치지 않고 이를 활용하고 심화하며, ‘구체적으로 설명하기’, ‘근거를 바탕으로 추론하기’, ‘자료 해석하기’와 같은 수행 수준을 반복적으로 경험하도록 수업을 설계했다고 밝혔습니다.
이러한 수업과 평가의 변화는 학생들의 학습 방식에도 영향을 미쳤습니다. 학생들은 “애매하게 개념을 알고 있으면 풀어낼 수 없어 사소한 개념이라도 온전히 이해하고 넘어가며 공부했다”, “수업 활동지를 더 열심히 채웠다”, “객관식 문제를 서술형으로 바꿔 다시 풀어봤다”고 평가했습니다. 성취도가 낮았던 한 학생은 오픈북 서술형 수행평가에 대해 “내가 가장 집중해서 공부한 시간은 생명과학 수행평가 시간이었다”고 밝혔습니다. 발제자는 이 사례를 통해 서‧논술형 평가가 단지 학습 결과를 확인하는 시험에 그치지 않고, 학생이 답을 찾는 과정에서 다시 배우는 학습 경험이자 형성평가로도 기능할 수 있다고 설명했습니다.
다만 발제자는 자신의 사례가 개별 교사의 열정만 있으면 누구나 서술형 중심 평가를 할 수 있다는 ‘하면 된다’의 사례로 읽혀서는 안 된다고 강조했습니다. 자신이 이러한 평가를 지속할 수 있었던 데에는 함께 서술형 평가를 시도하고 서로의 실천을 지지해 온 동료 교사와 학교의 문화가 중요한 토대가 됐다는 것입니다. 이에 서‧논술형 평가 확대를 위해서는 개별 교사에게 비율 확대를 요구하거나 연수를 제공하는 데 그치지 않고, 학교 단위에서 문항 개발과 채점, 평가 결과를 함께 분석하고 경험을 축적할 수 있도록 ▲교사 간 공동 연구·협의 시간 확보, ▲교원 정원 등 인력 지원, ▲전자 채점과 문항 분석 등 평가 시스템 구축, ▲학교의 평가를 교육청이 함께 책임지고 지원하는 체계가 필요하다고 제안했습니다.
■ 이현아 영어과 교사(경기 구리여중): ‘어떻게 채점할까’보다 ‘무엇을 평가할까’ 먼저… 교과별 평가 프레임 필요
제4발제: 이현아 영어과 교사(경기 구리여중)
이현아 영어과 교사(경기 구리여중)는 서‧논술형 평가가 확대되고 있지만 실제 학교에서는 여전히 단답형이나 짧은 지식 서술, 정해진 조건을 충족하는 문항에 머무르는 경우가 많다고 지적했습니다. 채점의 객관성과 효율성을 높이기 위해 AI 자동채점이나 복수채점 등의 방안이 논의되고 있지만, 이러한 방식 역시 키워드 중심의 채점으로 흐를 경우 학생의 고차원적인 사고를 평가한다는 서‧논술형 평가의 취지를 구현하기 어렵다는 것입니다. 이에 이 교사는 ‘어떻게 채점할 것인가’를 논의하기에 앞서 ‘왜 평가하며, 무엇을 평가할 것인가’부터 분명히 해야 한다고 강조했습니다.
발제자는 평가가 학생을 선발하고 성취수준을 판단하는 기능에 그치지 않고, 학생이 자신의 학습을 성찰하고 수정하며 다음 학습으로 나아가게 하는 성장의 기제가 되어야 한다고 설명했습니다. 이를 위해서는 학생이 사실적 지식을 알고 있는지를 넘어, 개념을 연결하고 문제를 분석하며 가설을 구성·적용하고 새로운 관점으로 판단하는 과정까지 평가할 수 있어야 합니다. 그러나 2022 개정 교육과정은 역량을 강조하면서도 총론과 교과 각론의 연결이 충분하지 않고, 교육과정과 평가 역시 분리되어 설계돼 있어 교사가 실제 평가에 활용할 공식적인 평가 프레임이 부족하다고 지적했습니다.
이에 발제자는 국가 차원에서 교과 고유의 본질적 이해와 탐구 방식, 학생의 사고와 학습이 발전하는 흐름을 담은 포괄적인 ‘평가 프레임’을 마련해야 한다고 제안했습니다. 학생이 단순히 용어를 기억하는 수준인지, 개념 간 관계를 연결하는지, 자신의 가설을 구성하고 적용·분석하는지 등을 판단할 수 있는 준거와 수행 동사를 함께 제공해야 한다는 것입니다. 이러한 공통의 평가 프레임은 획일적인 채점 매뉴얼이 아니라, 교사들이 각자 개발한 평가 과제와 채점 방식을 논의하고 경험을 축적하는 ‘공통 언어’가 되어야 하며, 교사는 이를 다시 학생과 수업의 맥락에 맞게 해석하고 구체화해야 한다고 강조했습니다.
AI 자동채점 역시 이러한 교사의 전문적 판단을 대체하는 방식으로 접근해서는 안 된다고 지적했습니다. AI는 채점 부담을 줄이는 보조수단으로 활용할 수 있지만 학생마다 다른 논증의 맥락과 탐구 과정을 충분히 해석하는 데 한계가 있고, 평가 결과를 학생과 학부모에게 설명하고 최종적으로 판단하는 책임 역시 교사에게 남는다는 것입니다. 따라서 서‧논술형 평가의 전환은 채점 기술을 먼저 정하는 것이 아니라, 무엇을 가치 있는 배움으로 보고 평가할 것인지에 대한 공통의 틀을 마련하고 교사가 이를 전문적으로 판단할 수 있도록 하는 데서 출발해야 한다고 강조했습니다.
■ 조병일 수학과 교사(세종 조치원중): 시험에서 ‘생각을 쓰라’면 수업에서도 설명하게 해야… 수업·평가 일치가 출발점
제5발제: 조병일 수학과 교사(세종 조치원중)
마지막 발제를 맡은 조병일 수학과 교사(세종 조치원중)는 서‧논술형 평가가 제대로 작동하려면 시험 문항을 바꾸기에 앞서 학생들이 수업에서부터 자신의 생각을 설명하고 이유와 근거를 제시하는 경험을 충분히 해야 한다고 강조했습니다. 교사가 풀이를 설명하고 학생이 받아 적는 수업을 해놓고 시험에서 갑자기 ‘왜 그렇게 생각했는지 설명하라’고 요구해서는 수업과 평가 사이에 간극이 생길 수밖에 없다는 것입니다.
발제자의 수학 수업은 ‘탐구 흔적 남기기→예습점검→탐구활동→설명하기→개념정리’의 흐름으로 운영됩니다. 학생이 수업 전에 자신이 이해한 내용과 궁금한 점을 기록하고, 수업에서는 서로의 생각을 확인하며 문제를 탐구한 뒤 자신이 이해한 개념과 해결 과정을 다른 학생에게 설명하고 다시 글로 정리하도록 합니다. 조 교사는 2022 개정 교육과정의 성취기준과 성취수준에서도 ‘설명하기’, ‘이유 제시하기’, ‘관계 파악하기’ 등의 수행을 요구하고 있는 만큼, 이러한 수행을 평가에서만 갑자기 요구할 것이 아니라 수업에서부터 충분히 경험하도록 해야 한다고 설명했습니다. 이를 ‘성취기준·성취수준→수업에서의 경험→평가에서의 수행’이 같은 방향을 바라보는 구조로 정리했습니다.
장기적으로는 이러한 수업과 평가의 연결을 강화하기 위해 ‘교사별 평가’가 가능한 체제로 나아갈 필요가 있다고 제안했습니다. 같은 성취기준을 가르치더라도 교사가 수업에서 강조한 질문과 학생이 경험한 탐구 과정은 다를 수 있기 때문에, 모든 교사가 동일한 시험만 치르는 구조에서는 수업과 평가를 정밀하게 연결하는 데 한계가 있다는 것입니다. 다만 교사별 평가는 교사가 임의로 평가한다는 의미가 아니라, 공통의 교육과정과 성취기준·성취수준을 토대로 각자의 수업과 평가를 연결하는 방식이며, 이를 위해 교과협의회와 전문적 학습공동체에서 문항·채점기준·학생 답안을 함께 검토하며 판단 기준을 지속적으로 조율해야 한다고 강조했습니다.
또한 이러한 변화가 개별 교사의 노력만으로 가능하지는 않다고 지적했습니다. 서‧논술형 평가를 확대하려면 수업과 평가를 함께 설계할 수 있는 실습 중심 연수, 충분한 채점과 학생 확인 시간, 동료 교사와 공동 연구·협의할 수 있는 여건, 교사가 수업과 평가에 집중할 수 있는 업무 구조가 함께 마련돼야 한다는 것입니다. 발제자는 결국 서‧논술형 평가의 확대는 ‘문항의 변화’에 그쳐서는 안 되며, 학생이 생각하고 설명하는 수업의 변화와 이를 가능하게 하는 제도의 변화가 함께 이루어져야 한다고 강조했습니다.
■ 종합토론: 서·논술형 평가, ‘비율 확대’ 앞서 평가의 공통 기준과 학교의 실행 조건 마련해야
종합토론에서는 서·논술형 평가를 학교 현장에 안정적으로 정착시키기 위해서는 단순히 문항의 반영 비율을 높이는 것을 넘어, 무엇을 평가할 것인지에 대한 공통의 준거와 이를 실제 수업·평가로 구현할 여건을 함께 마련해야 한다는 데 논의가 모였습니다. 현재는 지역과 학교에 따라 서술형·논술형의 개념과 산정방식이 다르고, 성취기준에 ‘설명한다’, ‘분석한다’와 같은 수행 동사가 제시돼 있어도 어느 수준의 수행을 의미하는지 충분히 구체화되어 있지 않다는 것입니다. 이에 서·논술형 평가의 개념과 범위를 분명히 하는 한편, 교과별 특성과 학생의 수행 수준을 판단할 수 있는 평가 프레임을 마련해 교사들이 문항과 학생 답안을 함께 논의할 수 있는 ‘공통 언어’를 만들어야 한다는 제안이 나왔습니다.
다만 공통 기준을 마련하는 것이 모든 학교와 교사의 평가를 획일화하는 방식이어서는 안 된다는 점도 강조됐습니다. 학생에게 평가에서 자신의 생각과 판단 근거를 설명하도록 요구하려면 평소 수업에서도 질문하고 탐구하며 설명하는 경험이 충분히 제공돼야 하며, 공통의 성취기준과 평가 준거를 토대로 각 교사가 자신이 운영한 수업과 평가를 연결할 수 있어야 한다는 것입니다. 즉, 교육과정에서 요구하는 능력을 수업에서 충분히 경험하고, 그 경험한 내용을 평가에서도 직접 설명하고 표현할 수 있도록 수업과 평가가 하나의 흐름으로 이어져야 한다는 점이 강조됐습니다.
이러한 평가를 가능하게 하기 위한 학교의 운영 여건도 주요 쟁점으로 논의됐습니다. 짧게 개념이나 이유를 설명하는 문항과 자료를 분석해 논증하는 문항은 학생에게 필요한 사고시간뿐 아니라 교사의 채점시간도 다른 만큼, 기존의 시험시간과 성적처리 일정을 그대로 둔 채 서·논술형 문항의 비중만 높여서는 평가의 질을 확보하기 어렵다는 지적입니다. 분석적 채점기준을 개발하고 실제 학생 답안을 함께 검토하는 데에도 상당한 시간과 전문성이 필요한 만큼 이를 교사 개인의 역량이나 노력에만 맡기지 않고, 실제 답안을 활용한 채점 연수와 교사 간 공동채점·협의시간, 문항 및 평가결과를 함께 분석할 수 있는 지원체계를 마련해야 한다는 데 의견이 모였습니다.
평가에 대한 학생과 학부모의 신뢰를 높이기 위해서는 평가 결과를 ‘설명할 수 있는 체계’도 필요하다는 의견이 제시됐습니다. 교사들이 공동으로 학생 답안과 채점기준을 검토해 판단의 일관성을 높이는 한편, 학생과 학부모에게 평가의 목적과 기준, 점수의 근거를 충분히 설명하고 정당한 이의제기가 가능한 절차를 마련해야 한다는 것입니다. 이는 서·논술형 평가의 공정성을 단순히 동일한 답과 점수를 산출하는 문제로 접근하기보다, 평가의 기준과 판단 과정에 대한 신뢰를 형성하는 문제로 함께 다뤄야 한다는 의미입니다.
이번 토론회를 통해 서·논술형 평가의 안착을 위해서는 ▲서술형·논술형의 개념과 교과별 평가 프레임 마련, ▲교육과정-수업-평가의 일관성 확보, ▲실제 학생 답안을 활용한 교사 연수와 공동채점·협의 체계 구축, ▲출제·채점·피드백을 위한 충분한 시간 보장, ▲학생·학부모가 평가기준과 결과를 이해할 수 있는 소통체계 마련 등이 주요 과제로 확인됐습니다. 특히 시험에서 갑자기 ‘생각을 쓰라’고 요구하는 것이 아니라, 평소 수업에서부터 학생이 질문하고 분석하고 근거를 들어 설명하는 경험을 축적하도록 하는 것이 서·논술형 평가 전환의 출발점이라는 점이 강조됐습니다.
사교육걱정없는세상은 1·2차 토론회에서 확인한 교육과정적 토대와 학교 현장의 과제를 바탕으로, 오는 9월 16일(화)에 열리는 제3차 토론회에서는 「서·논술 사교육 시장의 지형과 반응을 짚는다」를 주제로 평가 변화에 따른 사교육 시장의 움직임과 영향을 살펴볼 예정입니다. 그리고 마지막 제4차 토론회에서는 서·논술형 대입제도의 설계와 정착 방안을 논의할 것입니다. 이를 통해 서·논술형 평가가 새로운 시험 부담과 사교육 수요로 이어지지 않고 학생의 사고와 표현을 성장시키는 평가로 정착하기 위해 필요한 정책적 조건을 구체화해 나갈 것입니다. 이어지는 토론회에도 많은 관심과 참여를 부탁드립니다.
※ 연속토론회 현장 참여 신청 ☞ https://forms.gle/Yz1g5xML9vYv2pmj6
(사)사교육걱정없는세상
(공동대표 신소영, 나성훈)
※ 문의 : 사교육걱정없는세상 김유진 연구원(02-797-4044/ 내선번호 506)
noworry@noworry.kr
서울 용산구 한강대로 62길 23 유진빌딩 4층 02-797-4044
수신거부 Unsubscribe