АРХИВ ПУБЛИКАЦИЙ ОБУЧАЮЩИХСЯ И СОТРУДНИКОВ СУНЦ УрФУ

УДК 371.261 О конструировании бинарных динамических оценочных систем А. М. Гольдин
Различные образовательные системы по-разному понимают функ­цию оцен­ки личных учебных достижений обучающихся и используют различные оценоч­ные системы [6, с. 3]. Если в открытых образователь­ных системах целью обучения является максимально полное (в существую­щих условиях) раскрытие личностного потенциала каждого ученика, развитие его индивидуального знания-органа [3; 4] и использу­ется, как правило, порядковая или дескриптивная оценка, то царящая сего­дня традиционная классно-урочная система, основанная на парадиг­ме пансо­физма Я. Коменского, оперирует понятием «обязательные ре­зультаты обучения» (будь то пресловутые знания, умения и навыки или ключе­вые компетентности) и использует количественные оценочные шкалы. Изменения в подходах к оценке, происходящие в последние годы, коснулись в основном итоговой аттестации; текущий контроль учебных достижений по-прежнему основан на старой доброй пятибалльной систе­ме, введенной (после многолетнего перерыва) постановлением СНК РСФСР от 10 января 1944 года № 18. Время от времени раздаются при­зывы «размельчить» оценочную шкалу, перейдя, например, на 12-балль­ную [2] или 10-балльную систему отметок (что реа­лизовано в постсовет­ских Украине, Молдавии, Белоруссии, Латвии) или, нао­борот, ввести по ряду предметов (изобразительное искусство, музыка, физическая культу­ра) двухбалльную систему «зачтено -- не зачтено». В настоящей работе мы предлагаем подход к конструированию оце­ночных шкал, основанный на концепциях умений-индикаторов [5, с. 104--110] и семанти­ческих сетей [10]. Умения-индикаторы Заметим прежде всего, что развитие знания-органа в открытых образова­тельных системах или достижение обязательных результатов обу­чения в классно-урочной системе -- не самоцель, а лишь средство, обес­печивающее адап­тацию ин­дивида в культурной и ма­териальной среде. Такая адаптация происходит благодаря умениям -- «способности лично­сти к эффективному выполнению опре­деленной дея­тельности на основе имеющихся знаний в измененных или новых усло­виях» [7, с. 8]. Таким образом, с точки зрения мониторинга каче­ства образова­ния и личных учебных достижений индивида (а это основная функция оценки в любой образова­тельной системе [1, с. 11--22]) умение можно рассматривать как ин­дикатор (indicator, лат. -- указатель) как знания, так и, более общо, результата обучения в целом. Отметим, что если в классно-урочной системе речь, как правило, идет о не­ких обязательных умениях (сопоставимых с эталонами [1, с. 164--165]), то откры­тые образовательные системы исходят из тезиса об индивидуальности структуры умений каж­дого обучающегося. Поэтому под умениями-индикаторами мы понима­ем в первую очередь некие ин­тегральные умения (может быть, не формируемые в процессе обучения напрямую), наличие которых позволяет сделать вывод о разви­тости зна­ния-органа (в открытых образовательных системах) или о достижении обязательных результатов обучения (в традиционной системе). Приведем простой пример. Предположим, вы обучаете ребенка предсказы­вать погоду. Если в качестве индикаторов взять умения опре­делять скорость ветра, направление движения облаков или процент влажности воздуха, это будут, без­условно, индикаторы знаний и умений, планово формируемых по учебным про­граммам. Для измерения уровня развития знания-органа или достижения обяза­тельного результата обу­чения все эти умения абсолютно не важны -- единствен­ным индикато­ром здесь может служить правильность или неправильность прогно­за. Последнее и яв­ляется тем универсальным индикатором, по которому мы можем судить о зрелости знания -- независимо от парадигмы той образо­вательной систе­мы, в которой оно сформировано или развито. Конечно, не все так просто. Горькая правда состоит в том, что со времени внедрения в практику классно-урочной системы Я. Коменско­го (1652) не только образование, но и науки Нового времени развивались под мощным воздействием классно-урочных процедур, превращаясь по­степенно из живого знания в формали­зованные замкнутые грамматики. Поэтому отбор умений-индикаторов, кажущийся не таким сложным в «практических» областях типа игры на рояле, шитья сапог или пилотиро­вания самолета, является очень тонким делом в традиционных знако­воориентированных предметах типа математики или химии. Если, напри­мер, в русском языке в качестве индикатора вполне подойдет умение гра­мотно писать из­ложение (и совершенно не важно при этом, знаете ли вы правила), то что есть на­стоящее знание математики? Ведь не знание же наизусть теорем и формул? И ка­кие умения могут служить индикатором подлинного, живого (т. е. развитого в себе, а не «выученного») знания ма­тематики? Ситуация усугубляется еще и тем, что, реализуя какие бы то ни бы­ло образо­вательные системы, мы делаем это в существующих усло­виях. Поэто­му единственным реальным вариантом представляется отбор умений-индикаторов в соответствии с действующими образователь­ными стандартами, но с условием, что эти умения являются универсаль­ными в том смысле, что обеспечиваются как знаковоопосредованными знания­ми, так и знанием-органом. Семантическая сеть умения Отбор совокупности умений-индикаторов является весьма трудной задачей, однако не менее трудна для анализа и «внутренняя структура» умения. Такой ана­лиз, однако, совершенно необходим -- именно для по­строения перечня умений­-индикаторов, для определения «уровня», или «степени размельчения» этих уме­ний. В отличие от традиционного взгля­да на «внутреннее устройство» умения как на совокупность операций [2, с. 58--68], мы предлагаем взгляд на структуру уме­ния как на семантиче­скую сеть; поясним это понятие на близком нам примере из математики. Рассмотрим умение решать квадратное уравнение (только лишь для приме­ра, не утверждая при этом, что его можно использовать в каче­стве индикатора!) Его решение основано на ряде «нижестоящих» умений, которые, в свою очередь, «распадаются» на еще более «мелкие». Такую структуру удобно моделировать с помощью ориентированного графа [8], который мы и будем, следуя [10], называть семантической сетью уме­ния (в теории графов под сетью понимается нагружен­ный граф, поэтому се­мантическая сеть не является, строго говоря, сетью в терми­нах теории графов). В узлах этой сети располагаются умения, а ориентированные ре­бра соединяют родительские и дочерние умения (в рассматриваемом при­мере мы будем использовать направление от родительского умения к до­чернему). В данной модели умению решать квадратные уравнения соответ­ствует се­мантическая сеть, изображенная на рисунке. [img 1.svg 10 Семантическая сеть умения] Безусловно, выде­ленные умения можно было бы «размельчать» и далее, мы приводим данную сеть в качестве иллюстрации. Ее узлы яв­ляются сле­дующими умениями:
Номер
узла
Умение
1Решение квадратного уравнения
2Определение типа уравнения: полное, неполное, приведенное
3Приведение уравнения к каноническому виду $ax^2 + bx + c = 0$ и опреде­ление коэффициентов $a$, $b$, $c$
4Решение неполного квадратного уравнения
5Решение приведенного квадратного уравнения по теореме, обратной теореме Виета
6Вычисление корней уравнения по формуле корней
7Вычисление дискриминанта уравнения и определение его зна­ка
8Извлечение квадратного корня или вынесение множителя из-под знака радикала
9Преобразования алгебраических и числовых выражений и арифметиче­ские действия с вещественными числами
Заметим, что семантическая сеть не является деревом: умение, например, со­вершать арифметические действия с вещественными числа­ми является дочерним для нескольких родительских узлов сети. Поэтому при построении семантической сети умения крайне важно избежать се­мантических апорий, то есть, говоря языком теории графов, цикличе­ских ориентированных маршрутов. Эта проблема, впро­чем, является предметом отдельного анализа. Бинарная динамическая оценочная система Конструирование предлагаемой оценочной системы начинается с формиро­вания перечня умений, являющихся результатом изучения кур­са (этот алгоритм от­носится, конечно, в большей степени к традиционной классно-урочной системе; в открытых образовательных системах фор­мирование перечня умений-индикаторов является гораздо более слож­ным). В традиционной практике разумнее ориентиро­ваться на преду­смотренные программой и тематическим планированием курса контрольные точки, формируя для каждой из них свою часть перечня. Далее для каждого умения, входящего в перечень, составляется семантиче­ская сеть дочерних умений (подобно тому, как мы сделали это для умения решать квадратные уравнения). Итогом является общая се­мантическая сеть (онтология изучаемого курса или его части), возможно, состоящая из нескольких связных компонент. Следующий этап чрезвычайно важен: в полученной онтологии (еди­ной се­мантической сети курса) необходимо выделить умения-индикато­ры, которые и ста­нут предметом оценивания. Эту работу следует прово­дить, помня о трех принци­пах: 1) совокупность выделенных умений-индикаторов вместе со всеми их дочер­ними умениями должна составлять всю онтологию курса (то есть всю объединен­ную семантическую сеть); 2) выделять следует именно индикаторы (об этом мы говорили вы­ше), то есть те умения, которые свидетельствуют о сформированности зна­ния-органа, лич­ных средств познания мира, когнитивных, креатив­ных и других базовых компе­тентностей; 3) отобранные индикаторы должны сопровождаться четкими крите­риями, позволяющими определить, сформировано соответствующее уме­ние или нет. По­нятно, что элемент субъективности при оценке сформиро­ванности умения будет всегда, но следует стремиться к максимально воз­можной объективности соответ­ствующего критерия. Грубо говоря, работа по отбору умений-индикаторов сводится к ре­шению множества вопросов типа «брать в качестве индикатора умение А или же его до­черние умения B, C и D (или вместо D его дочерние умения D1 и D2 и т. д.)?» По­нятно при этом, что слишком уж «размельчать» ин­дикаторы было бы неправильн­ым: многие умения не сводимы к совокуп­ности своим дочерних. Умения-индикаторы разумно разбить на группы в соответствии с периодами промежуточной аттестации (например, перечень умений, формируемых во второй четверти). Таким образом, в каждом учебном пе­риоде у нас появляются индикато­ры двух типов, в зависимости от того, формируются ли соответствующие умения в данном периоде или должны были быть сформированы ранее. Последние индика­торы будем условно называть базовыми. Собственно оценочная система предлагается бинарной и динамиче­ской. По­ясним оба этих термина. Наличие или отсутствие каждого умения-индикатора оценивается по двух­балльной (0 или 1), или бинарной, шкале отметок. Важно, что эта отметка является динамической, то есть может неоднократно меняться в ходе текущего мониторинга учебных достижений обучающихся. Опишем, какой нам представляется соответ­ствующая процедура мониторинга. На каждое задание, включенное в процедуру контроля (контроль­ную работу, задание для практической работы, проблему для развернуто­го устного ответа и т. д.) составляется семантическая сеть задания с вы­делением в ней умений-индика­торов. Этот процесс рассмотрен нами вы­ше: составление общей семантической се­ти (онтологии) курса или его раздела происходит одновременно с этой работой применительно к каж­дой контрольной точке курса. Нечто подобное уже было в поздней совет­ской школе, когда вместе с так называемыми «срезами знаний» предла­галась и схема анализа допущенных учащимися ошибок, являющаяся по су­ти семантической сетью умений, востребуемых конкретным заданием. При проверке письменного задания (или заслушивании устного от­вета) оце­нивается сформированность умений-индикаторов и по каждому из них выстав­ляется отметка 0 или 1. Никаких других отметок (как в традиционной системе) не выставляется. Отметим, что одно задание, например, контрольной работы может выявлять сформированность нескольких индикаторов. Более того, совер­шенно естественной и уместной является форма мониторинга, которую можно условно назвать «попут­ной»: отслеживание сформированности ин­дикаторов может происходить не только напрямую, а и в ходе как теку­щей учебной работы, так и контрольных мероприя­тий, направленных на выявление других умений. Если, например, в ходе решения логарифми­ческого уравнения ученик демонстрирует умение решать квадратное, ни­кто не мешает выставить ему 1 за умение решать квадрат­ные уравне­ния. Принципиальным свойством предлагаемой оценочной шкалы яв­ляется ее динамичность. Если в процессе мониторинга обнаружится, что какое-то ранее сформированное умение-индикатор учащимся утрачено, соответствующая отметка 1 заменяется на 0. Это «колебание» в ту и дру­гую сторону может происходить многократно, причем не только по инди­каторам текущего учебного периода (чет­верти, семестра), но и по базо­вым, ранее сформированным умениям-индикаторам. С переходом к фик­сации результатов мониторинга учебных достижений в элек­тронной фор­ме такую динамичность отметок несложно реализовать технически. Отметки промежуточной аттестации На основе бинарной динамической оценочной шкалы достаточно легко конструируется механизм определения отметки промежуточной ат­тестации за учебный период (четверть, полугодие, год). Понятно, что в су­ществующих сегодня условиях такую отметку приходится выставлять по пятибалльной системе. Наиболее простым является выставление отметки в зависимости от процен­та умений-индикаторов, за которые стоит отметка 1. Могут быть предложены раз­личные критерии (например, отметка «3» за 50% сфор­мированных на конец учеб­ного периода умений-индикаторов, «4» за 70%, «5» за 90%). Важным при этом яв­ляется вопрос о том, какой массив уме­ний-индикаторов использовать для опреде­ления отметки промежуточной аттестации: только за данный учебный период или включая некие базо­вые (ранее сформированные) индикаторы, возможно не все. Наконец, ни­кто не мешает шкалировать результаты текущего мониторинга сфор­мированности умений-индикаторов подобно тому, как это делается, например, при проведении единого государственного экзамена [9]. Более сложным является подход, когда для определения отметки промежу­точной аттестации умения-индикаторы используются с некото­рыми весовыми ко­эффициентами. Подбор таких коэффициентов требует отдельного исследования: понятно, например, что количество дочерних учений данного умения-индикатора в его семантической сети вряд ли может быть взято в качестве весового коэффици­ента. По-видимому, на первом этапе конструирования предлагаемой оценочной шкалы не сле­дует использовать весовые коэффициенты, сосредоточившись на тща­тельном отборе умений-индикаторов примерно равного «веса». Эффективность оценочной системы Безусловно, предлагаемая оценочная система не является совсем новой. Би­нарная оценка используется, например, при проверке тестовой части единого госу­дарственного экзамена (правда, с тем принципиальным отличием, что в ЕГЭ оце­ниваются задания в целом, а не сформирован­ность специально отобранных уме­ний-индикаторов). Критерии оценки заданий с развернутым решением тоже представляют собой (в сильно грубом приближе­нии) шкалу сформированности соотвествующих умений. Наконец, ис­пользуемые сегодня при тестовой системе оценки различные процеду­ры и модели шкалирования [9] также имеют много общего с предлагаемым нами подходом; следует, правда, отметить, что шкалирование результа­тов ЕГЭ, напри­мер, никак не учитывает структуру онтологии курса или «насыщенность умения­ми» включенных в тест заданий. Тем не менее в текущем мониторинге учебных достижений пока повсемест­но используется традиционная пятибалльная система отметок. Важным поэтому является вопрос об оценке эффективности различных оценочных систем, о критериях выбора той или иной из них. Выскажем лишь предварительные соображения на этот счет. Главным аргументом в пользу предлагаемой системы (нуждающим­ся, впро­чем, в валидной верифи­кации) является тезис о большей объек­тивности и про­зрачности, понят­ности для учащихся бинарной отметки по сравнению, например, с 5-балльной или 12-балльной. Конечно, опреде­ляющим при этом является на­личие соответствующих критериев; нам, од­нако, представляется, что разработать критерий типа «есть -- нет» суще­ственно проще, чем хотя бы в какой-то степени объективную 5-балльную шкалу оценки уровня сфор­мированности того или иного умения. Наконец, о собственно критериях эффективности. Пока из таких критериев на поверхности лежит только один: коэффициент корреляции между отметками промежуточной и итоговой аттестации. Если принять в качестве разумного допу­щения (пусть и с многочисленными оговорками), что процедуры государственной итоговой аттестации измеряют уровень освоения образовательных программ (или, применительно к открытым образовательным системам, уровень сформированно­сти знания-органа) достаточно объективно, то высокий коэффициент корреляции между от­метками промежуточной и итоговой аттестации будет с достаточной сте­пенью надежности свидетельствовать об эффективности и низкой степе­ни субъек­тивности оценочной системы, применяемой на этапе теку­щего мониторинга учеб­ных достижений.
1. Амонашвили, Ш. А. Воспитательная и образовательная функция оценки учения школьников : Экспериментально-педагогическое исследо­вание / Ш. А. Амонашвили. -- М. : Пе­дагогика, 1984. 2. Беспалько, В. П. Слагаемые педагогической технологии / В. П. Беспалько. -- М. : Педагоги­ка, 1989. 3. Гольдин, А. М. К построению модели знания в парадигме М. А. Ба­лабана / А. М. Гольдин // Вопросы психологии. -- 2002. -- № 1. -- С. 104--110. 4. Гольдин, А. М. Образование 2.0: модный термин или новое содер­жание? / А. М. Гольдин // Вопросы образования. -- 2010. -- № 2. -- С. 224--237. 5. Гольдин, А. М. Образовательная система «Школа-парк»: теория и практика / А. М. Гольдин. -- Екатеринбург : Полиграфист, 2002. 6. Гузеев, В. В. Оценка, рейтинг, тест / В. В. Гузеев // Школьные технологии. -- 1998. -- № 3. -- Часть III. 7. Селевко, Г. К. Современные образовательные технологии / Г. К. Селевко. -- М. : На­родное образование, 1998. 8. Уилсон, Р. Введение в теорию графов / Р. Уилсон. -- М. : Мир, 1977. 9. Об утверждении методики определения минимального количества баллов единого государственного экзамена, подтверждающего освоение образовательной программы среднего общего образования, и минимального количества баллов единого государственного экзамена, необходимого для поступления в образовательные организации высшего образования на обучение по программам бакалавриата и программам специалитета : Распоряжение Федеральной службы по надзору в сфере образования и науки от 16.07.2019 № 1122--10. -- Текст : электронный. -- URL: http://obrnadzor.gov.ru/wp-content/uploads/2020/12/metodika-shkalirovaniya-1122-10.pdf (дата обращения: 11.07.2021). -- Режим доступа: свободный. 10. Roussopoulos N. D. A semantic network model of data bases : Doctoral Dissertation / N. D. Roussopoulos ; University of Toronto, Department of Computer Science. -- 1976. -- TR No 104.