Translate this page:
Please select your language to translate the article


You can just close the window to don't translate
Library
Your profile

Back to contents

Pedagogy and education
Reference:

Measuring the Results of the Disicpline 'Academic Writing'

Chuikova Elina

PhD in Pedagogy

Associate Professor of the Department of Foreign Languages Teaching Methods at Samara Branch of the Moscow City Teachers’ Training University

443081, Russia, Samarskaya oblast', g. Samara, ul. Stara Zagora, 76

chuikova_elina@mail.ru

DOI:

10.7256/2454-0676.2018.2.26225

Received:

08-05-2018


Published:

18-06-2018


Abstract: The subject of the researc is the process of measuring qualitative results of students' success in the English academic writing course. Based on the author, students' academic writing skills grow in parallel with a growing independence of students, expansion of the 'genre repertory' of written English, and development of professional motivation. These changes are viewed by the author of the article as the main criteria for evaluating the results of the course in general. In terms of evaluating each written work in particular, traditionally the quality of academic texts of students who study English as a foreign language is estimated depending on the criteria developed by international test institutions, for example, IELTS (academic module). However, this points-based system allows to evaluate the literacy of a text in the first place. It does not provide a complete idea of one's ability to shift from the culture of the native written speech to the culture of a foreign written speech. In her research Chuykova tries to include traditional indicators such as 'content', 'organisation' and 'language literacy' of an academic text in evaluating authenticity of a text. The author concludes that authenticity of an academic text written in a foreing language should be defined based on three basic criteria. Original content and accurate observation of academic literacy requirements raise the authenticity of an academic text while errors caused by the need to write in a foreign language and work in a foreign cultural field decrease it. These criteria are specified and systematized by Chuykova in her article. 


Keywords:

academic writing literacy, academic writing culture, taxonomic approach, writing assessment, assessment descriptors, academic text authenticity, academic writing, text structure, academic style, socio-cultural mismatches


Российское научное сообщество уделяет пристальное внимание вопросу повышения академической грамотности на иностранном языке у молодых ученых для скорейшей адаптации к процессу международного профессионального общения. За последние годы появились публикации, посвященные правилам подготовки текста к публикации в научном журнале [1, 2], модели обучения академическому письму применительно к российским реалиям [3], практике формирования умений академического письма в рамках вузовских специализированных Центров письма и на занятиях по иностранному языку [4]. Ведутся дискуссии о назначении академического письма и академического общения [5]. Однако недостаточно внимания уделяется вопросам оценивания результатов обсуждаемых методик и подходов. Для качественной оценки работы по формированию культуры академической письменной речи необходимо разработать методику ее диагностики и описать критерии, по которым выделяются различные этапы ее становления.

Практикуются различные подходы к диагностике результатов обучения академической письменной речи. Следует уточнить, что в рамках данной работы обучение и оценка результатов проводились не на индивидуальных консультациях в Центрах письма, а на групповых занятиях по академическому письму на 3 курсе языковых специальностей. Проанализировав примеры отечественного и зарубежного опыта диагностики, можно сделать вывод, что чаще всего используются, так называемые, жанровый [3] и таксономический подходы [6-8]. При таксономическом подходе формулируются когнитивные цели для каждого этапа формирования академической культуры мышления: для базового, продвинутого и профессионально ориентируемого этапов. Содержание же диагностируемого этапа конкретизируется в соответствии со спецификой обучения в российском вузе [9, с. 130-131]. Диагностика осуществляется посредством создания текстов различных академических жанров, с разной степенью самостоятельности. При этом требования к созданию текстов этих жанров является не самоцелью, а только средством развития академического стиля мышления, формирования академической культуры.

В качестве показателей сформированности иноязычной письменной культуры у студентов следует учитывать степень самостоятельности создания академического письменного текста, жанровый репертуар письменной деятельности на иностранном языке, грамотность академической письменной речи и сформированность мотивации.

В ходе анализа критерия «самостоятельность» наблюдается постепенный переход от управляемого к творческому письму. Параллельно происходит осознанное присвоение норм культуры академического письма и норм англоязычной письменной речи через понимание, что они являются естественным условием для эффективного общения в данной сфере и в данной форме. Проверить развитие качества «самостоятельности», в частности, можно по следующим показателям:

- предложена своя тема,

- самостоятельно подобран материал,

- самостоятельно сформулирована своя позиция,

- самостоятельно подобрана аргументация,

- работа самостоятельно структурирована,

- работа самостоятельно проверена и отредактирована,

- работа сдана вовремя,

- работа самостоятельно оформлена,

- студент разобрался в правках преподавателя/ тьютора и при необходимости сам еще раз отредактировал работу,

- проведена саморефлексия о сильных/ слабых сторонах работы.

Увеличение объема фактологической информации, которой владеет студент по дисциплине Academic Writing, проявляется в разнообразии жанрового репертуара, в котором пишущий может попробовать себя. Увеличение количества жанров напрямую связано с изменяющимися целями использования академической письменной речи на каждом этапе. Здесь сложно предложить универсальные рекомендации по перечню жанров, необходимых для усвоения, т.к. цели курсов могут меняться в различных учебных заведениях на разных специальностях.

Грамотность академической письменной речи – гетерогенный показатель. Он проявляется как совокупность языковой грамотности, грамотности в оформлении, грамотности в структурировании англоязычных академических текстов и стилистической адекватности.

Таблица 1

Описание критерия «грамотность академической письменной речи»

A. Грамотность

- Языковая: употребление лексических и грамматических конструкций

- В оформлении работы: наличие титула, заголовка, типа работы, оформление работы и библиографии

B. Структурированность

- соблюдена структура текста, варьирующаяся от жанра к жанру

- соблюдены универсальные структурные требования к академическому письму: тезис, рамочная структура

- аргументация выстроена не хаотично, а в логическом порядке (от сильного аргумента к самому сильному, или наоборот)

C. Соблюдение академического стиля

- Используется другой регистр лексики: Academic vocabulary,

- Используется более высокая лексическая плотность, по сравнению с устной формой речи: Lexical Density

- активные грамматические формы

- вариативность синтаксических конструкций

- в работе нет или в ней немногочисленные категоричные высказывания: hedging

- нет или в ней немногочисленные расплывчатые/ неконкретные высказывания: non-qualified statements

На профессионально ориентированном этапе обучения становится возможным адекватное переключение с языка на язык с соблюдением требований к академическому тексту, предъявляемых в разных языковых культурах.

Критерий «мотивации» описывает характер мотивации письменной деятельности на иностранном языке на разных этапах формирования иноязычной письменной культуры. На базовом уровне обучающиеся, в основном, рассматривают дисциплину «Академическое письмо» как учебный предмет, выполнение требований по которой необходимо для успешного обучения в целом. Профессиональные цели в использовании АПР пока неочевидны. На профессионально ориентированном этапе студенты могут использовать средства письменного общения для достижения успеха в узкопрофессиональных областях.

Сопоставление понятий «культура академической письменной речи» и «культура профессиональной письменной речи» по выделенным критериям позволяет сделать вывод, что это различные этапы становления культуры иноязычной письменной речи.

Культура академического письма представляет собой культуру конструирования текста академического жанра с учетом специфических требований к стилю академического письма, с одной стороны, и норм культуры письма на английском языке, с другой стороны. Это переходная ступень от общения на языке учебном к научному общению. Формирование культуры академического письма происходит в рамках учебных ситуаций.

Культура профессиональной письменной речи, в свою очередь, является культурой полноценного научного общения, основой которого является изложение своего видения интересующего вопроса, как правило, в узкоспециализированной научной области с учетом накопленных знаний в этой сфере. В условиях реального общения культура профессионального письма уже сформирована и продолжает развиваться самостоятельно.

Попытки оценить результативность курса «Академическое письмо» за рубежом отражены в работах, описывающих PAW-процедуру – процедуру оценки аутентичности письменно речи (Perceived Authenticity in Writing) [10, 11]. Однако, в них речь идет только о студентах и саморефлексии об аутентичности своих текстов без подключения экспертной роли преподавателя. Поэтому исследования продолжаются в области определения и описания критериев оценки для учителя, с акцентом на то, что рассматриваются письменные работы неносителей языка, на котором ведется обучение письму [12].

Для оценивания уровня сформированности культуры иноязычной письменной речи до и после курса обучения необходимо использовать несколько инструментов диагностики:

а) Анкетирование способствует оценить мотивацию изучения предмета и жанровый репертуар, которым владеет обучающийся. Частично оценивается и самостоятельность, со слов анкетируемого. Следует отметить, что анкета не дает нам представления о грамотности пишущего в области АПР. Она лишь косвенно позволяет судить об умениях воспринимать академический текст, если анкета предъявляется на английском, а не на родном языке.

б) Входной письменный тест позволяет оценить уровень грамотности и самостоятельности студента, а также владение некоторыми жанрами академического письма. Например, для большей информативности предлагается выбрать тематику «Мои цели в изучении академической письменной речи/ Why I am Taking Academic Writing Course». В этом случае также можно проанализировать мотивацию пишущего.

в) Написание академического текста по окончании курса. Жанр этого текста может варьировать в зависимости от цели и задач курса. Оценивать данный текст необходимо по тем же критериям, что и входной текст для сопоставления результатов.

Взяв в качестве инструмента диагностики анкетирование и письменное тестирование, необходимо определиться со шкалой их оценивания.

Результаты анкетирование можно обработать и в процентах изложить ожидания студентов от предстоящего курса обучения. Что касается качества анализируемого входного письменного параграфа, то его можно оценить в баллах, следуя критериям, разработанным международными институтами тестирования по подобию экзаменов IELTS (академический модуль, URL: https://www.ielts.org/-/media/pdfs/writing-band-descriptors-task-1.ashx?la=en). Подобную международную практику оценивания предлагает и Национальный консорциум центров письма (URL: http://awuc.misis.ru/science-essay-competition-2017/). Однако данная балльная система позволяет судить, в основном, о грамотности созданного текста. Она малоинформативная в рамках данного исследования, т.к. не дает представления о том, в какой степени в тексте осуществляется переход от культуры письменной речи на родном языке к культуре письменной речи на изучаемом языке.

В ходе экспериментального обучения и оценки его результативности, был сделан вывод о том, что качество академического текста на иностранном языке зависит от трех основных факторов. Оно повышается за счет оригинальности содержания и соблюдению требований к грамотности академического текста, а также снижается обратно пропорционально количеству сбоев, вызванных переходом на другой язык и работой в поле иноязычной культуры. Оценить социокультурное (не)соответствие, скорее всего, может только преподаватель в силу своего опыта. Чем больше нюансов известно тьютору, тем больше «сбоев» он/она может заметить в работе студента. Чтобы сделать данную оценку более объективированной, следует, рассмотреть систему уровней текста, на которых могут встречаться социокультурные ошибки [13, с.159] и включить в систему оценки самые частотные ошибки. Например, в своей диагностике мы руководствуемся следующими моментами, оценивая сбои припереключении на другой язык.

Таблица 2

Критерии оценки социокультурных сбоев на письме

1. Мотивационный уровень

несоответствие формулировки темы/ заявленного жанра/ содержания/ основных выводов поставленным перед студентами целям/ задачам

2. Уровень содержания

- предоставле­ние информации / оформление материала в привычном для пишущего, но не для потенциального читателя виде: например, в зависимости от того, принадлежит ли читатель к «высо­коконтекстуаль­ной» или «низко­контекстуальной» культуре;

- проблемы с плагиатом;

- проблема достоверности и значимости аргументов для потенциальных читателей

3. Уровень организации

- на уровне целого текста отсутствие/нарушение линейной логики развития идей, принятой в англоязычной культуре письма;

- нарушения в организации отдельных частей текста: например тезиса, нарушение рамочной конструкции в основной части,

- сбои в структуре введения, заключения

4. Лингвистический уровень

- языковые ошибки

- ошибки редактирования

Предложенные критерии позволяют создать более объективную картину того, что успевает достигнуть обучающий в рамках курса «Академическое письмо». В частности, мы можем оценить динамику в самостоятельной работе студента, в грамотности, в овладении новыми жанрами академического письма и в формировании профессиональной мотивации. Дополнительно, в диагностике акцент делается на овладение социокультурной спецификой иноязычной речи. Анализ ошибок на разных уровнях текста дает возможность сформулировать конкретные рекомендации для повышения такого качества конечного продукта-текста, как аутентичность.

References
1. Radaev V.V. Kak napisat' akademicheskii tekst// Voprosy obrazovaniya, 2011, № 1. S. 271–293. DOI: 10.17323/1814-9545-2011-1-271-293
2. Savel'eva I.M. , Poletaev A.V. Zarubezhnye publikatsii rossiiskikh gumanitariev: sotsiometricheskii analiz// Voprosy obrazovaniya, 2009, № 4. S. 199–217.
3. Lytaeva M.A., Talalakina E.V. Academic skills: sushchnost', model', praktika// Voprosy obrazovaniya, 2011, №4. S. 178–201. DOI: 10.17323/1814-9545-2011-4-178-201
4. «Akademicheskoe pis'mo» i issledovatel'skie kompetentsii: tematicheskaya podborka zhurnala «Vysshee obrazovanie v Rossii. URL: http://www.vovr.ru/clubitr.html (data obrashcheniya: 07.05.2018)
5. Radaev V.V., Medvedev S.A., Talalakina E.V., Dement'ev A.V. Pyat' moikh glavnykh vyzovov v prepodavanii Kruglyi stol. Moskva, NIU VShE, 8 sentyabrya 2017 g// Voprosy obrazovaniya, 2018, № 1. S. 200-233.
6. Lazareva I.N. Taksonomicheskii podkhod v proektirovanii lichnostno orientirovannogo intellektual'no-razvivayushchego obucheniya // Izvestiya Rossiiskogo gosudarstvennogo pedagogicheskogo universiteta im. A.I. Gertsena. 2009, № 94. S. 130-136.
7. Morozova S.A. K voprosu o kontrol'no-otsenochnoi deyatel'nosti v usloviyakh kompetentnostnogo podkhoda// Nauchno-pedagogicheskoe obozrenie. Pedagogical Review. 2016, 3 (13). S. 48-53.
8. Miller J. Building academic literacy and research skills by contributing to Wikipedia: A case study at an Australian university. Journal of Academic Language and Learning, 2014.Vol 8, no. 2. A72-A86. ISSN 1835-5196. URL: http://journal.aall.org.au/index.php/jall/article/viewArticle/319 (accessed: 07.05.2018)
9. Chuikova E.S. Diagnostika sformirovannosti kul'tury akademicheskoi pis'mennoi rechi// Nauchno-pedagogicheskoe obozrenie. Pedagogical Review, 2018, № 1 (19). S. 128-135. DOI 10.23951/2307-6127-2018-1-128-134.
10. Behizadeh, N., & Engelhard, Jr. G. (2014). Development and validation of a scale to measure perceived authenticity in writing. Assessing Writing, 21, 18-36. doi.org/10.1016/j.asw.2014.02.001
11. Behizadeh, N., & Engelhard, Jr. G. (2015). Examining the Psychometric Quality of a Modified Perceived Authenticity in Writing Scale with Rasch Measurement Theory. Pacific Rim Objective Measurement Symposium (PROMS) 2015 Conference Proceedings, 71-87.
12. Gebhard, M., Demers, J., &Castillo-Rosenthal, Z. (2008). Teachers as critical text analysts: L2 literacies and teachers’ work in the context of high-stakes school reform. Journal of Second Language Writing, 17 (4), 274-291. doi.org/10.1016/j.jslw.2008.05.001
13. Chuikova E.S. Otechestvennyi i zarubezhnyi opyt obucheniya akademicheskomu pis'mu na angliiskom yazyke // Professional'noe obrazovanie v Rossii i za rubezhom. 2015, № 4(20). S. 156-161