О некоторых возможностях использования методов системного анализа в целях оценки качества перевода Текст научной статьи по специальности «Компьютерные и информационные науки»
Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Княжева Е.А.
В статье рассматривается вопрос об использовании методов системного анализа в целях объективизации суждений оценивающих перевод экспертов. Представлены результаты апробации метода экспертных оценок и метода анализа иерархий применительно к проблеме оценки качества перевода .
Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Княжева Е.А.
APPLICATION OF SYSTEM ANALYSIS METHODS TO TRANSLATION QUALITY EVALUATION
The paper focuses on system analysis methodology and potentials of its application to translation quality assessment aimed at homogenization of individual expert judgements. Special emphasis is laid on the procedures and experimental results of approbation of Expert Analysis Method and Analytic Hierarchy Method in the sphere of translation.
Текст научной работы на тему «О некоторых возможностях использования методов системного анализа в целях оценки качества перевода»
О НЕКОТОРЫХ ВОЗМОЖНОСТЯХ ИСПОЛЬЗОВАНИЯ МЕТОДОВ СИСТЕМНОГО АНАЛИЗА В ЦЕЛЯХ ОЦЕНКИ КАЧЕСТВА ПЕРЕВОДА
Воронежский государственный университет
Поступила в редакцию 20 апреля 2015 г.
Аннотация: в статье рассматривается вопрос об использовании методов системного анализа в целях объективизации суждений оценивающих перевод экспертов. Представлены результаты апробации метода экспертных оценок и метода анализа иерархий применительно к проблеме оценки качества перевода. Ключевые слова: оценка качества перевода, субъективный фактор, критерии оценки, методы оценки, системный подход, системный анализ, метод экспертных оценок, метод анализа иерархий.
Abstract: the paper focuses on system analysis methodology and potentials of its application to translation quality assessment aimed at homogenization of individual expert judgements. Special emphasis is laid on the procedures and experimental results of approbation of Expert Analysis Method and Analytic Hierarchy Method in the sphere of translation.
Key words: translation quality assessment, human factor, assessment criteria, quality assessment methodology, system analysis, method of Expert Analysis, Analytic Hierarchy Method.
Оценка качества перевода является центральной проблемой современного переводоведения и имеет важное значение как для профессиональной, так и для учебной сферы. Первое связано с увеличением объема информативного перевода в современном обществе и многократным повышением уровня требований к конечному продукту переводческой деятельности. Второе обусловлено необходимостью подготовки будущих переводчиков, успешность и эффективность которой во многом зависят от адекватной оценки уровня сформированности профессиональных переводческих компетенций. По справедливому мнению В. В. Сдобникова, сложность и недостаточная разработанность данной проблемы обусловлены отсутствием «единых, общепризнанных объективно выведенных критериев оценки качества перевода», а также действием субъективного фактора при оценивании результатов переводческого процесса [1, с. 4].
Мысль о необходимости объективной оценки переводов высказывается сегодня достаточно часто и в самых разных контекстах. Умение осуществлять оценку перевода требуется как от самого переводчика (в виде самооценки), так и от преподавателей и редакторов перевода. Объективную и конструктивную оценку переводчикам хотелось бы получить и от инициаторов и/или конечных получателей перевода. Однако ни для кого не секрет, что полное взаимопонимание сторон - будь то заказчик и переводчик,
© Княжева Е. А., 2015
редактор и переводчик и даже преподаватель перевода и студент переводческого отделения - не всегда достижимо. Одна из причин заключается, как уже было упомянуто выше, в субъективном факторе, который считается серьезным препятствием на пути разработки объективных методов оценки переводов. В данной работе мы рассмотрим вопрос о некоторых возможностях объективизации оценочной деятельности на основе проведенных нами экспериментальных исследований.
Возможности и ограничения традиционных методов оценки качества перевода
Традиционные, или формально-количественные, методы широко используются при оценке переводов в учебной сфере. Как известно, данная процедура состоит в сплошном или выборочном сопоставлении исходного и переводного текстов, в ходе которого выявляются различного рода несоответствия (или ошибки). По результатам такой проверки преподаватель выставляет оценку в баллах, однако в данном случае ситуация может складываться далеко не так однозначно, как это может показаться на первый взгляд. В первую очередь, неизбежно возникает вопрос о соответствиях между количеством баллов, снимаемых за ту или иную ошибку, и общей оценкой за перевод. Не секрет, что сами преподаватели перевода нередко спорят о том, насколько критична та или иная ошибка для качества переведенного текста, а также нередко высказывают мнение о том, что пятибалльная система оценки не дает возможности действительно всесторонне проанализировать и оценить
студенческую работу. Однако, как показал наш практический опыт, обращение к стобалльной системе также не спасает ситуации. Кроме того, остается открытым вопрос о том, какого объема выборка может считаться репрезентативной.
Несмотря на то что теоретики и практики перевода стали все чаще использовать такой термин, как «вес ошибки», его употребление в переводоведческом контексте является скорее метафорой, поскольку переводческие ошибки (и в редких случаях достижения) «взвешиваются» в основном на интуитивной основе. На практике это приводит к тому, что за ошибку одного и того же типа даже в рамках одной работыснимается разное количество баллов; или, например, общая оценка за перевод вообще «уходит в минус».
Еще одним внешним обстоятельством, затрудняющим объективную оценку учебных переводов, является нечеткая граница между оценкой личных и профессиональных качеств исполнителя и оценкой продукта, т.е. собственно перевода. Понятно, что такие факторы, как, например, уровень сложности текста или хорошая посещаемость студента, принимаются в расчет исключительно преподавателем, причем зачастую в неявной форме. Однако данная позиция никогда не будет учитываться представителем переводческой фирмы при оценке тестовых заданий, например, с целью приема на работу.
Как известно, свое концептуальное освещение проблема качества перевода получает в рамках нормативного раздела общей теории в классическом понимании, который включает ряд рекомендаций, распространяющихся на явления как более общего, так и частного порядка. К первым относятся требования эквивалентности и адекватности перевода (текстоцентрический подход) и соответствие цели перевода и ожиданиям конечного получателя (коммуникативно-функциональный подход) [1, с. 60-65]; к последним - так называемые способы перевода, рекомендуемые для решения переводческих проблем, связанных с языковой асимметрией. В своей совокупности эти правила составляют переводческую норму, которая в идеале должна быть ориентиром как для переводчиков в их практической деятельности, так и для оценивающих перевод экспертов, в задачу которых, собственно, и входит формирование суждения о качестве перевода на основе определения его соответствия и/или отклонения от нормы. Отметим, что в сфере учебного перевода доминирует негативный подход с характерным для него акцентом на несоответствиях. Вероятно, это объясняется тем, что выявление отклонений оказывается проще в силу очевидности последних, особенно если речь идет о качестве переводящего языка, а не о смысловой стороне текста. Позитивный подход, напротив, ориентиро-
ван на фиксацию соответствий в целях получения своего рода эталонных характеристик объекта, что в различных науках осуществляется с помощью методов математической статистики. Остается только сожалеть, что в гуманитарной сфере и, в частности, в сфере перевода эти методы не используются. Отчасти это объясняется отношением филологов и переводо-ведов к количественным и измерительным методам исследования как к чуждым гуманитарной сфере. С другой стороны, следует подчеркнуть, что необходимость проведения измерений в ходе исследовательской деятельности является в науке доказанной.
Качество перевода как сложный объект исследования и методология системного анализа
Специфика перевода как сложного объекта исследования заключается в том, что современное перево-доведение развивается в настоящее время как направление междисциплинарного характера. Причем даже в переводоведческих работах лингвистического направления отчетливо проявляется осознание необходимости всестороннего подхода к анализу теоретических и практических проблем перевода. В настоящее время исследователи все чаще обращаются к терминам «системный подход» и «системный анализ», интерпретируя их содержание как «многоаспектный», позволяющий «дать более полную и подробную теоретическую картину этого объекта по сравнению с отдельно взятым лингвистическим, литературоведческим, деятельностным или иным подходом» [2, с. 219]. Однако, на наш взгляд, данная позиция требует некоторых уточнений.
Термин системный подход, возникший на начальном этапе развития общей теории систем, действительно означает многоаспектный характер исследования сложного объекта с разных сторон (точек зрения, или аспектов). Существенно, что при этом выдвигается требование реализации комплексного характера проводимого исследования, что предполагает учет взаимовлияния различных аспектов и разнородных факторов в интересах обретения це-лост-ного восприятия объекта. Как показывает практика, в результате применения концепции системного подхода можно получить более полное и объективное представление о реальных сложных объектах.
Практической реализацией системного подхода является методология системного анализа. При этом сам термин системный анализ (СА) понимается как исследование сложной проблемы, снабженное определенной методологией, которая позволяет расчленить проблему на более простые подпроблемы, разбить изучаемый процесс на отдельные подпроцессы и т.п. Особое внимание при реализации системного анализа уделяется определению целей при решении сложной проблемы, вопросам формализации представления целей и их структурирования в процессе
декомпозиции анализируемой проблемной ситуации. Для подобных исследований характерно сочетание формальных и неформальных методов и приемов, выбор которых обусловлен характером конкретной проблемы. Методы описания и исследования сложных проблем в ходе СА классифицируются в порядке возрастания степени формализации на качественные и количественные методы [3, с. 31].
К качественным методам СА относятся методы «мозгового штурма», сценариев, «Дельфи», деревьев целей, экспертных оценок, ассоциативные методы, методы организованных стратегий творчества и алгоритмы решения изобретательских задач [3, с. 31-35] - к количественным - все базовые математические методы исследования [3], включая аналитические, статистические, теоретико-множественные, логико-математические, структурно-лингвистические методы и пр.
Предположение о возможности применения подобного рода методик в сфере перевода и переводо-ведения в свое время было сформулировано М. Я. Цвиллингом, но, к сожалению, эта мысль не получила дальнейшей разработки в отечественной теории перевода. Отмечая, вслед за Миньяр-Белору-чевым, что суждение о «правильности» перевода выносится преподавателем или редактором на основе субъективного ощущения, М. Я. Цвиллинг видел способ преодоления этого индивидуального субъективизма «не в замене субъективных критериев объективными, а в объективизации тех закономерностей, которые лежат в основе субъективных суждений, и выработке мер, способствующих уменьшению их "разброса". Для этого может быть использована методика, получившая широкое применение в социологических, социально-психологических и социально-лингвистических исследованиях» [4, с. 61-62]. Последнее, как отмечает М. Я. Цвиллинг, предполагает проведение серии экспериментов, среди которых - одновременная и независимая оценка одного и того же перевода группой преподавателей: сопоставление оценок, данных преподавателями, с оценками профессиональных переводчиков, редакторов. Исследователь подчеркивал, что полученные в ходе экспериментальной работы данные должны подвергаться как статистической обработке, так и содержательной интерпретации, и выражал надежду на то, что исследование подобного рода будет способствовать конкретизации требований к переводам, установлению степени «тяжести» различных отклонений от адекватности и уточнению оценочной шкалы [там же, с. 62].
Таким образом, сложность и нетривиальность проблемы оценки качества перевода состоит в том, что, с одной стороны, требуется разработка объективных методов, а с другой стороны, на практике мы
имеем дело с субъективными суждениями оценивающих перевод лиц. Как уже было отмечено выше, при использовании традиционных методик оценки качества перевода сам факт наличия субъективных предпочтений экспертов рассматривается как серьезное препятствие на пути достижения конечного объективного результата. Однако в своем исследовании мы, напротив, исходим из того, что любая оценочная деятельность по своей природе субъективна. Поэтому мы обратились к изучению и апробации некоторых методов системного анализа, которые позволяют учитывать субъективное мнение оценивающих перевод экспертов и выявлять степень противоречивости или же согласованности данных ими оценок.
Некоторые результаты апробации методов системного анализа для оценки качества перевода
Как уже было отмечено выше, оценка качества перевода относится к разряду сложных проблем, для решения которых требуется объединить достаточно разнообразные и разнородные данные, как точные, к которым относится, например, «объективная» оценка реальности в виде количественной информации, так и неточные, т.е. субъективные наблюдения и интерпретации. В целях нашего исследования мы изучили возможности таких методов системного анализа, как методы экспертных оценок и метод анализа иерархий, адаптировав их к проблемам перевода.
Как известно, методы экспертных оценок могут иметь самостоятельное значение, а также использоваться в целях верификации гипотезы и выводов исследований и в целях моделирования. Возможности использования данных методов для оценки качества перевода мы усматриваем в том, что экспертные оценки отражают, хотя и индивидуальные, но все же обобщенные суждения группы специалистов относительно решаемой проблемы, снабженные определенным инструментом проверки их согласованности и адекватности. Это представляет в нашем случае первостепенный интерес. Поэтому в первую очередь мы обратились к методам получения мнения членов экспертной группы.
В нашем эксперименте мы предложили шести экспертам оценить переводы и определить их рейтинг, исходя из собственных предпочтений. Далее эта информация была обработана с использованием одного из статистических методов - метода простого ранжирования [5]. Суть данной процедуры состоит в следующем.
1. Имеется М экспертов, которые оценивают N переводов.
2. Каждый 1-й эксперт проводит ранжирование всех переводов, определяя их ранг - место в порядке убывания относительно всех остальных
г.. , 1 = 1, N , г , I = 1,М .
3. Определяется суммарный ранг каждого перевода как сумма мест Я а также среднее арифметическое всех суммарных рангов Я и проводится ранжирование переводов по полученному суммарному рейтингу
4. Проводится анализ согласованности на основе расчета коэффициента конкордации Кендалла, который рассчитывается следующим образом: 12Б
М- N) - 1=1 1=1 где Б - сумма квадратов разности между суммой рангов и их средним арифметическим.
5. Если Ж = 0,7 - 0,8, то это свидетельствует о хорошей согласованности результатов опроса и его итоговые результаты могут быть приняты. Значение Ж = 0 свидетельствует о том, что мнения экспертов несогласованны, а значение Ж = 1 - о том, что они полностью совпадают.
Результаты статистической обработки суждений экспертов методом простого ранжирования представлены в табл. 1, согласно которой рейтинг переводов выстраивается следующим образом: П1, П2, П3, П4, П5. Полученное значение Ж показывает, что суждения экспертов были согласованными, а следовательно, суждениям данной экспертной группы можно доверять.
Таким образом, использование данного метода дает возможность осуществить объективизацию суждений экспертов относительно качества конкретных переводов, а также получить представление о степени «разброса» между их мнениями.
Основным ограничением этого метода является то, что в данном случае не рассматриваются этапы и особенности самого процесса принятия решений,
иными словами, такой важный вопрос, как критерии и параметры оценки переводов, остается в «черном ящике». Поэтому на следующем этапе исследования было решено апробировать еще один метод системного анализа - метод анализа иерархий (далее - МАИ), разработанный американским математиком и аналитиком Т. Саати. Главная особенность данного метода состоит в том, что в отличие от предыдущего он позволяет не только сформировать рейтинг различных конкретных вариантов перевода текста, но и получить обоснованные веса критериев оценки качества перевода, что имеет самостоятельное значение. По нашему мнению, этот результат является важным как для понимания конкретно полученного результата, так и для дальнейшего многоаспектного анализа других переводческих ситуаций. Детальное описание и результаты данного эксперимента были представлены нами ранее [6]. В данной работе мы ограничимся кратким описанием его сути и полученных результатов.
В своей классической форме МАИ предполагает выполнение следующих действий: 1) декомпозицию сложной проблемы на более простые составляющие и отображение ее в виде доминантной иерархии; 2) проведение по специальной форме экспертного опроса лиц, принимающих решения; 3) математическую обработку полученных данных [3, с. 54-55].
Первый этап в соответствии с данной методикой заключается в том, чтобы представить проблему в виде иерархии. Первый уровень иерархии включает определение цели - фокуса проблемы - в нашем случае это оценка качества переводов; второй уровень предполагает выбор критериев оценки перевода, третий - содержит альтернативные варианты перевода, представленные для оценки по указанным критериям и окончательного формирования общего рейтинга (см. рисунок). Отбор критериев оценки перевода был осуществлен в соответствии с ранее предложенной нами функциональной моделью оценки качества учебного перевода [7, с. 171]. Данная модель выстраивается с учетом таких определяющих факто-