Методы экспертных оценок

Краткая теория метода экспертных оценок

Сущность метода экспертных оценок

Сущность метода экспертных оценок заключается в рациональной организации проведения экспертами анализа проблемы с количественной оценкой суждений и обработкой их результатов.

В процессе решения проблем эксперты выполняют роль генератора идей, событий и явлений, решений, определения признаков и показателей для описания свойств объектов и их взаимосвязей и т. п. и измерителя их характеристик (измерения достоверности событий и гипотез, важности целей, значений признаков и показателей, предпочтений решений).

Все множество проблем можно условно подразделить на два больших класса: с достаточным и недостаточным информационным потенциалом. Это означает, что для проблем первого класса имеется необходимый объем знаний и опыта по их решению. Поэтому по отношению к этим проблемам эксперты являются качественными источниками и достаточно точными измерителями информации. На основании этого обобщенное мнение группы экспертов определяется осреднением их индивидуальных суждений и является близким к истинному. В отношении проблем второго класса эксперты уже не могут рассматриваться как достаточно точные измерители.

Применение методов осреднения, допустимых для «хороших измерителей», в данном случае может привести к значительным ошибкам, так как мнение одного эксперта, существенно отличающееся от мнения других экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка результатов экспертного оценивания.

Подбор экспертов

Взависимости от масштаба решаемой проблемы организацию процедуры проведения экспертного оценивания осуществляет лицо, принимающее решение (ЛПР), или назначаемая им группа управления. Подбор количественного и качественного состава экспертов производится на основе анализа широты проблемы, достоверности оценок, характеристик экспертов и затрат ресурсов.

Выполняя работу по подбору экспертной группы, требуется решать следующие задачи:

  • уяснение решаемой проблемы;
  • определение перечня областей деятельности, связанных с решаемой проблемой;
  • определение долевого состава экспертов по каждой области деятельности;
  • определение количества и предварительного состава экспертов в группе;
  • анализ квалификации экспертов и уточнение списка экспертов в группе;
  • получение согласия экспертов на участие в работе;
  • составление окончательного списка состава экспертов.

При подборе экспертов представители группы управления руководствуются следующими основными требованиями, предъявляемыми к эксперту.

Компетентность — степень квалификации эксперта в определенной области знаний, которая оценивается с помощью анкетного опроса, путем интервьюирования, анализам предыдущей деятельности специалиста, уровня и широты знакомства с достижениями мировой науки и техники, пониманием проблем и перспектив развития.

Креативность — это способность решать творческие задачи.

Конформизм — это подверженность влиянию авторитетов.

Конструктивность мышления — это способность формировать решения, обладающие свойством практичности (прагматизм).

Коллективизм — этика поведения человека в коллективе, влияние на создание положительного психологического климата и тем самым на успешное решение проблемы.

Самокритичность эксперта проявляется при самооценке своей компетентности.

Отношение к экспертизе — негативное или пассивное отношение к решению проблемы, большая занятость и другие факторы существенно сказываются на выполнении экспертами своих функций, поэтому участие в экспертизе должно рассматриваться как плановая работа. Перечисленные характеристики эксперта достаточно полно описывают необходимые качества, которые влияют на результаты экспертизы. В настоящее время указанные характеристики в основном оцениваются на качественном уровне.

Опрос экспертов

Опрос экспертов представляет собой заслушивание и фиксацию в содержательной и количественной форме суждений экспертов по решаемой проблеме. Основными видами опроса экспертов являются: анкетирование и интервьюирование, дискуссии, метод «мозгового штурма» ( «мозговой атаки» ), метод Дельфы.

Главным в организации опроса экспертов является создание таких условий, при которых эксперты были бы обеспечены в максимальной степени всей необходимой информацией и могли бы в полной мере проявить свою творческую активность и самостоятельность. В связи с этим группе управления следует предоставлять экспертам возможность ведения записей, использования технических средств (в том числе и ЭВМ), а также в случае необходимости организовывать предварительную обработку полученной информации и представление ее экспертам в наиболее наглядной форме. На определенных этапах экспертного оценивания общение экспертов является нежелательным, так как это может привести к утрате самостоятельности, независимости в своих суждениях и оценках каждого эксперта, повлиять на его творческую активность. Поэтому организаторы проведения экспертизы в этом случае должны находить разумный компромисс прежде всего путем выбора вида (метода) опроса, формы и степени общения экспертов.

Выбор того или иного метода опроса определяется целями экспертизы, сущностью решаемой проблемы, полнотой и достоверностью исходной информации, располагаемым временем и затратами на проведение опроса.

Рассмотрим содержание и технологию проведения перечисленных выше видов опроса.

АНКЕТИРОВАНИЕ

Анкетирование представляет собой опрос экспертов с помощью анкет, на вопросы которых они должны дать ответы в письменной форме, либо с использованием технических средств. Вопросы, содержащиеся в анкетах, можно классифицировать по содержанию и по типу.

По содержанию вопросы делятся на три группы:

  • объективные данные об эксперте (возраст, образование, должность, специальность, стаж работы и т. п.);
  • основные вопросы по сути анализируемой проблемы;
  • дополнительные вопросы, позволяющие выяснить источники ин-формации, аргументацию ответов, самооценку компетентности эксперта и т. п.

По типу вопросы делятся на открытые, закрытые и с веером ответов. Открытые вопросы предполагают ответ в произвольной форме. Открытые вопросы целесообразно применять в случае большой неопределенности проблемы. Это позволяет широко охватить рассматриваемую проблему, выявить спектр мнений экспертов. Недостатком открытых вопросов является возможное большое разнообразие и произвольная форма ответов, что существенно затрудняет обработку анкет.

Закрытые вопросы — это вопросы, на которые возможны следующие варианты ответов: «да», « нет», « не знаю». Закрытые вопросы применяются в случае рассмотрения четко определенных двух альтернативных вариантов, когда требуется определить степень большинства мнений по этим альтернативам.

Вопрос с веером ответов дает возможность эксперту выбрать один из предлагаемых ответов. Их целесообразно использовать при наличии нескольких достаточно четко определенных альтернативных вариантов. Эти варианты формируются для ориентации экспертов по возможному кругу направлений в решении проблемы.

ИНТЕРВЬЮИРОВАНИЕ

Это устный опрос, проводимый в форме беседы-интервью. Интервью с экспертом проводится членом группы управления и является по сути беседой, в которой ответы на заранее разработанные вопросы даются в устной форме. Естественно, качество ответов в этом случае снижается, ибо у эксперта меньше времени на их обдумывание, хотя при такой форме общения может быть получен оригинальный взгляд на решаемую проблему. Интервьюер должен хорошо знать анализируемую проблему, уметь четко формулировать вопросы, создавать непринужденную обстановку и уметь слушать.

МЕТОД ДЕЛЬФЫ

Представляет собой многотуровую процедуру анкетирования с обработкой и сообщением результатов каждого тура экспертам, работающим инкогнито по отношению друг к другу. В первом туре опроса дельфийским методом экспертам предлагаются вопросы, на которые они дают ответы без аргументации. Полученные от экспертов данные обрабатываются с целью выделения среднего и крайних значений оценок. Результаты обработки первого тура сообщаются экспертам. Если оценка эксперта сильно отклоняется от среднего значения, то его просят аргументировать свое мнение или изменить оценку.

Результаты опроса во втором туре обрабатываются и сообщаются экспертам. Результаты обработки второго тура содержат новые средние и крайние оценки, если производилась корректировка оценок первого тура. В случае сильного отклонения своих оценок эксперты должны аргументировать или изменить свои суждения с пояснением причин этого. Проведение последующих туров — по аналогичной схеме. Обычно проводятся три-четыре тура, после которых ответы приобретают устойчивый характер и не содержат каких-либо изменений.

При проведении опроса по методу Дельфы сохраняется анонимность ответов экспертов по отношению друг к другу. Это обеспечивает исключение подавления мнений экспертов за счет научного авторитета или должностного положения других экспертов.

ДИСКУССИЯ

Дискуссию целесообразно проводить для решения тех задач, которые не требуют точной количественной оценки объектов, параметров, альтернатив. Для проведения дискуссии формируется группа экспертов не более 20 человек. Группа управления проводит предварительный анализ проблем дискуссии с целью четкой формулировки задач, определения требований к экспертам, их подбора и методики проведения дискуссии.

Дискуссия проводится как открытое коллективное обсуждение рассматриваемой проблемы, основной задачей которого является всесторонний анализ всех факторов, положительных и отрицательных последствий, выявления позиций и интересов участников. В ходе дискуссии разрешается критика. Дискуссия может продолжаться в течение нескольких часов, поэтому необходимо определить регламент работы: время на доклад ведущего и выступления, проведение перерывов. Во время перерывов дискуссия продолжается. Поэтому перерывы следует делать не слишком короткими, так как кулуарные обсуждения дают положительный эффект.

Группа управления производит анализ и обработку результатов дискуссии и всех материалов, связанных с проблемой, и оформляет результаты дискуссии в виде практических рекомендаций по решаемой проблеме.

МОЗГОВАЯ АТАКА (ШТУРМ)

Представляет собой групповое обсуждение с целью генерации новых идей, вариантов решений проблемы. Характерной особенностью этого вида экспертизы является активный творческий поиск принципиально новых решений в трудных тупиковых ситуациях, когда известные пути и способы решения оказываются непригодными. Для поддержания активности и творческой фантазии экспертов в ходе заседания (сеанса) запрещается какая- либо критика высказываемых идей, которые на первый взгляд кажутся даже нелепыми и возможно нелогичными.

Для проведения сеанса назначается ведущий, основной задачей которого является управление ходом обсуждения для решения поставленной проблемы. В начале сеанса ведущий объясняет содержание и актуальность проблемы, правила ее обсуждения и предлагает для рассмотрения одну-две идеи.

Образуются две разные группы: группа генераторов идей и группа аналитиков. Представители первой группы не обязательно должны быть высококвалифицированными специалистами в рассматриваемой области и хорошо понимать поставленную задачу. Желательно, чтобы состав приглашенных специалистов был достаточно представительным и включал людей с большим опытом, широкой эрудицией и богатой фантазией.

Сеанс продолжается примерно 40-45 минут без перерыва. Для выступления предоставляется 2-3 минуты, которые могут повторяться. В каждом выступлении эксперты должны стремиться выдвинуть как можно больше новых идей и развивать ранее выдвинутые идеи. Идеи и предложения должны быть конструктивные, направлены на решение проблемы. В процессе генерирования идей и их обсуждения прямая критика запрещена, однако она имеет место в неявной форме и выражается в степени поддержки и развития высказываний.

На втором этапе реализации рассматриваемого метода осуществляется анализ и критика высказанных во время сеанса идей, точек зрения, мыслей и отбор наиболее ценных, перспективных и реальных решений. Данный анализ проводится группой специалистов, с привлечением технических средств и осуществлением количественного анализа, что позволяет углубить его, сделать получаемые результаты более объективными и разносторонними.

Обработка экспертных оценок

После проведения опроса группы экспертов осуществляется обработка результатов. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. В зависимости от целей экспертного оценивания при обработке результатов опроса возникают следующие основные задачи:

  • определение компетентности экспертов и обобщенной оценки объектов,
  • построение обобщенной ранжировки объектов;
  • определение согласованности мнений экспертов;
  • определение зависимостей между ранжировками.

Начать работу

Далее:Заключение Вверх:Учебное пособие для студентов Назад:4.2.3. Вычисление множественного коэффициента

V. Метод экспертных оценок

Данный статистический метод позволяет дать оценку исследуемому явлению в виде обобщенного мнения специалистов (экспертов) по изучаемому вопросу или проблеме. Эксперты могут оценивать (выражать свое мнение) как в условных единицах (баллах, очках и т.д.), так и располагая элементы явления в определенной последовательности (по шкале порядка). Считается, что объективная оценка явления (например, мастерство спортсмена) дана в том случае, если мнения экспертов согласованы, т.е. близки по смыслу. Степень согласованности экспертов можно оценить по величине так называемого коэффициента конкордации (W).

Краткий ликбез

Порядок вычислений:

1. Заполнить сводную таблицу, мнения экспертов (первые пять строк таблицы 19).

2. Вычислить сумму рангов, полученных каждым спортсменом (строка 6).

3. Вычислить среднюю арифметическую сумму рангов:

4. Рассчитать отклонение суммы рангов каждого спортсмена от средней арифметической суммы рангов (строка 7).

5. Возвести отклонение суммы рангов каждого спортсмена в квадрат и суммировать полученные числа, найти S=642 (строка 8).

Таблица 19

Вычисление коэффициента конкордации

6. Определить коэффициент конкордации:

где m — число экспертов,

S — сумма квадратов отклонений сумм рангов, полученных каждым спортсменом (n), от средней суммы рангов.

В зависимости от степени важности мнений экспертов коэффициент конкордации лежит в пределах от 0 (при полном отсутствии согласованности) до 1 (при абсолютном единогласии экспертов).

Вывод (по вышеприведенному примеру):

Таким образом, можно считать, что мнения экспертов относительно технико-тактического мастерства фехтовальщиков вполне согласованы.

Экспертные оценки зависят от количества экспертов. При этом уменьшение их количества преувеличивает роль каждого из них, а при очень большом количестве экспертов трудно добиться согласованного мнения. Считается, что оптимальная численность экспертной группы должна равняться 15-20 специалистам.

Практическое задание:

Подгруппа студентов выступает в качестве экспертов, оценивая уровень развития воли пяти студентов группы (они не входят в экспертную группу) по 5-бальной шкале:

— 1 балл — никогда не проявляет волевые качества,

— 2 балла — довольно редко проявляет волевые качества,

— 3 балла — иногда проявляет волевые качества,

— 4 балла — часто проявляет волевые качества,

— 5 баллов — всегда проявляет волевые качества.

Определить уровень согласованности мнений.


Далее:Заключение Вверх:Учебное пособие для студентов Назад:4.2.3. Вычисление множественного коэффициента
ЯГПУ, Центр информационных технологий обучения
08.12.2008

Этапы экспертного анализа

Цель экспертного анализа заключается в предварительном тестировании объекта исследования, направленном на выявление в нем внутренних свойств и связей, скрытых от исследователя. Благодаря методам экспертного анализа собирается необходимый для вынесения экспертной оценки материал, обеспечивается его соответствие принятым стандартам.

Технология проведения экспертного анализа предполагает прохождение ряда этапов:

1.

На первом подготовительном этапе осуществляется формирование экспертных групп

на выбранных уровнях управления и подготавливается вся документация, необходимая для проведения экспертизы целей.

Выбор группы экспертов производится с учетом их компетенции отдельно для каждого уровня. Именно в таком случае можно говорить и о достоверности экспертизы, и о минимальных затратах на ее проведение. Для подбора экспертов применяются следующие характеристики: компетентность, креативность, отношение к экспертизе, конформизм, аналитичность и широта мышления, самокритичность.

Компетентность эксперта — это степень его квалификации в определенной области знаний. Компетентность может быть определена на основе опыта эксперта в данной области его квалификации, степенью знакомства с научными достижениями в исследуемой области и т.д. Одна из наиболее важных указанных характеристик, поскольку именно она в значительной степени определяет достоверность экспертных оценок. Поэтому проблеме определения компетентности экспертов следует уделять особое внимание.

Креативность эксперта-способность решать творческие задачи.

Отношение к экспертизе является важной характеристикой эксперта, определяющей его желание (активность или пассивность) участия в экспертизе.

Конформизм — подверженность влиянию авторитетов. Эта характеристика необходима для выбора способа проведения экспертизы.

Самокритичность эксперта — самооценка своей компетентности.

Методы экспертных оценок

Аналитичность, широта мышления, конструктивность мышления — свойство коллективизма — также важные характеристики эксперта.

Даже неполные определения характеристик экспертов, приведенные выше, показывают, что численные оценки этих характеристик значительно затруднены и в ряде случаев совсем невозможны.

Наиболее важной из указанных характеристик является характеристика компетентности экспертов, поскольку именно она в значительной степени определяет достоверность экспертных оценок. Поэтому проблеме определения компетентности экспертов следует уделять особое внимание.

2.

На втором организационном этапе осуществляется отработка результатов экспертизы.

На этом этапе выполняются все необходимые расчеты для сопоставления качественных целей на каждом уровне управления с целями, выбранными, по мнению экспертов, с точки зрения их количества и важности (приоритетности).

Процесс обсуждения выбранных целей происходит до тех пор, пока не совпадут мнения большинства экспертов.

Сформулируем требования, которым должна удовлетворять методика оценки целей функционирования с помощью экспертов:

· Оценка целей функционирования должна проводиться в благоприятной психологической обстановке.

· Трудоемкость опроса должна быть в допустимых пределах.

· Экспертная документация не должна допускать двоякого понимания вопросов.

· Экспертная документация должна быть, по возможности, однородной и полной.

· Выбранная система шкал экспертной оценки должна быть обоснована и доведена до сведения эксперта.

· Цели проведения экспертизы должны быть известны всем экспертам. Наиболее приемлемым с практической точки зрения является анкетирование.

Перейти на страницу: 1 2

Оценить значение порядка реакции Методами времени полупревращения и по скорости реакции (метод Вант-Гоффа).

(см.Графики 2)

Для T=420K оценим порядок методом полупревращения.

Определим времена полупревращений :

при концентрации ;

при концентрации ;

при концентрации

Аналитическая реализация метода:

; ;

 

; ;

 

; .

Принимаем, что

 

Для T=420K оценим порядок методом Вант-Гоффа:

Аналитическая реализация метода:

;

;

 

Метод самый простой с точки зрения реализации, но дает, как мы видим, самую большую ошибку.

Методы экспертных оценок

Особенно если концентрационная зависимость определена дискретна скорость реакции мала. Оценка порядка: n=2.

3.Подтвердить порядок реакции и определить значения констант скорости при температурах T1,T2,T3 по виду концентрационно – временных зависимостей.

Предположим порядки реакций: n=0; n=0.5; n=1; n=1.5; n=2; n=2.5; n=3.

а) Аналитический метод:

, ; ,

 

  k, при n=0.5 k, при n=1 k, при n=1.5 k, при n=2 k, при n=2.5 k, при n=3
  9,24E-02 7,13E-01 5,52E+00 4,29E+01 3,34E+02 2,60E+03
  7,31E-02 5,98E-01 4,93E+00 4,09E+01 3,42E+02 2,88E+03
  5,93E-02 5,03E-01 4,32E+00 3,76E+01 3,31E+02 2,94E+03
  5,09E-02 4,46E-01 3,97E+00 3,60E+01 3,31E+02 3,09E+03
  4,43E-02 3,98E-01 3,64E+00 3,41E+01 3,25E+02 3,15E+03
  3,97E-02 3,65E-01 3,43E+00 3,31E+01 3,27E+02 3,30E+03
  3,62E-02 3,39E-01 3,28E+00 3,26E+01 3,32E+02 3,48E+03
  3,30E-02 3,14E-01 3,09E+00 3,14E+01 3,28E+02 3,53E+03
  3,05E-02 2,95E-01 2,96E+00 3,08E+01 3,32E+02 3,68E+03

 

n=2, n=2.5 n=3

 

T=390K

 

Следовательно, k1=29,82E+02 ( )/9=9.2E-01( ),n=2.5

 

  k, при n=0.5 k, при n=1 k, при n=1.5 k, при n=2 k, при n=2.5 k, при n=3
  3,57E-04 5,48E-03 8,42E-02 1,30E+00 2,00E+01 3,10E+02
  2,81E-04 4,54E-03 7,38E-02 1,21E+00 1,99E+01 3,29E+02
  2,41E-04 4,08E-03 6,97E-02 1,20E+00 2,10E+01 3,71E+02
  2,07E-04 3,61E-03 6,40E-02 1,15E+00 2,10E+01 3,89E+02
  1,81E-04 3,23E-03 5,87E-02 1,09E+00 2,05E+01 3,95E+02
  1,64E-04 3,00E-03 5,62E-02 1,08E+00 2,12E+01 4,25E+02
  1,46E-04 2,71E-03 5,17E-02 1,01E+00 2,03E+01 4,17E+02
  1,33E-04 2,51E-03 4,87E-02 9,72E-01 2,00E+01 4,21E+02
  1,23E-04 2,36E-03 4,66E-02 9,52E-01 2,01E+01 4,35E+02

T=420K

Следовательно, k2=18.4E+02 ( )/9=34E-01( ) , n=2.5

  k, при n=0.5 k, при n=1 k, при n=1.5 k, при n=2 k, при n=2.5 k, при n=3
  3,54E-02 5,68E-03 9,15E-04 1,48E-04 2,41E-05 3,95E-06
  2,53E-02 4,31E-03 7,45E-04 1,30E-04 2,31E-05 4,14E-06
  2,01E-02 3,58E-03 6,52E-04 1,21E-04 2,28E-05 4,39E-06
  1,71E-02 3,17E-03 6,03E-04 1,18E-04 2,37E-05 4,87E-06
  1,48E-02 2,83E-03 5,59E-04 1,14E-04 2,41E-05 5,22E-06
  1,28E-02 2,49E-03 5,03E-04 1,05E-04 2,28E-05 5,11E-06
  1,15E-02 2,27E-03 4,67E-04 1,01E-04 2,25E-05 5,19E-06
  1,04E-02 2,10E-03 4,45E-04 9,85E-05 2,28E-05 5,46E-06
  9,65E-03 1,99E-03 4,32E-04 9,88E-05 2,37E-05 5,93E-06

T=440

Следовательно, k3=20.96E-05 ( )/9=23.3( ) , n=2.5

Порядок реакции n=2.5.

На графиках зависимостей τ (1/ C^2) должна получиться прямая, что мы и видим (см. Графики 6,9,12).

16.3 Достоинства и недостатки метода экспертных оценок

Преимущества экспертного оценивания были рассмотрены в разделе 1.1. Вместе с тем, экспертные оценки наряду с достоинствами имеют и отдельные недостатки. Основные достоинства и недостатки данных методов исследования представлены в таблице 2.

Таблица 2

Достоинства и недостатки экспертных методов исследования [1]

Достоинства

Недостатки

1. Синтез опыта и интуиции дляполучения нового знания

2. Возможность полученияколичественных оценокв случаях, когда отсутствуют

статистические сведения илипоказатель имеет качественную природу

3. Быстрота получения результатов

1. Достоверность и надежность результатовисследования зависят откомпетентности эксперта

2. Субъективность метода

3. Трудоемкость процедуры сбора информации

4. Потребность в высоко квалифицирован-ных специалистах для проведения опроса

Рассмотрим более подробно ограничения экспертных методов. Одним их основных недостатков является то, что достоверность и надежность исследования в первую очередь зависят от компетентности специалистов, участвующих в опросе. Нет никаких гарантий, что полученные оценки в действительности достоверны. Существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности мнений экспертов достоверность оценок гарантируется. С этим утверждением не всегда можно согласиться, так как известны случаи, когда отдельные эксперты, не согласные с мнением большинства, давали правильные оценки.

Следовательно, единодушие большинства экспертов не всегда является критерием достоверности оценок. Отсюда вытекает необходимость тщательного отбора экспертов. Дело в том, что при обсуждении многих вопросов, особенно нестандартных, а в маркетинге и рекламе они практически все нестандартные, должны участвовать эксперты высокой квалификации. Прогнозы, составленные «средними» экспертами, будут основаны в лучшем случае на традиционных, привычных оценках, тогда как высококвалифицированные специалисты обнаружат и оценят скрытые факторы.

Зачастую оценки экспертов не обладают достаточной устойчивостью, т.е.

Тема 8. МЕТОДОЛОГИЯ ЭКСПЕРТНЫХ ОЦЕНОК

эксперт может одни и те же события при нескольких повторных экспертизах оценить по-разному. Чем устойчивее оценки, тем больше можно им доверять. Однако на практике повторная экспертиза проводится крайне редко вследствие организационных и финансовых проблем, т.е. имеются определенные трудности в проведении опроса экспертов и обработке полученных данных.

Достоверность оценок можно повысить следующим образом. Нужно проанализировать данные о расхождениях экспертных оценок и их действительных значений, найденных в процессе реализации событий, и сделать соответствующие переоценки компетентности экспертов. В частности, поставив оплату труда экспертов в прямую зависимость от уровня их компетентности. Экспертов, обладающих низкой компетентностью, в дальнейшем не привлекать к проводимым экспертизам.

При нахождении оценок экспертным путем, помимо погрешности, вносимой недостатком информации о событиях и недостаточной компетентности экспертов возможна и погрешность совсем иного рода, обусловленная заинтересованностью экспертов в результатах оценки, что сказывается на их достоверности. Наличие такого рода погрешности может значительно искажать оценки, вследствие чего необходимо предусмотреть соответствующие меры для устранения погрешности.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *