» »

Экспертная оценка проекта. Экспертиза социальных проектов как форма оценки проектной деятельности

Для своего описать процесс выбора проекта.

1. Определить основные ограничения в проекте.

2. Сформировать множество вариантов проекта.

3. Использование метода экспертных оценок.

4. Произвести анализ выгод/затрат.

Пример использования метода экспертных оценок.

Рассматривались следующие варианты проекта.

Основными критериями выбора проекта являлись: стоимость; длительность проекта; сложность проекта; размещение; наличие альтернативных технических решений; исходно-разрешительная документация по проекту.

Далее факторы располагаются в порядке убывания приоритетности. Для этого определяется, какой из них в наибольшей степени повлияет на ход реализации проекта. Производится оценка весомости (ранга) каждого из перечисленных факторов. Сумма рангов факторов должна быть равна единице.

Вариант проекта оцениваются по каждому из факторов (критериев) оценки. Максимальный балл по любому из факторов для проекта равен 100, минимальный – 0. Экспертная оценка влияния каждого фактора получается путем перемножения веса каждого фактора на оценку этого фактора для каждого варианта.

Экспертная оценка вариантов проектов экспертом № 1

№ Характеристика Вес Номер варианта проекта Интегральная оценка
А В С D Е А В C D E
Длительность проекта 0,2
0,2
Стоимость 0,2
Размещение 0,2
Сложность проекта 0,1
0,1
Всего:

Экспертная оценка вариантов проектов экспертом № 2

№ Характеристика Вес Номер варианта проекта Интегральная оценка
А В С D Е А В C D E
Длительность проекта 0,3 7,5 4,5 16,5
Наличие альтернативных технических решений 0,2 9,8 13,6
Стоимость 0,2 7,4
Размещение 0,1
Сложность проекта 0,1
Исходно-разрешительная документация 0,1 4,5 4,5
Всего: 60,1

Экспертная оценка вариантов проектов экспертом № 3

№ Характеристика Вес Номер варианта проекта Интегральная оценка
А В С D Е А В C D E
Длительность проекта 0,2
Наличие альтернативных технических решений 0,2
Стоимость 0,2 7,4
Размещение 0,2
Сложность проекта 0,1
Исходно-разрешительная документация 0,1 4,5 4,5
Всего:

Экспертная оценка вариантов проектов экспертом № 4

№ Характеристика Вес Номер варианта проекта Интегральная оценка
А В С D Е А В C D E
Длительность проекта 0,25 12,5
Наличие альтернативных технических решений 0,2
Стоимость 0,2 7,4
Размещение 0,2
Сложность проекта 0,1
Исходно-разрешительная документация 0,05 2,3 2,5 2,5
Всего: 56,5

Экспертная оценка вариантов проектов экспертом № 5

№ Характеристика Вес Номер варианта проекта Интегральная оценка
А В С D Е А В C D E
Длительность проекта 0,25 7,5 12,5
Наличие альтернативных технических решений 0,25 7,5 2,5 7,5 7,5 7,5
Стоимость 0,2 7,4
Размещение 0,2
Сложность проекта 0,05 2,5 2,5 2,5
Исходно-разрешительная документация 0,05 2,3 2,5 2,5
Всего: 43,5

Определение интегральной оценки

Вес А В С D Е
Эксперт 1 0,2
Эксперт 2 0,2
Эксперт 3 0,2
Эксперт 4 0,2
Эксперт 5 0,2
Итого

Наибольшая интегральная оценка соответствует проекту Е – строительство гипермаркета в пос. Кулиничи.


«Методология управления проектами»

Лабораторная работа № 4 Иерархия работ. Фазы.

Иерархия работ

Служит для отображения текущей структуры работ.

Внешний вид окна иерархии работ зависит от того, какой Вид иерархии задан в диалоговом окне настройки иерархической диаграммы, которое открывается из меню Диаграмма–>Настройка или нажатием на кнопку на панели инструментов.

Если выбран вид Иерархия, то фазы в окне располагаются в виде вертикальной иерархии. Информация о фазе (ее Название и Код) отображается справа от графического изображения фаз.

Если выбран вид Дерево, то фазы изображаются в виде прямоугольников. На прямоугольнике помещается информация о фазе, задаваемая в диалоговом окне шаблона.

Фазы отображаются согласно уровню иерархии: верхний уровень – фаза проекта, ниже – фазы второго уровня и т.д.

Каждый уровень иерархии имеет свой фоновый цвет, который можно изменить из главного окна программы, нажав на кнопку на панели инструментов. В открывшемся диалоговом окне настройки цветов можно менять цвета фаз соответствующего уровня.

На иерархии работ можно отображать фазы до какого-либо уровня включительно (например, только фазы первого и второго уровня). Настройка уровня отображения производится в диалоговом окне настройки.

Двойной щелчок левой клавишей мыши на фазе вызывает диалоговое окно свойств фазы, в котором задаются ее основные характеристики.

Нажав правую клавишу мыши на изображении фазы, можно вызвать всплывающее меню фазы иерархии работ, позволяющее производить следующие действия: редактировать свойства фазы, создавать общие отчеты по выбранной фазе, создавать и удалять фазы.

Иерархия работ редактируется при помощи мыши.

Если перемещать мышь с нажатой на фазе левой клавишей, то можно менять местами фазы внутри каждого уровня.

При перемещении фазы на уровень ниже следует держать нажатой клавишу Shift, а при перемещении на тот же уровень – клавишу Alt.

Фазы

Диалоговое окно свойств фазы

Представляет собой диалоговое окно со следующими страницами: Исходные и расчетные данные, Операции, Подфазы, стандартная страница Комментарий и стандартная страница OLE-документы и папка.

Страница Исходные и расчетные данные

Название – название фазы.

Код – уникальный код фазы.

Тип – тип фазы для связи со справочниками.

Краткое название – краткое наименование фазы (обычно более короткое, чем основное).

Приоритет – приоритет фазы.

Календарь – календарь, по которому будет рассчитываться длительность фазы в днях. Для изменения

календаря нажмите на кнопку Выбрать, выберите в открывшемся окне календарь из списка и нажмите ОК.

В полях, расположенных ниже, отображаются расчетные значения:

Начало (КМР) – самая ранняя дата начала КМР операции, входящей в фазу.

Окончание (КМР) – самая поздняя дата окончания КМР операции, входящей в фазу - Начало (КМП) – самая ранняя дата начала КМП операции, входящей в фазу.

Окончание (КМП) – самая поздняя дата окончания КМП операции, входящей в фазу - Уровень – уровень фазы в иерархической структуре работ.

Суммировать объемы – позволяет суммировать объемы операций, входящих в состав данной фазы. Суммарный объем будет отображен на строке с фазой после проведения расчета затрат.

Цвет на диаграмме изменяет цвет изображения данной фазы на графической части диаграммы Гантта работ (при этом открывается диалоговое окно цвета объекта).

В рамке Менеджеры содержится список менеджеров, которым будет отправлена фаза при выполнении рассылки подпроектов.

Для добавления в список менеджера нажмите кнопку Добавить и выберите нужного менеджера в открывшемся списке пользователей, нажав затем кнопку ОК.

Кнопка Удалить служит для удаления выбранного менеджера из списка.

Для выбора ответственного менеджера служит кнопка Ответственный. Ответственный менеджер располагается первым в списке, его имя помечается звездочкой, и при сборке обновляемые подпроекты считываются из его папки Подготовленные для сборки [Исходящие], путь к которой задается в таблице пользователей. Остальные менеджеры при сборке подпроектов игнорируются и требуются только для рассылки подпроектов.

Страница Операции

Включенные операции – список операций, входящих в фазу.

Создать – кнопка для добавления в фазу новой операции.

Свойства кнопка для вызова диалогового окна свойств выбранной операции.

Удалить – кнопка для удаления выбранной операции из проекта.

Исключить – кнопка для переноса выбранной операции в список исключенных объектов структуры работ.

Исключенные операции – список исключенных операций.

Включить – кнопка, вставляющая исключенную операцию в список включенных операций.

Свойства – кнопка, вызывающая диалоговое окно свойств выбранной операции.

Удалить – кнопка для удаления выбранной исключенной операции из проекта.

Страница Подфазы

В поле содержится список с подфазами, входящими в данную фазу.

Создать – кнопка для добавления в фазу новой подфазы.

Удалить – кнопка для удаления выбранной подфазы из проекта.

Исключить – кнопка для исключения подфазы из структуры работ (фазы не могут быть исключены из структуры ответственности, поскольку она должна быть полной). При исключении подфаз из текущей структуры, объекты нижнего уровня иерархии (операции) исключаются, а пустые подфазы могут быть удалены из структуры. Исключенные объекты могут быть впоследствии включены в текущую структуру.

Под экспертизой в широком смысле понимается:

» анализ, исследование, проводимое привлеченными специалистами (экспертами), экспертной комиссией, завершаемые выпуском акта, заключения, в отдельных случаях – сертификата качества, соответствия;

» проверка качества товаров, работ, услуг.

Экспертиза (проверка, оценка) является обязательным этапом практически любой деятельности, поскольку призвана оценить соответствие результата деятельности запланированным показателям. Экспертиза, как правило, осуществляется на основе определенных правил, зафиксированных документально в виде ведомственных, нормативных, законодательных актов.

Все инвестиционные проекты независимо от источников финансирования и форм собственности объектов капитальных вложений до их утверждения подлежат экспертизе в соответствии с законодательством Украины.

Экспертиза проектов проводится в целях предотвращения создания объектов, использование которых нарушает права физических и юридических лиц и интересы государства или не отвечает требованиям утвержденных в установленном порядке стандартов (норм и правил), а также для оценки эффективности осуществляемых капитальных вложений.

Первый шаг реализации данной методики – определение факторов, которые могут в значительной степени повлиять на успешность выполнения проекта. Среди факторов, оказывающих первостепенное влияние на эффективность инвестиционного проекта, могут быть характеристики, представленные выше.

Второй шаг – факторы располагаются в порядке убывания приоритетности. Для этого определяется, какой из них в наибольшей степени повлияет на ход реализации проекта. Далее устанавливается наиболее существенный фактор из оставшихся, и т.д. Получившаяся последовательность заносится в таблицу 1.

Третий шаг – оценка весомости (ранга) каждого из перечисленных факторов. Сумма рангов всех факторов должна быть равна единице. Иначе говоря, сумма по столбцу 3 таблицы 1 должна быть равна единице.

Четвертый шаг – проект(-ы) или варианты одного проекта необходимо оценить по каждому из факторов (критериев) оценки.

Максимальный балл по любому из факторов для проекта равен 100, минимальный – 0. Например, если эксперты признают, что спрос на продукцию проекта будет неограниченным, то значение фактора «спрос на продукцию (услуги) проекта» для данного варианта проекта равен 100 баллов.

Пятый шаг – экспертная оценка влияния каждого фактора (графы 9–13) получается путем перемножения веса каждого фактора на оценку этого фактора для каждого варианта (графа 3 умножается на графы с 4 по 8 соответственно). Интегральная экспертная оценка приоритетности вариантов проекта определяется как сумма по графам 9–13.

Таблица 1 – Форма для экспертной оценки альтернативных проектов

№ п/п Характеристика, фактор Показатель весомости Номер проекта (или варианта проекта) Интегральная оценка проекта
... ...
Всего: - 1,0 - - - - -

Данная методика может применяться как для предварительного отбора наиболее перспективных вариантов осуществления проекта, так и для предварительного определения осуществимости проекта. В первом случае для дальнейшего рассмотрения остаются альтернативы, получившие наивысшие результаты, во втором - полученная интегральная экспертная оценка проекта сравнивается с определенным заранее «ограничением снизу». Если полученное экспертным путем значение выше установленного предела, проект признается осуществимым.

Если проект достоин дальнейшего рассмотрения, определяют состав сведений, которые потребуются для его разработки, включая:

» детальный маркетинг;

» инженерно-геологические изыскания;

» оценку окружающей среды и местных источников сырья;

» политическую обстановку в регионе, республике, стране;

» социокультурную характеристику населения.

Читатель, привыкший иметь дело с критериальными таблицами, обычно сразу же припоминает нехитрый способ упорядочения альтернатив. В подавляющем большинстве случаев это – так называемая "линейная свертка" (взвешенная сумма) – любимый всеми народами и во все времена способ обработки критериальной таблицы. Суть его проста. Сначала некоторым образом выбираются весовые коэффициенты критериев. Обозначим их вектором (w1 , w2 ,... , wm). Затем, для каждой альтернативы (каждой i-ой строки таблицы) рассчитывается следующая величина
si = ∑ xijwj (сумма берется для всех j от 1 до m). Наконец, принимается правило: чем больше значение si , тем лучше альтернатива ai. Вот и все!

К сожалению, эта схема, не всегда дает верный результат! Неискушенного читателя это утверждение всегда приводит в недоумение. Следуют заявления типа того, что приведенная схема "соответствует здравому смыслу", или "отвечает интуитивному представлению о сравнительном качестве альтернатив" и т.п. Здесь мы сталкиваемся с типичной ситуацией, которая удачно выражается известной фразой "наука начинается там, где кончается здравый смысл". Увы, это так! В конце ХХ-го века математика достигла такого уровня абстрактности, что здравый смысл отступил на второй план. В одной из классических книг по методам ППР, а именно, в книге американских математиков Р.Л. Кини и Х. Райфа "Принятие решений при многих критериях: предпочтения и замещения" (Москва, изд-во "Радио и связь", 1981) строго доказано, что линейная свертка корректна только тогда, когда все критерии попарно независимы по предпочтению. Что такое "зависимость" критериев, какие виды зависимости бывают, и что из этого следует – все это выходит за рамки нашего краткого введения.

Идем дальше. Оказывается, линейная свертка основана на неявном постулате: "низкая оценка по одному критерию может быть компенсирована высокой оценкой по другому". Однако, этот постулат верен отнюдь не для всех моделей сравнительной оценки "качества". Простейший пример – ухудшение качества изображения телевизора не может быть компенсировано улучшением качества его звука.

Но и это еще не все. Серьезные проблемы связаны с критериями. Прежде всего, не всегда удается обосновать тот набор критериев, который необходим и достаточен для решения ЗПР. Может показаться, что набор критериев "естественно" возникает в каждой конкретной задаче. Но, увы, это далеко не так.

Еще сложнее обстоит дело с весами критериев. Можно даже сказать, что веса критериев – самое тонкое место в проблеме критериального упорядочения альтернатив. Чаще всего веса назначают, исходя из интуитивного представления о сравнительной важности критериев. Однако исследования показывают, что человек (эксперт, ЛПР) не способен непосредственно назначать критериям корректные численные веса. Более того, есть данные, (они еще не опубликованы) которые свидетельствуют о том, что человек не может корректно назначать веса даже на базе нечисловых шкал. Почему же люди так часто и так охотно манипулируют взвешенной суммой? По этому поводу не могу удержаться от искушения процитировать отрывок из великолепной книги Елены Сергеевны Вентцель "Исследование операций (задачи, принципы, методология)". В следующем отрывке веса критериев называются "коэффициентами", альтернативы – "решениями".

"Здесь мы встречаемся с очень типичным для подобных ситуаций приемом – "переносом произвола из одной инстанции в другую". Простой выбор компромиссного решения на основе мысленного сопоставления всех "за" и "против" каждого решения кажется слишком произвольным, недостаточно "научным". А вот маневрирование с формулой, включающей (пусть столь же произвольно назначенные) коэффициенты – совсем другое дело. Это уже "наука"! По существу же никакой науки тут нет, и нечего обманывать самих себя".

Книга была написана в конце 70-х годов. Интересно, что примерно в это же время зародился научный подход к проблеме весов критериев. Его автор – замечательный математик Владислав Владимирович Подиновский.
В книге Е.С.Вентцель есть ссылка на одну из ранних работ Подиновского, написанную им в соавторстве с В.М. Гавриловым: "Оптимизация по последовательно применяемым критериям", -Москва, "Советское радио", 1975. Любопытно, что анализ всего лишь одного подхода (последовательного рассмотрения упорядоченных по важности критериев) занял около 8 печатных листов! В дальнейшем, Подиновскому удалось дать строгое определение понятию "важность критерия" и опубликовать в этой области прикладной математики несколько монографий и множество статей. Владислав Владимирович по праву может считаться основоположником научного подхода к проблеме важности критериев. По сей день он остается признанным авторитетом №1 в мире по этой проблеме. Но вернемся к существу вопроса.

Если все так сложно, то как все же взяться за структурирование альтернатив, представленных в виде критериальной таблицы? Этим мы сейчас и займемся. Прежде всего, заметим, что в таблице могут оказаться альтернативы, которые имеют оценки по всем критериям хуже, чем другие альтернативы. Сразу ясно, что такие альтернативы неконкурентоспособны. Их можно смело вычеркивать из таблицы. После вычеркивания заведомо наихудших альтернатив, в таблице остаются только такие альтернативы, которые хотя бы по одному критерию, не хуже, чем другие. Множество таких альтернатив получило название "множество недоминируемых альтернатив", или "множество Парето".

1.2 Ходатайство (Декларация) о намерениях

Замысел инвестора реализуется в форме Декларации о намерениях, а также задания (исходных данных) на разработку предпроектных обоснований инвестиций.

Указанные документы подготавливаются, помимо заказчика, консультантами в области управления проектами, а также экспертами по специальным вопросам. Одновременно подготавливается ходатайство о предварительном согласовании места размещения объекта.

Этап, помимо заказчика, подготавливается проектным институтом (по договору), заинтересованными юридическими и физическими лицами (определяются заказчиком), а также специалистами из консалтинговой фирмы.

Примерный состав Ходатайства (Декларации) о намерениях, на примере строительного проекта:

1. Инвестор (заказчик) - адрес.

2. Местоположение (район, пункт) намечаемого к строительству предприятия, сооружения.

3. Наименование предприятия, его технические и технологические данные:

· объем производства промышленной продукции (оказания услуг) в стоимостном выражении в целом и по основным видам в натуральном выражении;

· срок строительства и ввода объекта в эксплуатацию.

4. Обоснование социально-экономической необходимости намечаемой деятельности.

5. Примерная численность рабочих и служащих, источники удовлетворения потребности в рабочей силе.

6. Потребность предприятия в сырье и материалах (в соответствующих единицах).

7. Потребность предприятия в водных ресурсах (объем, количество, источник водообеспечения).

8. Потребность предприятия в энергоресурсах (электроэнергия, тепло, пар, топливо), источник снабжения.

9. Транспортное обеспечение.

10. Обеспечение работников и их семей объектами жилищно-коммунального и социально-бытового назначения.

11. Потребность предприятия в земельных ресурсах.

12. Водоотведение стоков. Методы очистки, качество сточных вод, условия сброса, использование существующих или строительство новых очистных сооружений.

13. Возможное влияние предприятия, сооружения на окружающую среду:

· виды воздействия на компоненты природной среды (типы нарушений, наименование и количество ингредиентов-загрязнителей);

· возможность аварийных ситуаций (вероятность, масштаб, продолжительность воздействия);

· отходы производства (виды, объемы, токсичность), способы утилизации.

14. Источники финансирования намечаемой деятельности, учредители, пайщики, финансовые институты, правительство, коммерческие банки, кредиты поставщиков.

15. Использование готовой продукции (распределение).

1.3 Разработка обоснования инвестиций

Примерный состав обоснования инвестиций:

1.Резюме проекта

2.Общая характеристика отрасли и предприятия

3.Исходные данные и условия, в том числе:

3.1.Цели и задачи проекта

3.2.Характеристика объектов и сооружений, в том числе:

3.2.1.Мощность предприятия, номенклатура продукции

3.2.2.Основные технологические решения

3.2.3.Основные строительные решения

3.2.4.Место размещения предприятия

3.2.5.Обеспечение предприятия ресурсами

3.3.Окружение проекта

3.4.Оценка воздействия на окружающую среду

3.5.Текущее (исходное) состояние проекта

3.6.Кадры и социальное развитие

4.Анализ рынка, в том числе:

4.1.Характеристика рынка продукции проекта

4.2.Оценка конкурентоспособности продукции проекта

4.3.Прогноз развития рынка продукции проекта

4.4.Прогноз спроса на продукцию проекта

5.Управление проектом, в том числе:

5.1.Укрупненная структура работ

5.2.План проекта

5.3.Структура управления проектом

5.4.Команда проекта

6.Оценка эффективности проекта, в том числе:

6.1.Исходные данные и результаты расчета

6.2.Финансовый план

6.3.Анализ рисков

7.Приложения

Окончательным итогом предынвестиционных исследований является задание на разработку ТЭО. Примерный перечень исходных данных для его разработки приведен в раздаточном материале.

Примерный перечень исходных данных для составления ТЭО строительства

1.Материалы прогнозов экономического и социального развития целевых научно-технических и комплексных программ Украины, в том числе межотраслевых программы.

2.Копии решений государственных и местных органов.

3.Сведения о состоянии ресурсов, вовлекаемых в хозяйственную деятельность будущего объекта (предприятия), окружающей природной среды об инфраструктуре, о рекреационных и особо охраняемых территориях.

4.Сведения о возможности применения на объекте (предприятии) импортного оборудования.

5.Примерная производственная программа в денежном и натуральном выражении, номенклатура основной и попутной продукции, требования к ее качеству и конкурентоспособности.

6.Общая характеристика объекта строительства (предприятия), сведения для определения его оптимальной мощности.

7.Заключение Антимонопольного комитета о невозможности или нецелесообразности увеличения производства на существующих предприятиях.

8.Результаты выполненных ранее научно-исследовательских и опытно-конструкторских работ по технологическим процессам, оборудованию, исследованиям существующего рынка и тенденций его развития и т. д.

9. Копии из утверждений в установленном порядке проектно-планировочной документации с указанием предполагаемой площадки (площадок) строительства и возможных мест при соединения к сетям и коммуникациям.

10.Данные о подлежащих сносу при строительстве объекта зданиях и сооружениях, примерное число переселяемых граждан.

11.Другие данные, характеризующие особенности реализуемого проекта.

А.А. Широбокова

О.В. Кривощекова

С.В. Уралова

Социальное проектирование

Часть II

Экспертиза социальных проектов

Учебное пособие

Издательство

Иркутского государственного технического университета

Рецензент: начальник управления Губернатора Иркутской области по связям с общественностью и национальным отношениям

Социальное проектирование. Ч. II. Экспертиза социальных проектов: учеб. пособие. – Иркутск: Изд-во ИрГТУ, 2007. – 90с.

Учебное пособие содержит теоретический и практический опыт экспертизы социальных проектов. Представленные в учебном пособии методические материалы содержат теоретические знания о методах оценки и способах ее применения в процессе социального проектирования. Дается представление мониторинга и оценки социальных проектов как социальной технологии. В пособии также представлены процедуры отбора заявок, образцы официальных документов, используемых для оценки заявок, порядок работы экспертов.

Учебное пособие является второй книгой из общей серии: социальное проектирование. Серия представлена четырьмя книгами.

Предназначено для организаторов и участников конкурсов, преподавателей, студентов, контролирующих органов и всех заинтересованных в тематике проведения грантовых конкурсов, общественного и иного контроля за ними.

Книга издана при поддержке Губернского собрания общественности Иркутской области

ISBN 978-5-8038-0482-6 © Широбокова А.А., Уралова С.В.,

Кривощекова О.В., 2007

© Байкальский региональный союз женщин «Ангара», 2007

© Иркутский государственный

технический университет, 2007

Предисловие………………………………………………………….4 Экспертиза социальных проектов как форма оценки проектной деятельности………………………..7 Виды оценки……………..………………………………………….10 Что такое оценка проектов……………...……………………………..10 Оценка и жизненный цикл проекта…………………………………….11 Оценка деятельности организации и оценка проекта…………………...16 Внешняя и внутренняя оценка…………………………………………17 Что может быть проанализировано в ходе оценки……………………...18 Инструменты оценки…………………………………………….….19 Как осуществляется оценка………………….........................................19 Индикаторы……………………………………………………………23 Разработка вопросов для проведения оценки……………………….…..25 Управление процессом проведения оценки…………………………….31 Некоторые подходы к оценке проекта………………………………….34 Экспертиза социальных проектов………………………………….39 Зачем осуществляется экспертиза проекта……………………………..39 Факторы влияния на формирование экспертной оценки………………..40 Экспертиза заявки: раздел за разделом…………………………………43 Критерии оценки заявок……………………………………………….53 Типичные ошибки заявки на грант……………………………….........57 В помощь начинающему эксперту……………………………………..59 Процедуры отбора заявок ………………………………………….64 Стратегии выбора заявок………………………………………………64 Экспертная комиссия…………………………………………………..66 Библиографический список ………………………………………..67 Приложение………………………………………………………….69

Предисловие

Содержание учебного пособия учитывает многолетнюю практику авторов в подготовке и реализации социальных проектов консультирования и экспертизы проектных заявок, преподавания специальных курсов, проведения тренингов по проблемам социального проектирования членам местных сообществ, в учебных заведениях, на специализированных курсах, курсах повышения квалификации государственных и муниципальных служащих и т.д. В пособии также учтен опыт международных и Российских экспертов по социальному проектированию, изложенный в различных изданиях, представленный на конференциях, форумах и пр.

Социальное проектирование является новым инструментом социальной политики России, механизмом социального партнерства, частия местных сообществ в социально-экономическом развитии своих территорий, высокоэффективным инструментом решения социальных проблем. Напряженной работы, ясного видения цели, организованности и желания изменить жизнь к лучшему часто бывает недостаточно, чтобы воплотить идеи преобразования. Как правило, недостающим звеном является финансирование. Поэтому все шире внедряется практика социального проектирования в реальную жизнь территорий не только через систему международных и российских Фондов, корпораций и т.д., но и через систему муниципальных, областных, региональных и общероссийских грантов, социальных заказов и пр.

Любой спонсор хочет знать, какой проект лучше всего отвечает условиям объявленного им конкурса, у какого грантозаявителя эффективнее конкретные результаты проекта. Именно поэтому он заказывает оценку проекта. И тогда возникает необходимость найти эксперта в области оценки проекта. Нужна оценка собственного проекта и грантзаявителю. Она поможет исправить возможные ошибки и избежать неудач на этапе реализации проекта. Надеемся, что рекомендации, содержащиеся в этом пособии, помогут нашим читателям получить знания в области оценки проектов и создадут условия для разработки и поддержки эффективных проектов.

Учебное пособие является второй частью из общей серии: социальное проектирование. Она предназначена для тех, кто хочет получить опыт экспертной оценки социальных проектов. В ней представлен теоретический и практический опыт экспертизы социальных проектов. Изложенные в ней материалы содержат теоретические знания о методах оценки и способах ее применения в процессе социального проектирования. Дается представление мониторинга и оценки социальных проектов как социальной технологии. В пособии также представлены процедуры отбора заявок, образцы официальных документов, используемых для оценки заявок, порядок работы экспертов.

Первая часть серии – «Социальное проектирование: пособие по составлению заявок на гранты» содержит практический опыт подготовки проектных заявок грантодателям, спонсорам, фондам и другим организациям, предоставляющим финансирование общественным и некоммерческим организациям, отдельным гражданам, инициативным группам граждан. Из нее читатель узнает, что такое социальное проектирование, какую роль играет оно в современной социальной политике, как писать проекты. Третья - «Активные методы обучения. Пособие для тренеров» предназначена для подготовки тренеров по социальному проектированию. В ней содержатся общие материалы по активным методам обучения, организации и проведению тренингов, методические разработки для проведения тренингов по социальному проектированию. В четвертой книге «Социальное проектирование: практический опыт» содержится положительный практический опыт социального проектирования общественных и некоммерческих организаций, граждан, инициативных групп граждан Иркутской области. В ней представлены проекты, получившие поддержку из различных источников финансирования.

Широко распространенная в последнее время форма привлечения ресурсов (материальных и кадровых) для решения социальных проблем различными зарубежными и отечественными фондами, а также органами власти различного уровня - от федерального до местного - грантовые конкурсы. Если есть конкурс, значит необходимо оценить проекты и выбрать те из них, которые наиболее эффективно и наименее затратно решают проблему. Кроме того, грантодателю не безразлично, каковы конкретные результаты проекта на определенный момент его реализации или по окончании проекта. Конечно, последнее можно увидеть по отчетам исполнителей проекта, но важно мнение и посторонних людей. Тогда спонсор заказывает оценку. И вот тогда для оценки проекта заказывают специалиста, который способен выполнить задачу эксперта в области оценки проекта.

Часто и самому исполнителю важно знать, как продвигается его проект, насколько он соответствует заявленным результатам. Своевременное выяснение этого позволит вовремя внести корректировки в реализацию проекта. Именно поэтому важно, чтобы среди исполнителей проекта был специалист, знакомый с оценкой проектной деятельности.

В данной книге рассматриваются различные аспекты оценки проектной деятельности. Вконце книги представлен библиографический список.

Экспертиза социальных проектов как форма оценки проектной деятельности

Почему грантовые конкурсы приобрели такую популярность в решении социально–экономических и гражданских проблем?

Грантовые конкурсы показали себя как наиболее эффективная форма распределения средств для решения этих проблем: финансирование проектов на конкурсной основе стимулирует привлечение дополнительных ресурсов самими организациями -участниками конкурсов в виде собственных материальных и профессиональных ресурсов, безвозмездной деятельности добровольцев. Как правило, одну треть от вложенных донором средств организация-грантополучатель вкладывает или привлекает самостоятельно.

Конкурсное финансирование позволяет оценить эффективность вложенных средств, так как предусматривает мониторинг процесса реализации грантовых проектов и отчетность организаций-грантополучателей по результатам проектной деятельности.

Грантовые конкурсы позволяют привлекать большой круг участников и выбирать из них тех, кто сможет наиболее эффективно и наименее затратно решить социальную проблему в сообществе. Следовательно, конкурсы развивают здоровую конкурентную среду в некоммерческом секторе.

Применение конкурсных технологий позволяет снизить затраты инвестора до 15-20%. Таким образом, введение стимулирующих конкуренцию механизмов способно давать ощутимый экономический эффект.

В грантовых конкурсах применяется проектная логика. Она позволяет целостно видеть и решать проблемы, а также достигать долгосрочного результата и социального эффекта. Проектирование является также мощным стимулом для развития деятельности организации, подающей заявку на грант. Даже если заявка отклоняется: написание проекта предполагает в числе прочего анализ собственной деятельности, имеющихся в ней недостатков и возможных путей усовершенствования. Таким образом, участие в грантовых конкурсах побуждает организацию постоянно совершенствоваться, стремиться к большей эффективности, к достижению долгосрочных, устойчивых результатов.

Грантовые конкурсы также способствуют развитию рынка социальных услуг, формируя последние в процессе осуществления проектной деятельности. Цель любого грантового конкурса такова: есть проблема, нуждающаяся в решении, и все проектные заявки, поданные на конкурс, предлагают разные варианты ее решения. Эти решения осуществляются, и наиболее эффективные закрепляются в виде услуг, для которых изыскиваются другие, регулярные источники финансирования. В результате появляются и закрепляются новые услуги, службы, модели, технологии по работе с целевыми группами, которые можно воспроизводить и тиражировать.

Грантовые конкурсы имеют широкий общественный резонанс, так как выполняемые социальные проекты являются интересным информационным поводом для СМИ, и жители территории начинают оптимистично смотреть на решение социальных проблем, что способствует формированию положительного общественного мнения.

Отдельно стоит выделить грантовые конкурсы, которые проводятся на бюджетные деньги органами власти разных уровней. Безусловно, это положительное явление. Используя все вышеперечисленные факторы эффективности конкурсов, органы власти, таким образом, выстраивают еще и конструктивное взаимодействие с гражданскими институтами.

В последнее время также распространяется практика проведения грантовых конкурсов на основе консолидированного бюджета, когда конкурсный фонд складывается из разных источников: какого-либо фонда, спонсорских вкладов, администрации. В таких конкурсах не только увеличивается конкурсный фонд, но и объединяются ресурсы (финансовые, профессиональные, методические, организационные, ресурсы влияния и т.д.) разных организаций для решения социальной проблемы.

Особое место занимают грантовые конкурсы при реализации механизмов социальной ответственности бизнеса. Именно они позволяют бизнес-сообществу эффективно вкладывать свои средства в развитие местных сообществ.

Если есть конкурс, значит необходимо оценить проекты и выбрать те из них, которые наиболее эффективно и наименее затратно решают проблему. И здесь возникает потребность в экспертах, способных грамотно провести оценку предложенных в проекте решений. Грантодателю также не безразлично, каковы конкретные результаты проекта на определенный момент его реализации или по окончании проекта. И здесь опять требуется специалист–эксперт в области оценки проекта.

Оценка – особый процесс, требующий специальных знаний. Именно поэтому сейчас все больше внимания уделяется подготовке специалистов по оценке вообще и в социальной сфере в частности. При этом важно отметить, что среди методов и приемов оценки есть и такие, которые могут быть достаточно легко освоены практиками и использоваться для экспертизы социальных проектов на определенных этапах его развития.

Проектная деятельность имеет определенную продолжительность, этапы своего развития. И на каждом этапе жизненного цикла проекта возникает необходимость оценки (*):

- Идея --* --Разработка --** --Вы -* -полне -* -ние --*--Воздействие --*

Поэтому существуют разные виды оценок. Каждый этап накладывает свои особенности на тот вид оценки, которая осуществляется на этом этапе. В данном учебном пособии особое внимание уделяется оценке, которая проводится до начала выполнения проекта, после его разработки и до утверждения финансирования спонсором. До утверждения проекта обычно проводится специальная оценка, которая называется экспертиза (**) . Делается заключение, в котором сопоставляются возможные результаты проекта и возможные затраты по его реализации. Выясняется соответствие проекта условиям спонсора. Более того, именно экспертиза определяет возможность эффективной оценки на последующих этапах проектной работы, так как на этапе экспертизы оцениваются базовые условия проектной деятельности. Для того чтобы контролировать ход проекта и достижение запланированного эффекта, обеспечивать условия для оценки проектной деятельности, при разработке проекта и оформлении проекта, как минимум, необходимо:

Оценить исходную ситуацию, на изменение которой проект будет направлен;

Определить, какие изменения исполнители проекта хотели бы получить «на выходе» - то есть после завершения проекта;

Разработать комплекс мероприятий, которые могли бы, по замыслу авторов, обеспечить такие изменения;

Сформировать систему отслеживания и оценки таких изменений.

О том, как это достигается, показано в I части учебного пособия по социальному проектированию - «Пособие по составлению заявок на гранты».

Виды оценки

Что такое оценка проектов

У разных людей могут быть самые разные представления, что такое оценка. Академический словарь русского языка дает такие определения:

Оценка – действие, направленное на формирование мнения, суждения о качестве, достоинстве, значении и т.п. чего-либо;

Оценивать – изучать и выносить взвешенное суждение.

Значение термина «оценка» со временем расширилось. Основные изменения произошли в течение последних 30 лет. Это связано с тем, что в мире резко возросло число социально ориентированных проектов и программ, направленных на позитивные изменения в различных областях жизнедеятельности (защита окружающей среды, образование, права женщин, поддержка людей с ограниченными возможностями и пр.). И в этом случае оценка приобретает расширенное значение. Именно поэтому ряд экспертов в области оценки привнесли в него новый аспект – цель оценки. Так, например, Кэрол Вайс (Carol Weiss) определила цель оценки как измерение результатов программы и сопоставление их с задачами, которые эта программа должна решать. Она определила оценку как одно из средств содействия последующему принятию решения относительно программы, а также улучшения процесса разработки программ в будущем. Систематический анализ результатов каждого проекта позволяет определить следующее:

Какие программы работали хорошо и должны быть расширены;

Какие программы не удались и должны быть прекращены;

Какие программы требуют модификации по различным причинам.

Особенностью такого похода к оценке является не только необходимость наличия цели оценки, но важна обратная связь – поступление информации к менеджерам, которые на ее основании должны принимать решения о будущем развитии или закрытии программы (проекта). При этом, как отмечает Роберт Стейк (Robert Stakе), оценка может иметь много различных целей. Вопросы оценки отражают различные цели и информационные потребности аудитории. При официально проводимой оценке лишь нескольким вопросам может быть уделено первостепенное внимание.

Исторически сложилось так, что основными потребителями оценки были те, кто оценку финансировал. Именно они формулировали вопросы оценки. Сегодня этот акцент начал смещаться. Общество начало осознавать, что существуют различные группы, которые имеют законное право или определенные потребности на информированность о результатах деятельности проектов (программ). Питер Росси (Peter H. Rossi) и Говард Фримен (Howard E. Freeman) указывают, что эксперты по оценке должны уметь понимать точки зрения всех заинтересованных сторон и учитывать их при планировании и проведении оценки.

Оценка и жизненный цикл проекта

Проект – это всегда гипотеза. С той или иной степенью уверенности предполагается, что разработанные в проекте действия приведут к ожидаемому результату. Множество факторов – как внутри организации, так и вне ее – оказывают влияние на эффективность деятельности по проекту. Необходимы специальные инструменты, позволяющие оценить эти влияния. Во многих странах мира для этих целей используются такие инструменты, как мониторинг и оценка проектов .

Оценка позволяет сформировать мнение, суждение о качестве, достоинстве, значении и т.п. проекта и его результатов. Задача эксперта в том и состоит, чтобы изучить и вынести взвешенное суждение о проекте или его реальных результатах.

Мониторинг - текущий контроль за результатами работы. Он позволяет определить, все ли запланированные мероприятия проведены? Во время ли? Охвачено ли запланированное количество участников проекта? Расходовались ли средства согласно бюджету? И т.д.

Проект – это развивающийся процесс, имеющий разные жизненные циклы (этапы), и на каждом этапе располагаются разные виды оценки. Связь этапов и видов оценок проектной деятельности представлена на схеме 2.

Идея--разработка--одобрение--выполнение--завершение--последействие

оценка экспертиза мониторинг оценка оценка

ситуации результатов воздействия

Оценка ситуации проводится до разработки проекта (заявки на конкурс), программы. Эту работу разработчики проекта должны выполнить до начала подготовки проекта, после того, как у них появилась идея написать проект. Как правило, этот этап оценки опускают. Данная проблема обсуждалась в части I книги «Социальное проектирование: пособие по составлению заявок на гранты» (глава 1.3. Пять циклов управления проектом).

Опираются на опыт коллег в других регионах;

Реализуют давнюю идею;

Готовят заявку, потому что объявлен конкурс, и тема попадает в сферу интересов деятельности организации;

Не имеют навыков оценки ситуации.

Однако сегодня именно этот вид оценки, часто включаемый отдельным разделом заявки, становится значимым при конкурсном отборе проектов. Поэтому задача эксперта - уметь оценить, насколько проработан этот вопрос в заявленном проекте. Ведь именно оценка ситуации позволяет:

Точно определять, в чем заключается проблема;

Выявлять соответствие деятельности представленным в проекте ресурсам (возможностям), миссии, целям и задачам;

Определять инвестиционную привлекательность проекта;

Видеть долгосрочность возможных результатов, перспектив проекта;

Формировать критерии эффективности;

Оценивать эффективность выбранной стратегии, реалистичность бюджета;
- оценивать квалификацию исполнителей;

Эффективно перераспределять ресурсы.

Существуют специальные методы, инструменты оценки, которые позволяют проводить оценку ситуации. Эти же инструменты используются и на других этапах оценки проектной деятельности. Более подробно эта тема рассматривается в главе 3 «Инструменты оценки» данного учебного пособия.

Экспертиза (предварительная оценка) . Эта оценка проводится на этапе одобрения проекта, при этом оценивается еще не реализованный проект. Проект, как предложение будущей работы. Экспертиза определяет качество проекта. Грантозаявитель, как правило, сталкивается с экспертизой, когда подает заявку на грант. В качестве экспертов грантодатель привлекает специалистов, имеющих опыт работы в оценке проектов и номинируемой сфере (социальной, гражданской, экономической и пр.). Эксперты читают заявки и определяют, стоит ли их поддерживать. В принципе, оценка может иметь много различных целей. Однако по большому счету, в данном случае экспертам необходимо ответить на два вопроса:

Может ли заявленный проект содействовать решению проблемы, которая является на данный момент приоритетом для того или иного донора;

Может ли этот проект быть реализован в данных условиях организацией-заявителем.

Эти вопросы включают в себя массу характеристик и критериев (достаточно ли качественно спланирован проект; имеет ли организация опыт в реализации проектов и сможет ли выполнить данный проект; обоснованы ли ресурсы проекта и т.д.). Важно отметить, что даже если организация не планирует представлять проект на грантовый конкурс, целесообразно провести его экспертизу. В качестве экспертов могут выступать коллеги, сотрудники организации. Сторонний взгляд опытного менеджера поможет заранее исправить возможные ошибки и избежать неудач на этапе реализации проекта.

В данном учебном пособии упор будет сделан именно на этом виде оценки. Однако без понимания общей картины оценочной деятельности эксперту сложно подготовить качественное и профессиональное заключение на заявку грантодателя.

Мониторинг является инструментом контроля, который позволяет отслеживать ход реализации проекта, степень достижения промежуточных результатов и вносить оперативные изменения с целью повышения эффективности проекта. Мониторинг проводится непрерывно, с определенной периодичностью или на заранее определенных этапах работы. Для его проведения необходимы объективные показатели, которые называют индикаторами. В главе 3.2. «Индикаторы» данного пособия это понятие будет рассмотрено подробнее.

Мониторинг, как инструмент контроля, чаще всего применяют сотрудники, реализующие проект. Грантодатель также может осуществлять мониторинг проекта, привлекая внешних оценщиков. Спонсор может включить в условия конкурса требование проведения мониторинга исполнителями проекта на определенных этапах его реализации. В последнем случае исполнитель проекта по результатам мониторинга готовит промежуточный отчет для грантодателя. Важно понимать, что результаты мониторинга так же важны для исполнителей проекта, как и для заказчиков мониторинга. Специалисты, осуществляющие мониторинг, выполняют эту работу для того, чтобы выявить сильные и слабые стороны проекта, помочь исполнителям скорректировать свои действия таким образом, чтобы проект был успешно реализован.

Использование мониторинга на этапе проекта обеспечивает возможность:

Скорректировать дальнейший ход проекта;

Выявить потенциальные проблемы реализации, установить их причины и своевременно решить их;

Определить уровень выполнения заявленных задач и спрогнозировать конечный результат;

Принять грамотные управленческие решения;

Обнаружить новые стороны проблемы;

Получить квалифицированные оценку и совет;

Проверить, насколько рационально используются ресурсы;

Выявить незапланированные результаты.

Ниже представлены базовые отличительные признаки мониторинга и оценки.

Таблица 1

Окончание табл. 1

Оценка результатов осуществляется в момент его окончания, при получении непосредственных результатов. Донор обязательно требует ее от грантополучателя в форме итогового отчета . Чтобы провести итоговую оценку, необходимо сравнить полученные результаты с заявленной моделью проекта. И вновь важное место отводится такому инструменту оценки, как индикатор. Как правило, грантодатель требует не только констатации достигнутых количественных и качественных показателей, но и дать оценку тому, как и почему это произошло. Таким образом, на данном этапе проектной деятельности оценка – это анализ и интерпретация фактов для того, чтобы сформулировать рекомендации для будущих программ и заявок.

Использование оценки на конечном этапе реализации проекта позволяет:

Понять, достигнуты ли цели проекта;

Извлечь уроки на будущее;

Лучше понять проблему;

Оценить персонал проекта;

Скорректировать стратегию на будущее;

Лучше понять сильные и слабые стороны проекта, цели и задачи;

Продолжить или повторить проект на лучшем уровне;

Поставить вопрос о дальнейшем финансировании;

Минимизировать риски.

Оценка долгосрочного воздействия (эффект проекта, оценка влияния). Она направлена на оценку изменений в проблеме/ ситуации в связи с реализацией проекта. В ходе подобной оценки обычно анализируются все (или почти все) изменения, вызванные проектом, и то, насколько они стабильны, то есть сохраняются ли изменения без дальнейшего воздействия со стороны проекта. Как правило, эффект проекта очень трудно планировать. Более того, его сложно оценить непосредственно после окончания проекта. Но проект можно считать действительно эффективным, если непосредственные результаты оказывают влияние на ситуацию в социуме. Фактически эффект проекта - это степень успешности проекта с точки зрения достижения цели. Но если авторы проекта не представляли себе достаточно четко, какого изменения ситуации они хотели добиться, невозможно сказать, после того как проект был завершен, удалось это или нет.

Часто параллельно с действиями исполнителей проекта реализуются и другие действия (проекты, программы) по решению той же проблемы. Поэтому даже если точно известно, чего пытались достичь исполнители проекта через несколько месяцев после окончания проекта, когда ситуация в действительности изменяется, будет сложно с уверенностью сказать, насколько велика в этом заслуга проекта. И тогда оценка долгосрочного воздействия, оценка влияния может помочь в ответе на этот вопрос.

Нетрудно заметить, что описанные выше виды оценки перекликаются друг с другом. В частности, оценка воздействия - это не что иное, как оценка ситуации с точки зрения того, как она изменилась после реализации проекта. Следовательно, эти два вида оценки - оценка ситуации и оценка воздействия должны использовать одинаковые инструменты оценки, иначе будет невозможно сравнить полученные результаты и понять, что именно изменилось.

Оценка деятельности организации и оценка проекта

В зависимости от того, что является объектом оценки, можно говорить об оценке деятельности организации и оценке проекта. Далее мы будем говорить об оценке проектов, но важно понимать, что и оценка деятельности организации может использовать методы и приемы, представленные в данной книге. Важно только понять, зачем нужна оценка деятельности организации.

С точки зрения самой организации она нужна потому, что:

· проводя оценку, эксперты углубятся в анализ деятельности организации; обратят внимание, как на успехи, так и на неудачи, то есть приблизятся к тому, чтобы в целом увидеть деятельность организации;

· эксперты смотрят на организацию как бы со стороны и имеют шанс избежать эффекта «замыленного глаза», отвлечься от повседневной «текучки» и стать более объективными по отношению к своей организации;

· сотрудники, добровольцы и получатели услуг (клиенты, подопечные) организации получат зримое подтверждение того, что организация работает на результат, на выполнение своих целей и задач, своей миссии;

· появляется возможность найти так называемые точки роста, моменты, оказывающие решающее влияние на качество и эффективность работы организации. В дальнейшем, воздействуя именно на эти точки, можно добиться существенных положительных изменений, тем самым сэкономив силы, время и ресурсы организации;

· оценка даст повод задуматься о стандартах качества, к которым следует стремиться организации.

С точки зрения среды, в которой действует организаци я:

· пользуясь результатами оценки, организация достаточно определенно может ответить на вопрос, насколько хорошо она работает;

· в переговорах со своими потенциальными донорами специалисты смогут привести факты и сравнительные характеристики, которые помогут понять, что же представляет собой заявитель как организация и насколько эта организация эффективно работает;

· периодическое проведение оценок делает организацию более привлекательным, более надежным партнером;

· некоторые типы доноров (например, грантодающие организации) требуют включать такой эта, как оценка деятельности организации в заявку на финансирование того или иного проекта.

Так или иначе, оценка помогает увидеть реальное положение дел в организации, определить пути закрепления успехов и исправления недостатков.

Внешняя и внутренняя оценка

Внешняя оценка проводится приглашеннымспециалистом. При этом важно, чтобы он не только не работал в организации, но и не был связан с ней отношениями, которые можно расценить как конфликт интересов. Например, такой специалист не должен быть:

Прямым родственником кого-либо из руководителей организации;

Одним из тех, кто получает от нее помощь;

Участником этой же программы, конкурса грантов.

Внешнюю оценку, проводимую приглашенным экспертом, еще называют независимой оценкой.

Есть несколько причин, по которым спонсоры, грантозаявители обращаются с просьбой о проведении оценки в ходе реализации проекта:

Отсутствие у них хороших информационных систем;

Имеющиеся у них информационные системы отвечают на вопрос "что происходит", но не отвечают на вопрос "почему";

Эксперты в области оценки обучены анализировать полную картину и видеть, каким образом элементы соотносятся друг с другом, - в то время как другие специалисты могут анализировать лишь часть общей картины;

У экспертов по оценке есть время для того, чтобы пообщаться с благополучателями проекта и задать вопросы, которые у сотрудников проекта могут и не возникнуть.

Внутренняя оценка , или самооценка, осуществляется теми же самыми людьми, которые работают в организации. Это проще и сложнее одновременно, потому что, с одной стороны, кто же знает организацию лучше, чем ее сотрудники, а с другой – проведение такой оценки потребует дополнительных усилий, а иногда и мужества, чтобы «подняться над ситуацией» и быть действительно объективными.

Что может быть проанализировано в ходе оценки

Все, что имеет отношение к проекту, может стать объектом оценки. Если же говорить о наиболее часто встречающихся моментах, которые подвергаются оценке, и о вопросах, которые при этом ставятся, то это, как правило:

финансовая эффективность проекта

Насколько приемлемо соотношение ресурсов, вовлеченных в проект (в целом и/или для осуществления отдельных этапов), и его результатов;

Можно ли добиться удешевления подобных проектов в будущем, сохранив то же качество и тот же объем результатов;

эффективность управления проектом

Соответствует ли выбранная схема управления типу проекта и осуществляемым видам деятельности;

Способствовала ли она успешной реализации проекта;

Достаточно ли гибко руководители проекта реагировали на изменения, влиявшие на ход проекта;

Насколько правильными (ошибочными) были принимаемые решения;

методология проекта

Все ли методы привели к достижению заявленных результатов;

Какие методы оказались наиболее (наименее) эффективными;

устойчивость проекта

Будет ли работать этот проект при его повторении в другом месте;

Сохранил ли проект актуальность, соответствует ли он текущему моменту;

Будет ли жизнеспособен проект после завершения его специального финансирования (как правило, этот вопрос особенно волнует фонды);

полнота решения проблемы или удовлетворения потребности

В какой мере проектом решена заявленная проблема;

Можно ли говорить о том, что проблема решена кардинально, то есть не появится вновь;

Достаточно ли полно удовлетворены потребности клиентов проекта (целевой группы, на которую направлен проект).

Инструменты оценки

Как осуществляются оценки

Независимо от вида оценки, существует определенный инструментарий, используемый экспертами и разработчиками проектов и программ. На разных этапах жизненного цикла проекта, в зависимости от цели оценки, используется различный инструментарий. Среди наиболее часто используемых инструментов оценки, особенно на этапах оценки ситуации и оценки долгосрочного воздействия, можно выделить следующие: анкетирование, опрос, наблюдение, интервьюирование, беседа, анализ прессы, анализ законодательства, анализ текстов (устных/письменных), SWQT-анализ, профиль сообщества/клиента и другие.

Каждый инструмент требует определенных навыков и знаний его использования. Рассмотрим общее представление о некоторых из них.

Анкетирование - это письменный опрос. Виды анкетирования могут быть зондажные или экспресс-опросы. В анкете содержится несколько пунктов основной информации, демографические характеристики опрашиваемых, другие обходимые для каждого конкретного случая характеристики. Формы проведения анкетирования могут быть разные:

Через прессу - удобно, но очень трудно получить заполненные анкеты от респондентов;

Телефонные или по почте (ожидается возвращение анкеты по почте по заранее оплачиваемому переводу);

На месте (анкетер сам собирает заполненные анкеты); раздаточное (по месту жительства, работы);

Групповое - до 40 человек, которых анкетер инструктирует и оставляет заполнять анкеты);

Индивидуализированные (индивидуально к респонденту) и пр.

Опрос - метод сбора первичной информации (совокупность вопросов, предлагаемых респонденту, ответы которого образуют необходимую информацию). Опрос - практически универсальный метод, но необходимо знать: кого спрашивать; о чем спрашивать; как спрашивать; где спрашивать; как обработать полученные данные; каким образом убедиться, что можно верить полученным ответам.
Вопросы могут быть: прямые / косвенные; открытые / закрытые / полузакрытые; личные / безличные; основные / контрольные; вопросы-«крючки» (чтобы поддержать интерес) / вопросы-«ловушки» / вопросы-
«фильтры». Опросы требуют привлечения большого количества людей, они затратны по времени, по финансам, а полученные данные требуют обработки и интерпретации.

Интервьюирование - это непосредственный, устный опрос (беседа, проводимая по определенному плану). Интервью бывает:

Свободное - длительная беседа без строгой детализации вопросов, но по общей программе;

Стандартизированное/формализованное - детальная разработка всей процедуры опроса, последовательности и конструкции вопросов (отклонения в формулировке вопросов и порядке их задавания не допускаются);

Полустандартизированное (допускаются уточняющие вопросы);

Нарративное - направляемый интервьюером свободный рассказ, подлежащий качественному анализу;

Ненаправленное – беседа, при которой инициатива практически полностью принадлежит респонденту;

Групповое;

Индивидуальное.

Наблюдение - качественный метод сбора первичной информации, основанный на индивидуальном восприятии. Этот метод хорош в совокупности с другими методами, так как он не всегда дает достаточный объем информации. Кроме того, наблюдение весьма субъективно, и данные, полученные при помощи наблюдения, требуют подтверждения.

Анализ прессы/ анализ законодательства/ анализ текстов . Несмотря на кажущуюся простоту, этот метод чрезвычайно трудоемкий и требует профессионального подхода. Впрочем, он достаточно дешев, но требует много времени. В результате использования этого метода возможно получить качественную, глубокую информацию, которую нужно будет затем верно интерпретировать.

SWOT-анализ . Этот подход широко используется во всем мире и является эффективным инструментом для начала работ над стратегическим планом или большим проектом, когда необходимы серьезные усилия разработчиков для эффективного решения поставленных задач. Используется он и для планирования развития организации, анализа новой идеи и пр. SWOT – это абривиатура:

«S» - означает преимущества, «W» - слабости организации (проекта, плана, идеи). Эти две характеристики описывают видение организации (проекта, плана, идеи) в настоящий момент.

«О» - это возможности, которые могут появиться, «Т» - угрозы, с которыми придется столкнуться. Используя схему SWOT-анализа, определяют, что можно сделать, чтобы преодолеть слабости. Проанализировав природу преимуществ, намечают мероприятия по их укреплению. Поняв угрозы, разрабатывают мероприятия по их минимизации или преобразованию в возможности и потенциально сильные стороны.

Фокус-группа - это групповое интервью. Модератор, т.е. человек, проводящий беседу, пишет заранее сценарий обсуждения, чтобы сфокусировать дискуссию на нужных проблемах. Фокус-группа интересна еще и тем для организаторов оценки, что в ней происходит активный обмен мнениями между людьми, отношение которых к данной проблеме требуется узнать. Полезно использовать фокус-группу и тогда, когда обмен мнениями между участниками может привести к более глубокому пониманию ими не только точки зрения участников, но и проблемы в целом. Например, в процессе работы в фокус-группе, возможно узнать, воспримут ли руководители общественных организаций, работающих по проблеме насилия, идею объединиться в коалицию, какие препятствия есть на этом пути. Если опросить группу руководителей и каждый из них услышит мнение других участников, руководители смогут более глубоко продумать идею и возможности ее использования для себя, а значит и процесс создания коалиции пройдет более успешно. Более того, в процессе опроса будут определены базовые технологии создания и развития коалиции.

Профиль сообщества - содержит информацию о местном населении и используется для определения потребностей местного сообщества. Его называют также «социальным паспортом». Профиль сообщества позволяет:

Получить нужную информацию для определения необходимых услуг и уровня их предоставления;

Определить целевые группы потенциальных получателей услуг;

Дать ясное понимание о людях, с которыми надо будет работать в процессе реализации услуг;

Дать качественную оценку ситуации;

Аргументировать цели и задачи проекта, социального решения;

Выбрать эффективную систему показателей, характеризующих изменение ситуации в результате реализации проекта (плана);

Обеспечить новые возможности для ведения социальной политики в местном сообществе.

Несомненно, серьезным вопросом при использовании этих инструментов становится вопрос получения достоверной информации, особенно при проведении достаточно сложных видов оценки на этапах оценки ситуации и оценки влияния. Конечно, эксперты-профессионалы без проблем смогут это сделать, но если нет возможности их привлечь, можно использовать следующие источники информации: статистика (официальная/неофициальная); слухи; официальные запросы; разного рода базы данных; СМИ; Интернет и др. Не все источники информации являются достоверными, поэтому необходимо проверять данные, прежде чем интерпретировать их.

Индикаторы

Выше уже отмечалось, что оценка позволяет сформировать мнение, суждение о качестве, достоинстве, значении, результатах и т.п. проекта (плана, программы, организации). Очевидно, для того чтобы провести оценку, необходимы некие критерии, при помощи которых возможно определить, хорошо ли выполняется или выполнен проект (программа, план), хорошо ли работает организация, способен ли заявленный проект изменить ситуацию к лучшему по заявленной проблеме, оценить успех. Критериями выступают так называемые индикаторы (показатели) эффективности деятельности. Для более точного уяснения достаточно сложного понятия «индикатор» обратимся к примеру. Какой индикатор позволяет с точной уверенностью сказать, что человек имеет нормальную температуру? Это термометр. Термометр - это достоверный, нейтральный, практичный, недвусмысленный, надежный индикатор, который позволяет точно установить температуру тела. Какие индикаторы позволяют судить о здоровье человека? Температура, давление, пульс, цвет кожных покровов. Известны базовые значения этих индикаторов, которые можно измерить. В социальной сфере определение индикаторов – не такое простое дело. Тем не менее, и здесь всегда можно найти простой способ измерить результаты деятельности.

Измерение – это процесс преобразования/уточнения информации.

Необходимые условия для организации этого процесса:

Определение того, что именно (какой параметр) будет измеряться;

Согласованное и понятное определение измеряемого параметра;

Наличие адекватных инструментов для перевода неколичественных данных в количественные.

Измерение должно обеспечить: достоверность, надежность адекватность, точность собираемой информации.

Хороший индикатор должен обладать следующими характеристиками:

Измеряемость. Индикатор поддается количественному измерению в любой определенный момент времени;

Ориентированность на результат. Индикатор характеризует результат, а не процесс, в ходе которого этот результат получен;

Достоверность. Индикатор на самом деле оценивает именно то, что необходимо оценить. Это истинный показатель для оценки предполагаемого результата;

Надежность. Индикатор даст тот же самый результат при повторном применении - на следующий день или год спустя - будет ли его оценивать тот же самый человек или кто-то другой. Процесс измерения может быть повторен. Любые изменения в ответах происходят в силу изменений в измеряемом предмете, а не в инструменте измерения;

Нейтральность. Индикатор "объективен", а не "субъективен". Как сторонник, так и скептически относящийся человек примут ответ, полученный в результате оценки, как правильный;

Недвусмысленность. Индикатор имеет четкое, одинаково понятное любому определение;

Практичность. Индикатор практичен в том смысле, что он экономически доступен, т.е. не требует много затрат для его применения и позволяет действительно провести оценку.

Таким образом, при определении индикатора важно ясно и четко определить базовые составляющие индикатора: определение (формулировка понятия/параметра таким образом, чтобы его можно было сосчитать); источник информации; периодичность; точка отсчета; целевое значение; единица измерения.

Так, например:

Востребованность ресурсного центра можно измерять количеством клиентов; количеством заявок, на ту или иную консультацию и т.д.;

Эффективность семинара по написанию заявки на грант можно ценить при помощи количества заявок, поступивших на конкурс; качества проектов, поданных на конкурс (при помощи среднего балла, набранного участниками семинара при проведении теста проверки) и пр.

Для более полного уяснения понятия «индикатор», в Приложении 1 пособия представлены индикаторы Целей Тысячелетия, выработанные ООН на Саммите Тысячелетия и гендерные индикаторы, определяющие гендерное развитие по каждой Цели Тысячелетия.

Иногда эксперт или разработчик обнаруживает, что для показателей, которые он хочет измерить, нет "мерных линеек". Задачи проекта, которые сосредоточены на качестве результата или на отношении людей к новой услуге, - это задачи, для которых может не быть удобного "индикатора". При возникновении таких ситуаций нужно уметь создать соответствующие "измерители". Наиболее обычным видом "измерителя", который создают разработчики проектов и эксперты в области оценки, когда им нужны новые "измерители», являются шкалы, или рейтинговые шкалы. Например:

Качество тренингов, проведенных в рамках проекта, может быть оценено как: наивысшее, хорошее, среднее, ниже среднего, некачественное;

Отношение к новой услуге в области здравоохранения:

очень удовлетворен, удовлетворен, не знаю, не удовлетворен, крайне не удовлетворен.

Подсчитав количество участников, определивших результаты деятельности проекта в соответствии с рейтинговой школой, можно дать количественную оценку качества результата или отношения людей к новой услуге


Похожая информация.


Если вы доверяете себе больше, чем другим, то этот способ вам подходит.

Пример

Допустим, что проект-менеджер описал следующий список характеристик для назначения члена команды проекта:

1.Возраст.

2.Здоровье.

3.Способность генерировать идеи и варианты.

4.Способность к развитию.

5.Умение предвидеть события.

6.Финансовая жесткость.

7.Критическое отношение к законам.

8.Корректность по отношению к партнерам.

9.Хитрость.

10.Быстрота принятия решений.

Всего 10характеристик. Составляем ряд приоритетов: способность генерировать идеи и варианты >здоровье >умение предвидеть события >финансовая жесткость >корректность по отношению к партнерам >критическое отношение к законам >хитрость >быстрота решений >способность к развитию >возраст.

Теперь, когда определилось, что важнее, расставим баллы, оценивающие важность характеристик. Наиболее важной будем считать характеристику, получившую 10баллов: способность генерировать идеи и варианты – 10; здоровье – 9; умение предвидеть события - 8; финансовая жесткость – 7; корректность по отношению к партнерам– 6; критическое отношение к законам – 6; хитрость – 5; быстрота решений – 5; способность к развитию – 5; возраст – 5.

Сумма расставленных баллов равна 66.Разделив выставленные оценки в баллах на их сумму и округлив результаты, получаем вектор коэффициентов приоритета: 0,15; 0,14; 0,12; 0,11; 0,11; 0,1; 0,09; 0,09; 0,09; 0,09.

Сложив коэффициенты вектора приоритета, получаем 1.Значит, расчет выполнен правильно.

2.Групповая экспертиза

Как правило, при определении коэффициентов приоритета для важного решения возникают разногласия. Одним из признанных способов их устранения является статистический подход к получения оценок, для чего самым простым приемом служит усреднение результатов, полученных разными экспертами в группе. Все пункты от 1.1до 1.4при оценках одного эксперта должны быть выполнены каждым экспертом группы независимо друг от друга. Величины вектора коэффициентов приоритета по каждой характеристике, полученные каждым экспертом, нужно сложить и разделить на число экспертов. Таким образом, получим средние оценки коэффициентов приоритета, а истина, как известно, лежит посредине.

Экспертная оценка проектных альтернатив

Первым шагом реализации данной методики является определение критериев эффективности или факторов, которые могут в значительной степени повлиять на успешность выполнения проекта.

Второй шаг - факторы располагаются в порядке убывания приоритетности.

Третий шаг - оценка весомости (ранга) каждого из перечисленных факторов.

Четвертый шаг -проект(-ы) или варианты одного проекта необходимо оценить по каждому из факторов (критериев) оценки.

Пятый шаг -экспертная оценка влияния каждого фактора.

Таблица 3.1

Экспертная оценка вариантов реализации проекта

Характеристика или фактор

Показатель

весомости

Номер проекта (или вариант проекта)

Интегральная оценка

Полученные на этапе формирования идеи проекта результаты оформляют в виде т.н. резюме проекта -аналитической записки, излагающей суть проекта по следующим аспектам:

    цель проекта,

    основные особенности и альтернативы проекта,

    организационные, финансовые, политические и другие проблемы, которые нужно в дальнейшем учитывать,

    необходимые мероприятия по разработке проекта.