понедельник, 16 ноября 2009 г.

Задумался о рейтинге

После публикации моего рейтинга ТОП10 – получил много отзывов. Как матюкливых, так и конструктивных. Из конструктивных выделялось пожелание вести не топ10, а рейтинг, возможно ежемесячный украинских интернет-стартапов. Изучив несколько методик составления рейтингов, я решил предложит на обсуждение следующую.
1. Собираю список экспертов (от 20 человек)
2. У экспертов собираю персональные рейтинги топ 20 стартапов (1- самый плохой, 20 – самый хороший)
3. Суммирую количество баллов и вывожу общий рейтинг
4. К участию планирую допускать стартапы, ориентированные на получение прибыли и последующую продажу, существующие на локальном рынке до 3 лет, на глобальном до 5 лет.

Что меня смущает:
1. Не все эксперты будут присылать регулярно такие рейтинги
2. Этот рейтинг будет очень подвержен влиянию ПР со стороны стартапа

В связи с этим у меня есть ряд вопросов, и мне было бы интересно узнать ваше мнение:
1. Кого бы вы порекомендовали в список экспертов?
2. Открывать ли список экспертов публике? Открытый список дает авторитет, но позволяет оказывать влияние на них
3. Насколько регулярно имеет смысл проводить такие опросы? Раз в месяц? Квартал?
4. Что можно добавить в эту методику, чтобы рейтинг стал объективнее?
5. Имеет ли смысл разнести стартапы, ориентированные на глобальный и локальный рынки?
6. Хотелсоь бы иметь официальную площадку для публикации, кроме моего блога

Ответы можно в мыло

Апдейт. В мыле затеялась перепалка в топиках
1. Раз в квартал против Раз в месяц
2. Новые стартапы (моложе года) рейтинговать отдельно
3. Разбивать ли на локальные-глобальные
4. ТОП100 или ТОП50

Апдейт2. Если пофантазитьвать над выборкой, то экспертов я вижу так:
1. Институциональные инвесторы
2. Ангелы
3. Предприниматели
4. Редакторы профильных изданий или блогов
5. Эксперты
Я не склонен делать несколько рейтингов, сначала сделаем общий, а потом посмотрим. Единственное что, мне нравится идея разделить общий рейтинг (раз в квартал) и рейтинг свежезапупщенных (до года)стартапов (раз в месяц). Буду думать.
По поводу предложений о размещении. Планирую выбрать два издания, желательно специализированных (на например, ITC.UA и вебстрим), это не учитывая сайта СКТ, который будет скоро запущен.
Ну не ожидал такого интереса, почтовый ящик переполнен.

Апдейт3. Обратили внимание, что для широкой публики будет много неожиданного. О некоторых стартапах знает только узкий круг ограниченных лиц. И в рейтинге будут появляться компании, которые большинстов до того не видели

14 комментариев:

  1. То, что вы описываете, на звание методики не подходит вообще никак. Это усреднённая средняя субъективная оценка.
    Хмм... хотя, тоже методика. Ок, поправляюсь, не подходит в качестве объективной методики.

    Если вы пытаетесь привнести некоторую долю объективности в рейтинг, то необходимо определить критерии оценок и выбирать спецов в этих областях. Например, категорию "Эффективность расходования инвестиций" оценивают работники специальнообученных фондов, что работают со стратапами, забыл как эти фонды правильно называются, типа ангельских.
    А вот категорию "прирост аудитории" вводить не надо. Потому что это лишь характеристика в категории выше.

    Такое моё мнение.

    зы: лично мне больше нравится "премия Плющева" ;) http://www.elbaconf.com/content/view/9/17/

    ОтветитьУдалить
  2. Состав рейтингующих лучше открытый - если у стартапа достаточно возможностей повлиять на 20 авторитетных персоналий, то это уже большой его плюс. Кроме того это прозрачность, авторитетность рейтинга и мотивация рейтингующих.
    Переодичность лучше с рейтингующими согласовывать - важно чтобы это в их планы вписывалось.
    Добавлять (т.е. усложнять) не нужно, главное, чтобы состав был правильный. Важно включить туда представителей инвест-фондов, профильных изданий, интернет-холдингов, стартапов получивших инвестирование и бизнес-ангелов.
    Делить на глобальные и локальные будет иногда сложно, т.к. проект может быть глобальным, но с локальной частью или вообще быть посвященным связи Украины с внешним миром.

    ОтветитьУдалить
  3. То, что Вы описываете - подходит для ежегодного опроса. Я думаю о ежемесячном. Имея пятилетний опыт проведения исследований, в том числе и методом опроса экспертов, скажу, что невозможно собрать пул экспертов в 30 человек, которые бы тратили бы больше 10 минут в месяц на заполнение формы. + опыт в технологическом бизнесе подсказывает, что несмотря на наличие более, чем 10 критериев, чаще всего решения принимаются в режиме рубильника "да-нет". И чем более сложная методика оценки будет, тем меньше в числе экспертов будет практиков (инвесторов, предпринимателей) и больше теоретиков (аналитиков, гуру). А мнение первых, несмотря на их субъективизм и небольшое количество в Украине, наиболее ценно.

    ОтветитьУдалить
  4. Кстати, есть еще методика, известная как "гамбурский счет". Когда рейтинг сосатавляется участвующими, которые могул голосовать за всех, кроме себя.
    Но в этой области это скорее забавная альтернатива, которая не может полноценно заменить экспертную оценку.

    ОтветитьУдалить
  5. Гамбургский счет - классная методика, очень напоминает мерение письками :) Она не подходит по тому, что тут важен взгляд со стороны.

    ОтветитьУдалить
  6. По поводу множественных критериев - это все самообман. Достаточно чтобы эксперты расставили все проекты по убыванию или ставили просто оценку "есть перспективы / непонятно / нет шансов".
    Тогда и экспертов больше привлечь можно и их оценка на самом деле будет более ценная, т.к. за деревьями не потеряется лес.

    ОтветитьУдалить
  7. По
    п.1: Считаю, что экспертами могут выступать только инвесторы и афилированные лица, т.к. их мнения, в т.ч. и субъективные являются правилами на рынке.
    Безусловно количество экспертов должно быть постоянно.
    п.2: Список экспертов открывать обязательно нужно, в противном случае все потребители информации должны согласиться с тем, что это не чьё-то личное мнение (хотя личное мнение может быть достаточно авторитетным).
    Влиять на инвесторов имею возможность все, а получить обратную связь может быть и неплохо ...
    п.3: Раз в месяц - слишком часто. Динамика размоется. Либо разные рейтинги. Месячный - рейтинг новых стартапов, квартальный - работающих.
    п.4,5: По поводу разделения по рынкам - имеет смысл (разные весовые категории).
    Думаю, что целесообразно было бы разделить стартапы еще и по стадиям, поскольку возникает "ощущение неадекватности восприятия" при постановке в один ряд проектов начальных стадий финансирования, направленных на существующие или будущие рынки и проектов уже профинансированных, на мой взгляд, несколько устаревших.
    Если проще, в одной колонке - что финансируется, во второй что из этого может получиться.
    Согласен с мнением, о простоте оценок - "да-нет". Во всяком случае на начальном этапе формирования рейтинга, а далее - обратная связь с участниками процесса.

    ОтветитьУдалить
  8. Денис, портал www.tochka.net готов размещать рейтинг стартапов в разделе hi-tech, а так же ставить ссылку в разделе финанасы.

    ОтветитьУдалить
  9. Зато гамбургский счет позволит толпе стартаперов оценить свой общий взгляд с взглядом экспертов. Как альтернативный рейтинг, как экзитпулл на выборах, он позволит анализировать.

    ОтветитьУдалить
  10. Согласен с Spin, психологически человеку проще давать оценку отношения к любому предмету или событию по трехбальной шкале: нравится / не нравится / не знаю. Поэтому 20 бальная шкала будет очень субъективной.

    ОтветитьУдалить
  11. 2 Вацлав и Спин: рейтинг и шкала - это две рахных методики. Отрейтинговать 20 компаний, это не то, что выставить оценки по шкале 0-10, это несколько итераций "лучше-хуже" и обычно для исполнения это очень просто. + есть ожнохначность. При шкальной оценке все могут получить одинаковые оценки и определить победителя будет трудно, а в рейтинге всегад есть отличия.

    ОтветитьУдалить
  12. Денис,

    Идея хорошая, причины включения этих стартапов пока не совсем понятны, отттого народ и бесится.

    Я предлагаю как в некоторых современных фондах оценивать стартап по нескольким параметрам и потом уже выводить общую оценку:

    1. Sustainable competitive advantage (вот где ты прав с Viedle)
    2. Команда (компетентность и взаимозаменяемость) - здесь ты прав сразу по нескольким позициям
    3. Бизнес-модель и шансы на успех (Clienteq - 5 баллов)
    4. Возможности для exita (насколько очевидны все те, кто потом это сможет купить)

    и пр. - ты лучше меня на самом деле знаешь.

    Дима Попов

    ОтветитьУдалить
  13. Экспертов желательно выбирать из максимально широкого пула людей в теме. Пул тоже нельзя оставлять статичным.
    2. Для большей динамичности можно каждый квартал случайным образом определять список голосующих экспертов. Это позволяет в открытую публиковать пул и список голосующих, а еще избавляет от проблемы влияния.
    3. Желательно заранее определится с тем кого считать стартапами и с направлениями которые будет охватывать рейтинг. Исходя из этого уже смотреть по поводу возможности разделения на глобальный/локальный рынки.
    4. В отдельном разделе обращать внимание на стартапы которые впервые попадают в рейтинг. После первых нескольких выпусков общий рейтинг устаканится и самое интересное будет там.

    ОтветитьУдалить
  14. ИМХО "рейтинг", да еще и динамически изменяемый по месяцам - это нереально. Почему стартап XYZ в январе был круче ZYX, а в феврале вдруг стал хуже? у них что сильно идеи за месяц поменялись? или стратегия? или оценка? Хорошо, если случилось какое-то событие типа раунда, или нового продукта на рынке, или важного человека в штате. Но стартапы не так динамичны как крупные компании, чтобы каждый месяц у них были определяющие новости.

    Мое мнение - создать подобие чарта можно путем определения Cool UA start-up of month / quarter / year. При присвоении звания аргументировать почему стартап это звание получил (помесячно), а дальше из победетелей определять лучшего в квартале, и потом в году. Соответственно, один старт-ап может коллекционировать "кепки". В марте он лучший потому что раунд поднял, в июне потому что продукт выпустил, а в сентябре у него на борд Стив Джобс сел :)

    Нечто похожее делает Гартнер со своей номинацией Cool Vendor, другие аналитики. посмотри как они это делают, как мотивируют решения, как преподносят и так далее. Сool Vendor очень high-visibility штука.

    ОтветитьУдалить