Рейтинги по сдвинутым выборкам
Опубликовано 24 декабря 2013
Существует уйма критериев, которые нельзя использовать при принятии решений, несмотря на их вычислимость и объективность.
Классический пример – ЕГЭ – некий набор балов (и вычислим и объективен), который ничего не говорит о знаниях выпускника, а лишь об умении сдавать экзамен по ЕГЭ. И если принимать в ВУЗы будем по ЕГЭ, то получим не профессионалов, а ЕГЭкнутых придурков, не способных ДУМАТЬ самостоятельно, но способных правильно отвечать на конечный список заранее известных вопросов. Хотя, конечно, какую-то “информацию к размышлению” мы получаем и от сдачи ЕГЭ. Например, информация о неожиданно высоком уровне сдачи ЕГЭ в отдельно взятом регионе позволяет предположить технический взлом и/или коррупцию…
К той же категории относятся псевдосоциологические рейтинги по сдвинутым выборкам. Понятно, что ответы посетителей определённого сайта на конкретные вопросы и объективны и проценты ответов вычислимы без ошибок, но меряют эти ответы только мнение посетителей конкретного сайта (да ещё очень часто не всех посетителей, а только тех, кто захотел принять участие в опросе). Понятно, что относительно генеральной совокупности такая выборка сильно сдвинута и переносить результаты с выборки на генеральную совокупность нельзя. Хотя, конечно, какую-то “информацию к размышлению” мы получаем. Результаты по сдвинутым выборкам позволяют лучше формулировать гипотезы для проверки их при исследовании по правильным выборкам
Вот пример. “Биржевый лидер” сообщил, что (Определены самые популярные бренды электронных книг). При этом под электронной книге понимается (в основном) устройство для чтения е-книг. В трёх случаях происходит подмена. Amazon и B&N – это отнюдь не поставщики ридеров, а поставщики (в первую очередь) контента (ридеры тоже поставляются, но не это основной бизнес). Аналогично, PocketBook – это поставщик не только ридеров (хотя это их основной бизнес), но и контента. А уж говорить о Sony как о поставщике ридеров… Ридеры для них хорошо если 1% выручки, хотя, конечно, фирма является одним из пионеров и этого сегмента рынка.
Посмотрим на рейтинги поближе:
Для определения популярности производителей электронных книг аналитики «Биржевого лидера» составили список групп, которые посвящены одному конкретному производителю, и отсортировали его по количеству участников в группах.
Понятно, что мнение участников соц. сетей сдвинуто относительно мнения всех граждан. Ясно и то, что мнение публики в сети “Однокласники” отнюдь не соответствует мнению даже всех участников всех соц. сетей. Ясно и то, что количество участников в ОДНОЙ группе никак не говорит о мнении даже конкретной сети.
Но уж совсем весело – как отбирали группы. Посмотрите скриншоты: по PocketBook и Prestigio речь идёт о группах ФИРМ, а по Sony речь идёт о группе ПРОДУКТА и не ридера, а фотоаппаарата:
Процитирую информацию про специализацию:
Согласно данной таблицы, самым популярным производителей электронных книг в «Одноклассники.ру» стала фирма «PocketBook», в группе которой насчитывается 13363 участника. Фирма производит как классические электронные книги со специальными чернилами E-ink, так и мультимедийные электронные книги с дисплеями TFT.
На втором месте по популярности оказалась компания «Sony» (8368 участников). Фирма занимается производством не только электронных книг, но и фотоаппаратов, бытовой техники, компьютеров и всех современных девайсов, которые помогают сделать жизнь лучше.
Тройку лидеров по популярности среди производителей электронных книг в соцсети «Одноклассники» занимает фирма «Prestigio», в группе которой насчитывается 2752 участника. Это бренд цифровой техники, занимающейся разработкой и продажей навигационных систем, автомобильных регистраторов и планшетных компьютеров, а так же электронных книг и множества компьютерных аксессуаров.
Попытка сравнивать фирму с узкой специализацией (PocketBook) с фирмой с расширенной специализацией (Prestigio) с одним из продуктов (фотоаппарат, а не ридер Sony) диверсифицированной фирмы должна быть признанной заведомо неприемлемой. К тому же, сильно сомневаюсь я, что у каждой из фирм в соц. сети “Однокласники” существыует только одна группа… Поэтому, на мой взгляд, данный рейтинг непригоден даже для того, чтобы определить насколько успешно работают в конкретной соц. сети представители конкретных фирм, а уж пытаться с его помощью оценивать популярность ридеров и вовсе неразумно.
Второй рейтинг просто смехотворен. Взяли запросы к Яндекс по наименованиям фирм и получили явное доминирование Sony просто потому, что у фирмы популярнее бренд и на порядки больше спектр производимых устройств:
Понятно, что у Prestigio (у которого спектр продукции куда шире, чем у PocketBook) запросов к Яндексу больше, чем у Pocketbook. Ещё раз повторюсь, что поиск на Amazon или на Barnes&Noble свидетельствуют (в первую очередь) о популярности фирм как поставщиков контента, а не как поставщиков устройств…
Третий критерий (популярность запроса “электронная книга” среди россиян в поисковой системе Яндекс) показывает скорее путаницу в понятии “электронная книга” и популярность халявного контента, чем популярность ридеров:
Смешно выглядит попытка отследить динамику запросов “электронная книга” к Яндекс во времени. Понятно, что частота запросов колеблется, но, без сопутствующих временных рядов тех событий которые могли бы стать причиной изменений, это не более чем подтверждение умения автора статьи получать подобные данные от Яндекс…
Четвертый критерий: жители каких стран СНГ наиболее часто вводят запрос “электронная книга” в поисковой системе Яндекс также вызывает вопросы. Понятно, что в СНГ не входит вышедшая из него Грузия, но туда никак не может входить не вступавшая в СНГ Абхазия. Да и сильно я, честно говоря, сомневаюсь в наличие у Абхазии собственных iP-адресов. Хорошо хоть хватило ума разделить количество запросов на население и получить частоту запросов на тысячу жителей:
Трудно сказать как такое оценивать. Если У России в целом частотность запросов раз в пять выше, чем у Москвы и Области (где она, примерно, как в Абхазии), то свидетельствует ли это о слабом проникновении Интернет в Абхазию (может быть из-за этого количество запросов ниже?). Плохо верится и в то, что интерес к чтению и электронной книге в Москве и Области в разы ниже, чем в целом по России…
И последний критерий – критерий, который якобы меряет эффективность PR:
Для определения эффективности пиара производителей электронных книг в сети Интернет аналитики “Биржевого лидера” просчитали соотношение количества участников в группе соцсети “Одноклассники”, которые посвящены конкретным маркам, и количества запросов по ним в поисковой системе Яндекс за последний месяц.
В данном рейтинге не будут принимать участие те производители, количество запросов по которым в поисковой системе Яндекс не превысило одной тысячи.
Взяли два независимых параметра (понятно, что участие в группе “Однокласники” делает ненужным поиск в Яндексе нужная информация есть в группе) и поделили один на другой:
Даже если предположить, что количество запросов является следствием наличия участников в одной из групп в одной из соц. сетей, то в качестве критерия следует брать обратную величину. И фирма Wexler, у которой наличие в группе всего 18 человек дало св. 100 тысяч поисков товара в Яндекс, становится лидером. Хотя, повторюсь, данные цифры никак не связаны…
Глядя на эти экзерсисы людей, которые считают себя БИРЖЕВЫМИ ЭКСПЕРТАМИ, понимаешь, что верить биржевым прогнозам (этих “экспертов” или всех “экспертов”, которые публикуются на данном ресурсе) невозможно
4 комментария:
-
Kindler:
25 декабря 2013, 11:39Покетбук всеми правдами и неправдами (заказными статьями, анонсами бесперспективных устройств и пр.) пытается подтвердить свое «лидерство». Но, экспансия Амазона очень скоро обесценит эти потуги. 🙂
-
ekniga:
25 декабря 2013, 12:58Это “зависит от диаметра иглы”
Сумеет Амазон обепечить легальный русскоязычный контент – “потопчет” и Литрес и любых поставщиков “железа”.
Нам, наивным, нужен контент… Именно он определит какими “железяками” мы будем пользоваться.
Что до данного материала, то он про методологию вычисления и полезность критериев оценки
-
baklan:
25 декабря 2013, 14:37количество людей в группах – показатель проблемности девайса, у меня киндл и никакой группы мне не надо – он и так работает, и никто из знакомых мне киндлообладателей не состоит ни в одной киндлогруппе
-
ekniga:
25 декабря 2013, 14:50Ну, группы образуются и по более “смешным” критериям, чем единство инструментва для чтения. Общий инструмент для чтения – общие проблемы источников контента, форматов и их конверсии…
Да и поставщику контента (а они часто сами организовывают подобные группы) удобно – сообщения о новинках “железа” и контента попадут именно в целевую аудиторию.
Поэтому ПОСТАВЩИК всегда заинтересован в создании подобной группы (или в поддержке уже созданной). И сообщения “у меня всё работает из коробки” – это то, ради чего такие группы создаются…