Настольный «must have!» аналитика

Могу только порадоваться за вас, если вы используете на своем рабочем месте поисково-аналитический комплекс стоимостью от нескольких тысяч до нескольких сот тысяч долларов. Но даже в этом случае вам не помешает обзавестись личным набором программ для поиска, каталогизации и хранения информации. Чтобы вести личные и пробные рабочие проекты. Чтобы работать со своей базой данных в командировках и дома. Чтобы накапливать и использовать свою базу знаний. Надеюсь, что кому-то окажется полезной моя система работы с информацией.

Шаг первый: интернет-поиск

Помнится, одно время были популярны т.н. мета-поисковые системы, которые «смешивали» на одной странице результаты работы нескольких универсальных поисковых машин типа Google, Yandex, Rambler. На самом деле это нисколько не ускоряет и очень мало улучшает поиск. Зато для аналитика есть смысл в том, чтобы одновременно задействовать разнотипные поисковики. С этой задачей хорошо справляется браузерная надстройка Maxthon В ее поисковой панели можно выбрать «птичками» сразу несколько ресурсов – и одновременно задействовать разнотипные поисковые системы. Например, одним щелчком выяснить, что знает о таинственной фирме «Абракадабра» Google, какие сообщения СМИ о ней зафиксировала новостная система YandexNews, какое толкование слова «абракадабра» дает энциклопедия Wikipedia, упоминается ли эта фирма в маркетинговых исследованиях ведущих аналитических агентств, пишут ли о ней в блогах, на каких торговых площадках предлагаются ее товары и т.д. Это экономит на сокращении однотипных действий драгоценные секунды, минуты, часы.

Шаг второй: ручная каталогизация

Ручная каталогизация, на первый взгляд, отнимает у аналитика немало сил (по крайней мере – на этапе рутинных операций сохранения и сортировки страниц). На самом деле на «длинной дистанции» она сторицей возвращает потраченные усилия. Искать в интернете одну и ту же информацию экспертного значения два и более раз – бездарная растрата времени. Тем более что сайты имеют обыкновение исчезать или менять свою структуру, зачастую не оставляя следов даже в www.archive.org.

Итак, откроем программу Net Snippets… Адрес для скачивания, как видите, не указан. К сожалению, разработчики прекратили развитие «настольной» версии программы и (видимо, под влиянием моды Веб 2.0) открыли онлайновый сервис eSnips для хранения и обмена информацией, видео, музыкой и файлами (я им тоже пользуюсь). Но в интернете достаточно ссылок на эту программу.

Существуют и более продвинутые аналоги этой программы. Однако Net Snippets обладает тремя козырями: она проста и удобна в использовании, стабильна в работе, а также хранит файлы в формате *.htm («открытость» формата позволяет анализировать накопленную информацию с помощью других программ). Работает программа предельно просто. Выделив на веб-странице нужный фрагмент (либо всю страницу) – перетащите его вручную в боковую панель,«пристыкованную» к браузеру (того же результата можно добиться с помощью меню панели или меню правой кнопки мыши). При сохранении фрагмента-«сниппета» программа автоматически сохраняет в базе данных адрес сайта, время и дату копирования и некоторые другие данные. Вы вольны перетаскивать «сниппеты» между папками (которые создаете по своему усмотрению), копировать в один файл всю базу или отдельную иерархию вложенных папок, отправлять этот файл по почте и т.п. Вы также можете перетаскивать текстовые фрагменты из других «настольных» программ, включая Word.

Ручная каталогизация, на первый взгляд, отнимает у аналитика немало сил (по крайней мере – на этапе рутинных операций сохранения и сортировки страниц). На самом деле на «длинной дистанции» она сторицей возвращает потраченные усилия. Искать в интернете одну и ту же информацию экспертного значения два и более раз – бездарная растрата времени. Тем более что сайты имеют обыкновение исчезать или менять свою структуру, зачастую не оставляя следов даже в www.archive.org (ресурс, по мере сил «архивирующий» весь интернет).

Наконец, по своей природе ручная каталогизация – это процесс самообразования, превращения специалиста в эксперта, накопления личной базы знаний, в которой легко ориентируешься в любое время дня и ночи.

Шаг третий: автоматическая каталогизация

Если мы говорим об автоматическом скачивании и каталогизации новостей, статистики, экспертных мнений и т.п., то его цель – вовсе не в том, чтобы под завязку загрузить аналитика занимательным профессиональным чтивом. Напротив, нам нужно найти способ на 90% избавить аналитика от необходимости читать все подряд. Отчасти в этом поможет программа GetNews.

Во-первых, эта программа умеет автоматически скачивать не только заголовки и анонсы, но и полные тексты новостей (после не очень сложной настройки т.н. новостного канала под особенности данного сайта). Причем она скачивает «голые» тексты, полностью очищенные от веб-дизайнерских излишеств (при желании можно оставить прилагающимися к ним фотографии, графики и т.д.), что облегчает последующую работу с ними.

Во-вторых, GetNews умеет работать не только лентами новостных агентств и СМИ, но и с любой обновляемой информацией, будь то пресс-релизы, блоги, сообщения форумов и т.д.

В-третьих, программа автоматически сортирует все новости не только по источникам, но и по любым темам, заданным пользователем (достаточно ввести в программу ключевые слова: новость будет автоматически отправляться в определенный каталог при наличии в заголовке или тексте определенного ключевого слова). Уже одно это значительно сокращает объем обязательного чтения аналитика: в большинство каталогов можно заглядывать, только когда в этом возникнет, так сказать, производственная необходимость.

В-четвертых, каталоги GetNews можно легко превратить в *.htm-файлы и затем разместить в папке Net Snipets. Это позволит смешать данные ручной и автоматической каталогизации и анализировать их одновременно. В т.ч. – с помощью программ, о которых я расскажу позже.

К сожалению, сайт разработчиков программы GetNews в данный момент не поддерживается, но саму ее можно скачать в интернете.

Шаг четвертый: поиск по смыслу

В программу «Интеллектуальный партнер руководителя» можно загрузить базу законов и постановлений, а затем использовать традиционный поиск по ключевым словам. Но главная «изюминка» программы – алгоритмы работы со смыслом текста. С той или иной степенью успеха программа извлекает из загруженных в нее документов прецеденты решений и модели поведения, которые когда-либо использовали другие люди и, возможно, в переосмысленном виде сможете использовать вы.

Интеллектуальный партнер руководителя. Разработчики программы подчеркивают, что это не поисковая система, а система извлечения знаний. Вы сами можете проверить, в чем разница: разработчики бесплатно высылают по запросу компакт-диск с демо-версией программы. Причем эту демо-версию вполне можно использовать в качестве рабочей: ограничений у нее не так уж много:
— объем базы документов, из которых по запросу пользователя извлекаются знания не превышает 12 мегабайт (это, впрочем, вполне приличный объем, который может охватить самые важные текстовые документы персонального архива бизнес-аналитика);
при загрузке новой тематической базы демо-версия «перечитывает» документы с нуля (а вот это уже неудобство, отнимающее много времени);
демо-версия не поддерживает функцию прогнозирования – хотя и без нее будет полезна аналитику и эксперту.

При загрузке программы в глаза бросается определенное сходство ее интерфейса с внешним видом справочно-информационных систем. На самом деле сходство чисто внешнее. Те же юридические базы данных либо содержат строго заданный круг вопросов-ответов, либо выдают список документов, в тексте которых имеются ключевые слова пользовательского запроса. В «Интеллектуальный партнер руководителя» также можно загрузить базу законов и постановлений, а затем использовать традиционный поиск по ключевым словам. Но главная «изюминка» программы – алгоритмы работы со смыслом текста.

Вначале в программу нужно загрузить документы, статьи, книги, новости и т.д., из которых вы рассчитываете извлечь полезную информацию. Затем – ввести на естественном человеческом языке свой вопрос (точно так же, как вы спрашиваете своего коллегу, клиента, партнера). В ответ программа с той или иной степенью успеха извлекает из загруженных в нее документов прецеденты решений и модели поведения, которые когда-либо использовали другие люди и, возможно, в переосмысленном виде сможете использовать вы. В найденных цитатах могут вообще отсутствовать слова из вашего запроса – и тем не менее ассоциативно они будут похожи на ваш запрос. К примеру, вы спрашиваете у программы: «Как построить систему управления предприятием?» Если в базу программы, наряду с прочими источниками, загружен исторический роман – то она в общем списке прецедентов выдаст цитату, описывающую методы управления, скажем, Екатерины Второй. Так сказать, исторический прецедент в чистом виде. Только от вас зависит, как вы его осмыслите и возьмете ли себе на вооружение.

Характерно, что программа использует не только традиционный словарь синонимов, но и созданный разработчиками системы т.н. словарь смыслов, отражающий отношения каждого слова с другими словами (не правда ли, фраза: «Кузявая кракозяка забузерила бозю», – в общем и целом, понятна. Именно потому, что понятны внутренние взаимоотношения между словами). Если предлагаемые программой ассоциации-прецеденты, на ваш взгляд, не удачны – вы можете донастроить ее алгоритм поиска в соответствии с собственным пониманием тех или иных смыслов.

Вообще, результативность работы программы зависит от двух вещей. Во-первых, от потребностей и способа мышления пользователя. Те, кто ищет точных инструкций и рецептов (например: «если ваш поставщик нарушил ГОСТ такой-то, вам нужно пожаловаться туда-то и туда-то) – будут разочарованы. Программа рассчитана на тех, кому нужен минимальный толчок, пища для размышлений в виде чужого опыта, чтобы «разродиться» собственными решениями или составить список рекомендаций, позволяющих снять конкретную проблему конкретного бизнеса. Разумеется, программа будет выдавать прецеденты, ассоциативно близкие к вашему запросу (например, посвященому мобильной связи), если в нее загружены публикации по теме запроса (об опыте производителей и операторов мобильной связи). Напрягать свою «ассоциативную извилину» тогда придется меньше. Но, с другой стороны, так вы снизите вероятность неожиданных, прорывных открытий, которые, как известно, чаще всего происходят «на стыке» различных областей знаний. Во-вторых, полезность программы зависит от качества загруженных в нее в данный момент документов. Если скормить ей инструкции по использованию бытовых приборов и дюжину графоманских романов – не жалуйтесь потом на банальные и занудные советы.
К слову, вот вам необычный способ использования программы, о котором не упоминают разработчики. Если не знаете, какую бизнес-литературу выбрать для вечернего чтения, «скормите» программе несколько доступных электронных книг, а затем задайте несколько вопросов. Книгу, в которой вы обнаружите больше всего интересных цитат-прецедентов, пожалуй, и следует приобрести в книжном магазине. Вот вам еще один ответ на вопрос, поставленный в начале этого цикла: как пользоваться информацией, не прочитывая ее от начала до конца.

Шаг пятый: частотный словарь

Утилита URS, строго говоря, создавалась для лингвистов, составляющих частотные словари употребления слов. Но, за неимением других эффективных бесплатных инструментов, будет полезна и бизнес-аналитику (и, к слову, отчасти возьмет на себя часть функций, с которыми в силу слабого знания русского языка не может справиться программа Inxight SE).

К примеру, вы можете сформировать словарь часто употребляемых слов в папке публикаций о фирме Apple. Затем – создать точно такие же словари для других производителей смартфонов: Samsung, HTC, Nokia и др. После этого остается сравнить с помощью утилиты полученные словари – и проанализировать различия. А затем приступить к целенаправленному поиску ответов на вопросы: «Что скрывается за словом «конфликт», которое повторяется 20 раз, или за словом «инвестор», встречающимся 50 раз?» В этом вам помогут рассмотренные ранее программы.

URS позволяет наглядно сравнивать не только отличия, но и пересечения частотных словарей. Их анализ, возможно, породит рабочую гипотезу о типичном для данного рынка поведении и об отстройке отдельных компаний от конкурентов. Ясное дело, как бы ни была красива гипотеза, ее нужно проверить с двойным усердием: все-таки мы исследуем статистические закономерности в ограниченной персональной базе данных. Однако практика показывает, что в качественно отфильтрованной информационной «капле», можно обнаружить примерно те же тенденции, что и в «океане» данных.

Чтобы не просматривать сотни бесполезных с точки зрения вашего запроса слов, вы можете отобрать только те слова, которые встречаются в текстах не реже определенного количества раз. Либо – соответствуют заранее определенному набору слов.

Как бы ни была красива гипотеза, рожденная с помощью URS, ее нужно проверить с двойным усердием: все-таки мы исследуем статистические закономерности в ограниченной персональной базе данных. Однако практика показывает, что в качественно отфильтрованной информационной «капле» можно обнаружить примерно те же тенденции, что и в «океане» данных.

Шаг шестой: принятие решений

Итак, информация собрана, каталогизирована, осмыслена. Периодически вы обращаетесь к ней, когда нужно сделать очередной выбор: принять решение или подготовить его обоснование. На этом этапе вам помогут программы «Анализ иерархий» и Deicider.

«Анализ иерархий»: рациональный подход. Представьте себе необычные аптекарские весы, у которых не две рычага, а, допустим, четыре. Но чащи прицеплены не ко всем рычагам: некоторые заканчиваются крючком, к которому цепляются аналогичные весы второго уровня. А за ним еще может следовать третий, четвертый… На чашах – гирьки разного веса. Вся система угрожающе накренилась. Задача состоит в том, чтобы положить гирьку нужного веса на нужную чашу – и тем самым вернуть системе равновесие.

Это – аллегория метода анализа иерархий:
• «система» – цель (или главный критерий предстоящего вам выбора);
• «крючки» – промежуточные критерии, параметры оценки;
• «чаши» – альтернативные решения;
• «последняя гирька» – оптимальное решение.

Поскольку метод известен не всем, пожалуй, следует рассказать о нем подробнее.

Метод иерархий, разработанный американским математиком Т.Саати, позволяет анализировать на основе экспертных оценок сложные задачи с многоуровневой иерархией критериев.

Простейший пример: мы выбираем автомобиль по цене и году выпуска, но у критерия «цена» есть дополнительные параметры «марка производителя» и «объем двигателя», а у критерия «год выпуска» – параметры «реальный пробег» и «условия эксплуатации». Любой дополнительный параметр можно для верности также оценить с помощью параметров второго уровня и т.д..

Метод Т.Саати широко используется в самых разных областях, от политики и экономики до системы социального обеспечения. С его помощью определяются рейтинги клиентов, распределяются финансовые ресурсы, планируется желаемое будущее, принимаются кадровые решения, разрешаются конфликты и т.д. В рунете можно найти массу публикаций, описывающих практические результаты применения метода при оценке инвестиционных рисков и земельных участков, прогнозе залежей полезных ископаемых и биржевых котировок, разработке планов реконструкции и кредитных стратегий предприятий. А также – материалы, объясняющие такие нетривиальные вещи, как матрица попарного сравнения объектов, критерий согласованности, итоговый вектор приоритетов и др. Право, метод был бы доступен только аналитикам с математическим складом ума (и соответствующим образованием), если бы не было программ, которые прячут от пользователя все расчеты, предлагая, в основном, определять критерии и выставлять по ним экспертные рейтинги.

Более-менее основательно познакомившись с методом в теории, вы можете оценить его на практике с помощью программы «Анализ иерархий». Программа относительно проста (если вы владеете теорией) и предлагает сходу начать построение иерархической схемы, а затем перейти к попарным сравнениям и другим расчетам. Но вряд ли есть смысл использовать ее для решения сиюминутных повседневных задач. Метод требует основательной информационной и аналитической проработки вопроса, а также времени на ввод экспертных оценок.

Зато программа подойдет для анализа проектов различного масштаба. А если эксперту заранее известен «правильный ответ» – то и для обоснования проектов: матрицы и формулы Т.Саати в глазах инвесторов выглядят солидно, внушительно.

Deicider: интуитивный подход. Представьте себе артиллерийскую пристрелку: недолет, перелет… В точку! в точку! в точку! Это – о нейронных сетях.

Здесь также уместно небольшое отступление.

Сложно поверить, но компьютер, который сейчас стоит на вашем столе, мог быть совсем другим: распознавать образы, человеческую речь, настроение хозяина… Нынешние компьютеры, основанные на обработке символов, были в общих чертах придуманы еще в 1936 году Тьюрингом. Позже появилась идея компьютеров, основанных на обработке образов, а затем и первые нейросетевые устройства – персептроны. До конца 1960-х годов оба направления развивались параллельно, а затем в силу ряда причин на десятилетия восторжествовали идеи Тьюринга. Однако с середины 1990-х годов нейросетевые технологии начали брать реванш.

Не вдаваясь в технически подробности, можно отметить, что нейронная сеть действительно моделирует некоторые особенности работы человеческого мозга. Она обладает способностью к самообучению и благодаря этому может решать нетривиальные творческие задачи.

Типичная схема работы нерйосети: вы «скармливаете» ей некую информацию –> на ее основе сеть случайным образом выбирает одно из возможных решений –> вы даете обратную связь (сообщаете сети, было ли ее решение правильным или ошибочным) –> с каждой новой попыткой нейросеть перестраивает свою структуру, все реже ошибается и все чаще выдает решения, приводящие к успеху.

Ее плюс по сравнению с человеком заключается в том, что нейросеть способна «просеивать» гигантские массивы информации и обнаруживать в них закономерности, которых никогда бы не заметил самый внимательный аналитик. Поэтому ее решения зачастую выглядят совершенно неожиданными, креативными.

Сегодня нейросети используются в самых разных областях: военным помогают просчитывать угрозу нападения противника, банкирам – отлавливать недобросовестных кредиторов, биржевикам – прогнозировать подъемы и спады на финансовых и товарных рынках, производителям – оценить перспективы новых рынков сбыта и т.д. А теперь попробуем воплотить теорию в практику с помощью программы Deicider.

Предположим, вы покупаете новый станок для своего предприятия и у вас есть пять контрагентов. Введите в программу название первой фирмы-продавца, а затем передвиньте ползунки на каждой из имеющихся пяти шкал: «Простота реализации», «Безопасность», «Желательность для вас», «Рациональность», «Побочная польза». Разработчик выбрал именно эти показатели, поскольку, по его мнению, они являются базовыми для большинства ситуаций выбора. Но вы можете называть их совершенно по-другому: для нейросети человеческие определения безразличны, для нее важна «система сдержек и противовесов» базовых показателей.

Итак, передвигая ползунок влево-вправо, вы тем самым уменьшаете или увеличиваете значение данного показателя применительно к коммерческому предложению первой фирмы. Делать это нужно, практически не задумываясь: подсознание справится с этой задачей лучше сознания, опутанного страхами и предрассудками.

Добавив в список вышеописанным способом все пять фирм-продавцов, нажмите кнопку «Выбрать лучшее решение» – и программа скажет вам, какого партнера следует выбрать.

Начинайте обучать программу с самых простых дел, от исхода которых никто не пострадает. Ведь поначалу программа действует по некоему усредненному шаблону, по сути – случайно. Поэтому, когда вам станет известен практический результат, обязательно сообщите программе, был ли ее выбор правильным или неправильным (если же вы поступили иначе, следует просто удалить решение из списка). И тогда Deicider после каждой экспертизы будет все точнее настраиваться на ваш «образ успеха». Что это еще за образ? Это не есть какое-то характерное для данного пользователя положение ползунков – разумеется, при удачной покупке автомобиля и при удачном устройстве на работу оно будет отличаться. «Образ успеха» – это соотношение всех пяти факторов, их взаимное влияние друг на друга – эти закономерности нейросеть и просчитывает в своем скрытом слое. Тут уместна следующая аналогия: вы можете как угодно менять свой голос, идеально подражая известным артистам и политикам. Однако спектрограмма голоса уникальна и все равно укажет на вас.

Образ успеха – это состояние, в котором вам удается любое дело: успеть на опаздывающий поезд, разрешить неразрешимый конфликт, рискнуть – и победить. Это также ваше личное представление о том, что такое успех, и что такое неудача. Образ успеха уникален для каждого человека (хотя и может меняться в течение жизни), поэтому автор программы не рекомендует передавать хорошо настроенный «на вас» Deicider коллегам и друзьям. Новому пользователю следует начать настройку программы с нуля.

В отличие от предыдущей разработки, программа Deicider создавалась явно не для оценки крупных проектов (в любом из них заведомо больше пяти факторов). Ее предназначение – разнообразные повседневные решения: какое коммерческое предложение выбрать, какого кандидата на вакансию предпочесть, каким делом заполнить внезапную паузу в работе, звонить ли прямо сейчас «сложному» клиенту, кому поручить подготовку того самого «крупного проекта» и т.д., и т.п. Иными словами «Анализ иерархий» и Deicider могут неплохо дополнять друг друга.

Шаг седьмой: аналитический отчет

Структуризация текста – процесс творческий. Меняя приоритет заметок, вы на лету редактируете план будущего аналитического отчета или статьи – и одновременно сужаете или расширяете поле идей, которые могут у вас родиться по мере работы с данным текстом.

KeyNote. На любом этапе поиска, обнаружив нехватку информации или аналитического материала, можно вернуться к одному из предыдущих этапов. KeyNote – не исключение. Более того, я бы рекомендовал начинать с ним работу с момента открытия очередного поискового проекта.

Текстовый редактор KeyNote разрабатывался для создания мини-энциклопедий, товарных каталогов, адресных книг и т.п. – любых справочно-информационных баз, имеющих древовидную структуру. Но если взглянуть на него глазами аналитика, мы увидим в KeyNote почти идеальный инструмент подготовки отчетов, статей и любых других текстовых документов. На порядок более удобный, чем старый-добрый Word. О том как пользоваться этим инструментом, читайте в заметке Древовидные редакторы для организации информации.

Опробовав KeyNote в работе, вы можете встроить его в свою цепочку обработки информации. Первым делом предлагаю следующим образом разделить функции KeyNote и Net Snippets.

В Net Snippets будет логично хранить веб-страницы и текстовые документы целиком (на случай, если нам понадобится уточнить детали, значимость которых заранее определить невозможно. Как и нельзя определить, сколько раз нам понадобится ими воспользоваться). Ведь Net Snippets поддерживает открытый *.htm формат данных, доступный для обработки в аналитических программах нашего «комплекса».

В KeyNote удобнее манипулировать данными, однако формат, в котором хранятся «деревья» и «ветви» заметок – закрытый. Следовательно, в него удобнее копировать данные, прошедшие первичную очистку и обдумывание: цифры, цитаты, примеры и т.д. – и предназначенные исключительно для данного отчета (причем копировать можно как из Net Snippets, так и прямо из браузера, редактора Word, «читалки» Adobe Reader и др.). И попутно записывать в KeyNote заметки с собственными идеями, наблюдениями, выводами, которые впоследствии послужат связками между частями отчета.

Таким образом, вы можете начать работу с KeyNote как на последнем, седьмом этапе вашего исследовательского проекта, так и на любом предыдущем.

© Юрий Смирнов, Self-organizing.by

2 комментариев к записи Настольный «must have!» аналитика

  1. Алексей:

    Отличная статья, давно искал такие программы.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *



Спасибо всем, кто добавляет наши посты в "Фейсбук"!



...и поднимает их в поиске Gооgle с помощью кнопки "+1"!