Исходный код вики Анализ и визуализация данных в Corpwiki (XWiki) с применением языка R
Последние авторы
| author | version | line-number | content |
|---|---|---|---|
| 1 | (% style="text-align:center" %) | ||
| 2 | [[image:CorpwikiR.png||height="450" width="800"]] | ||
| 3 | |||
| 4 | == Что такое язык программирования R == | ||
| 5 | |||
| 6 | **R - язык программирования, созданный специально для статистического анализа данных**. Его разработали на факультете статистики Оклендского университета. | ||
| 7 | |||
| 8 | **Особенности языка R**: | ||
| 9 | |||
| 10 | * **Интерпретируемый**. Программа на языке R сразу готова к исполнению — её не нужно собирать в исполняемый файл с помощью компилятора. | ||
| 11 | * **Простой по синтаксису**. R в своей основе не содержит сложных конструкций и запутанных функций. Даже типов данных у него всего четыре: символьные, числовые, логические и комплексные. | ||
| 12 | * **Рабочая среда**. В R встроены готовые методы статистического анализа и инструменты для визуализации. | ||
| 13 | |||
| 14 | **Сфера применения языка R**: математики, биологи, генетики и другие учёные, которым нужно проводить статистические исследования и строить модели. Также R востребован среди аналитиков данных и специалистов по Data Science. | ||
| 15 | |||
| 16 | **Распространение**: язык и среда доступны под лицензией GNU GPL. Распространяются в виде исходных кодов, а также откомпилированных приложений под ряд операционных систем. | ||
| 17 | |||
| 18 | == Какая польза от использования языка R в бизнесе == | ||
| 19 | |||
| 20 | С точки зрения бизнеса разработку приложений для анализа данных на языке R можно считать почти идеальным решением: | ||
| 21 | |||
| 22 | 1. Отсутствуют какие-либо финансовые барьеры для начала использования: | ||
| 23 | 1*. Не надо никаких первоначальный вложений в лицензии. | ||
| 24 | 1*. Нет никаких лицензионных ограничений и проблем потенциального расширения. | ||
| 25 | 1*. Нет никаких ежегодных платежей за поддержку лицензий. | ||
| 26 | 1*. Все прекрасно работает на linux, нет необходимости в приобретении дополнительных ОС. | ||
| 27 | 1. Если ваши внешние системы выдают необходимую информацию, то этого уже достаточно для начала проекта. **Сопутствующие проекты по доработке не требуются**, все можно будет сделать на уровне аналитики. | ||
| 28 | 1. Уже есть доказанная практика применения R в бизнесе практически во всех вертикалях. | ||
| 29 | 1. Не надо планировать глобальный проект, достаточно начать с частных проблемных мест. | ||
| 30 | 1*. Проекты получаются компактными и быстрыми, результаты легко переводятся в деньги (заработанные или сэкономленные). | ||
| 31 | 1*. Полученные результаты позволяют взглянуть на существующие задачи под иным углом зрения, обнаружить реальные проблемы и расставить акценты в более правильном виде. | ||
| 32 | |||
| 33 | (% class="box successmessage" %) | ||
| 34 | ((( | ||
| 35 | {{displayIcon name="fa-info"/}} | ||
| 36 | Если ваши корпоративные приложения умеют "отдавать" данные в любом виде, этого уже достаточно для их обработки в R. | ||
| 37 | Доработка ваших систем не потребуется! | ||
| 38 | ))) | ||
| 39 | |||
| 40 | == Что умеют приложения на R == | ||
| 41 | |||
| 42 | * Импорт данных из различных источников.** txt\csv**, **xls **(Excel), web scrapping, RDBMS. | ||
| 43 | * Обработка данных: фильтрация, группировка, агрегирование, добавление и вычисление. | ||
| 44 | * Временной анализ (как правило, 80% данных сопровождаются временными метками). | ||
| 45 | * Расширенная обработка (элементы высшей математики, включая элементы машинного обучения): Наиболее популярен поиск аномалий, различные классификаторы, рекомендации и прогнозирование и Process mining. | ||
| 46 | * Визуализация данных различными способами. | ||
| 47 | * Интеграция с внешними информационными системами для экспорта рассчитанных данных. | ||
| 48 | * Экспорт в форматы, удобные для восприятия человеком, такие как: **pdf**, **html**, **xls**, **doc**, **ppt**. | ||
| 49 | * Web-base рабочее место для аналитика\рядового пользователя. | ||
| 50 | |||
| 51 | Приведенный функционал доступен в рамках экосистемы R без особой необходимости инсталляции каких-либо дополнительных сторонних компонент. | ||
| 52 | |||
| 53 | == Как работает интеграция между Corpwiki (XWiki) и приложениями на языке R == | ||
| 54 | |||
| 55 | Мы в Corpwiki разработали подход позволяющий использовать всю мощь приложений написанных на языке R в XWiki. | ||
| 56 | |||
| 57 | Это позволяет не только обогатить содержание баз знаний (корпоративных вики) визуально привлекательной инфографикой но и реализовать много интересных с точки зрения бизнеса решений. | ||
| 58 | |||
| 59 | Схематично процесс взаимодействия выглядит следующим образом: | ||
| 60 | |||
| 61 | [[image:Внешние данные.png||height="848" width="1200"]] | ||
| 62 | |||
| 63 | На страницу XWiki встраивается небольшой кусочек кода. | ||
| 64 | |||
| 65 | При обращении пользователя к такой странице, она запрашивает данные у сервиса обработки. | ||
| 66 | |||
| 67 | Данный сервис устанавливается "рядом" с XWiki и если например, ваша база знаний расположена на ваших серверах, то вы сможете также разместить данный сервис у себя. | ||
| 68 | |||
| 69 | Безопасность корпоративных данных гарантирована. | ||
| 70 | |||
| 71 | Сервис обращается уже к XWiki откуда "забирает" данные для формирования отчетов или графики. | ||
| 72 | |||
| 73 | Такие данные могут забираться "в сыром" виде. | ||
| 74 | |||
| 75 | Вся обработка данных (фильтрация, группировка, вычисления, обогащение) происходят на стороне сервиса. | ||
| 76 | |||
| 77 | После того как данные готовы для отображения, система возвращает их в XWiki и пользователь видит готовый результат. | ||
| 78 | |||
| 79 | Для пользователя все выглядит так как будто он просто открыл страницу. | ||
| 80 | |||
| 81 | Созданная инфографика является интерактивной. | ||
| 82 | |||
| 83 | Другими словами есть возможность добавлять элементы управления на такие страницы и пользователи в режиме реального времени могут изменять настройки отображения. | ||
| 84 | |||
| 85 | === Внешние данные === | ||
| 86 | |||
| 87 | Как можно увидеть на схеме, данные могут быть получены не только из объектов данных XWiki но и из любых внешних источников данных. | ||
| 88 | |||
| 89 | Это могут быть корпоративные приложения, базы данных, файлы Excel и тому подобное. | ||
| 90 | |||
| 91 | Данные из разных систем можно объединять и использовать для формирования отчетности и инфографики. | ||
| 92 | |||
| 93 | Таким образом вы сможете превратить вашу базу знаний в витрину данных или BI систему. | ||
| 94 | |||
| 95 | Посмотрите в разделе примеров какие возможности дает для отображения данных данный подход. | ||
| 96 | |||
| 97 | == Примеры результатов работы приложений на языке R == | ||
| 98 | |||
| 99 | {{gallery height="600px" width="100%"}} | ||
| 100 | image:Stati.Integratsii.Integratsiia-Corpwiki-XWiki-i-prilozhenii-na-iazyke-R.WebHome@XWikiR1.png | ||
| 101 | image:Stati.Integratsii.Integratsiia-Corpwiki-XWiki-i-prilozhenii-na-iazyke-R.WebHome@XWikiR2.png | ||
| 102 | image:Stati.Integratsii.Integratsiia-Corpwiki-XWiki-i-prilozhenii-na-iazyke-R.WebHome@XWikiR3.png | ||
| 103 | image:Stati.Integratsii.Integratsiia-Corpwiki-XWiki-i-prilozhenii-na-iazyke-R.WebHome@XWikiR4.png | ||
| 104 | image:Stati.Integratsii.Integratsiia-Corpwiki-XWiki-i-prilozhenii-na-iazyke-R.WebHome@XWikiR5.png | ||
| 105 | image:Stati.Integratsii.Integratsiia-Corpwiki-XWiki-i-prilozhenii-na-iazyke-R.WebHome@XWikiR6.png | ||
| 106 | image:Stati.Integratsii.Integratsiia-Corpwiki-XWiki-i-prilozhenii-na-iazyke-R.WebHome@XWikiR7.png | ||
| 107 | image:Stati.Integratsii.Integratsiia-Corpwiki-XWiki-i-prilozhenii-na-iazyke-R.WebHome@XWikiR8.png | ||
| 108 | {{/gallery}} | ||
| 109 | |||
| 110 | ---- | ||
| 111 | |||
| 112 | {{cl-plate-help/}} |