Версія даної теми для друку

Натисніть сюди для перегляду даної теми у оригінальному форматі

Розподілені обчислення в Україні _ Мікс _ Distributed Data Mining

Автор: Rilian Mar 3 2010, 14:09

Проект "Distributed Data Mining"

----------------------------------------------------------------------------------------------------------

----------------------------------------------------------------------------------------------------------
ТОП-20 участников:
[img_]картинка[/img_]
----------------------------------------------------------------------------------------------------------
Дата основания команды - 02.03.2010 Капитан - distributed.org.ua
----------------------------------------------------------------------------------------------------------
Для присоединения к команде Украины:
0. Убедитесь что на компьютере установлена Java ( http://www.java.com/download )
1. Загрузите http://boinc.berkeley.edu/download.php (Если его у Вас еще нет!)
2. Перейдите в "расширенный вид"
3. Выберите сервис ---> добавить проект
4. Введите адрес проекта http://ddm.nicoschlitter.de/DistributedDataMining/
5. Введите свои регистрационные данные.
6. Найдите нашу команду. Она называется Ukraine и адрес ее http://ddm.nicoschlitter.de/DistributedDataMining/team_display.php?teamid=486 вы могли видеть выше.
7. Если есть доступные для загрузки задания Вы их получите и начнете расчеты.
----------------------------------------------------------------------------------------------------------
Новичкам: http://distributed.org.ua/index.php?go=Pages&in=view&id=170, как поставить и настроить BOINC-менеджер
----------------------------------------------------------------------------------------------------------
Полезная информация:
Для идентификации пользователя в BOINC могут служить 2 вещи:
1) пара e-mail/пароль
2) межпроектный идентификационный ID (Cross-project ID) - 32значное шестнадцатиричное число.

Если Вы пожелаете подключится ещё и к другому BOINC-проекту, то помните: чтобы не плодить новых аккаунтов при подключении к новому проекту или команде, нужно обязательно везде регистрироваться с одним и тем же Именем и EMAIL. если при регистрации в проекте указать другой e-mail , BOINC создаст новый аккаунт с тем же именем! В этом случае рекомендуется зайти во все ваши аккаунты и во все проекты и где надо поменять емейл на нужный. Через некоторое время ваши аккаунты сольются в один с одним cross-project-id.
----------------------------------------------------------------------------------------------------------


О проекте:

Проект обрабатывает разные статистические базы данных.

Stock Price Prediction предсказывает развитие индекса DAX и Dow Jones.

Temporal Dynamics of the Last.fm Music Platform изучает изменения музыкальных вкусов пользователей Last.fm за последние 2 года.

Temporal Evolution of Communities in the Enron Email Data Set исследует причины падения корпорации Enron, изучая публичную базу данных корпоративных емейлов (переписки) сотрудников.

Подробнее на английском в спойлере:

(Show/Hide)

DistributedDataMining (dDM) is the name of a research project that uses Internet-connected computers to do research in the area of Time Series Analysis and Social Network Analysis.

Time Series Prediction

Stock Price Prediction (active)



Part of our research is devoted to Time Series Analysis. Our focus is on forecasting economic time series such as DAX and Dow Jones. At first, we focused on the application of artificial neural networks to forecast time series. A detailed description on this approach, the design of the experimental setting as well as the results are presented in [5]. Later on, we applied support vector machines to avoid the high computational complexity of neural networks. The resulting forecasts are equally impressive even though the necessary computational costs can be decreased significantly. In 2008, we published two related studies [6] and [7].

We extended our studies by using various learning algorithms in order to determine there applicability for stock price prediction. After analyzing the obtained results we made two important observations: (i) the influence of the learning algorithm is much lower than expected, but instead (ii) the training window size has a stronger impact on the quality of the prediction. Since, so far, temporal effects are rarely addressed in the literature, we concentrate in our dDM-project on the study of these temporal aspects in time series analysis.

Social Network Analysis



http://www.tanjafalkowski.de/ proposed http://www.nicoschlitter.de/DenGraph - a density-based graph clustering algorithm [1]. This algorithm is deployable for - among other things - http://www.nicoschlitter.de/SocialNetworkAnalysis. The following studies were part of her PhD theses that is published as a book.

Temporal Dynamics of the Last.fm Music Platform (temporarily suspended)

In this application we applied DenGraph-IO to detect and observe changes in the music listening behaviour of Last.fm users during a period of two years. The aim was to see, whether the proposed clustering technique detects meaningful communities and evolutions [2], [3]. http://www.nicoschlitter.de/Lastfm

Temporal Evolution of Communities in the Enron Email Data Set (finished)

The collapse of Enron, a U.S. company honored in six consecutive years by "Fortune" as "America's Most Innovative Company", caused one of the biggest bankruptcy cases in US-history. To investigate the case, a data set of approximately 1.5 million e-mails sent or received by Enron employees was published by the Federal Energy Regulatory Commission. We've used the processing power of dDM to analyze the temporal evolution of communities extracted from these email correspondences [4]. http://www.nicoschlitter.de/Enron

References

1. Falkowski T. Community Analysis in Dynamic Social Networks. Goettingen: Sierke Verlag; 2009.
2. Schlitter N, Falkowski T. Mining the Dynamics of Music Preferences from a Social Networking Site. In: Proceedings of the 2009 International Conference on Advances in Social Network Analysis and Mining. Athens: IEEE Computer Society; 2009. p. 243-8.
3. Falkowski T, Schlitter N. Analyzing the Music Listening Behavior and its Temporal Dynamics Using Data from a Social Networking Site. Zurich; 2008.
4. Falkowski T. Community Analysis in Dynamic Social Networks. Goettingen: Sierke Verlag; 2009.
5. Schlitter N. Analyse und Prognose ökonomischer Zeitreihen: Neuronale Netze zur Aktienkursprognose. Saarbrücken: VDM Verlag Dr. Müller; 2008.
6. Schlitter N. A Case Study of Time Series Forecasting with Backpropagation Networks. In: Steinmüller J, Langner H, Ritter M, Zeidler J, editors. 15 Jahre Künstliche Intelligenz an der TU Chemnitz. Chemnitz: Techn. Univ. Chemnitz, Fak. für Informatik; 2008. p. 203-17. (Chemnitzer Informatik-Berichte).
7. Möller M, Schlitter N. Analyse und Prognose ökonomischer Zeitreihen mit Support Vector Machines. In: Steinmüller J, Langner H, Ritter M, Zeidler J, editors. 15 Jahre Künstliche Intelligenz an der Fakultät für Informatik. Chemnitz: Techn. Univ. Chemnitz, Fak. für Informatik; 2008. p. 189-201. (Chemnitzer Informatik-Berichte).



Ссылки по теме:
http://www.nicoschlitter.de/node/33
http://www.nicoschlitter.de/node/36

График ППД команды "Ukraine"

Автор: Rilian Mar 3 2010, 14:19

Без джавы не работает

3/3/2010 2:09:58 PM DistributedDataMining Starting 1622264_NearestNeighbors_k1_NominalDistance_2942_0
3/3/2010 2:09:59 PM DistributedDataMining Starting task 1622264_NearestNeighbors_k1_NominalDistance_2942_0 using stock1 version 307
3/3/2010 2:10:07 PM DistributedDataMining Computation for task 1622264_NearestNeighbors_k1_NominalDistance_2942_0 finished
3/3/2010 2:10:07 PM DistributedDataMining Output file 1622264_NearestNeighbors_k1_NominalDistance_2942_0_0 for task 1622264_NearestNeighbors_k1_NominalDistance_2942_0 absent
3/3/2010 2:10:11 PM DistributedDataMining Started upload of 1622264_NearestNeighbors_k1_NominalDistance_2942_0_1
3/3/2010 2:10:14 PM DistributedDataMining [error] Error reported by file upload server: nbytes missing or negative
3/3/2010 2:10:14 PM DistributedDataMining Giving up on upload of 1622264_NearestNeighbors_k1_NominalDistance_2942_0_1: permanent upload error

Автор: Rilian Mar 3 2010, 14:46

какие-то статистические рассчеты

Автор: Khvastov Maxim Mar 3 2010, 20:37

Ахтунг ! Тянет за собой архив в 16 Мб.

Автор: Death Mar 4 2010, 18:32

ползает по инету и шото собирает.

может кушать траф кажется

Автор: Rilian Mar 4 2010, 18:45

оно не ползает по инету а получает данные с сервера ...

Death, есть статистика по траффику?

Автор: tribal Mar 4 2010, 18:48

скока cpu-времени кушает?

Автор: Rilian Mar 4 2010, 19:00

QUOTE(tribal @ Mar 4 2010, 18:48) *

скока cpu-времени кушает?

100%

перенес тему в Микс

Автор: Death Mar 4 2010, 22:35

Publications powered by dDM
2009
Schlitter N, Falkowski T. Mining the Dynamics of Music Preferences from a Social Networking Site. In: Proceedings of the 2009 International Conference on Advances in Social Network Analysis and Mining. Athens: IEEE Computer Society; 2009. p. 243-8.
http://www.nicoschlitter.de/downloads/SchlitterFalkowski_ASONAM2009.pdf

может всё таки юзеры ластфм парсят?

щас проведу исследования дома.

Автор: Rilian Mar 8 2010, 02:41

Death, данные он уже напарсил, а сейчас над ними проводит разные исследования разными алгоритмами

Обновил шапку

Автор: Rilian Mar 15 2010, 00:49

в проекте увеличили очки в 2 раза. Теперь он довольно калорийный. Хотя, имхо, научной пользы не оч много

Автор: Rilian Mar 17 2010, 22:35

I've released AppVersion 4.05 for Windows and Linux.

The new version uses the latest BOINC api and provides improved debug and error messages. In addition, it fixes a bug that is related to the resuming mechanism in the windows version.

Автор: Rilian Sep 22 2011, 14:01

Time Series Analysis: Stock Price Prediction OSW new app DistributedDataMining

A new application is available for the project DistributedDataMining
Project URL: http://ddm.nicoschlitter.de/DistributedDataMining/

Data from this application: http://wuprop.boinc-af.org/results.py?projet=DistributedDataMining&application=Time%20Series%20Analysis%3A%20Stock%20Price%20Prediction%20OSW

Автор: Death Sep 22 2011, 23:15

The website of my DistributedDataMining BOINC project has been moved to

http://www.distributedDataMining.org

Автор: Rilian Mar 22 2012, 08:48

Theoretical Biology: Multi-Agent Simulation of Evolution new app DistributedDataMining


Автор: whynot Apr 21 2018, 17:55

Перенесіть до завершених -- не витримало оновлення Drupl'у

Invision Power Board
© Invision Power Services