thumb

Forscher der Carnegie Mellon University haben ein Programm entwickelt, das aufwändige Berechnungen, die bislang nur auf Verbünden mehrerer Rechner möglich waren, auf einem gewöhnlichen PC durchführt. Graphchi ist für die Analyse der Beziehungen in grossen Netzwerken ausgelegt,wie Technology Review berichtet.

Bislang hat die Untersuchung grosser Datensätze, wie etwa sozialer Netzwerke, PCs überfordert, da die Beziehungsgeflechte, in der Mathematik Graphen genannt, zur Analyse im Arbeitsspeicher abgelegt werden mussten. Die neue Software ermöglicht es jetzt, die Daten auf den weitaus geräumigeren Festplatten zu speichern.

Festplatten galten bisher als zu langsam, um für solche Aufgaben sinnvoll verwendet zu werden. Die US-Forscher haben deshalb eine schnellere, weniger zufällige Methode entwickelt, auf Festplatten-Daten zuzugreifen. Damit können jetzt erstmals die Graphen grosser Netzwerke wie Twitter auf normalen PCs untersucht werden. Mit Graphchi gelang es, das Geflecht der Twitter-Nutzer von 2010, das 40 Mio. Nutzer und 1,2 Mrd. Verbindungen enthält, in 59 Minuten zu analysieren. Eine früher veröffentlichte Analyse nahm ein Netzwerk aus 1.000 Computern für 400 Minuten in Anspruch.

Graphen-Berechnungen sind ein stetig an Bedeutung gewinnendes Forschungsfeld. In einer vernetzten Welt, in der die Datensätze ständig grösser werden, ist die Entwicklung der US-Wissenschaftler ein grosser Durchbruch. Neben der Analyse von Online-Netzwerken spielt die Analysen von Daten beispielsweise auch bei der Erforschung der Struktur des Gehirns eine wichtige Rolle. "Das Konzept des Graphen ist fast allgegenwärtig. Anwendungen gibt es in vielen Disziplinen, von der Biologie über die Medizin bis zur Informatik selbst. Die Möglichkeit Analysen schneller durchzuführen kann sich daher in vielen Bereichen positiv auswirken", erklärt etwa Wolfgang Klas, Dekan der Fakultät für Informatik an der Universität Wien.

Momentan kann Graphchi nur statische Graphen analysieren. Netzwerke, in denen sich die Beziehung zwischen den einzelnen Knotenpunkten mit der Zeit ändern, übersteigen die derzeitigen Möglichkeiten von Graphchi noch. Die Forscher arbeiten aber bereits daran, dieses Manko zu beheben. Schon jetzt erlaubt die Software Entwicklern und Wissenschaftlern, viele Berechnungen an ihrem PC zu erledigen, für die sie früher Zeit in einem Rechenzentrum buchen mussten. "Big Data ist heute überall, aber einige grosse Datensätze erscheinen in Relation nicht mehr so gross wie früher", sagt Carlos Guestrin von der Carnergie Mellon University.

Die Komplexität von Graphen kann allerdings sehr hoch werden. "Es gibt eine regelmässig aktualisierte, maschinenlesbare Version der Wikipedia. Damit haben Forscher einen kompletten Graphen der Online-Enzyklopädie zur Verfügung. Mit Software können Verknüpfungen gefunden und daraus Sachverhalte abgeleitet werden. Dieser Graph, der schon einige Terabyte an Daten umfasst, ist aber nur ein Knoten im Hyper-Graphen, der sich aus eine Vielzahl von weiteren Online-Datenquellen im Internet bilden lässt. Heimcomputer stossen mit den derzeitigen Speicherkapazitäten da immer noch schnell an Grenzen", sagt Klas. Durch die Möglichkeit, Graphen zur Analyse auf Festplatten abzulegen, steigt die Kapazität zur Analyse trotzdem enorm.

Die Analyse am Heimcomputer ist nicht der einzige Vorteil einer Verarbeitung auf der Festplatte. ""Die Analyse am Heimcomputer ist nicht der einzige Vorteil einer Verarbeitung auf der Festplatte. Forschungseinrichtungen oder Unternehmen verfügen über beachtliche Speicherkapazitäten, die so ein enormes Potenzial darstellen. Inwieweit die Algorithmen für den schnellen Zugriff auf Festplatten in solchen Umgebungen funktionieren, müsste aber geprüft werden", so Klas.