Ideen für Big Data

[Melina]

Guten Morgen, 

in der Schule sollen wir ein Projekt zum Thema Big Data machen. Ich mache leider alleine und bin nun etwas ratlos. 

Ich weis schon in welchen Bereichen Big Data verwendet wird. Online shopping, sozial media, freunde in sozialen medien und personalisierte Werbung.

Ratlosig bleibt leider wie ich das aufziehen soll.
Wenn mein Post nicht erwünscht ist, gerne löschen.

 

Mit freundlichen Grüßen

[_n4p_]

Schau dir mal den Vortrag "SpiegelMining" von David Kriesel an.

[Melina]

ich hoffe sowas kann ich in der schule umsetzen ^^

 

[Melina]

wie finde ich eine Datenbank, die öffentlich ist zu der ich dann eine api schreiben kann für big data ?

[MartinSt]

Statistisches Bundesamt
Datenbanken

[KeeperOfCoffee]

Das gemeinsame Statistikportal des Bundes und der Länder

[Whiz-zarD]

https://www.govdata.de/

http://opendata.cern.ch/

Aber sicher, dass du nicht "Big Data" einfach mit "große relationale Datenbank" gleichsetzt?

 

[Melina]

Am 29.10.2019 um 17:12 schrieb Whiz-zarD:

https://www.govdata.de/

http://opendata.cern.ch/

Aber sicher, dass du nicht "Big Data" einfach mit "große relationale Datenbank" gleichsetzt?

 

Meine Leherin hat dazu nichts gesagt, ob wir relationale DB nehmen sollen oder Dokumenten basierte DB verwenden sollen.

Sie meinte aber auch,dass ich mich mit Dokumenten basierten also NO SQL Datenbanken auseinander setzen soll, weil es eine gute Basis ist. Ich weiß eine Gruppe nimmt eine relationale Datenbank. Ich habe fast keine Programmier Erfahrung, noch nie eine API geschrieben und Server naja geht so. 

Irgendein Projekt muss ich aber machen. Ich habe auch eins eingereicht, meine Lehrerin meinte, dass ich das nicht schaffe, weil ich keine Erfahrung habe. Nur ein Funken Verzweiflung

[Whiz-zarD]

vor 4 Minuten schrieb Melina:

Meine Leherin hat dazu nichts gesagt, ob wir relationale DB nehmen sollen oder Dokumenten basierte DB verwenden sollen.

Sie meinte aber auch,dass ich mich mit Dokumenten basierten also NO SQL Datenbanken auseinander setzen soll, weil es eine gute Basis ist. Ich weiß eine Gruppe nimmt eine relationale Datenbank. Ich habe fast keine Programmier Erfahrung, noch nie eine API geschrieben und Server naja geht so. 

Das hat doch aber absolut nichts mit Big Data zu tun...

Big Data sind unstrukturierte Datenmassen aus unterschiedlichen Quellsystemen. Eine (No)-SQL-Datenbank kann nur eine von vielen Quellsystemen sein. Es kann aber auch die Bilder einer Überwachungskamera ein Quellsystem sein oder die Werte eines Sensors oder Log-Dateien, etc. All diese Daten werden in einem Cluster gespeichert und können dort verknüpft werden.

Bearbeitet 6. November 2019 von Whiz-zarD

[KeeperOfCoffee]

Was hast du eingereicht?

[MartinSt]

Am 29.10.2019 um 09:13 schrieb Melina:

in der Schule sollen wir ein Projekt zum Thema Big Data machen.

Bitte mal konkreter:

Welche Schulausbildung, Berufsausbildung? Welche Klassenstufe, Ausbild.jahr?
Welches Fach? Welcher Zeitumfang und Tiefgang?

[Melina]

vor 2 Stunden schrieb MartinSt:

Bitte mal konkreter:

Welche Schulausbildung, Berufsausbildung? Welche Klassenstufe, Ausbild.jahr?
Welches Fach? Welcher Zeitumfang und Tiefgang?

Fachinformatikerin ae im zweiten Jahr, Fach Ae Umfang bis zum 22.11. lernzuwachs (also bei mir nicht so viel) 

[MartinSt]

Im 2. Jahr solltest Du ja grob wissen, was DBs so tun und was man mit SQL macht.

Als grobe Idee:

• Nimm ein Gerät das laufend relativ unstrukturierte Daten produziert, zum Beispiel Logfiles vom Server, Ereignisanzeige vom PC o.ä.
• Wirf die als JSON, XML in eine geeignete DB (PostgreSQL, MariaDB)
• Werte das Ganze mit den entsprechenden JSON-Möglichkeiten der DBs aus.

Wenn du das Gerät, das Daten produziert nicht hast, baue dir ein Script, Cronjob o.ä. der permanent Daten produziert.

 

Beispielhaft hier
JSON-Daten in SQL-DBs

Bearbeitet 7. November 2019 von MartinSt

[Melina]

vor 2 Stunden schrieb MartinSt:

Im 2. Jahr solltest Du ja grob wissen, was DBs so tun und was man mit SQL macht.

Als grobe Idee:

• Nimm ein Gerät das laufend relativ unstrukturierte Daten produziert, zum Beispiel Logfiles vom Server, Ereignisanzeige vom PC o.ä.
• Wirf die als JSON, XML in eine geeignete DB (PostgreSQL, MariaDB)
• Werte das Ganze mit den entsprechenden JSON-Möglichkeiten der DBs aus.

Wenn du das Gerät, das Daten produziert nicht hast, baue dir ein Script, Cronjob o.ä. der permanent Daten produziert.

 

Beispielhaft hier
JSON-Daten in SQL-DBs

uff ab grobe Idee verstehe ich leider nichts mehr, gibt es eine Erklärung für Dummies ???was sind logfiles und wo ist die ereignis anzeige von meinem pc ? wie bekommt man die vom pc ?

[KeeperOfCoffee]

@MartinSt das wäre aber auch nicht zwangsläufig BigData...

[Whiz-zarD]

Was ist eigentlich genau die Aufgabe?

[Melina]

vor 4 Minuten schrieb Whiz-zarD:

Was ist eigentlich genau die Aufgabe?

Aufgabe:
Suchen Sie sich zusammen mit Ihren Teammitgliedern ein kleines „Vorhaben“, welches Sie umsetzen können (Teamgröße nicht größer als 4 Personen). Ihre Software soll Daten sammeln und oder auswerten können (siehe auch BigData-Kurs). Entwickeln Sie dazu ein Programm mit den "Tools" Ihrer Wahl. Beachten Sie "SMART" und die Zeit!
Thema BigData ein vergangenes Projekt war eine kriminal Statistik von Chicago 

[Melina]

Hauptziel:  Klimatische  Veränderungen,  der  vergangenen  Jahre  in  den  USA  mit  grafischer                      Oberfläche   in   Java   und   Rest   Schnittstelle.  

 Teilziele:  - Services   auf   VM   aufsetzen   09.11.19  - Datenbank   indexieren   11.11.19  - Rest   Api   .12.11.-   15.11.19  - Visualisierung   durch   Diagramme   16.11-   21.11.19      Ist   Zustand:  - Ja,  es  gibt  schon  Soware  um  Big  Data  auszuwerten.

 Es  ist  sinnvoll  eine  Big  Data                                Soware   zu   schreiben   um   diese   individuell   anzupassen   auf   mein   Problem.

     Soll   Konzept:  - Eine  grafische  Anzeige,  welche,  mit  Hilfe  von  Diagrammen,  die  klimatischen                    Veränderungen   der   letzten   Jahre   in   der   USA   aufzeigt.      

 Was   lerne   ich   neues:    Grafische   Oberfläche   gestalten.   Rest   Api   schreiben/verstehen/anwenden.  Services   aufsetzen.   Datenmengen   automatisiert   verarbeiten   lassen.

 

Das habe ich als Antrag eingereicht mir wurde gesagt, dass das nicht zu schaffen ist mit meinem Kenntnisstand.

Die Daten wollte ich von data.gov verwenden

[Whiz-zarD]

 

vor 28 Minuten schrieb Melina:

Ist   Zustand:  - Ja,  es  gibt  schon  Soware  um  Big  Data  auszuwerten.

Und welches ominöse Tool für "Big Data" habt ihr installiert?