Algorithmus konstruieren

[Genrix]

Hallo zusammen,

mein Ziel ist es einen Algorithmus zu entwerfen, der in der Lage ist Nachrichten zu filtern und anzuzeigen. Ich möchte, dass Nachrichten individuell auf mich zugeschnitten werden, ohne dabei auf Cookies und bspw. Google angewiesen sein zu müssen.

Leider weiß ich absolut nichts über Informatik und das Programmieren. Ich versuchte vergeblich, mithilfe von 'YoutubeGuides' , etwas darüber zu lernen. Allerdings habe ich keine einzige Programmiersprache verstanden, es ist auch absolut nichts hängen geblieben. Suchmaschinen erschlagen mich förmlich mit Ergebnissen und  'How to...' Vorschlägen. Es ist ein riesiges Durcheinander und hilft mir absolut nicht. 

Zudem frage ich mich ob es notwendig ist, alles zu lernen, oder ob es nicht ausreicht, da ich ja weiß was ich damit erreichen will, das spezifische Wissen darüber zu erlangen?. Es würde mir sicherlich eine menge Zeit sparen und durch erste Erfolge mein Interesse weiter ausbauen. 

Ich hoffe, dass ihr mir den Einstieg in dieses Thema erleichtern könnt und vielleicht habt ihr ja noch ein zwei erfahrungsbasierte Tipps für mich. Es würde mich jedenfalls sehr freuen.

Danke schon mal im Voraus!

 

[MartinSt]

Löse Dich doch für das Problem erstmal geistig vom PC, Internet, Handy und aller IT.
Das schöne ist ja, dass man Lösungen und Algorithmen auch mit Bleistift und Papier konstruieren kann.

Denk dich einfach in die 1980er Jahre zurück, mit gedruckten Büchern und Zeitungen, Fernsehsendern und Bibliotheken. Schreib Dir die Fragen und Probleme auf, die sich dabei stellen. Dann hast Du schon eine Menge Konzeption, die Du neben den IT-Kenntnissen sowieso dafür brauchst.

Gruß Martin

[JimTheLion]

Moin! Da hast du dir ja was vorgenommen.

vor 30 Minuten schrieb Genrix:

Ich möchte, dass Nachrichten individuell auf mich zugeschnitten werden, ohne dabei auf Cookies und bspw. Google angewiesen sein zu müssen.

Nimm Kontakt mit allen relevanten Verlegern auf und frage ob sie APIs bereitstellen um die Nachrichten abzurufen.

Falls sie keine bereitstellen... Pech gehabt oder du begibst dich ins illegale, nicht zu empfehlen.

Falls sie eine API bereitstellen, hoffe, dass du dort nach für dich relevanten Suchbegriffen filtern kannst, oder du durchsuchst die Nachrichten selbst, indem du sie z.B. in einen Lucene-Index wirfst.

Entwickle eine Anwendung, mit beliebiger Sprache und für beliebige Plattform, die die APIs mit deinen Suchbegriffen aufruft -> lass dir die Ergebnisse anzeigen.

 

Ist gar nicht so schwierig... aber sehr umfangreich und erfordert auch sehr viel organisatorischen Aufwand.

Zudem, ist das natürlich immer noch nur eine Suche nach bestimmte Begriffen, wenn du dich nicht für Fußball interessierst, in einem Bericht über die WM 2094 aber der Waffenhandel (wofür du dich interessierst) erwähnt wird... werden dir trotzdem Fußball-News angezeigt. Du bräuchstest also auch noch eine lokale Blacklist und eine Gewichtung um abzuwägen ob dir diese Erwähnung des Waffenhandels interessant genug erscheinen könnte um auch diesen Fußballartikel lesen zu wollen.

 

tl;dr: das wird nix.

Bearbeitet 1. November 2018 von PVoss

[maestro impostor]

vor 8 Minuten schrieb Genrix:

Wie lernt man eine Sprache am Besten? Man fragt Muttersprachler. 

http://userpage.fu-berlin.de/~ram/pub/html_jf47ht81Ht/21-tage

[Whiz-zarD]

vor 21 Minuten schrieb Genrix:

Hallo zusammen,

mein Ziel ist es einen Algorithmus zu entwerfen, der in der Lage ist Nachrichten zu filtern und anzuzeigen. Ich möchte, dass Nachrichten individuell auf mich zugeschnitten werden, ohne dabei auf Cookies und bspw. Google angewiesen sein zu müssen.

Geht es noch ungenauer?
Woher sollen denn die Daten kommen, die zur Entscheidung führen, welche Nachrichten durchgelassen werden? Aus der Luft?
Vor allem: Welche Nachrichten?

[Genrix]

vor 44 Minuten schrieb Whiz-zarD:

Geht es noch ungenauer?

Da ich mich nicht besser mit dem Thema auskenne, geht es eben nicht genauer. Ich dachte eigentlich, du könntest mir dazu etwas sagen.

vor 45 Minuten schrieb Whiz-zarD:

Woher sollen denn die Daten kommen, die zur Entscheidung führen, welche Nachrichten durchgelassen werden? Aus der Luft?

Aus dem Internet. Dort wo jeden Tag jede Menge neue Infos auftauchen. Nur halt eben gefiltert. Eine Erklärung wäre toll, falls ich mir das ganze zu einfach vorstelle.

vor 48 Minuten schrieb Whiz-zarD:

Vor allem: Welche Nachrichten?

Der Algorithmus soll individuell auf mich und meine Interessen zugeschnitten sein und anhand dessen Nachrichten aus dem Internet suchen die mich interessieren könnten und vorschlagen. Wie stelle ich so etwas an?. Welche Vorkenntnisse benötige ich?.

 

[Whiz-zarD]

vor 3 Minuten schrieb Genrix:

Da ich mich nicht besser mit dem Thema auskenne, geht es eben nicht genauer. Ich dachte eigentlich, du könntest mir dazu etwas sagen.

Entschuldigung, dass meine Glaskugel derzeit in Reparatur ist.

vor 6 Minuten schrieb Genrix:

Aus dem Internet. Dort wo jeden Tag jede Menge neue Infos auftauchen. Nur halt eben gefiltert. Eine Erklärung wäre toll, falls ich mir das ganze zu einfach vorstelle.

 

vor 8 Minuten schrieb Genrix:

Der Algorithmus soll individuell auf mich und meine Interessen zugeschnitten sein und anhand dessen Nachrichten aus dem Internet suchen die mich interessieren könnten und vorschlagen. Wie stelle ich so etwas an?. Welche Vorkenntnisse benötige ich?.

Und woher soll der Algorithmus das wissen? Das musst du dem Algorithmus sagen, was deine Interessen sind und was meinst du, wozu es die ganzen Cookies und sonstigen Tracking-Kram gibt? Um genau DAS herauszufinden...

Vielleicht solltest du dich erstmal damit beschäftigen, was Informatik eigentlich ist. Allein schon der erste Satz im Wikipedia-Artikel zeigt schon deine Wissenslücken auf:

Zitat

Informatik ist die „Wissenschaft von der systematischen Darstellung, Speicherung, Verarbeitung und Übertragung von Informationen, besonders der automatischen Verarbeitung mithilfe von Digitalrechnern“.

Es geht also um eine systematische Verarbeitung. Es muss also ein System dahinterstecken. Es reicht nicht ala Hollywood-Style zu sagen: "Der Algorithmus soll mir die coolsten Nachrichten zeigen!", sondern das System muss mit einer Logik dazu gebracht werden, dass es die Nachrichten anzeigen soll, die man auch sehen möchte und du kannst jetzt nicht mal sagen, welche du überhaupt sehen möchtest. Wie soll das denn ein Algorithmus können? Ein Algorithmus kann auch keine Gedanken lesen.

[Genrix]

vor 50 Minuten schrieb Whiz-zarD:

das System muss mit einer Logik dazu gebracht werden, dass es die Nachrichten anzeigen soll, die man auch sehen möchte

Ganz genau, nur weiß ich nicht wie man dieser Logik folgt. Programmierung ist für mich eine Fremdsprache die ich erst lernen muss. Wie lernt man eine Sprache am Besten? Man fragt Muttersprachler. 

vor 54 Minuten schrieb Whiz-zarD:

Und woher soll der Algorithmus das wissen? Das musst du dem Algorithmus sagen, was deine Interessen sind und was meinst du, wozu es die ganzen Cookies und sonstigen Tracking-Kram gibt? Um genau DAS herauszufinden...

Ich bin mir durchaus bewusst, wofür Cookies da sind. Ich weiß, dass ein Algorithmus lediglich präzise Instruktionen erhält um eine bestimme Aufgabe zu lösen. Algorithmen können halt nicht denken. Ich frage aber nach dem Wie?. Ich kann kein Algorithmus programmieren, will es aber können um nicht von Programmen anderer abhängig zu sein. 

vor 2 Stunden schrieb Genrix:

Suchmaschinen erschlagen mich förmlich mit Ergebnissen und  'How to...' Vorschlägen. Es ist ein riesiges Durcheinander und hilft mir absolut nicht. 

Kannst du mir vielleicht Ratschläge geben, wie und vor allem WELCHES Wissen ich mir dafür beibringen müsste? Mit meinen oberflächlichen Informationen helfen Suchmaschinen nicht wirklich, ich verliere da den Überblick. 

[Whiz-zarD]

vor 14 Minuten schrieb Genrix:

Ganz genau, nur weiß ich nicht wie man dieser Logik folgt. Programmierung ist für mich eine Fremdsprache die ich erst lernen muss. Wie lernt man eine Sprache am Besten? Man fragt Muttersprachler. 

Indem man sich hinsetzt, ausprobiert und dabei lernt. Ein Koch im ersten Lehrjahr wird auch nicht gleich mit einem spontanen Gourmet-Essen für die Queen anfangen, sondern er wird ganz stumpf damit anfangen Kartoffeln und Möhren zu schälen.

vor 15 Minuten schrieb Genrix:

Ich kann kein Algorithmus programmieren, will es aber können um nicht von Programmen anderer abhängig zu sein. 

Und ich frage mich, was du mit dem Algorithmus willst? Du kannst damit eh nichts anfangen.

Zu mal ein Algorithmus auch nicht so aus dem Nichts entsteht. Algorithmen entstehen durch Trial & Error und durch Erfahrung. Niemand wird dir hier auf die Schnelle ein Algorithmus hinmalen können, der zu deinen Anforderungen passt. Das ist ein enorm langer Prozess.

vor 19 Minuten schrieb Genrix:

Kannst du mir vielleicht Ratschläge geben, wie und vor allem WELCHES Wissen ich mir dafür beibringen müsste? Mit meinen oberflächlichen Informationen helfen Suchmaschinen nicht wirklich, ich verliere da den Überblick. 

Du solltest dir erst mal im Klaren sein, was du überhaupt willst. Das fängt schon damit an, welche Nachrichten du überhaupt lesen und aus welchem Grund du sie filtern willst? Wie soll das Filtern vonstatten gehen? Ggf. reicht auch ein einfacher Feedreader, die es open source zuhauf gibt, wenn deine Nachrichtenquellen Feeds (z.B. RSS- oder Atom-Feeds) unterstützen. Dann könntest du nur die Feeds abonnieren, die du für wichtig hälst. z.B. bei Heise.de kannst du dir unterschiedliche Feeds abonnieren.

Wenn du keine geeigneten Schnittstellen zu den Nachrichten findest, wird das dann eh nichts.

[Chief Wiggum]

vor 3 Stunden schrieb Genrix:

Es ist ein riesiges Durcheinander und hilft mir absolut nicht. 

Dann kümmere dich darum, die Basics zu verstehen. Was spricht gegen eine klassische Berufsausbildung?

[Genrix]

vor 1 Minute schrieb Chief Wiggum:

Dann kümmere dich darum, die Basics zu verstehen. Was spricht gegen eine klassische Berufsausbildung?

Ich möchte das nicht Beruflich machen. Ich interessiere mich beruflich eher für Genmanipulation, rote Biotechnologie, Bionik und sowas. Für die Kybernetik kann es aber wichtig sein, je mehr ich verstehen und lernen kann um so weniger bin ich auf andere Angewiesen. Außerdem kann ich ja schlecht in allen Bereichen auf einmal eine Ausbildung anfangen.

Ich versuche ja gerade mich um die Basics zu kümmern, ich habe mit meiner Frage wohl etwas voraus gegriffen, aber es ist angenehmer zu lernen, wenn man es mit dem Themen koppelt die einen gerade interessieren. Und  immerhin merke ich dann ja schnell selber, dass es nicht so einfach wird. Spätestens dann kann ich noch einmal entscheiden ob es mir wirklich ernst ist und ich etwas kleineren Schritten voranschreite. 

Ich würde mich freuen, wenn man mir dabei hilft. 

 

[Aurel]

vor 5 Stunden schrieb Genrix:

Welche Vorkenntnisse benötige ich?

Ehrliche Antwort?

Wenn da was relevantes und brauchbares herauskommen soll, was wirklich Inhalte bewertet und was deine Interessen 'lernt', mal mindestens ein universitäres Bachelor Studium der Informatik. Hier vertiefend auch mal mit Logik/Diskreten Strukturen, Algorithmen, Datenbanken, Theorethische Informatik beschäftigen und im Idealfall mal ein paar Blicke in die Möglichkeiten von Machine Learning werfen.

Ansonsten wirst du da allenfalls einen schlechten Feed-Klon bauen der eher einer programmierten Filterblase ähnelt, als dir wirklich auf dich zugeschnittene Inhalte zu bewerten und zu listen. Die Zeit kannst du dir ehrlich gesagt sparen. Wenn dich das aber trotzdem interessiert und du einfach mal was per "learning by doing" anpacken willst, dann wird dich wahrscheinlich die Programmiersprache Python und das Web Scraping mit Python am schnellsten vorran bringen. Damit kannst du nämlich die Inhalte von Webseiten lesen und - mit deinem Algorithmen wie immer der aussehen mag - nach deinen wünschen filtern und speichern. Dann hättest du schon mal die Inhalte. Wie du dir die dann aufbereiten lässt, ist erst der zweite Schritt. Daher ein kleines Vorgehen:

1. Programmieren lernen mit Python.
2. Web scraping mit Python lernen: Dafür gibt es gute Videos auf Udemy. Beispielsweise:

https://www.udemy.com/scrapy-tutorial-web-scraping-with-python/
oder
https://www.udemy.com/web-scraping-with-python-beautifulsoup/

3. Daten in einer Datebank speichern. Das muss nix besonders sein. Dir wird da schon eine Datenbank wie MySQL oder SQLite reichen. Einfach mal danach suchen im Zusammenhang mit Python.

4. Inhalte klassifizieren die du - Anhand deines Algorithmus - für wichtig erachtest.. Das ist kein wirkliches IT Thema mehr sondern geht schon in Richtung Linguistik.

Viel Erfolg!
 

Bearbeitet 1. November 2018 von Aurel