actionmuc

Hallo Zusammen,
ich habe folgende Herausforderung. Es soll ein Schlagwort z. B. "Leberkas" über google.de gesucht werden und die Ergebnisse in eine Exceldatei über führt werden. Wie kann man dies am Besten umsetzen und mit welcher Sprache? Ich selber bin leider kein Anwendungsentwickler, so dass ich um Milde bitte 😉
 
Servus
actionmuc

Hallo actionmuc,
der Begriff dazu heißt Web Scraping, teilweise auch Screen Scraping. Machen kannst Du das mit vielen Sprachen. Unter anderem auch mit VBA direkt in Excel selbst. Gängige Methoden sind xhr (XML HTTP Request) oder wenn die Automatisierung eines Browsers notwendig ist, dass Selenium Framework. Die gewünschten Ergebnisse aus der zu verarbeitenden HTML Datei bekommt man am einfachsten über das DOM (Document Object Model) oder im Falle von Selenium über eine ähnliche seleniumeigene Technik.
Das Scrapen über einen Browser ist langsamer, da immer die gesamte Seite mit allen Dateien geladen und gerendert wird, während bei Verwendung von xhr nur die angeforderte Datei vom WebServer angefordert wird.
Der Vorteil von Selenium ist, dass der Browser automatisch das gesamte Seassionhandling übernimmt und auch JavaScript verarbeiten kann. Bei xhr muss man sich selbst um Cookies, SeassionIDs, usw. kümmern, falls notwendig und es ist eine statische Angelegenheit. Das bedeutet, JavaScript wird nicht ausgeführt.
Soweit etwas oberflächlich zu den grundlegenden Technologien. Das Problem bei Google ist, die sperren Dich nach 30 oder 35 automatisierten Zugriffen aus. Habe die genaue Anzahl nicht mehr im Kopf, glaube aber nicht, dass die Begrenzung aufgehoben wurde. Aussperren heißt in diesem speziellen Fall, bei jedem Zugriff werden Captchas vor die Suchergebnisseite geschaltet.

Ergänzrend zu dem was @Chief Wiggum sagt: Wenn es keine SharedMailbox ist mit deaktivierten Benutzer (Standard) sondern man ein normales Nutzerpostfach freigibt, gilt selbiges wie für die SharedMailbox.

Der Start im öD kann ein gutes Sprungbrett sein, wenn Du noch etwas unsicher bist. Möchtest Du allerdings von Anfang an gutes Geld verdienen und auch mal über den Tellerrand hinausschauen, dann kann nur die private Wirtschaft Dein berufliches Zuhause sein. Behörden sind leider ziemlich sperrig und langatmig bei der Umsetzung neuer Projekte, da gefühlt Jeder noch sein Kreuzchen zu machen hat.
Es kommt außerdem darauf an, wo man lebt. Ballungsgebiet oder Provinz.

1.) Nein
2.) Nein (siehe Wikiartikel zu Arbeitnehmerhaftung, da steht max. 3 Bruttolöhne als Beispiel bei grober Fahrlässigkeit. Wenn das dich besser schlafen lässt, dann packst das auf ein Sparkonto )
3.) Theoretisch Ja - aber auch da sehr sehr schwierig für den AG ein Fehlverhalten zu beweisen und selbst dann in 99% erstmal eine Abmahnung.
Das sind die pauschalen Antworten, ohne das man irgendwelche lustige bzw unrealistische Szenarien konstruiert (aka Vorsatz und Zusammenarbeit mit Hacker, etc.). Von daher .. locker bleiben. Als Arbeitnehmer bist du per se immer sicher vor irgendwelchen Haftungsfragen, denn es gibt Millionen Berufe bei denen es jeden Tag um "mehr geht" als ein Hackerangriff und die würde ja dann keiner machen sonst.
P.S.: Manche sehe ja gerade die mangelnde Haftung - insbesondere auf Geschäftsleitungsebene - als eines der Hauptursachen für zu viele IT Vorfälle, aber das ist eine andere Grundsatzdiskussion.

Hi,
wenn ich das richtig verstanden habe, wechselst du doch von den IMAP-Postfächern bei Hoster XYZ auf Exchange Online (ist in MS365 Business Basic enthalten)? In dem Fall richtest du den Tenant ein, richtest die Postfächer ein (manuell oder per AAD-Connect) und startest dann aus dem EXO heraus die IMAP-Migration. Läuft (bis halt auf das Erstellen der Zuordnungsdatei) völlig automatisch im Hintergrund, du musst da nix ex- und importieren

Hi,
du kannst im Exchange Online direkt einen IMAP-Import machen. Läuft recht reibungslos und ohne viel Aufwand, du musst nur einmal eine Zuordnungsdatei für die Zuordnung alte Postfächer (IMAP) / neue Postfächer (EXO) erstellen. Hierfür werden dann auch die Kennwörter aller IMAP-Konten benötigt. 
Alle Infos dazu findest du hier: IMAP-Migration im Microsoft 365 Admin Center | Microsoft Docs
 

Hallo zusannen,
ich wollte nun auch einmal meine Doku zur Verfügung stellen. Ich habe sie anonymisiert. Sollte jemandem noch etwas auffallen, wo ich etwas vergessen habe zu anonymisieren, dann bitte bei mir melden.
Für die Doku habe ich 82 Punkte bekommen, insgesamt habe ich mit 79 Punkten bestanden.
 
Viel Erfolg bei euren anstehenden Prüfungen. Bleibt gesund.
 
Projektdokumentation_ANONYMISIERT.pdf

So schaut das bei mir aus (Auszug aus der Doku für den Auditor):
Dokumentiert ist das Ganze in Excel für den Fall dass jemand eine komplette Übersicht möchte.
Erste Seite: MA in welchen Gruppen,
Zweite Seite: Gruppen welche Berechtigungen
Geht wahrscheinlich schöner und einfacher, ich fahr damit sehr gut, meine Kollegen verstehen es, neue Berechtigungen sind schnell gesetzt und ich hab schon in der AD den Überblick welche Berechtigugnen sich hinter welchen Gruppen verstecken.

Die, meiner Meinung nach, einzige(!!!) Möglichkeit an ein halbwegs vernünftiges Budget zu kommen ist übertreiben, dramatisieren und schwarzmalen.
Soll heißen:
Die Blechserver laufen Softwareseitig außer Wartung, in 6 Monaten gibt es dafür null Sicherheitspatches Die Bleche sind garantiert außer Wartung was die Hardware angeht, lass mal ein Netzteil Rauchzeichen geben Wenn die Dinger auf Server 2008R2 laufen... NICHT vorhanden, da in spätestens 6 Monaten klinisch tot. Nix mehr Updates = nix mehr online!
Daher,
Step 1:  Zusammenrechnen wie lange es dauert für die absolut kritischen Komponenten A, B und C Ersatz zu bekommen, wenn falls der überhaupt noch zu bekommen ist.
Step 2: Konzept aufstellen wie wo was in Zukunft angebunden sein soll/könnte. Also warum nicht alle User auf ThinClients "umziehen" und so die Kosten für neue Clients sparen (also die FatClients in dumme TC umwandeln und in Zukunft nur noch TC anschaffen soweit möglich). Sind beide Standorte "gleichberechtigt" oder könnte man Standort 2 mit Minimalausstattung (DC, DHCP, Printserver) betreiben und alle Applikationen über den Hauptstandort bereitstellen?
Was ist mit Backup? Was ist mit der gesetzlichen Pflicht zur Mailarchivierung? Wie gut sind Firewall und Switche?
...
Ich lene mich mal aus dem Fenster und behaupte: Harsware, Storage und Lizenzen werden dich bei Kauf locker 100k kosten. Du brauchst ALLES neu (ok, Monitore,Tastaturen und Mäuse eher nicht, aber den Rest)!
 

Ohne Moos, nichts los...Solltest du wirklich absolut gar nichts an Budget erhalten, dann kannst du das alles vergessen.
Vielmehr würde ich ihm aufzeigen, was für Sinn es macht hier die geplanten Punkte aufzuführen. Du kannst ja auch argumentieren bzgl. VMware/HyperV, dass man die Hardware teils abschaffen könnte. Ersparnis usw.
Ferner würde ich keinen Druck aufbauen wegen Lizenzverstößen die ihr sicherlich habt, denn bei dem Misch-Masch den ihr habt, kann ich mir nicht vorstellen, dass alles sauber durchlizenziert wurde. Alleine schon durch den TS, Server, CALs, usw. Allerdings reine Mutmaßung - kann mich natürlich auch irren, aber das wäre die erste Firma die ich kenne die nicht irgendwo ein Uboot bzgl. Lizenzen hat
Eine bidirektionale Vertrauensstellung kannst du auch schon jetzt bauen, wenn auf beiden Seiten ein DC steht. Ferner wäre auch ein Ersparnis drin, wenn du die Fat-Clients zu ThinClients umstellst und die Software alles auf dem TS legst. Da geht auch Office drauf.  Windows 2012 würde ich jetzt nicht mehr einsetzen, da 2016 bzw das neuere 2019 bereits genutzt werden kann. Lizenztechnisch auch hier wieder, dass du jede Hardwaremaschine neu lizenzieren musst, wenn man keine SA hat. Das gleiche gilt für die CALs.
Eine Standardisierung mit Microsoft kann euch einen Preisvorteil sichern.
Mailserver (gibt es gar keinen ??), Fileserver, usw. kann man ebenfalls mit Windows-Mitteln bauen. SAN ersetzen... naja.. kommt drauf an was ihr machen wollt. Der Storage Space Direct wird erst ab Windows Server 2016 Datacenter und 2019 Datacenter bereitgestellt. Somit auch komplette Lizenzierung vor allem als Datacenter, was du z.B. auch benötigen könntest bei Virtualisierung.
Persönlich würde ich mal alles aufnehmen, mir alle Dienste anschauen und gucken was Sinn machen würde. Dann noch was sagen die User ? Ist das alles zu langsam, gibt es Probleme usw. Das alles aufführen und einen oder zwei Vorschläge machen. Auch könnte es interessant werden, wenn du dem Chef mitteilst, dass Hardware auch geleast werden könnte. (Steuerlich evtl. interessant für ihn).
Die Masterlösung gibt es bei deinen Problemen so nicht. Man kann bzw sollte sogar alles insgesamt betrachten. Auch würde hier bei Einsatz neuer Systeme die Netzwerkstruktur angepasst werden ? 10/100 Netzwerk mit kaskadierten Switchen oder habt ihr LWL liegen oder was auch immer. Was helfen dir schnelle Systeme und gute Hardware, wenn du dann anderswo ein Nadelöhr hast.
IT kostet halt Geld, aber wenn man damit auch sein Geld verdient (vor allem der Chef), dann sollte es doch möglich sein etwas zu bekommen. VOr allem sollte man sich immer vor Augen halten was passiert, wenn alles mal ausfallen sollte, weil z.B. ein Brand oder auch die Hardware abraucht, weil man weder Sicherung, noch SPiegelung im zweiten RZ usw. gemacht hat.
Ich sehe hier eine wirklich große Baustelle, aber auch viel Potenzial in die Zukunft. Wichtig sind hier die Anforderungen an das System und ob man auf Dienste verzichten kann oder nicht.
Ich könnte sicherlich noch mehr hier schreiben, aber ich denke das sollte evtl. ein Anstoß sein um doch ein Budget festlegen zu können.