actionmuc

Hallo Zusammen,
ich habe folgende Herausforderung. Es soll ein Schlagwort z. B. "Leberkas" über google.de gesucht werden und die Ergebnisse in eine Exceldatei über führt werden. Wie kann man dies am Besten umsetzen und mit welcher Sprache? Ich selber bin leider kein Anwendungsentwickler, so dass ich um Milde bitte 😉
 
Servus
actionmuc

Hallo actionmuc,
der Begriff dazu heißt Web Scraping, teilweise auch Screen Scraping. Machen kannst Du das mit vielen Sprachen. Unter anderem auch mit VBA direkt in Excel selbst. Gängige Methoden sind xhr (XML HTTP Request) oder wenn die Automatisierung eines Browsers notwendig ist, dass Selenium Framework. Die gewünschten Ergebnisse aus der zu verarbeitenden HTML Datei bekommt man am einfachsten über das DOM (Document Object Model) oder im Falle von Selenium über eine ähnliche seleniumeigene Technik.
Das Scrapen über einen Browser ist langsamer, da immer die gesamte Seite mit allen Dateien geladen und gerendert wird, während bei Verwendung von xhr nur die angeforderte Datei vom WebServer angefordert wird.
Der Vorteil von Selenium ist, dass der Browser automatisch das gesamte Seassionhandling übernimmt und auch JavaScript verarbeiten kann. Bei xhr muss man sich selbst um Cookies, SeassionIDs, usw. kümmern, falls notwendig und es ist eine statische Angelegenheit. Das bedeutet, JavaScript wird nicht ausgeführt.
Soweit etwas oberflächlich zu den grundlegenden Technologien. Das Problem bei Google ist, die sperren Dich nach 30 oder 35 automatisierten Zugriffen aus. Habe die genaue Anzahl nicht mehr im Kopf, glaube aber nicht, dass die Begrenzung aufgehoben wurde. Aussperren heißt in diesem speziellen Fall, bei jedem Zugriff werden Captchas vor die Suchergebnisseite geschaltet.

Ergänzrend zu dem was @Chief Wiggum sagt: Wenn es keine SharedMailbox ist mit deaktivierten Benutzer (Standard) sondern man ein normales Nutzerpostfach freigibt, gilt selbiges wie für die SharedMailbox.

Der User meldet sich ja mit seinen Credentials an der shared mailbox an. Der zur shared mailbox gehörende AD-Account ist ja eh deaktiviert und kann nicht zur Anmeldung genutzt werden. Die shared mailbox hat keinen 2FA-Account.

Der Start im öD kann ein gutes Sprungbrett sein, wenn Du noch etwas unsicher bist. Möchtest Du allerdings von Anfang an gutes Geld verdienen und auch mal über den Tellerrand hinausschauen, dann kann nur die private Wirtschaft Dein berufliches Zuhause sein. Behörden sind leider ziemlich sperrig und langatmig bei der Umsetzung neuer Projekte, da gefühlt Jeder noch sein Kreuzchen zu machen hat.
Es kommt außerdem darauf an, wo man lebt. Ballungsgebiet oder Provinz.

1.) Nein
2.) Nein (siehe Wikiartikel zu Arbeitnehmerhaftung, da steht max. 3 Bruttolöhne als Beispiel bei grober Fahrlässigkeit. Wenn das dich besser schlafen lässt, dann packst das auf ein Sparkonto )
3.) Theoretisch Ja - aber auch da sehr sehr schwierig für den AG ein Fehlverhalten zu beweisen und selbst dann in 99% erstmal eine Abmahnung.
Das sind die pauschalen Antworten, ohne das man irgendwelche lustige bzw unrealistische Szenarien konstruiert (aka Vorsatz und Zusammenarbeit mit Hacker, etc.). Von daher .. locker bleiben. Als Arbeitnehmer bist du per se immer sicher vor irgendwelchen Haftungsfragen, denn es gibt Millionen Berufe bei denen es jeden Tag um "mehr geht" als ein Hackerangriff und die würde ja dann keiner machen sonst.
P.S.: Manche sehe ja gerade die mangelnde Haftung - insbesondere auf Geschäftsleitungsebene - als eines der Hauptursachen für zu viele IT Vorfälle, aber das ist eine andere Grundsatzdiskussion.

Hi,
wenn ich das richtig verstanden habe, wechselst du doch von den IMAP-Postfächern bei Hoster XYZ auf Exchange Online (ist in MS365 Business Basic enthalten)? In dem Fall richtest du den Tenant ein, richtest die Postfächer ein (manuell oder per AAD-Connect) und startest dann aus dem EXO heraus die IMAP-Migration. Läuft (bis halt auf das Erstellen der Zuordnungsdatei) völlig automatisch im Hintergrund, du musst da nix ex- und importieren

Hi,
du kannst im Exchange Online direkt einen IMAP-Import machen. Läuft recht reibungslos und ohne viel Aufwand, du musst nur einmal eine Zuordnungsdatei für die Zuordnung alte Postfächer (IMAP) / neue Postfächer (EXO) erstellen. Hierfür werden dann auch die Kennwörter aller IMAP-Konten benötigt. 
Alle Infos dazu findest du hier: IMAP-Migration im Microsoft 365 Admin Center | Microsoft Docs
 

Es gibt da keine für alle gültige Berechnungsformel, es kommt immer darauf an, was für Anwendungen ausgeführt werden und wie da die CPU- und RAM-Anforderungen sind. Es können eigentlich so viele User auf einem RDS-Host arbeiten, bis dem physikalischen Host die Ressourcen ausgehen. Die empfohlenen Beschränkungen für RDS-Hosts stammen noch aus einer Zeit vor der x86-Virtualisierung und 64-Bit, wo die Hardware limitiert hat. Mit Virtualisierung und 64-Bit-Systemen hat sich das schon längst erledigt.
Nur eins: es sollten nicht zu viele User auf einen RDS-Host geschickt werden, sonst sind natürlich relativ viele User betroffen, wenn der RDS-Host mal ausfallen sollte.
Ein Hinweis: ich gehe davon aus, dass mehr als ein RDS-Host eingerichtet werden soll, richtig? Falls dem so ist, ist es empfehlenswert, mindestens drei RDS-Hosts einzurichten, damit zwischendurch auch mal ein RDS-Host gewartet werden kann, ohne dass die User deutliche Leistungseinbußen haben.
Ich habe gerade bei einem Kunden einen RDS-Cluster mit erstmal zwei virtuellen RDS-Hosts á 32 GB RAM eingerichtet, das hat sich im Normalbetrieb als zu wenig herausgestellt (Zusammenschluss mehrerer Firmen mit neu eingeführter Software, deswegen gab es noch keine Erfahrungswerte). Deswegen habe ich einen der schon eingerichteten Hosts im heruntergefahrenen Zustand geklont, den Klon mit sysprep behandelt (einfach nur sysprep ausgeführt mit OOBE und Verallgemeinern), dann konnte der mit geändertem Namen in den RDS-Cluster aufgenommen werden. Wenn jetzt einer der Hosts gewartet werden soll, wird der im Cluster so eingestellt, dass der keine neuen Verbindungen mehr annimmt und kann am nächsten Tag gewartet werden. Es ist natürlich so eingestellt, dass getrennte Sitzungen nach einer bestimmten Zeit abgemeldet werden. Wenn die Wartung nicht allzu lange dauert, kann der Host dann relativ schnell wieder so eingestellt werden, dass der Verbindungen annimmt und die User merken gar nicht, dass zwischendurch ein Host gewartet wurde.
Servergespeicherte Profile sind bei An- und Abmeldung das Langsamste, was überhaupt mögich ist (je nach Profilgröße teilweise mehrere Minuten für An- und Abmeldung), wenn mehrere RDS-Hosts zum Einsatz kommen, deswegen ist auf jeden Fall davon abzuraten.
Microsoft hat mit Windows Server 2012 die Benutzerprofildatenträger (User Profile Disks) entwickelt, die zwar beim An- und Abmelden deutlich schneller sind als servergespeicherte Profile, dafür aber nicht alle Daten aus dem Profil über Ab- und Anmeldungen erhalten, z.B. Suchindizes oder Outlook ost-Dateien. Deswegen gibt es inzwischen FSLogix, was von Microsoft übernommen wurde und auch offiziell unterstützt wird. Sowohl für servergespeicherte Profile als auch Benutzerprofildatenträger und FSLogix wird eine Dateifreigabe benötigt, da nehmen die sich also nichts.
Hier gibt es eine Anleitung zur Einrichtung von FSLogix, das funktioniert wirklich gut und ist bei der An- und Abmeldung quasi genauso schnell wie lokale Profile, sofern der Fileserver dementsprechend schnell genug ist.

Hallo zusannen,
ich wollte nun auch einmal meine Doku zur Verfügung stellen. Ich habe sie anonymisiert. Sollte jemandem noch etwas auffallen, wo ich etwas vergessen habe zu anonymisieren, dann bitte bei mir melden.
Für die Doku habe ich 82 Punkte bekommen, insgesamt habe ich mit 79 Punkten bestanden.
 
Viel Erfolg bei euren anstehenden Prüfungen. Bleibt gesund.
 
Projektdokumentation_ANONYMISIERT.pdf

So schaut das bei mir aus (Auszug aus der Doku für den Auditor):
Dokumentiert ist das Ganze in Excel für den Fall dass jemand eine komplette Übersicht möchte.
Erste Seite: MA in welchen Gruppen,
Zweite Seite: Gruppen welche Berechtigungen
Geht wahrscheinlich schöner und einfacher, ich fahr damit sehr gut, meine Kollegen verstehen es, neue Berechtigungen sind schnell gesetzt und ich hab schon in der AD den Überblick welche Berechtigugnen sich hinter welchen Gruppen verstecken.

Die, meiner Meinung nach, einzige(!!!) Möglichkeit an ein halbwegs vernünftiges Budget zu kommen ist übertreiben, dramatisieren und schwarzmalen.
Soll heißen:
Die Blechserver laufen Softwareseitig außer Wartung, in 6 Monaten gibt es dafür null Sicherheitspatches Die Bleche sind garantiert außer Wartung was die Hardware angeht, lass mal ein Netzteil Rauchzeichen geben Wenn die Dinger auf Server 2008R2 laufen... NICHT vorhanden, da in spätestens 6 Monaten klinisch tot. Nix mehr Updates = nix mehr online!
Daher,
Step 1:  Zusammenrechnen wie lange es dauert für die absolut kritischen Komponenten A, B und C Ersatz zu bekommen, wenn falls der überhaupt noch zu bekommen ist.
Step 2: Konzept aufstellen wie wo was in Zukunft angebunden sein soll/könnte. Also warum nicht alle User auf ThinClients "umziehen" und so die Kosten für neue Clients sparen (also die FatClients in dumme TC umwandeln und in Zukunft nur noch TC anschaffen soweit möglich). Sind beide Standorte "gleichberechtigt" oder könnte man Standort 2 mit Minimalausstattung (DC, DHCP, Printserver) betreiben und alle Applikationen über den Hauptstandort bereitstellen?
Was ist mit Backup? Was ist mit der gesetzlichen Pflicht zur Mailarchivierung? Wie gut sind Firewall und Switche?
...
Ich lene mich mal aus dem Fenster und behaupte: Harsware, Storage und Lizenzen werden dich bei Kauf locker 100k kosten. Du brauchst ALLES neu (ok, Monitore,Tastaturen und Mäuse eher nicht, aber den Rest)!
 

Ohne Moos, nichts los...Solltest du wirklich absolut gar nichts an Budget erhalten, dann kannst du das alles vergessen.
Vielmehr würde ich ihm aufzeigen, was für Sinn es macht hier die geplanten Punkte aufzuführen. Du kannst ja auch argumentieren bzgl. VMware/HyperV, dass man die Hardware teils abschaffen könnte. Ersparnis usw.
Ferner würde ich keinen Druck aufbauen wegen Lizenzverstößen die ihr sicherlich habt, denn bei dem Misch-Masch den ihr habt, kann ich mir nicht vorstellen, dass alles sauber durchlizenziert wurde. Alleine schon durch den TS, Server, CALs, usw. Allerdings reine Mutmaßung - kann mich natürlich auch irren, aber das wäre die erste Firma die ich kenne die nicht irgendwo ein Uboot bzgl. Lizenzen hat
Eine bidirektionale Vertrauensstellung kannst du auch schon jetzt bauen, wenn auf beiden Seiten ein DC steht. Ferner wäre auch ein Ersparnis drin, wenn du die Fat-Clients zu ThinClients umstellst und die Software alles auf dem TS legst. Da geht auch Office drauf.  Windows 2012 würde ich jetzt nicht mehr einsetzen, da 2016 bzw das neuere 2019 bereits genutzt werden kann. Lizenztechnisch auch hier wieder, dass du jede Hardwaremaschine neu lizenzieren musst, wenn man keine SA hat. Das gleiche gilt für die CALs.
Eine Standardisierung mit Microsoft kann euch einen Preisvorteil sichern.
Mailserver (gibt es gar keinen ??), Fileserver, usw. kann man ebenfalls mit Windows-Mitteln bauen. SAN ersetzen... naja.. kommt drauf an was ihr machen wollt. Der Storage Space Direct wird erst ab Windows Server 2016 Datacenter und 2019 Datacenter bereitgestellt. Somit auch komplette Lizenzierung vor allem als Datacenter, was du z.B. auch benötigen könntest bei Virtualisierung.
Persönlich würde ich mal alles aufnehmen, mir alle Dienste anschauen und gucken was Sinn machen würde. Dann noch was sagen die User ? Ist das alles zu langsam, gibt es Probleme usw. Das alles aufführen und einen oder zwei Vorschläge machen. Auch könnte es interessant werden, wenn du dem Chef mitteilst, dass Hardware auch geleast werden könnte. (Steuerlich evtl. interessant für ihn).
Die Masterlösung gibt es bei deinen Problemen so nicht. Man kann bzw sollte sogar alles insgesamt betrachten. Auch würde hier bei Einsatz neuer Systeme die Netzwerkstruktur angepasst werden ? 10/100 Netzwerk mit kaskadierten Switchen oder habt ihr LWL liegen oder was auch immer. Was helfen dir schnelle Systeme und gute Hardware, wenn du dann anderswo ein Nadelöhr hast.
IT kostet halt Geld, aber wenn man damit auch sein Geld verdient (vor allem der Chef), dann sollte es doch möglich sein etwas zu bekommen. VOr allem sollte man sich immer vor Augen halten was passiert, wenn alles mal ausfallen sollte, weil z.B. ein Brand oder auch die Hardware abraucht, weil man weder Sicherung, noch SPiegelung im zweiten RZ usw. gemacht hat.
Ich sehe hier eine wirklich große Baustelle, aber auch viel Potenzial in die Zukunft. Wichtig sind hier die Anforderungen an das System und ob man auf Dienste verzichten kann oder nicht.
Ich könnte sicherlich noch mehr hier schreiben, aber ich denke das sollte evtl. ein Anstoß sein um doch ein Budget festlegen zu können.