Über Mindrift
Mindrift ist eine Plattform, die Spezialisten mit KI-Projekten von führenden Technologieinnovatoren verbindet. Unsere Mission ist es, das Potenzial von Generative KI zu erschließen, indem wir auf das Fachwissen aus der realen Welt zurückgreifen.
Aufgaben
- Übernehme ende-zu-ende Datenextraktionsabläufe über komplexe Websites, um vollständige Abdeckung, Genauigkeit und zuverlässige Bereitstellung strukturierter Datensätze sicherzustellen.
- Nutze interne Tools (Apify, OpenRouter) sowie eigene Workflows, um die Datenerfassung, -validierung und Auftragsausführung zu beschleunigen und die definierten Anforderungen zu erfüllen.
- Stelle eine zuverlässige Extraktion von dynamischen und interaktiven Webquellen sicher, passe die Ansätze an, um mit JavaScript-gerenderten Inhalten und sich änderndem Seitenverhalten umzugehen.
- Setze Datenqualitätsstandards durch Validierungsprüfungen, Konsistenzkontrollen über Quellen hinweg, Einhaltung von Formatierungsspezifikationen und systematische Überprüfung vor der Auslieferung durch.
- Skaliere Scraping-Operationen für große Datensätze mit effizienter Batchverarbeitung oder Parallelisierung, überwache Ausfälle und erhalte die Stabilität bei kleineren Änderungen der Seitenstruktur.
Anforderungen
- Mindestens 1 Jahr einschlägige Erfahrung in Datenanalyse, KI-Automatisierung, Datenintegration oder Softwareentwicklung
- Bachelor- oder Master-Abschluss in Ingenieurwesen, Angewandter Mathematik, Informatik oder einem verwandten technischen Fach
- Expertise im Python-basierten Web-Scraping: Zuverlässiges Erstellen von Scraping-Skripten mit BeautifulSoup, Selenium (oder Äquivalenten) für mehrstufige Websites, dynamische JS-Inhalte (Endlos-Scrollen, AJAX) und API-Endpunkte über bereitgestellte Proxys
- Erfahrung in der Datenextraktion: Navigation durch komplexe hierarchische Strukturen (Regionen → Unternehmen → Details), Umgang mit Archivseiten und verschiedenen HTML-Formaten
- Datenverarbeitung: Bereinigung, Normalisierung und Validierung von Scraped-Daten; Auslieferung hochwertiger Datensätze in gut strukturierten Formaten (CSV, JSON, Google Sheets) mit klarer, konsistenter Präsentation
- Praxiserfahrung mit Large Language Models und KI-Frameworks zur Verbesserung von Automatisierung und Problemlösung
- Ausgeprägtes Qualitätsbewusstsein und Genauigkeit bei der Datenerfassung
- Selbstständige Arbeitsweise mit Fähigkeit zur unabhängigen Fehlerbehebung
- Englischkenntnisse auf Upper-Intermediate-Niveau (B2) oder höher
Benefits
- Werde für dein Expertenwissen bezahlt, mit Stundensätzen bis zu 32 EUR, je nach deinen Fähigkeiten, Erfahrung und Projektanforderungen
- Arbeite vollständig remote nach deinem eigenen Zeitplan mit nur einem Laptop und einer stabilen Internetverbindung
- Gewinne praktische Erfahrung in einer einzigartigen hybriden Umgebung, in der menschliche Expertise und KI-Agenten nahtlos zusammenarbeiten - eine spezielle Kompetenz in einem schnell wachsenden Bereich
- Nimm an leistungsbasierten Bonusprogrammen teil, die hochwertige Arbeit und konsistente Lieferung belohnen