Über Mindrift
Mindrift verbindet Fachexperten mit KI-Projekten führender Tech-Innovatoren. Die Mission ist es, das Potenzial von Generative AI durch echte Fachkompetenz aus der ganzen Welt freizusetzen.
Über die Stelle
Wir suchen einen Senior Python Data Scraping Engineer für ein Freelance-Projekt im Tendem-System. In dieser Rolle arbeiten Sie in einer hybriden Umgebung, in der Sie zusammen mit KI-Agenten spezialisierte Datenextraktions-Workflows durchführen. Sie bringen kritisches Denkvermögen, Fachkompetenz und Qualitätskontrolle ein, um präzise und umsetzbare Ergebnisse zu liefern.
Aufgaben
- End-to-End-Datenextraktions-Workflows über komplexe Websites mit vollständiger Abdeckung, Genauigkeit und zuverlässiger Lieferung strukturierter Datensätze
- Nutzung interner Tools (Apify, OpenRouter) neben Custom-Workflows zur Beschleunigung der Datenerfassung und Validierung
- Zuverlässige Extraktion aus dynamischen und interaktiven Web-Quellen mit Anpassung an JavaScript-basierte Inhalte
- Durchsetzung von Datenqualitätsstandards durch Validierungsprüfungen und systematische Verifikation vor Lieferung
- Skalierung von Scraping-Operationen für große Datenmengen mit effizienter Batching und Parallelisierung
Anforderungen
- Mindestens 5 Jahre Erfahrung in Data Engineering, Web Scraping, Automation oder Softwareentwicklung
- Starke Expertise in Python Web Scraping (BeautifulSoup, Selenium) mit dynamischen Inhalten
- Nachgewiesene Fähigkeit zur Datenextraktion aus komplexen Strukturen
- Solid Background in Datenbereinigung, Normalisierung und Validierung
- Erfahrung mit Anti-Bot-Mechanismen und dynamischen Website-Strukturen im großen Maßstab
- Hands-on Erfahrung mit Cloud-Infrastruktur (AWS) und Docker
- Praktische Erfahrung mit LLM-Frameworks (LangChain, OpenRouter)
- Englisch Upper-intermediate (B2) oder höher
Benefits
- Vollständig remote mit flexiblem Zeitplan
- Erfahrung in einer einzigartigen hybriden Umgebung mit Mensch-KI-Zusammenarbeit
- Performance-basierte Bonusprogramme für hochwertige Arbeit
- Flexible Arbeitsweise mit eigenverantwortlicher Zeiteinteilung
- Zugang zu modernen Entwicklungs- und Scraping-Tools