[GELÖST] Duplikateerkennung - in Bearbeitung seit Stunden
11. Februar 2011 09:16
Hallo Leute
Unsere DB hat ca 13000 Kontakte und 13000 Firmen, ist somit ca 1.5GB gross. Da unser CRM relativ neu ist, wollte ich die Datenqualität mit der Duplikateerkennung optimieren. Ich habe eine Regel gemacht für "Gleiche Firmen mit gleicher Postleitzahl". Das Erkennen von einer beschränken Anzahl Firmen (z.B. alle die mit A beginnen =>1000Firmen) funktioniert einwandfrei. Die Erkennung dauert dann 1-3 Minuten und findet 24 Duplikate, also 12 Firmen.
Wenn ich aber die Regel auf alle Firmen anwenden will, ist der Job ewig in Bearbeitung (z.B. gestern um 13:05 gestartet; heute um 08:00 immer noch nicht fertig). Ich finde verdächtig, dass bei "Gestartet bei" immer die Matchcode-Aktualisierungszeit steht. So wie ich die Lage interpretiere, startet der Job immer wieder, wenn die Matchcode-Aktualisierung gemacht wird (alle 5 Minuten).
Habt Ihr auch schon so komische Erfahrungen gemacht und gibts eine Lösung? Natürlich kann ich alle Firmen nach Anfangsbuchstaben abarbeiten, aber mich reizt die automatische Version schon ein bisschen mehr...
Lieber Gruss
Unsere DB hat ca 13000 Kontakte und 13000 Firmen, ist somit ca 1.5GB gross. Da unser CRM relativ neu ist, wollte ich die Datenqualität mit der Duplikateerkennung optimieren. Ich habe eine Regel gemacht für "Gleiche Firmen mit gleicher Postleitzahl". Das Erkennen von einer beschränken Anzahl Firmen (z.B. alle die mit A beginnen =>1000Firmen) funktioniert einwandfrei. Die Erkennung dauert dann 1-3 Minuten und findet 24 Duplikate, also 12 Firmen.
Wenn ich aber die Regel auf alle Firmen anwenden will, ist der Job ewig in Bearbeitung (z.B. gestern um 13:05 gestartet; heute um 08:00 immer noch nicht fertig). Ich finde verdächtig, dass bei "Gestartet bei" immer die Matchcode-Aktualisierungszeit steht. So wie ich die Lage interpretiere, startet der Job immer wieder, wenn die Matchcode-Aktualisierung gemacht wird (alle 5 Minuten).
Habt Ihr auch schon so komische Erfahrungen gemacht und gibts eine Lösung? Natürlich kann ich alle Firmen nach Anfangsbuchstaben abarbeiten, aber mich reizt die automatische Version schon ein bisschen mehr...
Lieber Gruss
Zuletzt geändert von beco am 1. April 2011 07:46, insgesamt 1-mal geändert.
Re: Duplikateerkennung - in Bearbeitung seit Stunden
11. Februar 2011 12:07
Hallo Adrian,
die Duplikaterkennung schaut alle 5 Minuten nach, ob einer der generierten Matchcode aktualisiert werden muss, das ist das normale Verhalten des Moduls im CRM.
Wenn du eine Regel für die Duplikaterstellung angelegt hast, wird diese alle 5 Minuten auf alle betroffenen Datensätze ausgeführt.
Du musst unterscheiden zwischen Regeln und Aufträgen. Eine Regel wird nach der veröffentlichung alle 5 Minuten ausgeführt, ein Auftrag genau so, wie du ihn definiert hast.
die Duplikaterkennung schaut alle 5 Minuten nach, ob einer der generierten Matchcode aktualisiert werden muss, das ist das normale Verhalten des Moduls im CRM.
Wenn du eine Regel für die Duplikaterstellung angelegt hast, wird diese alle 5 Minuten auf alle betroffenen Datensätze ausgeführt.
Du musst unterscheiden zwischen Regeln und Aufträgen. Eine Regel wird nach der veröffentlichung alle 5 Minuten ausgeführt, ein Auftrag genau so, wie du ihn definiert hast.
Re: Duplikateerkennung - in Bearbeitung seit Stunden
14. Februar 2011 12:03
Hallo Herr Sulz
Vielleicht habe ich mich falsch ausgedrückt. Ich versuch's nochmal mit anderen Worten
Die Regel ist ja gemacht (Gleiche Firma mit gleicher PLZ [Die Regel ist aber unsinnig so, das korrigieren wir noch]). Die funktioniert auch beim Erstellen einer neuen Firma. Wir ändern die Regel, sobald die Funktion auch gewährleistet ist.
Der Auftrag allerdings funktioniert nur teilweise. Ich warte nun schon seit Freitag auf ein Ergebnis. Der grosse Job (Aktive Firmen durchsuchen) in immer noch in Bearbeitung. Zwei kleinere Aufträge habe ich am Freitag abgebrochen, Status heute Morgen "Cancelling". Da kann doch etwas nicht stimmen.
Wir haben auch schon der Server neu gestartet und nachgeschaut, ob der Asynch. Service gestartet ist. Leider habe ich keinen Zugriff darauf, aber scheinbar ist der am Laufen.
Ein bisschen ratlos grüsst Euch
adrian
Vielleicht habe ich mich falsch ausgedrückt. Ich versuch's nochmal mit anderen Worten
Die Regel ist ja gemacht (Gleiche Firma mit gleicher PLZ [Die Regel ist aber unsinnig so, das korrigieren wir noch]). Die funktioniert auch beim Erstellen einer neuen Firma. Wir ändern die Regel, sobald die Funktion auch gewährleistet ist.
Der Auftrag allerdings funktioniert nur teilweise. Ich warte nun schon seit Freitag auf ein Ergebnis. Der grosse Job (Aktive Firmen durchsuchen) in immer noch in Bearbeitung. Zwei kleinere Aufträge habe ich am Freitag abgebrochen, Status heute Morgen "Cancelling". Da kann doch etwas nicht stimmen.
Wir haben auch schon der Server neu gestartet und nachgeschaut, ob der Asynch. Service gestartet ist. Leider habe ich keinen Zugriff darauf, aber scheinbar ist der am Laufen.
Ein bisschen ratlos grüsst Euch
adrian
Re: Duplikateerkennung - in Bearbeitung seit Stunden
14. Februar 2011 13:24
Hallo Adrian,
hast du schon einmal in den Logfiles nachgesehen, ob dort etwas zu erkennen ist?
Ansonsten würde ich jetzt das Tracing einschalten, um den Fehler einzugrenzen.
hast du schon einmal in den Logfiles nachgesehen, ob dort etwas zu erkennen ist?
Ansonsten würde ich jetzt das Tracing einschalten, um den Fehler einzugrenzen.
Re: [GELÖST] Duplikateerkennung - in Bearbeitung seit Stunde
1. April 2011 07:47
Das Problem wurde durch ein Fremd-Plugin verursacht. MS hat das via Log herausgefunden. Sonnige Grüsse