17:26:39 Zid: 4804 discovered domains · proxy=off · conc=16
17:26:42 Zid: 4418 to fetch after dedupe (386 already loaded)
17:27:16 fetch 500/4418 · confirmed 431 · phone 411 · email 391 · dead 53 · 15.2 MB
17:28:00 fetch 1000/4418 · confirmed 746 · phone 700 · email 635 · dead 205 · 28.4 MB
17:29:10 fetch 1500/4418 · dead 427
17:30:41 fetch 2000/4418 · dead 749
17:32:15 fetch 2500/4418 · confirmed 1196 · phone 1121 · email 968 · dead 1099 · 53.5 MB
17:33:50 fetch 3000/4418 · confirmed 1301 · phone 1221 · email 1044 · dead 1415 · 59.4 MB
17:35:14 fetch 3500/4418 · dead 1777
17:36:37 fetch 4000/4418 · confirmed 1529 · phone 1436 · email 1231 · dead 2123 · 75.4 MB
17:39:17 fetch DONE — 1594 confirmed Zid stores, 1499 phone, 1287 email, 2429 dead/unreachable, 84.0 MB
17:39:27 load DONE — 1594 upserted (1594 new), 1594 linked to companies
18:39:25 Zid: 5402 discovered domains · proxy=off · conc=16
18:39:28 Zid: 3410 to fetch after dedupe (1992 already loaded)
18:39:36 fetch 100/3410 · dead 80 · 1.7 MB
18:40:03 fetch 400/3410 · dead 277 · 5.7 MB
18:40:13 fetch 500/3410 · dead 362 · 6.5 MB
18:40:25 fetch 600/3410 · dead 455 · 9.4 MB
18:40:47 fetch 700/3410 · dead 543 · 10.1 MB
18:40:58 fetch 800/3410 · dead 634 · 11.0 MB
18:41:14 fetch 900/3410 · dead 728 · 11.4 MB
18:41:33 fetch 1000/3410 · dead 817 · 12.4 MB
18:41:40 fetch 1100/3410 · dead 910 · 13.4 MB
18:41:48 fetch 1200/3410 · dead 1002 · 14.1 MB
18:42:37 fetch 1400/3410 · dead 1186 · 15.2 MB
18:43:41 fetch 1600/3410 · dead 1339 · 16.6 MB
18:43:59 fetch 1700/3410 · dead 1420 · 17.2 MB
18:44:09 fetch 1800/3410 · dead 1510 · 18.6 MB
18:44:18 fetch 1900/3410 · dead 1601 · 19.2 MB
18:45:05 fetch 2000/3410 · dead 1697 · 19.7 MB
18:45:48 fetch 2100/3410 · dead 1786 · 20.1 MB
18:47:35 fetch 2200/3410 · dead 1882 · 20.5 MB
18:50:04 fetch 2300/3410 · dead 1982 · 20.6 MB
18:50:15 fetch 2400/3410 · dead 2076 · 21.6 MB
18:50:28 fetch 2500/3410 · dead 2163 · 23.4 MB
18:51:38 fetch 2600/3410 · dead 2250 · 24.8 MB
18:52:56 fetch 2800/3410 · dead 2433 · 26.1 MB
18:53:25 fetch 2900/3410 · confirmed 55 · phone 39 · email 13 · dead 2474 · 27.3 MB
18:53:34 fetch 3000/3410 · dead 2500 · 28.7 MB
18:53:41 fetch 3100/3410 · confirmed 188 · phone 141 · email 39 · dead 2526 · 30.2 MB
18:53:48 fetch 3200/3410 · confirmed 259 · phone 200 · email 57 · dead 2553 · 31.6 MB
18:53:56 fetch 3300/3410 · dead 2573 · 33.2 MB
18:54:03 fetch 3400/3410 · confirmed 405 · phone 290 · email 87 · dead 2599 · 34.6 MB
18:54:05 fetch DONE — 413 confirmed Zid stores, 297 phone, 91 email, 2599 dead/unreachable, 34.9 MB
18:54:11 load DONE — 413 upserted (413 new), 413 linked to companies
19:09:24 Zid: 6435 discovered domains · proxy=off · conc=16
19:09:28 Zid: 3944 to fetch after dedupe (2491 already loaded)
19:09:35 fetch 100/3944 · dead 80 · 1.7 MB
19:09:44 fetch 200/3944 · dead 160 · 3.3 MB
19:09:49 fetch 300/3944 · dead 237 · 4.7 MB
19:09:59 fetch 400/3944 · dead 279 · 5.7 MB
19:10:10 fetch 500/3944 · dead 365 · 6.6 MB
19:10:20 fetch 600/3944 · dead 460 · 9.4 MB
19:10:33 fetch 700/3944 · dead 546 · 10.0 MB
19:10:41 fetch 800/3944 · dead 635 · 11.1 MB
19:10:48 fetch 900/3944 · dead 729 · 11.5 MB
19:11:01 fetch 1000/3944 · dead 818 · 12.3 MB
19:11:07 fetch 1100/3944 · dead 910 · 13.1 MB
19:11:12 fetch 1200/3944 · dead 1002 · 14.0 MB
19:11:19 fetch 1300/3944 · dead 1100 · 14.5 MB
19:11:32 fetch 1400/3944 · dead 1187 · 14.8 MB
19:11:42 fetch 1500/3944 · dead 1261 · 15.4 MB
19:12:04 fetch 1600/3944 · dead 1340 · 16.3 MB
19:12:19 fetch 1700/3944 · dead 1423 · 16.9 MB
19:12:26 fetch 1800/3944 · dead 1511 · 18.1 MB
19:12:33 fetch 1900/3944 · dead 1604 · 18.8 MB
19:12:40 fetch 2000/3944 · dead 1699 · 19.4 MB
19:12:51 fetch 2100/3944 · dead 1788 · 19.9 MB
19:13:04 fetch 2200/3944 · dead 1880 · 21.1 MB
19:13:20 fetch 2300/3944 · dead 1974 · 22.0 MB
19:13:27 fetch 2400/3944 · dead 2067 · 22.7 MB
19:13:40 fetch 2500/3944 · dead 2154 · 24.5 MB
19:14:07 fetch 2600/3944 · dead 2239 · 25.6 MB
19:14:18 fetch 2700/3944 · dead 2328 · 26.5 MB
19:14:28 fetch 2800/3944 · dead 2416 · 29.5 MB
19:14:33 fetch 2900/3944 · dead 2497 · 29.8 MB
19:14:40 fetch 3000/3944 · confirmed 7 · phone 7 · email 4 · dead 2575 · 30.3 MB
19:14:51 fetch 3100/3944 · confirmed 101 · phone 97 · email 55 · dead 2580 · 32.6 MB
19:15:02 fetch 3200/3944 · dead 2583 · 35.2 MB
19:15:13 fetch 3300/3944 · confirmed 292 · phone 279 · email 152 · dead 2588 · 37.9 MB
19:15:24 fetch 3400/3944 · confirmed 390 · phone 370 · email 194 · dead 2590 · 40.4 MB
19:15:37 fetch 3500/3944 · confirmed 486 · phone 454 · email 237 · dead 2594 · 42.8 MB
19:15:46 fetch 3600/3944 · confirmed 584 · phone 546 · email 286 · dead 2595 · 45.1 MB
19:15:57 fetch 3700/3944 · confirmed 684 · phone 636 · email 315 · dead 2595 · 47.4 MB
19:16:07 fetch 3800/3944 · confirmed 780 · phone 719 · email 353 · dead 2597 · 49.6 MB
19:16:16 fetch 3900/3944 · confirmed 877 · phone 807 · email 396 · dead 2598 · 51.6 MB
19:16:21 fetch DONE — 919 confirmed Zid stores, 845 phone, 415 email, 2600 dead/unreachable, 52.6 MB
19:16:28 load DONE — 919 upserted (919 new), 919 linked to companies