]> www.dxcluster.org Git - spider.git/blob - perl/DXDupe.pm
remove $Id$ strings from everywhere that I can find
[spider.git] / perl / DXDupe.pm
1 #
2 # class to handle all dupes in the system
3 #
4 # each dupe entry goes into a tied hash file 
5 #
6 # the only thing this class really does is provide a
7 # mechanism for storing and checking dups
8 #
9
10 package DXDupe;
11
12 use DXDebug;
13 use DXUtil;
14 use DXVars;
15
16 use vars qw{$lasttime $dbm %d $default $fn};
17
18 $default = 48*24*60*60;
19 $lasttime = 0;
20 $fn = "$main::data/dupefile";
21
22 sub init
23 {
24         $dbm = tie (%d, 'DB_File', $fn);
25         unless ($dbm) {
26                 eval { untie %d };
27                 dbg("Dupefile $fn corrupted, removing...");
28                 unlink $fn;
29                 $dbm = tie (%d, 'DB_File', $fn) or confess "can't open dupe file: $fn ($!)";
30                 confess "cannot open $fn $!" unless $dbm; 
31         }
32 }
33
34 sub finish
35 {
36         undef $dbm;
37         untie %d;
38         undef %d;
39 }
40
41 sub check
42 {
43         my $s = shift;
44         return 1 if find($s);
45         add($s, shift);
46         return 0;
47 }
48
49 sub find
50 {
51         return $d{$_[0]};
52 }
53
54 sub add
55 {
56         my $s = shift;
57         my $t = shift || $main::systime + $default;
58         $d{$s} = $t;
59 }
60
61 sub del
62 {
63         my $s = shift;
64         delete $d{$s};
65 }
66
67 sub process
68 {
69         # once an hour
70         if ($main::systime - $lasttime >=  3600) {
71                 my @del;
72                 while (($k, $v) = each %d) {
73                         push @del, $k  if $main::systime >= $v;
74                 }
75                 delete $d{$_} for @del;
76                 $lasttime = $main::systime;
77         }
78 }
79
80 sub get
81 {
82         my $start = shift;
83         my @out;
84         while (($k, $v) = each %d) {
85                 push @out, $k, $v if !$start || $k =~ /^$start/; 
86         }
87         return @out;
88 }
89
90 sub listdups
91 {
92         my $let = shift;
93         my $dupage = shift;
94         my $regex = shift;
95
96         $regex =~ s/[\^\$\@\%]//g;
97         $regex = ".*$regex" if $regex;
98         $regex = "^$let" . $regex;
99         my @out;
100         for (sort { $d{$a} <=> $d{$b} } grep { m{$regex}i } keys %d) {
101                 my ($dum, $key) = unpack "a1a*", $_;
102                 push @out, "$key = " . cldatetime($d{$_} - $dupage) . " expires " . cldatetime($d{$_});
103         }
104         return @out;
105 }
106 1;