]> scm.dxcluster.org Git - spider.git/blob - perl/DXDupe.pm
added even more colouration in an attempt to make it as clear as possible
[spider.git] / perl / DXDupe.pm
1 #
2 # class to handle all dupes in the system
3 #
4 # each dupe entry goes into a tied hash file 
5 #
6 # the only thing this class really does is provide a
7 # mechanism for storing and checking dups
8 #
9
10 package DXDupe;
11
12 use DXDebug;
13 use DXUtil;
14 use DXVars;
15
16 use vars qw{$lasttime $dbm %d $default $fn};
17
18 $default = 48*24*60*60;
19 $lasttime = 0;
20 $fn = "$main::data/dupefile";
21
22 use vars qw($VERSION $BRANCH);
23 $VERSION = sprintf( "%d.%03d", q$Revision$ =~ /(\d+)\.(\d+)/ );
24 $BRANCH = sprintf( "%d.%03d", q$Revision$ =~ /\d+\.\d+\.(\d+)\.(\d+)/ ) || 0;
25 $main::build += $VERSION;
26 $main::branch += $BRANCH;
27
28 sub init
29 {
30         $dbm = tie (%d, 'DB_File', $fn) or confess "can't open dupe file: $fn ($!)";
31 }
32
33 sub finish
34 {
35         undef $dbm;
36         untie %d;
37         undef %d;
38 }
39
40 sub check
41 {
42         my ($s, $t) = @_;
43         return 1 if exists $d{$s};
44         $t = $main::systime + $default unless $t;
45         $d{$s} = $t;
46         return 0;
47 }
48
49 sub del
50 {
51         my $s = shift;
52         delete $d{$s};
53 }
54
55 sub process
56 {
57         # once an hour
58         if ($main::systime - $lasttime >=  3600) {
59                 while (($k, $v) = each %d) {
60                         delete $d{$k} if $main::systime >= $v;
61                 }
62                 $lasttime = $main::systime;
63         }
64 }
65
66 sub get
67 {
68         my $start = shift;
69         my @out;
70         while (($k, $v) = each %d) {
71                 push @out, $k, $v if !$start || $k =~ /^$start/; 
72         }
73         return @out;
74 }
75
76 sub listdups
77 {
78         my $let = shift;
79         my $dupage = shift;
80         my $regex = shift;
81
82         $regex =~ s/[\^\$\@\%]//g;
83         $regex = ".*$regex" if $regex;
84         $regex = "^$let" . $regex;
85         my @out;
86         for (sort { $d{$a} <=> $d{$b} } grep { m{$regex}i } keys %d) {
87                 my ($dum, $key) = unpack "a1a*", $_;
88                 push @out, "$key = " . cldatetime($d{$_} - $dupage);
89         }
90         return @out;
91 }
92 1;