Allow synonyms for localhost
[spider.git] / perl / Filter.pm
1 #
2 # The User/Sysop Filter module
3 #
4 # The way this works is that the filter routine is actually
5 # a predefined function that returns 0 if it is OK and 1 if it
6 # is not when presented with a list of things.
7 #
8 # This set of routines provide a means of maintaining the filter
9 # scripts which are compiled in when an entity connects.
10 #
11 # Copyright (c) 1999 Dirk Koopman G1TLH
12 #
13 #
14 #
15 # The NEW INSTRUCTIONS
16 #
17 # use the commands accept/spot|ann|wwv|wcy and reject/spot|ann|wwv|wcy
18 # also show/filter spot|ann|wwv|wcy
19 #
20 # The filters live in a directory tree of their own in $main::root/filter
21 #
22 # Each type of filter (e.g. spot, wwv) live in a tree of their own so you
23 # can have different filters for different things for the same callsign.
24 #
25
26
27 package Filter;
28
29 use DXVars;
30 use DXUtil;
31 use DXDebug;
32 use Data::Dumper;
33 use Prefix;
34 use DXLog;
35 use DXJSON;
36
37 use strict;
38
39 use vars qw ($filterbasefn $in);
40
41 $filterbasefn = "$main::root/filter";
42 $in = undef;
43 my $json;
44
45
46 # initial filter system
47 sub init
48 {
49         $json = DXJSON->new->indent(1);
50 }
51
52 sub new
53 {
54         my ($class, $sort, $call, $flag) = @_;
55         $flag = ($flag) ? "in_" : "";
56         return bless {sort => $sort, name => "$flag$call.pl" }, $class;
57 }
58
59 # standard filename generator
60 sub getfn
61 {
62         my ($sort, $call, $flag) = @_;
63
64     # first uppercase
65         $flag = ($flag) ? "in_" : "";
66         $call = uc $call;
67         my $fn = "$filterbasefn/$sort/$flag$call.pl";
68
69         # otherwise lowercase
70         unless (-e $fn) {
71                 $call = lc $call;
72                 $fn = "$filterbasefn/$sort/$flag$call.pl";
73         }
74         $fn = undef unless -e $fn;
75         return $fn;
76 }
77
78 # this reads in a filter statement and returns it as a list
79
80 # The filter is stored in straight perl so that it can be parsed and read
81 # in with a 'do' statement. The 'do' statement reads the filter into
82 # @in which is a list of references
83 #
84 sub compile
85 {
86         my $self = shift;
87         my $fname = shift;
88         my $ar = shift;
89         my $ref = $self->{$fname};
90         my $rr;
91         
92         if ($ref->{$ar} && exists $ref->{$ar}->{asc}) {
93                 my $s = $ref->{$ar}->{asc};     # an optimisation?
94                 $s =~ s/\$r/\$_[0]/g;
95 #               $s =~ s/\\\\/\\/g;
96                 $ref->{$ar}->{code} = eval "sub { $s }" ;
97                 if ($@) {
98                         my $sort = $ref->{sort};
99                         my $name = $ref->{name};
100                         dbg("Error compiling $ar $sort $name: $@");
101                         Log('err', "Error compiling $ar $sort $name: $@");
102                 }
103                 $rr = $@;
104         }
105         return $rr;
106 }
107
108 sub read_in
109 {
110         my ($sort, $call, $flag) = @_;
111         my $fn;
112         
113         # load it
114         if ($fn = getfn($sort, $call, $flag)) {
115                 $in = undef; 
116                 my $s = readfilestr($fn);
117                 my $newin;
118                 if ($s =~ /^\s*{/) {
119                         eval {$newin = $json->decode($s, __PACKAGE__)};
120                 } else {        
121                         $newin = eval $s;
122                 }
123                 if ($@) {
124                         dbg($@);
125                         unlink($fn);
126                         return undef;
127                 }
128                 if ($in) {
129                         $newin = new('Filter::Old', $sort, $call, $flag);
130                         $newin->{filter} = $in;
131                 } elsif (ref $newin && $newin->can('getfilkeys')) {
132                         my $filter;
133                         my $key;
134                         foreach $key ($newin->getfilkeys) {
135                                 $newin->compile($key, 'reject');
136                                 $newin->compile($key, 'accept');
137                         }
138                 } else {
139                         # error on reading file, delete and exit
140                         dbg("empty or unreadable filter: $fn, deleted");
141                         unlink($fn);
142                         return undef;
143                 }
144                 return $newin;
145         }
146         return undef;
147 }
148
149
150 # this writes out the filter in a form suitable to be read in by 'read_in'
151 # It expects a list of references to filter lines
152 sub write
153 {
154         my $self = shift;
155         my $sort = $self->{sort};
156         my $name = $self->{name};
157         my $dir = "$filterbasefn/$sort";
158         my $fn = "$dir/$name";
159
160         mkdir $dir, 0775 unless -e $dir; 
161     rename $fn, "$fn.o" if -e $fn;
162         my $fh = new IO::File ">$fn";
163         if ($fh) {
164 #               my $dd = new Data::Dumper([ $self ]);
165 #               $dd->Indent(1);
166 #               $dd->Terse(1);
167 #               $dd->Quotekeys($] < 5.005 ? 1 : 0);
168                 #               $fh->print($dd->Dumpxs);
169
170                 # remove code references, do the encode, then put them back again (they can't be represented anyway)
171                 my $key;
172                 foreach $key ($self->getfilkeys) {
173                         $self->{$key}->{reject}->{code} = undef if exists $self->{$key}->{reject};
174                         $self->{$key}->{accept}->{code} = undef if exists $self->{$key}->{accept};
175                 }
176                 $fh->print($json->encode($self));
177                 foreach $key ($self->getfilkeys) {
178                         $self->compile($key, 'reject');
179                         $self->compile($key, 'accept');
180                 }
181                 $fh->close;
182         } else {
183                 rename "$fn.o", $fn if -e "$fn.o";
184                 return "$fn $!";
185         }
186         return undef;
187 }
188
189 sub getfilters
190 {
191         my $self = shift;
192         my @out;
193         my $key;
194         foreach $key (grep {/^filter/ } keys %$self) {
195                 push @out, $self->{$key};
196         }
197         return @out;
198 }
199
200 sub getfilkeys
201 {
202         my $self = shift;
203         return grep {/^filter/ } keys %$self;
204 }
205
206 #
207 # This routine accepts a composite filter with a reject rule and then an accept rule.
208 #
209 # The filter returns 0 if an entry is matched by any reject rule and also if any
210 # accept rule fails otherwise it returns 1
211 #
212 # Either set of rules may be missing meaning an implicit 'opposite' ie if it
213 # a reject then ok else if an accept then not ok.
214 #
215 # you can set a default with either an accept/xxxx all or reject/xxxx all
216 #
217 # Unlike the old system, this is kept as a hash of hashes so that you can
218 # easily change them by program.
219 #
220 # You can have 10 filter lines (0->9), they are tried in order until 
221 # one matches
222 #
223 # There is a parser that takes a Filter::Cmd object which describes all the possible
224 # things you can filter on and then converts that to a bit of perl which is compiled
225 # and stored as a function.
226 #
227 # The result of this is that in theory you can put together an arbritrarily complex 
228 # expression involving the things you can filter on including 'and' 'or' 'not' and 
229 # 'brackets'.
230 #
231 # eg:-
232 #
233 # accept/spots hf and by_zone 14,15,16 and not by pa,on
234 #  
235 # accept/spots freq 0/30000 and by_zone 4,5
236
237 # accept/spots 2 vhf and (by_zone 14,15,16 or call_dxcc 61) 
238 #
239 # no filter no implies filter 1
240 #
241 # The field nos are the same as for the 'Old' filters
242 #
243
244
245 sub it
246 {
247         my $self = shift;
248         
249         my $filter;
250         my @keys = sort $self->getfilkeys;
251         my $key;
252         my $type = 'Dunno';
253         my $asc = '?';
254
255         my $r = @keys > 0 ? 0 : 1;
256         foreach $key (@keys) {
257                 $filter = $self->{$key};
258                 if ($filter->{reject} && exists $filter->{reject}->{code}) {
259                         $type = 'reject';
260                         $asc = $filter->{reject}->{user};
261                         if (&{$filter->{reject}->{code}}(ref $_[0] ? $_[0] : \@_)) {
262                                 $r = 0;
263                                 last;
264                         } else {
265                                 $r = 1;
266                         }               
267                 }
268                 if ($filter->{accept} && exists $filter->{accept}->{code}) {
269                         $type = 'accept';
270                         $asc = $filter->{accept}->{user};
271                         if (&{$filter->{accept}->{code}}(ref $_[0] ? $_[0] : \@_)) {
272                                 $r = 1;
273                                 last;
274                         } else {
275                                 $r = 0;
276                         }                       
277                 } 
278         }
279
280         # hops are done differently (simply) 
281         my $hops = $self->{hops} if exists $self->{hops};
282
283         if (isdbg('filter')) {
284                 my $call = $self->{name};
285                 my $args = join '\',\'', map {defined $_ ? $_ : 'undef'} (ref $_[0] ? @{$_[0]} : @_);
286                 my $true = $r ? "OK " : "REJ";
287                 my $sort = $self->{sort};
288                 my $dir = $self->{name} =~ /^in_/i ? "IN " : "OUT";
289
290                 $call =~ s/\.PL$//i;
291                 my $h = $hops || '';
292                 dbg("Filter: $call $true $dir: $type/$sort with '$asc' on '$args' $h") if isdbg('filter');
293         }
294         return ($r, $hops);
295 }
296
297 sub print
298 {
299         my $self = shift;
300         my $name = shift || $self->{name};
301         my $sort = shift || $self->{sort};
302         my $flag = shift || "";
303         my @out;
304         $name =~ s/.pl$//;
305         
306         push @out, join(' ',  $name , ':', $sort, $flag);
307         my $filter;
308         my $key;
309         foreach $key (sort $self->getfilkeys) {
310                 my $filter = $self->{$key};
311                 if (exists $filter->{reject} && exists $filter->{reject}->{user}) {
312                         push @out, ' ' . join(' ', $key, 'reject', $filter->{reject}->{user});
313                 }
314                 if (exists $filter->{accept} && exists $filter->{accept}->{user}) {
315                         push @out, ' ' . join(' ', $key, 'accept', $filter->{accept}->{user});
316                 } 
317         }
318         return @out;
319 }
320
321 sub install
322 {
323         my $self = shift;
324         my $remove = shift;
325         my $name = uc $self->{name};
326         my $sort = $self->{sort};
327         my $in = "";
328         $in = "in" if $name =~ s/^IN_//;
329         $name =~ s/.PL$//;
330                 
331         my $dxchan;
332         my @dxchan;
333         if ($name eq 'NODE_DEFAULT') {
334                 @dxchan = DXChannel::get_all_nodes();
335         } elsif ($name eq 'USER_DEFAULT') {
336                 @dxchan = DXChannel::get_all_users();
337         } else {
338                 $dxchan = DXChannel::get($name);
339                 push @dxchan, $dxchan if $dxchan;
340         }
341         foreach $dxchan (@dxchan) {
342                 my $n = "$in$sort" . "filter";
343                 my $i = $in ? 'IN_' : '';
344                 my $ref = $dxchan->$n();
345                 if (!$ref || ($ref && uc $ref->{name} eq "$i$name.PL")) {
346                         $dxchan->$n($remove ? undef : $self);
347                 }
348         }
349 }
350
351 sub delete
352 {
353         my ($sort, $call, $flag, $fno) = @_;
354         
355         # look for the file
356         my $fn = getfn($sort, $call, $flag);
357         my $filter = read_in($sort, $call, $flag);
358         if ($filter) {
359                 if ($fno eq 'all') {
360                         my $key;
361                         foreach $key ($filter->getfilkeys) {
362                                 delete $filter->{$key};
363                         }
364                 } elsif (exists $filter->{"filter$fno"}) {
365                         delete $filter->{"filter$fno"}; 
366                 }
367                 
368                 # get rid 
369                 if ($filter->{hops} || $filter->getfilkeys) {
370                         $filter->install;
371                         $filter->write;
372                 } else {
373                         $filter->install(1);
374                         unlink $fn;
375                 }
376         }
377 }
378
379
380
381 package Filter::Cmd;
382
383 use strict;
384 use DXVars;
385 use DXUtil;
386 use DXDebug;
387 use vars qw(@ISA);
388 @ISA = qw(Filter);
389
390 sub encode_regex
391 {
392         my $s = shift;
393         $s =~ s/\{(.*?)\}/'{'. unpack('H*', $1) . '}'/eg if $s;
394         return $s;
395 }
396
397 sub decode_regex
398 {
399         my $r = shift;
400         my ($v) = $r =~ /^\{(.*?)}$/;
401         return pack('H*', $v);
402 }
403
404
405 # the general purpose command processor
406 # this is called as a subroutine not as a method
407 sub parse
408 {
409         my ($self, $dxchan, $sort, $line, $forcenew) = @_;
410         my $ntoken = 0;
411         my $fno = 1;
412         my $filter;
413         my ($flag, $call);
414         my $s;
415         my $user = '';
416         
417         # check the line for non legal characters
418         dbg("Filter::parse line: '$line'") if isdbg('filter');
419         my @ch = $line =~ m|([^\s\w,_\.:\/\-\*\(\)\$!])|g;
420         return ('ill', $dxchan->msg('e19', join(' ', @ch))) if $line !~ /{.*}/ && @ch;
421
422         $line = lc $line;
423
424         # disguise regexes
425
426         dbg("Filter parse line after regex check: '$line'") if isdbg('filter');
427         $line = encode_regex($line);
428         
429         # add some spaces for ease of parsing
430         $line =~ s/([\(\!\)])/ $1 /g;
431         
432         my @f = split /\s+/, $line;
433         dbg("filter parse: tokens '" . join("' '", @f) . "'") if isdbg('filter');
434         
435         my $lasttok = '';
436         while (@f) {
437                 if ($ntoken == 0) {
438                         
439                         if (!$forcenew &&  @f && $dxchan->priv >= 8 && ((is_callsign(uc $f[0]) && DXUser::get(uc $f[0])) || $f[0] =~ /(?:node|user)_default/)) {
440                                 $call = shift @f;
441                                 if ($f[0] eq 'input') {
442                                         shift @f;
443                                         $flag++;
444                                 }
445                         } else {
446                                 $call = $dxchan->call;
447                         }
448
449                         if (@f && $f[0] =~ /^\d$/) {
450                                 $fno = shift @f;
451                         }
452
453                         $filter = Filter::read_in($sort, $call, $flag) unless $forcenew;
454                         $filter = Filter->new($sort, $call, $flag) if !$filter || $filter->isa('Filter::Old');
455                         
456                         $ntoken++;
457                         next;
458                 }
459
460                 # do the rest of the filter tokens
461                 if (@f) {
462                         my $tok = shift @f;
463
464                         dbg("filter::parse: tok '$tok'") if isdbg('filter');
465                         
466                         if ($tok eq 'all') {
467                                 $s .= '1';
468                                 $user .= $tok;
469                                 last;
470                         } elsif (grep $tok eq $_, qw{and or not ( )}) {
471                                 $s .= ' && ' if $tok eq 'and';
472                                 $s .= ' || ' if $tok eq 'or';
473                                 $s .= ' !' if $tok eq 'not';
474                                 $s .=  $tok if $tok eq '(' or $tok eq ')';
475                                 $user .= " $tok ";
476                                 next;
477                         } elsif ($tok eq '') {
478                                 next;
479                         }
480                         
481                         if (@f) {
482                                 my $val = shift @f;
483                                 my @val = split /,/, $val;
484
485                                 dbg("filter::parse: tok '$tok' val '$val'") if isdbg('filter');
486                                 $user .= " $tok $val";
487                                 
488                                 my $fref;
489                                 my $found;
490                                 foreach $fref (@$self) {
491                                         
492                                         if ($fref->[0] eq $tok) {
493                                                 if ($fref->[4]) {
494                                                         my @nval;
495                                                         for (@val) {
496                                                                 push @nval, split(',', &{$fref->[4]}($dxchan, $_));
497                                                         }
498                                                         @val = @nval;
499                                                 }
500                                                 if ($fref->[1] eq 'a' || $fref->[1] eq 't') {
501                                                         my @t;
502                                                         foreach my $v (@val) {
503                                                                 $v =~ s/\*//g;        # remove any trailing *
504                                                                 if (my ($r) = $v =~ /^\{(.*)\}$/) { # we have a regex
505                                                                         dbg("Filter::parse regex b: '\{$r\}'") if isdbg('filter'); 
506                                                                         $v = decode_regex($v);
507                                                                         dbg("Filter::parse regex a: '$v'") if isdbg('filter'); 
508                                                                         return  ('regex', $dxchan->msg('e38', $v)) unless (qr{$v});
509                                                                         push @t, "\$r->[$fref->[2]]=~m{$v}i";
510                                                                         $v = "{$r}"; # put it back together again for humans
511                                                                 } else {
512                                                                         push @t, "\$r->[$fref->[2]]=~m{$v}i";
513                                                                 }
514                                                         }
515                                                         $s .= "(" . join(' || ', @t) . ")";
516                                                         dbg("filter parse: s '$s'") if isdbg('filter');
517                                                 } elsif ($fref->[1] eq 'c') {
518                                                         my @t;
519                                                         for (@val) {
520                                                                 s/\*//g;
521                                                                 push @t, "\$r->[$fref->[2]]=~m{^\U$_}";
522                                                         }
523                                                         $s .= "(" . join(' || ', @t) . ")";
524                                                         dbg("filter parse: s '$s'") if isdbg('filter');
525                                                 } elsif ($fref->[1] eq 'n') {
526                                                         my @t;
527                                                         for (@val) {
528                                                                 return ('num', $dxchan->msg('e21', $_)) unless /^\d+$/;
529                                                                 push @t, "\$r->[$fref->[2]]==$_";
530                                                         }
531                                                         $s .= "(" . join(' || ', @t) . ")";
532                                                         dbg("filter parse: s '$s'") if isdbg('filter');
533                                                 } elsif ($fref->[1] =~ /^n[ciz]$/ ) {    # for DXCC, ITU, CQ Zone    
534                                                         my $cmd = $fref->[1];
535                                                         my @pre = Prefix::to_ciz($cmd, @val);
536                                                         return ('numpre', $dxchan->msg('e27', $_)) unless @pre;
537                                                         $s .= "(" . join(' || ', map {"\$r->[$fref->[2]]==$_"} @pre) . ")";
538                                                         dbg("filter parse: s '$s'") if isdbg('filter');
539                                                 } elsif ($fref->[1] =~ /^ns$/ ) {    # for DXCC, ITU, CQ Zone    
540                                                         my $cmd = $fref->[1];
541                                                         my @pre = Prefix::to_ciz($cmd, @val);
542                                                         return ('numpre', $dxchan->msg('e27', $_)) unless @pre;
543                                                         $s .= "(" . "!\$USDB::present || grep \$r->[$fref->[2]] eq \$_, qw(" . join(' ' ,map {uc} @pre) . "))";
544                                                         dbg("filter parse: s '$s'") if isdbg('filter');
545                                                 } elsif ($fref->[1] eq 'r') {
546                                                         my @t;
547                                                         for (@val) {
548                                                                 return ('range', $dxchan->msg('e23', $_)) unless /^(\d+)\/(\d+)$/;
549                                                                 push @t, "(\$r->[$fref->[2]]>=$1 && \$r->[$fref->[2]]<=$2)";
550                                                         }
551                                                         $s .= "(" . join(' || ', @t) . ")";
552                                                         dbg("filter parse: s '$s'") if isdbg('filter');
553                                                 } else {
554                                                         confess("invalid filter function $fref->[1]");
555                                                 }
556                                                 ++$found;
557                                                 last;
558                                         }
559                                 }
560                                 return (1, $dxchan->msg('e20', $lasttok)) unless $found;
561                         } else {
562                                 my $s = '{' . decode_regex($tok) . '}' if $tok =~ /^{.*}$/;
563                                 return (1, $dxchan->msg('filter2', $s));
564                         }
565                         $lasttok = $tok;
566                 }
567         }
568
569         # tidy up the user string (why I have to stick in an if statement when I have initialised it I have no idea! 5.28 bug?
570         if ($user) {
571                 $user =~ s/\)\s*\(/ and /g;
572                 $user =~ s/\&\&/ and /g;
573                 $user =~ s/\|\|/ or /g;
574                 $user =~ s/\!/ not /g;
575                 $user =~ s/\s+/ /g;
576                 $user =~ s/\{(.*?)\}/'{'. pack('H*', $1) . '}'/eg;
577                 $user =~ s/^\s+//;
578                 dbg("filter parse: user '$user'") if isdbg('filter');
579         }
580
581         if ($s) {
582                 $s =~ s/\)\s*\(/ && /g;
583                 dbg("filter parse: s '$s'") if isdbg('filter');
584         }
585
586         
587         return (0, $filter, $fno, $user, $s);
588 }
589
590 # a filter accept/reject command
591 sub cmd
592 {
593         my ($self, $dxchan, $sort, $type, $line) = @_;
594         return $dxchan->msg('filter5') unless $line;
595
596         my ($r, $filter, $fno, $user, $s) = $self->parse($dxchan, $sort, $line);
597         return (1, $filter) if $r;
598         
599         my $u = DXUser::get_current($user);
600         return (1, $dxchan->msg('isow', $user)) if $u && $u->isolate;
601
602         my $fn = "filter$fno";
603
604         $filter->{$fn} = {} unless exists $filter->{$fn};
605         $filter->{$fn}->{$type} = {} unless exists $filter->{$fn}->{$type};
606
607         $filter->{$fn}->{$type}->{user} = $user;
608         $filter->{$fn}->{$type}->{asc} = $s;
609         $r = $filter->compile($fn, $type);
610         return (1,$r) if $r;
611         
612         $r = $filter->write;
613         return (1,$r) if $r;
614
615         $filter->install(1);            # 'delete'
616         $filter->install;
617
618     return (0, $filter, $fno);
619 }
620
621 package Filter::Old;
622
623 use strict;
624 use DXVars;
625 use DXUtil;
626 use DXDebug;
627 use vars qw(@ISA);
628 @ISA = qw(Filter);
629
630 # the OLD instructions!
631 #
632 # Each filter file has the same structure:-
633 #
634 # <some comment>
635 # @in = (
636 #      [ action, fieldno, fieldsort, comparison, action data ],
637 #      ...
638 # );
639 #
640 # The action is usually 1 or 0 but could be any numeric value
641 #
642 # The fieldno is the field no in the list of fields that is presented
643 # to 'Filter::it' 
644 #
645 # The fieldsort is the type of field that we are dealing with which 
646 # currently can be 'a', 'n', 'r' or 'd'.
647 #    'a' is alphanumeric
648 #    'n' is# numeric
649 #    'r' is ranges of pairs of numeric values
650 #    'd' is default (effectively, don't filter)
651 #
652 # Filter::it basically goes thru the list of comparisons from top to
653 # bottom and when one matches it will return the action and the action data as a list. 
654 # The fields
655 # are the element nos of the list that is presented to Filter::it. Element
656 # 0 is the first field of the list.
657 #
658
659 #
660 # takes the reference to the filter (the first argument) and applies
661 # it to the subsequent arguments and returns the action specified.
662 #
663 sub it
664 {
665         my $self = shift;
666         my $filter = $self->{filter};            # this is now a bless ref of course but so what
667         
668         my ($action, $field, $fieldsort, $comp, $actiondata);
669         my $ref;
670
671         # default action is 1
672         $action = 1;
673         $actiondata = "";
674         return ($action, $actiondata) if !$filter;
675
676         for $ref (@{$filter}) {
677                 ($action, $field, $fieldsort, $comp, $actiondata) = @{$ref};
678                 if ($fieldsort eq 'n') {
679                         my $val = $_[$field];
680                         return ($action, $actiondata)  if grep $_ == $val, @{$comp};
681                 } elsif ($fieldsort eq 'r') {
682                         my $val = $_[$field];
683                         my $i;
684                         my @range = @{$comp};
685                         for ($i = 0; $i < @range; $i += 2) {
686                                 return ($action, $actiondata)  if $val >= $range[$i] && $val <= $range[$i+1];
687                         }
688                 } elsif ($fieldsort eq 'a') {
689                         return ($action, $actiondata)  if $_[$field] =~ m{$comp}i;
690                 } else {
691                         return ($action, $actiondata);      # the default action (just pass through)
692                 }
693         }
694 }
695
696 sub print
697 {
698         my $self = shift;
699         my $call = shift;
700         my $sort = shift;
701         my $flag = shift || "";
702         return "$call: Old Style Filter $flag $sort";
703 }
704
705 1;
706 __END__