perl/DXUser.pm

   1 #
   2 # DX cluster user routines
   3 #
   4 # Copyright (c) 1998 - Dirk Koopman G1TLH
   5 #
   6 #
   7 #
   8
   9 package DXUser;
  10
  11 use DXLog;
  12 use DB_File;
  13 use Data::Dumper;
  14 use Fcntl;
  15 use IO::File;
  16 use DXUtil;
  17 use LRU;
  18 use File::Copy;
  19 use JSON;
  20 use DXDebug;
  21 use Data::Structure::Util qw(unbless);
  22
  23
  24 use strict;
  25
  26 use vars qw(%u $dbm $filename %valid $lastoperinterval $lasttime $lru $lrusize $tooold $v3 $v4);
  27
  28 %u = ();
  29 $dbm = undef;
  30 $filename = undef;
  31 $lastoperinterval = 60*24*60*60;
  32 $lasttime = 0;
  33 $lrusize = 2000;
  34 $tooold = 86400 * 365;          # this marks an old user who hasn't given enough info to be useful
  35 $v3 = 0;
  36 $v4 = 0;
  37 my $json;
  38
  39 our $maxconnlist = 3;                   # remember this many connection time (duration) [start, end] pairs
  40
  41 # hash of valid elements and a simple prompt
  42 %valid = (
  43                   call => '0,Callsign',
  44                   alias => '0,Real Callsign',
  45                   name => '0,Name',
  46                   qth => '0,Home QTH',
  47                   lat => '0,Latitude,slat',
  48                   long => '0,Longitude,slong',
  49                   qra => '0,Locator',
  50                   email => '0,E-mail Address,parray',
  51                   priv => '9,Privilege Level',
  52                   lastin => '0,Last Time in,cldatetime',
  53                   passwd => '9,Password,yesno',
  54                   passphrase => '9,Pass Phrase,yesno',
  55                   addr => '0,Full Address',
  56                   'sort' => '0,Type of User', # A - ak1a, U - User, S - spider cluster, B - BBS
  57                   xpert => '0,Expert Status,yesno',
  58                   bbs => '0,Home BBS',
  59                   node => '0,Last Node',
  60                   homenode => '0,Home Node',
  61                   lockout => '9,Locked out?,yesno',     # won't let them in at all
  62                   dxok => '9,Accept DX Spots?,yesno', # accept his dx spots?
  63                   annok => '9,Accept Announces?,yesno', # accept his announces?
  64                   lang => '0,Language',
  65                   hmsgno => '0,Highest Msgno',
  66                   group => '0,Group,parray',    # used to create a group of users/nodes for some purpose or other
  67                   buddies => '0,Buddies,parray',
  68                   isolate => '9,Isolate network,yesno',
  69                   wantbeep => '0,Req Beep,yesno',
  70                   wantann => '0,Req Announce,yesno',
  71                   wantwwv => '0,Req WWV,yesno',
  72                   wantwcy => '0,Req WCY,yesno',
  73                   wantecho => '0,Req Echo,yesno',
  74                   wanttalk => '0,Req Talk,yesno',
  75                   wantwx => '0,Req WX,yesno',
  76                   wantdx => '0,Req DX Spots,yesno',
  77                   wantemail => '0,Req Msgs as Email,yesno',
  78                   pagelth => '0,Current Pagelth',
  79                   pingint => '9,Node Ping interval',
  80                   nopings => '9,Ping Obs Count',
  81                   wantlogininfo => '0,Login Info Req,yesno',
  82           wantgrid => '0,Show DX Grid,yesno',
  83                   wantann_talk => '0,Talklike Anns,yesno',
  84                   wantpc16 => '9,Want Users from node,yesno',
  85                   wantsendpc16 => '9,Send PC16,yesno',
  86                   wantroutepc19 => '9,Route PC19,yesno',
  87                   wantusstate => '0,Show US State,yesno',
  88                   wantdxcq => '0,Show CQ Zone,yesno',
  89                   wantdxitu => '0,Show ITU Zone,yesno',
  90                   wantgtk => '0,Want GTK interface,yesno',
  91                   wantpc9x => '0,Want PC9X interface,yesno',
  92                   lastoper => '9,Last for/oper,cldatetime',
  93                   nothere => '0,Not Here Text',
  94                   registered => '9,Registered?,yesno',
  95                   prompt => '0,Required Prompt',
  96                   version => '1,Version',
  97                   build => '1,Build',
  98                   believe => '1,Believable nodes,parray',
  99                   lastping => '1,Last Ping at,ptimelist',
 100                   maxconnect => '1,Max Connections',
 101                   startt => '0,Start Time,cldatetime',
 102                   connlist => '1,Connections,parraydifft',
 103                  );
 104
 105 #no strict;
 106 sub AUTOLOAD
 107 {
 108         no strict;
 109         my $name = $AUTOLOAD;
 110
 111         return if $name =~ /::DESTROY$/;
 112         $name =~ s/^.*:://o;
 113
 114         confess "Non-existant field '$AUTOLOAD'" if !$valid{$name};
 115         # this clever line of code creates a subroutine which takes over from autoload
 116         # from OO Perl - Conway
 117         *$AUTOLOAD = sub {@_ > 1 ? $_[0]->{$name} = $_[1] : $_[0]->{$name}};
 118        goto &$AUTOLOAD;
 119 }
 120
 121 #use strict;
 122
 123 #
 124 # initialise the system
 125 #
 126 sub init
 127 {
 128         my $mode = shift;
 129
 130         my $ufn;
 131         my $convert;
 132
 133         my $fn = "users";
 134
 135         if ($mode == 4 || -e localdata("users.v4")) {
 136                 $ufn = localdata("users.v4");
 137                 $v4 = 1;
 138                 $json = JSON->new();
 139                 $json->canonical(1);
 140         } else {
 141                 eval {
 142                         require Storable;
 143                 };
 144                 if ($@) {
 145                         $ufn = localdata("users.v2");
 146                         $v3 = $convert = 0;
 147                         dbg("the module Storable appears to be missing!!");
 148                         dbg("trying to continue in compatibility mode (this may fail)");
 149                         dbg("please install Storable from CPAN as soon as possible");
 150                 }
 151                 else {
 152                         import Storable qw(nfreeze thaw);
 153                         $ufn = localdata("users.v3");
 154                         $v3 = 1;
 155                         $convert++ if -e localdata("users.v2") && !-e $ufn;
 156                 }
 157         }
 158
 159         if ($mode) {
 160                 $dbm = tie (%u, 'DB_File', $ufn, O_CREAT|O_RDWR, 0666, $DB_BTREE) or confess "can't open user file: $fn ($!) [rebuild it from user_asc?]";
 161         } else {
 162                 $dbm = tie (%u, 'DB_File', $ufn, O_RDONLY, 0666, $DB_BTREE) or confess "can't open user file: $fn ($!) [rebuild it from user_asc?]";
 163         }
 164
 165         die "Cannot open $ufn ($!)\n" unless $dbm;
 166
 167         $lru = LRU->newbase("DXUser", $lrusize);
 168
 169         # do a conversion if required
 170         if ($dbm && $convert) {
 171                 my ($key, $val, $action, $count, $err) = ('','',0,0,0);
 172
 173                 my %oldu;
 174                 dbg("Converting the User File to V$convert ");
 175                 dbg("This will take a while, I suggest you go and have cup of strong tea");
 176                 my $odbm = tie (%oldu, 'DB_File', localdata("users.v2"), O_RDONLY, 0666, $DB_BTREE) or confess "can't open user file: $fn.v2 ($!) [rebuild it from user_asc?]";
 177         for ($action = R_FIRST; !$odbm->seq($key, $val, $action); $action = R_NEXT) {
 178                         my $ref;
 179                         eval { $ref = asc_decode($val) };
 180                         unless ($@) {
 181                                 if ($ref) {
 182                                         $ref->put;
 183                                         $count++;
 184                                 } else {
 185                                         $err++
 186                                 }
 187                         } else {
 188                                 Log('err', "DXUser: error decoding $@");
 189                         }
 190                 }
 191                 undef $odbm;
 192                 untie %oldu;
 193                 dbg("Conversion completed $count records $err errors");
 194         }
 195         $filename = $ufn;
 196 }
 197
 198 sub del_file
 199 {
 200         # with extreme prejudice
 201         if ($v3) {
 202                 unlink "$main::data/users.v3";
 203                 unlink "$main::local_data/users.v3";
 204         }
 205         if ($v4) {
 206                 unlink "$main::data/users.v4";
 207                 unlink "$main::local_data/users.v4";
 208         }
 209 }
 210
 211 #
 212 # periodic processing
 213 #
 214 sub process
 215 {
 216         if ($main::systime > $lasttime + 15) {
 217                 $dbm->sync if $dbm;
 218                 $lasttime = $main::systime;
 219         }
 220 }
 221
 222 #
 223 # close the system
 224 #
 225
 226 sub finish
 227 {
 228         undef $dbm;
 229         untie %u;
 230 }
 231
 232 #
 233 # new - create a new user
 234 #
 235
 236 sub alloc
 237 {
 238         my $pkg = shift;
 239         my $call = uc shift;
 240         my $self = bless {call => $call, 'sort'=>'U'}, $pkg;
 241         return $self;
 242 }
 243
 244 sub new
 245 {
 246         my $pkg = shift;
 247         my $call = shift;
 248         #  $call =~ s/-\d+$//o;
 249
 250 #       confess "can't create existing call $call in User\n!" if $u{$call};
 251
 252         my $self = $pkg->alloc($call);
 253         $self->put;
 254         return $self;
 255 }
 256
 257 #
 258 # get - get an existing user - this seems to return a different reference everytime it is
 259 #       called - see below
 260 #
 261
 262 sub get
 263 {
 264         my $call = uc shift;
 265         my $data;
 266
 267         # is it in the LRU cache?
 268         my $ref = $lru->get($call);
 269         return $ref if $ref && ref $ref eq 'DXUser';
 270
 271         # search for it
 272         unless ($dbm->get($call, $data)) {
 273                 eval { $ref = decode($data); };
 274
 275                 if ($ref) {
 276                         if (!UNIVERSAL::isa($ref, 'DXUser')) {
 277                                 dbg("DXUser::get: got strange answer from decode of $call". ref $ref. " ignoring");
 278                                 return undef;
 279                         }
 280                         # we have a reference and it *is* a DXUser
 281                 } else {
 282                         if ($@) {
 283                                 LogDbg('err', "DXUser::get decode error on $call '$@'");
 284                         } else {
 285                                 dbg("DXUser::get: no reference returned from decode of $call $!");
 286                         }
 287                         return undef;
 288                 }
 289                 $lru->put($call, $ref);
 290                 return $ref;
 291         }
 292         return undef;
 293 }
 294
 295 #
 296 # get an existing either from the channel (if there is one) or from the database
 297 #
 298 # It is important to note that if you have done a get (for the channel say) and you
 299 # want access or modify that you must use this call (and you must NOT use get's all
 300 # over the place willy nilly!)
 301 #
 302
 303 sub get_current
 304 {
 305         my $call = uc shift;
 306
 307         my $dxchan = DXChannel::get($call);
 308         if ($dxchan) {
 309                 my $ref = $dxchan->user;
 310                 return $ref if $ref && UNIVERSAL::isa($ref, 'DXUser');
 311
 312                 dbg("DXUser::get_current: got invalid user ref for $call from dxchan $dxchan->{call} ". ref $ref. " ignoring");
 313         }
 314         return get($call);
 315 }
 316
 317 #
 318 # get all callsigns in the database
 319 #
 320
 321 sub get_all_calls
 322 {
 323         return (sort keys %u);
 324 }
 325
 326 #
 327 # put - put a user
 328 #
 329
 330 sub put
 331 {
 332         my $self = shift;
 333         confess "Trying to put nothing!" unless $self && ref $self;
 334         my $call = $self->{call};
 335
 336         $dbm->del($call);
 337         delete $self->{annok} if $self->{annok};
 338         delete $self->{dxok} if $self->{dxok};
 339
 340         $lru->put($call, $self);
 341         my $ref = $self->encode;
 342         $dbm->put($call, $ref);
 343 }
 344
 345 # freeze the user
 346 sub encode
 347 {
 348         goto &json_encode if $v4;
 349         goto &asc_encode unless $v3;
 350         my $self = shift;
 351         return nfreeze($self);
 352 }
 353
 354 # thaw the user
 355 sub decode
 356 {
 357         goto &json_decode if $v4;
 358         goto &asc_decode unless $v3;
 359         my $ref;
 360         $ref = thaw(shift);
 361         return $ref;
 362 }
 363
 364 #
 365 # create a string from a user reference (in_ascii)
 366 #
 367 sub asc_encode
 368 {
 369         my $self = shift;
 370         my $strip = shift;
 371         my $p;
 372
 373         if ($strip) {
 374                 my $ref = bless {}, ref $self;
 375                 foreach my $k (qw(qth lat long qra sort call homenode node lastoper lastin)) {
 376                         $ref->{$k} = $self->{$k} if exists $self->{$k};
 377                 }
 378                 $ref->{name} = $self->{name} if exists $self->{name} && $self->{name} !~ /selfspot/i;
 379                 $p = dd($ref);
 380         } else {
 381                 $p = dd($self);
 382         }
 383         return $p;
 384 }
 385
 386 #
 387 # create a hash from a string (in ascii)
 388 #
 389 sub asc_decode
 390 {
 391         my $s = shift;
 392         my $ref;
 393         $s =~ s/\%([0-9A-F][0-9A-F])/chr(hex($1))/eg;
 394         eval '$ref = ' . $s;
 395         if ($@) {
 396                 LogDbg('err', "DXUser::asc_decode: on '$s' $@");
 397                 $ref = undef;
 398         }
 399         return $ref;
 400 }
 401
 402 sub json_decode
 403 {
 404         my $s = shift;
 405     my $ref;
 406         eval { $ref = $json->decode($s) };
 407         if ($ref && !$@) {
 408         return bless $ref, 'DXUser';
 409         } else {
 410                 LogDbg('err', "DXUser::json_decode: on '$s' $@");
 411         }
 412         return undef;
 413 }
 414
 415 sub json_encode
 416 {
 417         my $ref = shift;
 418         unbless($ref);
 419     my $s = $json->encode($ref);
 420         bless $ref, 'DXUser';
 421         return $s;
 422 }
 423
 424 #
 425 # del - delete a user
 426 #
 427
 428 sub del
 429 {
 430         my $self = shift;
 431         my $call = $self->{call};
 432         $lru->remove($call);
 433         $dbm->del($call);
 434 }
 435
 436 #
 437 # close - close down a user
 438 #
 439
 440 sub close
 441 {
 442         my $self = shift;
 443         my $startt = shift;
 444         my $ip = shift;
 445         $self->{lastin} = $main::systime;
 446         # add a record to the connect list
 447         my $ref = [$startt || $self->{startt}, $main::systime];
 448         push @$ref, $ip if $ip;
 449         push @{$self->{connlist}}, $ref;
 450         shift @{$self->{connlist}} if @{$self->{connlist}} > $maxconnlist;
 451         $self->put();
 452 }
 453
 454 #
 455 # sync the database
 456 #
 457
 458 sub sync
 459 {
 460         $dbm->sync;
 461 }
 462
 463 #
 464 # return a list of valid elements
 465 #
 466
 467 sub fields
 468 {
 469         return keys(%valid);
 470 }
 471
 472
 473 #
 474 # export the database to an ascii file
 475 #
 476
 477 sub export
 478 {
 479         my $name = shift || 'user_asc';
 480         my $basic_info_only = shift;
 481
 482         my $fn = $name ne 'user_asc' ? $name : "$main::local_data/$name";                       # force use of local
 483
 484         # save old ones
 485         move "$fn.oooo", "$fn.ooooo" if -e "$fn.oooo";
 486         move "$fn.ooo", "$fn.oooo" if -e "$fn.ooo";
 487         move "$fn.oo", "$fn.ooo" if -e "$fn.oo";
 488         move "$fn.o", "$fn.oo" if -e "$fn.o";
 489         move "$fn", "$fn.o" if -e "$fn";
 490
 491         my $count = 0;
 492         my $err = 0;
 493         my $del = 0;
 494         my $fh = new IO::File ">$fn" or return "cannot open $fn ($!)";
 495         if ($fh) {
 496                 my $key = 0;
 497                 my $val = undef;
 498                 my $action;
 499                 my $t = scalar localtime;
 500                 print $fh q{#!/usr/bin/perl
 501 #
 502 # The exported userfile for a DXSpider System
 503 #
 504 # Input file: $filename
 505 #       Time: $t
 506 #
 507
 508 package main;
 509
 510 # search local then perl directories
 511 BEGIN {
 512         umask 002;
 513
 514         # root of directory tree for this system
 515         $root = "/spider";
 516         $root = $ENV{'DXSPIDER_ROOT'} if $ENV{'DXSPIDER_ROOT'};
 517
 518         unshift @INC, "$root/perl";     # this IS the right way round!
 519         unshift @INC, "$root/local";
 520
 521         # try to detect a lockfile (this isn't atomic but
 522         # should do for now
 523         $lockfn = "$root/local_data/cluster.lck";       # lock file name
 524         if (-e $lockfn) {
 525                 open(CLLOCK, "$lockfn") or die "Can't open Lockfile ($lockfn) $!";
 526                 my $pid = <CLLOCK>;
 527                 chomp $pid;
 528                 die "Lockfile ($lockfn) and process $pid exists - cluster must be stopped first\n" if kill 0, $pid;
 529                 close CLLOCK;
 530         }
 531 }
 532
 533 use SysVar;
 534 use DXUser;
 535
 536 if (@ARGV) {
 537         $main::userfn = shift @ARGV;
 538         print "user filename now $userfn\n";
 539 }
 540
 541 package DXUser;
 542
 543 del_file();
 544 init(1);
 545 %u = ();
 546 my $count = 0;
 547 my $err = 0;
 548 while (<DATA>) {
 549         chomp;
 550         my @f = split /\t/;
 551         my $ref = asc_decode($f[1]);
 552         if ($ref) {
 553                 $ref->put();
 554                 $count++;
 555         DXUser::sync() unless $count % 10000;
 556         } else {
 557                 print "# Error: $f[0]\t$f[1]\n";
 558                 $err++
 559         }
 560 }
 561 DXUser::sync(); DXUser::finish();
 562 print "There are $count user records and $err errors\n";
 563 };
 564                 print $fh "__DATA__\n";
 565
 566         for ($action = R_FIRST; !$dbm->seq($key, $val, $action); $action = R_NEXT) {
 567                         if (!is_callsign($key) || $key =~ /^0/) {
 568                                 my $eval = $val;
 569                                 my $ekey = $key;
 570                                 $eval =~ s/([\%\x00-\x1f\x7f-\xff])/sprintf("%%%02X", ord($1))/eg;
 571                                 $ekey =~ s/([\%\x00-\x1f\x7f-\xff])/sprintf("%%%02X", ord($1))/eg;
 572                                 LogDbg('DXCommand', "Export Error1: $ekey\t$eval");
 573                                 eval {$dbm->del($key)};
 574                                 dbg(carp("Export Error1: $ekey\t$eval\n$@")) if $@;
 575                                 ++$err;
 576                                 next;
 577                         }
 578                         my $ref;
 579                         eval {$ref = decode($val); };
 580                         if ($ref) {
 581                                 my $t = $ref->{lastin} || 0;
 582                                 if ($ref->is_user && !$ref->{priv} && $main::systime > $t + $tooold) {
 583                                         unless ($ref->{lat} && $ref->{long} || $ref->{qth} || $ref->{qra}) {
 584                                                 eval {$dbm->del($key)};
 585                                                 dbg(carp("Export Error2: $key\t$val\n$@")) if $@;
 586                                                 LogDbg('DXCommand', "$ref->{call} deleted, too old");
 587                                                 $del++;
 588                                                 next;
 589                                         }
 590                                 }
 591                                 # only store users that are reasonably active or have useful information
 592                                 print $fh "$key\t" . $ref->asc_encode($basic_info_only) . "\n";
 593                                 ++$count;
 594                         } else {
 595                                 LogDbg('DXCommand', "Export Error3: $key\t" . carp($val) ."\n$@");
 596                                 eval {$dbm->del($key)};
 597                                 dbg(carp("Export Error3: $key\t$val\n$@")) if $@;
 598                                 ++$err;
 599                         }
 600                 }
 601         $fh->close;
 602     }
 603         my $s = qq{Exported users to $fn - $count Users $del Deleted $err Errors ('sh/log Export' for details)};
 604         LogDbg('command', $s);
 605         return $s;
 606 }
 607
 608 sub export_json
 609 {
 610         my $name = shift || 'user_json';
 611         my $basic_info_only = shift;
 612
 613         my $fn = $name ne 'user_json' ? $name : "$main::local_data/$name";                       # force use of local
 614
 615         # save old ones
 616         move "$fn.oooo", "$fn.ooooo" if -e "$fn.oooo";
 617         move "$fn.ooo", "$fn.oooo" if -e "$fn.ooo";
 618         move "$fn.oo", "$fn.ooo" if -e "$fn.oo";
 619         move "$fn.o", "$fn.oo" if -e "$fn.o";
 620         move "$fn", "$fn.o" if -e "$fn";
 621
 622         my $json = JSON->new;
 623         $json->canonical(1);
 624         $json->allow_blessed(1);
 625
 626         my $count = 0;
 627         my $err = 0;
 628         my $del = 0;
 629         my $fh = new IO::File ">$fn" or return "cannot open $fn ($!)";
 630         if ($fh) {
 631                 my $key = 0;
 632                 my $val = undef;
 633                 my $action;
 634                 my $t = scalar localtime;
 635                 print $fh q{#!/usr/bin/perl
 636 #
 637 # The exported userfile for a DXSpider System
 638 #
 639 # Input file: $filename
 640 #       Time: $t
 641 #
 642
 643 package main;
 644
 645 # search local then perl directories
 646 BEGIN {
 647         umask 002;
 648
 649         # root of directory tree for this system
 650         $root = "/spider";
 651         $root = $ENV{'DXSPIDER_ROOT'} if $ENV{'DXSPIDER_ROOT'};
 652
 653         unshift @INC, "$root/perl";     # this IS the right way round!
 654         unshift @INC, "$root/local";
 655
 656         # try to detect a lockfile (this isn't atomic but
 657         # should do for now
 658         $lockfn = "$root/local_data/cluster.lck";       # lock file name
 659         if (-e $lockfn) {
 660                 open(CLLOCK, "$lockfn") or die "Can't open Lockfile ($lockfn) $!";
 661                 my $pid = <CLLOCK>;
 662                 chomp $pid;
 663                 die "Lockfile ($lockfn) and process $pid exists - cluster must be stopped first\n" if kill 0, $pid;
 664                 close CLLOCK;
 665         }
 666 }
 667
 668 use SysVar;
 669 use DXUser;
 670
 671 if (@ARGV) {
 672         $main::userfn = shift @ARGV;
 673         print "user filename now $userfn\n";
 674 }
 675
 676 package DXUser;
 677
 678 use JSON;
 679 my $json = JSON->new;
 680
 681 del_file();
 682 init(4);
 683 %u = ();
 684 my $count = 0;
 685 my $err = 0;
 686 while (<DATA>) {
 687         chomp;
 688         my @f = split /\t/;
 689         my $ref;
 690     eval { $ref = $json->decode($f[1]); };
 691         if ($ref && !$@) {
 692         $ref = bless $ref, 'DXUser';
 693                 $ref->put();
 694                 $count++;
 695         DXUser::sync() unless $count % 10000;
 696         } else {
 697                 print "# Error: $f[0]\t$f[1]\n";
 698                 $err++
 699         }
 700 }
 701 DXUser::sync(); DXUser::finish();
 702 print "There are $count user records and $err errors\n";
 703 };
 704                 print $fh "__DATA__\n";
 705
 706         for ($action = R_FIRST; !$dbm->seq($key, $val, $action); $action = R_NEXT) {
 707                         if (!is_callsign($key) || $key =~ /^0/) {
 708                                 my $eval = $val;
 709                                 my $ekey = $key;
 710                                 $eval =~ s/([\%\x00-\x1f\x7f-\xff])/sprintf("%%%02X", ord($1))/eg;
 711                                 $ekey =~ s/([\%\x00-\x1f\x7f-\xff])/sprintf("%%%02X", ord($1))/eg;
 712                                 LogDbg('DXCommand', "Export Error1: $ekey\t$eval");
 713                                 eval {$dbm->del($key)};
 714                                 dbg(carp("Export Error1: $ekey\t$eval\n$@")) if $@;
 715                                 ++$err;
 716                                 next;
 717                         }
 718                         my $ref;
 719                         eval {$ref = decode($val); };
 720                         if ($ref) {
 721                                 my $t = $ref->{lastin} || 0;
 722                                 if ($ref->is_user && !$ref->{priv} && $main::systime > $t + $tooold) {
 723                                         unless ($ref->{lat} && $ref->{long} || $ref->{qth} || $ref->{qra}) {
 724                                                 eval {$dbm->del($key)};
 725                                                 dbg(carp("Export Error2: $key\t$val\n$@")) if $@;
 726                                                 LogDbg('DXCommand', "$ref->{call} deleted, too old");
 727                                                 $del++;
 728                                                 next;
 729                                         }
 730                                 }
 731                                 # only store users that are reasonably active or have useful information
 732                                 unbless($ref);
 733                                 print $fh "$key\t" . $json->encode($ref) . "\n";
 734                                 ++$count;
 735                         } else {
 736                                 LogDbg('DXCommand', "Export Error3: $key\t" . carp($val) ."\n$@");
 737                                 eval {$dbm->del($key)};
 738                                 dbg(carp("Export Error3: $key\t$val\n$@")) if $@;
 739                                 ++$err;
 740                         }
 741                 }
 742         $fh->close;
 743     }
 744         my $s = qq{Exported users to $fn - $count Users $del Deleted $err Errors ('sh/log Export' for details)};
 745         LogDbg('command', $s);
 746         return $s;
 747 }
 748
 749 #
 750 # group handling
 751 #
 752
 753 # add one or more groups
 754 sub add_group
 755 {
 756         my $self = shift;
 757         my $ref = $self->{group} || [ 'local' ];
 758         $self->{group} = $ref if !$self->{group};
 759         push @$ref, @_ if @_;
 760 }
 761
 762 # remove one or more groups
 763 sub del_group
 764 {
 765         my $self = shift;
 766         my $ref = $self->{group} || [ 'local' ];
 767         my @in = @_;
 768
 769         $self->{group} = $ref if !$self->{group};
 770
 771         @$ref = map { my $a = $_; return (grep { $_ eq $a } @in) ? () : $a } @$ref;
 772 }
 773
 774 # does this thing contain all the groups listed?
 775 sub union
 776 {
 777         my $self = shift;
 778         my $ref = $self->{group};
 779         my $n;
 780
 781         return 0 if !$ref || @_ == 0;
 782         return 1 if @$ref == 0 && @_ == 0;
 783         for ($n = 0; $n < @_; ) {
 784                 for (@$ref) {
 785                         my $a = $_;
 786                         $n++ if grep $_ eq $a, @_;
 787                 }
 788         }
 789         return $n >= @_;
 790 }
 791
 792 # simplified group test just for one group
 793 sub in_group
 794 {
 795         my $self = shift;
 796         my $s = shift;
 797         my $ref = $self->{group};
 798
 799         return 0 if !$ref;
 800         return grep $_ eq $s, $ref;
 801 }
 802
 803 # set up a default group (only happens for them's that connect direct)
 804 sub new_group
 805 {
 806         my $self = shift;
 807         $self->{group} = [ 'local' ];
 808 }
 809
 810 # set up empty buddies (only happens for them's that connect direct)
 811 sub new_buddies
 812 {
 813         my $self = shift;
 814         $self->{buddies} = [  ];
 815 }
 816
 817 #
 818 # return a prompt for a field
 819 #
 820
 821 sub field_prompt
 822 {
 823         my ($self, $ele) = @_;
 824         return $valid{$ele};
 825 }
 826
 827 # some variable accessors
 828 sub sort
 829 {
 830         my $self = shift;
 831         @_ ? $self->{'sort'} = shift : $self->{'sort'} ;
 832 }
 833
 834 # some accessors
 835
 836 # want is default = 1
 837 sub _want
 838 {
 839         my $n = shift;
 840         my $self = shift;
 841         my $val = shift;
 842         my $s = "want$n";
 843         $self->{$s} = $val if defined $val;
 844         return exists $self->{$s} ? $self->{$s} : 1;
 845 }
 846
 847 # wantnot is default = 0
 848 sub _wantnot
 849 {
 850         my $n = shift;
 851         my $self = shift;
 852         my $val = shift;
 853         my $s = "want$n";
 854         $self->{$s} = $val if defined $val;
 855         return exists $self->{$s} ? $self->{$s} : 0;
 856 }
 857
 858 sub wantbeep
 859 {
 860         return _want('beep', @_);
 861 }
 862
 863 sub wantann
 864 {
 865         return _want('ann', @_);
 866 }
 867
 868 sub wantwwv
 869 {
 870         return _want('wwv', @_);
 871 }
 872
 873 sub wantwcy
 874 {
 875         return _want('wcy', @_);
 876 }
 877
 878 sub wantecho
 879 {
 880         return _want('echo', @_);
 881 }
 882
 883 sub wantwx
 884 {
 885         return _want('wx', @_);
 886 }
 887
 888 sub wantdx
 889 {
 890         return _want('dx', @_);
 891 }
 892
 893 sub wanttalk
 894 {
 895         return _want('talk', @_);
 896 }
 897
 898 sub wantgrid
 899 {
 900         return _want('grid', @_);
 901 }
 902
 903 sub wantemail
 904 {
 905         return _want('email', @_);
 906 }
 907
 908 sub wantann_talk
 909 {
 910         return _want('ann_talk', @_);
 911 }
 912
 913 sub wantpc16
 914 {
 915         return _want('pc16', @_);
 916 }
 917
 918 sub wantsendpc16
 919 {
 920         return _want('sendpc16', @_);
 921 }
 922
 923 sub wantroutepc16
 924 {
 925         return _want('routepc16', @_);
 926 }
 927
 928 sub wantusstate
 929 {
 930         return _want('usstate', @_);
 931 }
 932
 933 sub wantdxcq
 934 {
 935         return _want('dxcq', @_);
 936 }
 937
 938 sub wantdxitu
 939 {
 940         return _want('dxitu', @_);
 941 }
 942
 943 sub wantgtk
 944 {
 945         return _want('gtk', @_);
 946 }
 947
 948 sub wantpc9x
 949 {
 950         return _want('pc9x', @_);
 951 }
 952
 953 sub wantlogininfo
 954 {
 955         my $self = shift;
 956         my $val = shift;
 957         $self->{wantlogininfo} = $val if defined $val;
 958         return $self->{wantlogininfo};
 959 }
 960
 961 sub is_node
 962 {
 963         my $self = shift;
 964         return $self->{sort} =~ /^[ACRSX]$/;
 965 }
 966
 967 sub is_local_node
 968 {
 969         my $self = shift;
 970         return grep $_ eq 'local_node', @{$self->{group}};
 971 }
 972
 973 sub is_user
 974 {
 975         my $self = shift;
 976         return $self->{sort} =~ /^[UW]$/;
 977 }
 978
 979 sub is_web
 980 {
 981         my $self = shift;
 982         return $self->{sort} eq 'W';
 983 }
 984
 985 sub is_bbs
 986 {
 987         my $self = shift;
 988         return $self->{sort} eq 'B';
 989 }
 990
 991 sub is_spider
 992 {
 993         my $self = shift;
 994         return $self->{sort} eq 'S';
 995 }
 996
 997 sub is_clx
 998 {
 999         my $self = shift;
1000         return $self->{sort} eq 'C';
1001 }
1002
1003 sub is_dxnet
1004 {
1005         my $self = shift;
1006         return $self->{sort} eq 'X';
1007 }
1008
1009 sub is_arcluster
1010 {
1011         my $self = shift;
1012         return $self->{sort} eq 'R';
1013 }
1014
1015 sub is_ak1a
1016 {
1017         my $self = shift;
1018         return $self->{sort} eq 'A';
1019 }
1020
1021 sub unset_passwd
1022 {
1023         my $self = shift;
1024         delete $self->{passwd};
1025 }
1026
1027 sub unset_passphrase
1028 {
1029         my $self = shift;
1030         delete $self->{passphrase};
1031 }
1032
1033 sub set_believe
1034 {
1035         my $self = shift;
1036         my $call = uc shift;
1037         $self->{believe} ||= [];
1038         push @{$self->{believe}}, $call unless grep $_ eq $call, @{$self->{believe}};
1039 }
1040
1041 sub unset_believe
1042 {
1043         my $self = shift;
1044         my $call = uc shift;
1045         if (exists $self->{believe}) {
1046                 $self->{believe} = [grep {$_ ne $call} @{$self->{believe}}];
1047                 delete $self->{believe} unless @{$self->{believe}};
1048         }
1049 }
1050
1051 sub believe
1052 {
1053         my $self = shift;
1054         return exists $self->{believe} ? @{$self->{believe}} : ();
1055 }
1056
1057 sub lastping
1058 {
1059         my $self = shift;
1060         my $call = shift;
1061         $self->{lastping} ||= {};
1062         $self->{lastping} = {} unless ref $self->{lastping};
1063         my $b = $self->{lastping};
1064         $b->{$call} = shift if @_;
1065         return $b->{$call};
1066 }
1067 1;
1068 __END__
1069
1070
1071
1072
1073