start of mojo conversion
[spider.git] / perl / Msg.pm
index 1099ba8804f881106e918c699798a3b233810868..d62cb744034377f54592a3a7233571f9e88f842d 100644 (file)
@@ -5,34 +5,29 @@
 #
 # I have modified it to suit my devious purposes (Dirk Koopman G1TLH)
 #
-# $Id$
+#
 #
 
 package Msg;
 
 use strict;
-use IO::Select;
-use IO::Socket;
-#use DXDebug;
 
-use vars qw(%rd_callbacks %wt_callbacks $rd_handles $wt_handles $now @timerchain);
+use DXUtil;
+
+use Mojo::IOLoop;
+use Mojo::IOLoop::Stream;
+
+use DXDebug;
+use Timer;
+
+use vars qw($now %conns $noconns $cnum $total_in $total_out);
+
+$total_in = $total_out = 0;
 
-%rd_callbacks = ();
-%wt_callbacks = ();
-$rd_handles   = IO::Select->new();
-$wt_handles   = IO::Select->new();
 $now = time;
-@timerchain = ();
 
-my $blocking_supported = 0;
+$cnum = 0;
 
-BEGIN {
-    # Checks if blocking is supported
-    eval {
-        require POSIX; POSIX->import(qw (F_SETFL O_NONBLOCK EAGAIN));
-    };
-    $blocking_supported = 1 unless $@;
-}
 
 #
 #-----------------------------------------------------------------
@@ -51,183 +46,290 @@ sub new
                state => 0,
                lineend => "\r\n",
                csort => 'telnet',
+               timeval => 60,
+               blocking => 0,
+               cnum => (($cnum < 999) ? (++$cnum) : ($cnum = 1)),
     };
 
+       $noconns++;
+       
+       dbg("$class Connection created (total $noconns)") if isdbg('connll');
        return bless $conn, $class;
 }
 
+sub set_error
+{
+       my $conn = shift;
+       my $callback = shift;
+       $conn->{sock}->on(error => sub {my ($stream, $err) = @_; $callback->($conn, $err);});
+}
+
+sub set_on_eof
+{
+       my $conn = shift;
+       my $callback = shift;
+       $conn->{sock}->on(close => sub {$callback->($conn);});
+}
+
+sub set_rproc
+{
+       my $conn = shift;
+       my $callback = shift;
+       $conn->{rproc} = $callback;
+}
+
+# save it
+sub conns
+{
+       my $pkg = shift;
+       my $call = shift;
+       my $ref;
+       
+       if (ref $pkg) {
+               $call = $pkg->{call} unless $call;
+               return undef unless $call;
+               dbg((ref $pkg) . " changing $pkg->{call} to $call") if isdbg('connll') && exists $pkg->{call} && $call ne $pkg->{call};
+               delete $conns{$pkg->{call}} if exists $pkg->{call} && exists $conns{$pkg->{call}} && $pkg->{call} ne $call; 
+               $pkg->{call} = $call;
+               $ref = $conns{$call} = $pkg;
+               dbg((ref $pkg) . " Connection $pkg->{cnum} $call stored") if isdbg('connll');
+       } else {
+               $ref = $conns{$call};
+       }
+       return $ref;
+}
+
+# this is only called by any dependent processes going away unexpectedly
+sub pid_gone
+{
+       my ($pkg, $pid) = @_;
+       
+       my @pid = grep {$_->{pid} == $pid} values %conns;
+       foreach my $p (@pid) {
+               &{$p->{eproc}}($p, "$pid has gorn") if exists $p->{eproc};
+               $p->disconnect;
+       }
+}
+
+sub ax25
+{
+       my $conn = shift;
+       return $conn->{csort} eq 'ax25';
+}
+
+sub peerhost
+{
+       my $conn = shift;
+       $conn->{peerhost} ||= 'ax25' if $conn->ax25;
+       $conn->{peerhost} ||= $conn->{sock}->handle->peerhost if $conn->{sock};
+       $conn->{peerhost} ||= 'UNKNOWN';
+       return $conn->{peerhost};
+}
+
 #-----------------------------------------------------------------
 # Send side routines
 sub connect {
     my ($pkg, $to_host, $to_port, $rproc) = @_;
 
-    # Create a new internet socket
-    my $sock = IO::Socket::INET->new (
-                                      PeerAddr => $to_host,
-                                      PeerPort => $to_port,
-                                      Proto    => 'tcp',
-                                      Reuse    => 1);
-
-    return undef unless $sock;
-
     # Create a connection end-point object
     my $conn = $pkg;
        unless (ref $pkg) {
                $conn = $pkg->new($rproc);
        }
-       $conn->{sock} = $sock;
-    
+       $conn->{peerhost} = $to_host;
+       $conn->{peerport} = $to_port;
+       $conn->{sort} = 'Outgoing';
+
+       dbg((ref $conn) . " connecting $conn->{cnum} to $to_host:$to_port") if isdbg('connll');
+       
+       my $sock;
+       $conn->{sock} = $sock = Mojo::IOLoop::Client->new;
+       $sock->on(connect => sub { dbg((ref $conn) . " connected $conn->{cnum} to $to_host:$to_port") if isdbg('connll');}, 
+                         error => {$conn->disconnect},
+                         close => {$conn->disconnect});
+       
+       $sock->connect(address => $to_host, port => $to_port);
+       
+       dbg((ref $conn) . " connected $conn->{cnum} to $to_host:$to_port") if isdbg('connll');
+
     if ($conn->{rproc}) {
-        my $callback = sub {_rcv($conn)};
-        set_event_handler ($sock, "read" => $callback);
+               $sock->on(read => sub {my ($stream, $msg) = @_; $conn->_rcv($msg);} );
     }
     return $conn;
 }
 
-sub disconnect {
+sub start_program
+{
+       my ($conn, $line, $sort) = @_;
+       my $pid;
+       
+#      local $^F = 10000;              # make sure it ain't closed on exec
+#      my ($a, $b) = $io_socket->socketpair(AF_UNIX, SOCK_STREAM, PF_UNSPEC);
+#      if ($a && $b) {
+#              $a->autoflush(1);
+#              $b->autoflush(1);
+#              $pid = fork;
+#              if (defined $pid) {
+#                      if ($pid) {
+#                              close $b;
+#                              $conn->{sock} = $a;
+#                              $conn->{csort} = $sort;
+#                              $conn->{lineend} = "\cM" if $sort eq 'ax25';
+#                              $conn->{pid} = $pid;
+#                              if ($conn->{rproc}) {
+#                                      my $callback = sub {$conn->_rcv};
+#                                      Msg::set_event_handler ($a, read => $callback);
+#                              }
+#                              dbg("connect $conn->{cnum}: started pid: $conn->{pid} as $line") if isdbg('connect');
+#                      } else {
+#                              $^W = 0;
+#                              dbgclose();
+#                              STDIN->close;
+#                              STDOUT->close;
+#                              STDOUT->close;
+#                              *STDIN = IO::File->new_from_fd($b, 'r') or die;
+#                              *STDOUT = IO::File->new_from_fd($b, 'w') or die;
+#                              *STDERR = IO::File->new_from_fd($b, 'w') or die;
+#                              close $a;
+#                              unless ($main::is_win) {
+#                                      #                                               $SIG{HUP} = 'IGNORE';
+#                                      $SIG{HUP} = $SIG{CHLD} = $SIG{TERM} = $SIG{INT} = 'DEFAULT';
+#                                      alarm(0);
+#                              }
+#                              exec "$line" or dbg("exec '$line' failed $!");
+#                      } 
+#              } else {
+#                      dbg("cannot fork for $line");
+#              }
+#      } else {
+#              dbg("no socket pair $! for $line");
+#      }
+       return $pid;
+}
+
+sub disconnect 
+{
     my $conn = shift;
+       return if exists $conn->{disconnecting};
+
+       $conn->{disconnecting} = 1;
     my $sock = delete $conn->{sock};
        $conn->{state} = 'E';
-       delete $conn->{cmd};
-       $conn->{timeout}->del_timer if $conn->{timeout};
-       return unless defined($sock);
-    set_event_handler ($sock, "read" => undef, "write" => undef);
-    shutdown($sock, 3);
-       close($sock);
+       $conn->{timeout}->del if $conn->{timeout};
+
+       # be careful to delete the correct one
+       my $call;
+       if ($call = $conn->{call}) {
+               my $ref = $conns{$call};
+               delete $conns{$call} if $ref && $ref == $conn;
+       }
+       $call ||= 'unallocated';
+       dbg((ref $conn) . " Connection $conn->{cnum} $call disconnected") if isdbg('connll');
+       
+       # get rid of any references
+       for (keys %$conn) {
+               if (ref($conn->{$_})) {
+                       delete $conn->{$_};
+               }
+       }
+
+       if (defined($sock)) {
+               $sock->remove;
+       }
+       
+       unless ($main::is_win) {
+               kill 'TERM', $conn->{pid} if exists $conn->{pid};
+       }
+}
+
+sub _send_stuff
+{
+       my $conn = shift;
+       my $rq = $conn->{outqueue};
+    my $sock = $conn->{sock};
+       while (@$rq) {
+               my $data = shift @$rq;
+               my $lth = length $data;
+               my $call = $conn->{call} || 'none';
+               if (isdbg('raw')) {
+                       if (isdbg('raw')) {
+                               dbgdump('raw', "$call send $lth: ", $lth);
+                       }
+               }
+               if (defined $sock && !$sock->destroyed) {
+                       $sock->write($data);
+                       $total_out = $lth;
+               } else {
+                       dbg("_send_stuff $call ending data ignored: $data");
+               }
+       }
 }
 
 sub send_now {
     my ($conn, $msg) = @_;
     $conn->enqueue($msg);
-    $conn->_send (1); # 1 ==> flush
+    _send_stuff($conn);
 }
 
 sub send_later {
-    my ($conn, $msg) = @_;
-    $conn->enqueue($msg);
-    my $sock = $conn->{sock};
-    return unless defined($sock);
-    set_event_handler ($sock, "write" => sub {$conn->_send(0)});
+       goto &send_now;
 }
 
 sub enqueue {
     my $conn = shift;
-    push (@{$conn->{outqueue}}, $_[0]);
-}
-
-sub _send {
-    my ($conn, $flush) = @_;
-    my $sock = $conn->{sock};
-    return unless defined($sock);
-    my $rq = $conn->{outqueue};
-
-    # If $flush is set, set the socket to blocking, and send all
-    # messages in the queue - return only if there's an error
-    # If $flush is 0 (deferred mode) make the socket non-blocking, and
-    # return to the event loop only after every message, or if it
-    # is likely to block in the middle of a message.
-
-    $flush ? $conn->set_blocking() : $conn->set_non_blocking();
-    my $offset = (exists $conn->{send_offset}) ? $conn->{send_offset} : 0;
-
-    while (@$rq) {
-        my $msg            = $rq->[0];
-               my $mlth           = length($msg);
-        my $bytes_to_write = $mlth - $offset;
-        my $bytes_written  = 0;
-               confess("Negative Length! msg: '$msg' lth: $mlth offset: $offset") if $bytes_to_write < 0;
-        while ($bytes_to_write > 0) {
-            $bytes_written = syswrite ($sock, $msg,
-                                       $bytes_to_write, $offset);
-            if (!defined($bytes_written)) {
-                if (_err_will_block($!)) {
-                    # Should happen only in deferred mode. Record how
-                    # much we have already sent.
-                    $conn->{send_offset} = $offset;
-                    # Event handler should already be set, so we will
-                    # be called back eventually, and will resume sending
-                    return 1;
-                } else {    # Uh, oh
-                                       delete $conn->{send_offset};
-                    $conn->handle_send_err($!);
-                                       $conn->disconnect;
-                    return 0; # fail. Message remains in queue ..
-                }
-            }
-            $offset         += $bytes_written;
-            $bytes_to_write -= $bytes_written;
-        }
-        delete $conn->{send_offset};
-        $offset = 0;
-        shift @$rq;
-        last unless $flush; # Go back to select and wait
-                            # for it to fire again.
-    }
-    # Call me back if queue has not been drained.
-    if (@$rq) {
-        set_event_handler ($sock, "write" => sub {$conn->_send(0)});
-    } else {
-        set_event_handler ($sock, "write" => undef);
-    }
-    1;  # Success
+    push @{$conn->{outqueue}}, defined $_[0] ? $_[0] : '';
 }
 
-sub _err_will_block {
-    if ($blocking_supported) {
-        return ($_[0] == EAGAIN());
-    }
-    return 0;
-}
-sub set_non_blocking {                        # $conn->set_blocking
-    if ($blocking_supported) {
-        # preserve other fcntl flags
-        my $flags = fcntl ($_[0], F_GETFL(), 0);
-        fcntl ($_[0], F_SETFL(), $flags | O_NONBLOCK());
-    }
-}
-sub set_blocking {
-    if ($blocking_supported) {
-        my $flags = fcntl ($_[0], F_GETFL(), 0);
-        $flags  &= ~O_NONBLOCK(); # Clear blocking, but preserve other flags
-        fcntl ($_[0], F_SETFL(), $flags);
-    }
+sub _err_will_block 
+{
+       return 0;
 }
 
-sub handle_send_err {
-   # For more meaningful handling of send errors, subclass Msg and
-   # rebless $conn.  
-   my ($conn, $err_msg) = @_;
-   warn "Error while sending: $err_msg \n";
-   set_event_handler ($conn->{sock}, "write" => undef);
+sub close_on_empty
+{
+       my $conn = shift;
+       $conn->{sock}->on(drain => sub {$conn->disconnect;});
 }
 
 #-----------------------------------------------------------------
 # Receive side routines
 
-sub new_server {
-    @_ == 4 || die "Msg->new_server (myhost, myport, login_proc\n";
-    my ($pkg, $my_host, $my_port, $login_proc) = @_;
-       my $self = $pkg->new($login_proc);
+sub new_server 
+{
+#    @_ == 4 || die "Msg->new_server (myhost, myport, login_proc)\n";
+       my ($pkg, $my_host, $my_port, $login_proc) = @_;
+       my $conn = $pkg->new($login_proc);
        
-    $self->{sock} = IO::Socket::INET->new (
-                                          LocalAddr => $my_host,
-                                          LocalPort => $my_port,
-                                          Listen    => 5,
-                                          Proto     => 'tcp',
-                                          Reuse     => 1);
-    die "Could not create socket: $! \n" unless $self->{sock};
-    set_event_handler ($self->{sock}, "read" => sub { $self->new_client }  );
-       return $self;
+    $conn->{sock} = Mojo::IOLoop::Server->new;
+       $conn->{sock}->on(accept=>sub{$conn->new_client()});
+       $conn->{sock}->listen(address=>$my_host, port=>$my_port);
+       
+    die "Could not create socket: $! \n" unless $conn->{sock};
+       return $conn;
+}
+
+
+sub nolinger
+{
+       my $conn = shift;
 }
 
 sub dequeue
 {
        my $conn = shift;
-       my $msg;
+       return if $conn->{disconnecting};
        
-       while ($msg = shift @{$conn->{inqueue}}){
-               &{$conn->{rproc}}($conn, $msg, $!);
-               $! = 0;
+       if ($conn->{msg} =~ /\cJ/) {
+               my @lines = split /\cM?\cJ/, $conn->{msg};
+               if ($conn->{msg} =~ /\cM?\cJ$/) {
+                       delete $conn->{msg};
+               } else {
+                       $conn->{msg} = pop @lines;
+               }
+               for (@lines) {
+                       last if $conn->{disconnecting};
+                       &{$conn->{rproc}}($conn, defined $_ ? $_ : '');
+               }
        }
 }
 
@@ -239,24 +341,34 @@ sub _rcv {                     # Complement to _send
     return unless defined($sock);
 
        my @lines;
-    $conn->set_non_blocking();
+#      if ($conn->{blocking}) {
+#              blocking($sock, 0);
+#              $conn->{blocking} = 0;
+#      }
        $bytes_read = sysread ($sock, $msg, 1024, 0);
        if (defined ($bytes_read)) {
                if ($bytes_read > 0) {
-                       if ($msg =~ /\n/) {
-                               @lines = split /\r?\n/, $msg;
-                               if (@lines) {
-                                       $lines[0] = $conn->{msg} . $lines[0] if exists $conn->{msg};
-                               } else {
-                                       $lines[0] = $conn->{msg} if exists $conn->{msg};
-                                       push @lines, '' unless @lines;
+                       $total_in += $bytes_read;
+                       if (isdbg('raw')) {
+                               my $call = $conn->{call} || 'none';
+                               dbgdump('raw', "$call read $bytes_read: ", $msg);
+                       }
+                       if ($conn->{echo}) {
+                               my @ch = split //, $msg;
+                               my $out;
+                               for (@ch) {
+                                       if (/[\cH\x7f]/) {
+                                               $out .= "\cH \cH";
+                                               $conn->{msg} =~ s/.$//;
+                                       } else {
+                                               $out .= $_;
+                                               $conn->{msg} .= $_;
+                                       }
                                }
-                               if ($msg =~ /\n$/) {
-                                       delete $conn->{msg};
-                               } else {
-                                       $conn->{msg} = pop @lines;
+                               if (defined $out) {
+                                       set_event_handler ($sock, write => sub{$conn->_send(0)});
+                                       push @{$conn->{outqueue}}, $out;
                                }
-                               push @{$conn->{inqueue}}, @lines if @lines;
                        } else {
                                $conn->{msg} .= $msg;
                        }
@@ -271,116 +383,91 @@ sub _rcv {                     # Complement to _send
 
 FINISH:
     if (defined $bytes_read && $bytes_read == 0) {
-#              $conn->disconnect();
-               &{$conn->{rproc}}($conn, undef, $!);
-               delete $conn->{inqueue};
+               &{$conn->{eproc}}($conn, $!) if exists $conn->{eproc};
+               $conn->disconnect;
     } else {
-               $conn->dequeue;
+               unless ($conn->{disable_read}) {
+                       $conn->dequeue if exists $conn->{msg};
+               }
        }
 }
 
 sub new_client {
        my $server_conn = shift;
-    my $sock = $server_conn->{sock}->accept();
-    my $conn = $server_conn->new($server_conn->{rproc});
-       $conn->{sock} = $sock;
-    my $rproc = &{$server_conn->{rproc}} ($conn, $sock->peerhost(), $sock->peerport());
-    if ($rproc) {
-        $conn->{rproc} = $rproc;
-        my $callback = sub {_rcv($conn)};
-        set_event_handler ($sock, "read" => $callback);
-    } else {  # Login failed
-        $conn->disconnect();
-    }
+       my $client = shift;
+       
+       my $conn = $server_conn->new($server_conn->{rproc});
+       my $sock = $conn->{sock} = Mojo::IOLoop::Stream->new($client);
+       $sock->on(read => sub {$conn->_rcv($_[1])});
+       dbg((ref $conn) . "accept $conn->{cnum} from $conn->{peerhost} $conn->{peerport}") if isdbg('connll');
+
+       my ($rproc, $eproc) = &{$server_conn->{rproc}} ($conn, $conn->{peerhost} = $client->peerhost, $conn->{peerport} = $client->peerport);
+       $conn->{sort} = 'Incoming';
+       if ($eproc) {
+               $conn->{eproc} = $eproc;
+       }
+       if ($rproc) {
+               $conn->{rproc} = $rproc;
+       } else {  # Login failed
+               &{$conn->{eproc}}($conn, undef) if exists $conn->{eproc};
+               $conn->disconnect();
+       }
 }
 
 sub close_server
 {
        my $conn = shift;
-       set_event_handler ($conn->{sock}, "read" => undef);
-       $conn->{sock}->close;
+       delete $conn->{sock};
+}
+
+# close all clients (this is for forking really)
+sub close_all_clients
+{
+       foreach my $conn (values %conns) {
+               $conn->disconnect;
+       }
+}
+
+sub disable_read
+{
+       my $conn = shift;
+       return defined $_[0] ? $conn->{disable_read} = $_[0] : $_[0];
 }
 
+
+#
 #----------------------------------------------------
 # Event loop routines used by both client and server
 
 sub set_event_handler {
-    shift unless ref($_[0]); # shift if first arg is package name
-    my ($handle, %args) = @_;
-    my $callback;
-    if (exists $args{'write'}) {
-        $callback = $args{'write'};
-        if ($callback) {
-            $wt_callbacks{$handle} = $callback;
-            $wt_handles->add($handle);
-        } else {
-            delete $wt_callbacks{$handle};
-            $wt_handles->remove($handle);
-        }
-    }
-    if (exists $args{'read'}) {
-        $callback = $args{'read'};
-        if ($callback) {
-            $rd_callbacks{$handle} = $callback;
-            $rd_handles->add($handle);
-        } else {
-            delete $rd_callbacks{$handle};
-            $rd_handles->remove($handle);
-       }
-    }
+       my $sock = shift;
+       my %args = @_;
+       my ($pkg, $fn, $line) = caller;
+       my $s;
+       foreach (my ($k,$v) = each %args) {
+               $s .= "$k => $v, ";
+       }
+       $s =~ s/[\s,]$//;
+       dbg("Msg::set_event_handler called from ${pkg}::${fn} line $line doing $s");
 }
 
-sub new_timer
+sub sleep
 {
-    my ($pkg, $time, $proc, $recur) = @_;
-       my $obj = ref($pkg);
-       my $class = $obj || $pkg;
-       my $self = bless { t=>$time + time, proc=>$proc }, $class;
-       $self->{interval} = $time if $recur;
-       push @timerchain, $self;
-       return $self;
+       my ($pkg, $interval) = @_;
+       my $now = time;
+       while (time - $now < $interval) {
+               sleep 1;
+       }
 }
 
-sub del_timer
+sub DESTROY
 {
-       my $self = shift;
-       @timerchain = grep {$_ != $self} @timerchain;
-}
-
-sub event_loop {
-    my ($pkg, $loop_count, $timeout) = @_; # event_loop(1) to process events once
-    my ($conn, $r, $w, $rset, $wset);
-    while (1) {
-       # Quit the loop if no handles left to process
-        last unless ($rd_handles->count() || $wt_handles->count());
-        
-               ($rset, $wset) =
-            IO::Select->select ($rd_handles, $wt_handles, undef, $timeout);
-               $now = time;
-               
-        foreach $r (@$rset) {
-            &{$rd_callbacks{$r}} ($r) if exists $rd_callbacks{$r};
-        }
-        foreach $w (@$wset) {
-            &{$wt_callbacks{$w}}($w) if exists $wt_callbacks{$w};
-        }
-
-               # handle things on the timer chain
-               for (@timerchain) {
-                       if ($now >= $_->{t}) {
-                               &{$_->{proc}}();
-                               $_->{t} = $now + $_->{interval} if exists $_->{interval};
-                       }
-               }
-
-               # remove dead timers
-               @timerchain = grep { $_->{t} > $now } @timerchain;
-               
-        if (defined($loop_count)) {
-            last unless --$loop_count;
-        }
-    }
+       my $conn = shift;
+       my $call = $conn->{call} || 'unallocated';
+       my $host = $conn->{peerhost} || '';
+       my $port = $conn->{peerport} || '';
+       $noconns--;
+       dbg((ref $conn) . " Connection $conn->{cnum} $call [$host $port] being destroyed (total $noconns)") if isdbg('connll');
 }
 
 1;