made some detail changes to the installation manual
[spider.git] / Changes
diff --git a/Changes b/Changes
index a6e2561aa821fefb75c16a34979a2f81fd0e3ab5..b307562c8ca5bed33c30beb8b78a6b247e705f3f 100644 (file)
--- a/Changes
+++ b/Changes
@@ -1,3 +1,354 @@
+01Jan04=======================================================================
+1. move position of USDB init to get rid of an obscure bug pointed out by
+Charlie K1XX.
+2. Remove redundant documentation
+31Dec03=======================================================================
+1. alter remote database handling to 'new standard'.
+30Dec03=======================================================================
+1. updated website to make it clear(er) that it all works under Windows (like
+wot Charlie said...).
+2. made the changes to the German Messages that Thomas DL3SBB sent me a 
+loooong time ago.
+3. made 'dx by' require at least privilege 1.
+29Dec03=======================================================================
+1. updated dxoldtonew.pl so that it takes an AK1A DX.DAT file (argument on
+command line or a default of /spider/data/DX.DAT and outputs the standard
+DXSpider format spot files. Please be warned that if any of these files 
+already exist, the data will be appended onto the end of the file. Please
+make sure you have backups or at least be aware that this may give strange
+results which may be 'out of order'.
+24May03=======================================================================
+1. Added more french translations from Robert (HB9BZA) and we now have some
+french help as well (also from Robert). A splendid effort. Thank you.
+16May03=======================================================================
+1. Correct Windows section of the Addendum file! (g0vgs)
+06May03=======================================================================
+1. Add Portuguese language courtesy of David CT1DRB (set/lang pt)
+2. Add French language courtesy of Robert HB9BZA (set/lang fr)
+02Apr03=======================================================================
+1. Fix some minor problems with the manuals (g0vgs)
+01Apr03=======================================================================
+1. Update filtering primer, changes by N3RD (g0vgs)
+28Mar03=======================================================================
+1. Added an excellent document on filtering to the manuals from Jim, W3BG
+2. started to remove old documents (g0vgs)
+27Mar03=======================================================================
+1. play around with sh/reg, sh/iso, sh/node and sh/lock to make them work
+slightly better with the new user format.
+2. update manuals (g0vgs)
+26Mar03=======================================================================
+1. add some ak1a compatibility changes to chat
+2. added help text for chat, join, leave and sh/chat.
+18Mar03=======================================================================
+1. minor corrections to manuals (g0vgs)
+17Mar03=======================================================================
+1. changed the regex determining what is a callsign to be more comprehensive.
+I would suggest re-running create_qsl.pl and then restarting.
+2. Fix chat so that output appears to users again and PC sentence conforms
+to standard. Add kludge to remove rewritten chats if I see them.
+3. Only send chat PCs to spider or AK1A boxes
+12Mar03=======================================================================
+1. added HC and QRZ.com to possible QSL locations, if you want to pick up
+historical info (ie start again), run create_qsl.pl after update and restart
+the node (which you will need to do anyway).
+2. changed the dbcreate command so that you can say: 
+   dbcreate dxqsl cmd show/dxqsl
+which will allow local and remote users to execute commands as though they
+are Databases. You can also include these databases in chains. What you do
+with this, is ofcourse a moot question.   
+3. Update manuals (g0vgs)
+11Mar03=======================================================================
+1. Changed the name of show/qsl to show/dxqsl.
+2. Alter Commands_en.hlp to match new name and issue manual updates (g0vgs)
+10Mar03=======================================================================
+1. added show/qsl command. This command basically takes the normal output of
+sh/dx qsl and stores it in a database. In order to enable this command you 
+will require the Storable module to be loaded (you will already have done
+this with a bit of luck for the new DXUser interface). The suggested 
+procedure is (after the update) to run /spider/perl/create_qsl.pl (this may
+take a long time), then immediately it finishes, restart the node. The node 
+will then keep the database up to date automatically. If you are not 
+interested in historical data then you can leave this step out.
+2. added show/contest command from Tommy SM3OSM via Rene OZ1LQH.
+08Mar03=======================================================================
+1. Added chat, join, leave commands to allow general purpose conferencing
+on arbitrary subjects. [Translators: added e34,e35,join,leave]. There is
+currently no help. There is also sh/chat.
+28Feb03=======================================================================
+1. Charlie K1XX fixed the sh/iso, sh/reg and sh/node commands
+25Feb03=======================================================================
+1. backported switch processing for PC sentences
+24Feb03=======================================================================
+1. add the 'run' command and the 'privilege' command to allow sysops to 
+create scripts for people.
+2. fix show/user so that it doesn't moan about uninitialised variables
+23Feb03=======================================================================
+1. Added show/wm7d command (a US only callbook server) [by K1XX].
+2. Added a prototype show/db0sdx command (w.i.p).
+3. Added set/dxcq and set/dxitu zone commands [Translators: I have added
+dxcqu, dxcqs, dxitus and dxituu to Messages].
+4. Add new Commands to manuals (g0vgs)
+5. make sure that none of the above set/dx... commands are defaulted on
+22Feb03=======================================================================
+1. changed qrz.com address 
+2. added Charlie's [K1XX] new wpxloc.raw data stuff to get WA1, KC3 type 
+callsigns to work better.
+3. added in set/usstate command which prints any US state information 
+available on both the spotted (LHS of time) and spotter (RHS of time).
+[Translators: I have added usstates and usstateu to Messages].
+4. Merged in the new (faster) DXUser.pm.
+
+[NOTE] this version will require Storable to be installed. On the
+other hand the code may work without, in a compatible way. This bit hasn't 
+been very well tested (the 'no Storable' condition that is). 
+
+[*** NOTE ***] make sure that you do an 'export_user' BEFORE restarting
+you node. (Yes I know this is like a shrinkwrap licence, but I can't
+help it).
+
+It will take several minutes for the node to restart when it does the 
+conversion from .v2 to .v3 user file. Please go and have a good strong cup
+of tea whilst this is happening.
+
+If it fails then you will need to edit your latest user_asc file on (or about)
+line 25 it says: $ref = decode($f[1]); you will need to change that to 
+$ref = asc_decode($f[1]); and then do: perl user_asc
+DO MAKE SURE THAT you include subdirectories in your CVS update 
+
+21Feb03=======================================================================
+1. moved the export of the users file to Wednesday night (GMT) to avoid 
+possible crashes and/or delays during a contest weekend.
+14Feb03=======================================================================
+1. some major changes to the structure of the manual documentation.  To bring
+the manuals into line, they now have the language tag (like 
+installation_en.html).  Hopefully someone will translate the manuals 
+eventually :-) I have left the old files in CVS for now to allow
+everyone to change any symlinks etc to the new filenames.  I will remove the
+old files shortly, please update your links! (g0vgs)
+2. docs makefile updated and commands2sgml.pl added from M0AZM.  This script
+inserts the helpfiles automagically from Commands_en.hlp into the relevant
+manuals. (g0vgs)
+3. Commands_en.hlp adjusted slightly to ensure at least one space before
+examples for the purposes of the above script. (g0vgs)
+4. Amend index.html to the right document names. (g0vgs)
+09Feb03=======================================================================
+1. Correct some typos in the manuals and update perl modules etc.  Also
+amend some help files to show correct syntax, around the 'clear' commands
+swapping [input] and <callsign> in each case, translators please take note.
+Thanks to Dave N3RD for info. (g0vgs)
+2. update the addendum for latest build and include information on additional
+modules required. (g0vgs)
+20Jan03=======================================================================
+1. changed sh/c so that, by default, it only shows the caller's country nodes
+sh/c all will show the old style full list. "sh/c sk gb" will show the config
+of all the GB and SK nodes.
+2. changed sh/stat and sh/route for nodes
+19Jan03=======================================================================
+1. I have made a fundemental change to the way PC19s are dealt with as a 
+result of the discussions on the mailing list. From now on, only nodes that
+issue PC16s will have PC19s propagated. If they *ever* issue a PC16 then from
+then on they are considered as being 'connected' and thus routable. No PC16
+and you have no route. This should stop all passive links being routed. For
+the few cases where you know that that is a very small node and it rarely has
+users, then you can do a set/routepc19 <node> to enable PC19 propagation. In
+the even more rare case of you wanting to prevent PC19s being routed thru 
+your node, you can use unset/routepc19. THIS IS NOT A SUBSTITUTE FOR ROUTE
+FILTERING!!!!! [translators: I have added wpc16s, wpc16u, wpc19s, wpc19u]
+
+BTW the first time you connect again you will notice a separate PC19 go out
+for each 'new' PC16 that the node sees. This is normal and will go away the
+second time the system needs to issue a PC19.
+2. Alter the export_user command to remove users that have no useful info
+and have not been seen for more than (default) 1 year.
+3. fix the problem of users on more than one node not being propagated
+4. remove spaces and all non-US ascii characters from PC41 for the dup check.
+5. put in check to see if the parent of a newly allowed PC19 is still there
+(this needs further investigation).
+17Jan03=======================================================================
+1. Fix problem with lines being left in the main input queue for a 
+disconnected/ing node.
+14Jan03=======================================================================
+1. Tidy up AUTOLOAD functions
+2. Make sure that empty PC16s are not sent on startup to a node.
+12Jan03=======================================================================
+1. add Czech language courtesy of Milan OK1XH
+06Jan03=======================================================================
+1. add the latest changes to the spider-web java interface from Rene, OZ1LQH.
+Please note that there is a change to the spider.cgi file this time so that
+the client show 'Connected to Node_Call' instead of the hostname.  You will
+need to update your cgi file when you update the changes.  Please make sure
+that you back up your old files first! (g0vgs)
+2. yet more changes to the java client from Rene :-)  Also added a makefile
+and a Changes file for the client in the spider-web directory.
+05Jan03=======================================================================
+1. fix some irritating messages caused by protocol loops in sh/c
+2. update copyright
+3. move GN from GJ to GI
+31Dec02=======================================================================
+1. Update files in the java client with fixes and additions from Rene, OZ1LQH
+05Dec02=======================================================================
+1. Fix SSID issues with AGWMsg.
+2. updated show/hftable, vhftable, hfstats, vhfstats and dxstats after K1XX
+sent in some sample code indicated new functionality he requires. Translators
+please note that the stat* messages have been changed and e33 added. I have 
+also added quite a bit of extra examples and things to the relevant HELP
+texts. It is now possible to search from any date for up to 365 days of data.
+You can get the information by prefix or by callsign or for ALL spots. 
+04Dec02=======================================================================
+1. updated sh/log to allow searching for more arbitrary strings such as IP
+addresses
+08Nov02=======================================================================
+1. update Keps.pm to reflect which satellites now come round in the weekly
+updates. I suggest that you copy this file to /spider/local and do a load/kep
+and you should lose all the 'old' satellites (eg MIR).
+08Nov02=======================================================================
+1. made some small mods to grepdbg and spot2csv.pl
+2. fix a possible DOS in dx command
+07Nov02=======================================================================
+1. allow three digit longitudes
+2. make a small change to see if messages now stay in place.
+3. make keep actually stick over a reboot and take it fully into account for
+deletions (translators: I added m18).
+4. try not to delete new messages (even if this is an update that reads 'old'
+messages with missing fields).
+29Oct02=======================================================================
+1. make sh/log et al a bit more efficient.
+2. fix dupe message in dx.
+3. update cty.dat to the latest, add k8T, K8O to KH8 and TX5BTY to FO/A
+4. clear cache on reload of prefixes
+25Oct02=======================================================================
+1. remove the dupefile automatically if it becomes corrupted
+2. instrument the startup slightly more
+21Oct02=======================================================================
+1. Fix msg aging.
+2. make the default pinginterval and obscount variable (set/var 
+$DXProt::pingint and $DXProt::obscount) 
+20Oct02=======================================================================
+1. remove dupe check on local sysop announces
+2. fix format errors on sh/muf for 5.8.0
+3. add new version of the administration manual that includes WinCVS with
+thanks to K1XX (g0vgs).
+17Oct02=======================================================================
+1. added new Spanish files for help and Messages from Angel, EA7WA.
+16Oct02=======================================================================
+1. decrease the default max length of PC16/19 to around 180 characters to be
+slightly friendlier to ARC, which seems to have a difficulty reconstructing
+lines from multiple packets. Also make the value settable via set/var.
+2. strip off blank spaces from the ends of lines of  command output.
+15Oct02=======================================================================
+1. made some detail changes to the raw USDB data and the routines that 
+generate and operate on them. There were some bugs involving a few 'missing'
+callsigns which been fixed. Also there were some, for our purposes, invalid
+callsigns in the database which have been removed (down to about 820,000 
+entries now). You should really update your database. 
+
+The latest code now (conditionally; ie if you have it loaded it will use it)
+support Compress::Zlib on both *nux and Windows. The suggested procedure 
+is this:-
+
+1. Download the corrected database from
+   http://www.dxcluster.org/download/usdbraw.gz to somewhere like /tmp.
+2. update from CVS.
+3. Restart (on linux, just stop the node and *don't* restart on Windows).
+4. remove /spider/data/usdb.v1
+5. cd /spider/perl
+6. (perl) create_usdb.pl /tmp/usdbraw.gz (or wherever you put it)
+6a. If you don't have Compress::Zlib loaded then you will need to gunzip
+    it manually and do: create_usdb.pl /tmp/usdbraw (not Windows :-)
+7. on linux, in a console window do: load/usdb, on windows: restart the node. 
+--
+2. Added set/usdb command to add adding or changing of a callsign in the USDB
+3. Stop dupe spots from the same spotter (with or without comment corruption)
+14Oct02=======================================================================
+1. added show/usdb command as a simple, direct interface to the information
+available in the USDB stuff.
+13Oct02=======================================================================
+1. A large change has occurred. There is now some (optional) US state recog-
+nition. This is in its early stages but appears to work for me. You will need
+to :-
+
+1. download the database at http://www.dxcluster.org/download/usdbraw.gz 
+2. save it somewhere (/tmp, anywhere).
+3. Decompress it using your favorite program (gunzip / winzip) [call it
+   usdbraw if winzip]{BE WARNED, some browsers may decompress it on the
+   fly for you, you can tell; if it is 5Mb it is compressed - 16Mb not}.
+4. remove any /spider/data/user.v1 files lying around (at least for this
+   first time.
+5. cd /spider/perl
+6. perl create_usdb.pl /tmp/usdbraw  (ie the UNCOMPRESSED file)
+7. Wait, I suggest some cups of tea are in order.
+8. Wait a bit more.
+
+You don't need Compress::Zlib anymore, I assumed it was universal.
+
+You will be able do this while the node is running somewhen. There is a 
+planned method of keeping the US DB up to date with smaller (ie < 15Mb) patch
+files once a week but you will have to wait a bit for the code to bed down 
+first. You can filter on routes, spots and announces using 'call_state' or
+'by_state' and a comma separated list of state codes. The HELP has been 
+updated (which may help...). 
+
+Once you have run the create_usdb.pl you will need to restart.
+
+If you don't need this, then don't run create_usdb.pl it will simply be
+a waste of time. The run-time version is 30Mb and has 840,000 odd entries
+in it. This does not replace or supplant sh/qrz (sorry Charlie [who put me
+up to this]). 
+
+2. There are a number of other niff-naff changes which I hope will improve
+rather than hinder your user experience (including check forward as well as
+back for those speedy clocked dupes mentioned below).  
+12Oct02=======================================================================
+1. attempt to improve the "check back for 5 minutes to see if this spot is 
+the same as a previous one but for the time spotted" dupe check.
+2. improve the sh/vhftable and sh/hftable commands to allow you to enquire
+by dxcc country (using the relevant prefixes or dxcc country numbers).
+[note to translators, I have changed the help text and Messages tags for
+stat*].
+07Oct02=======================================================================
+1. fix problem with (invalid) callsigns starting with '0' (zero) eg 0f6ira.
+03Oct02=======================================================================
+1. only sysop (priv=5+) can now send to distro SYSOP, ordinary users will have 
+their message routed to the $main::myalias callsign as a private message. 
+29Sep02=======================================================================
+1. Added LRU caching to DXUsers and Prefix.
+2. make Timer::handler only search its chain once a second seeing as that
+is the minimum granularity available.
+3. add some separation between cfg file making, data generation and mrtg 
+running. See /spider/cmd/mrtg.pl for some instructions...
+4. Added data in and out to the MRTG stats, you need to do an indexmaker
+to get them onto the index page, I have also added some colour to the
+legend to make what is being displayed a bit more obvious.
+
+See http://gb7djk.dxcluster.org/mrtg/stats.html for an example of the
+default screen.
+
+28Sep02=======================================================================
+1. Put some transparent caching into Prefix.pm to see if this has a 
+performance impact.
+2. Fix doing a new log open for every log file write.
+26Sep02=======================================================================
+1. added WWV and WCY to the Mrtg stats. Don't forget to do an indexmaker!
+25Sep02=======================================================================
+1. added mrtg stuff to the system as a template. In order to use this you
+must install mrtg onto your system and copy all the mrtg files (or at least
+all the images) to new directory /spider/html/mrtg. The system generates the
+config file for you as part of its workings. To get it to update add a line
+to your spider crontab like: 
+
+00,05,10,15,20,25,30,35,40,45,50,55 * * * * run_cmd('mrtg all')
+
+You will also need to do an indexmaker once in the html directory. I put the 
+index page into /spider/html/mrtg/stats.html YMMV. I do:
+
+indexmaker --output stats.html --columns=1 --title "MRTG statistics for 
+GB7DJK" ../../mrtg/mrtg.cfg
+
+But all on one line.
+2. I have made a technical change to the way ax25 connects outward on unix 
+boxes are done. I currently have no way of testing this. I think it still 
+works.
 22Sep02=======================================================================
 1. Add changes to the installation manual for Windows users from K1XX
 21Sep02=======================================================================