Pileus Git - ~andy/fetchmail/blob - uid.c

   1 /*
   2  * uid.c -- UIDL handling for POP3 servers without LAST
   3  *
   4  * For license terms, see the file COPYING in this directory.
   5  */
   6
   7 #include "config.h"
   8
   9 #include <sys/stat.h>
  10 #include <errno.h>
  11 #include <stdio.h>
  12 #include <limits.h>
  13 #if defined(STDC_HEADERS)
  14 #include <stdlib.h>
  15 #include <string.h>
  16 #endif
  17 #if defined(HAVE_UNISTD_H)
  18 #include <unistd.h>
  19 #endif
  20
  21 #include "fetchmail.h"
  22 #include "i18n.h"
  23
  24 /*
  25  * Machinery for handling UID lists live here.  This is mainly to support
  26  * RFC1725-conformant POP3 servers without a LAST command, but may also be
  27  * useful for making the IMAP4 querying logic UID-oriented, if a future
  28  * revision of IMAP forces me to.
  29  *
  30  * These functions are also used by the rest of the code to maintain
  31  * string lists.
  32  *
  33  * Here's the theory:
  34  *
  35  * At start of a query, we have a (possibly empty) list of UIDs to be
  36  * considered seen in `oldsaved'.  These are messages that were left in
  37  * the mailbox and *not deleted* on previous queries (we don't need to
  38  * remember the UIDs of deleted messages because ... well, they're gone!)
  39  * This list is initially set up by initialize_saved_list() from the
  40  * .fetchids file.
  41  *
  42  * Early in the query, during the execution of the protocol-specific
  43  * getrange code, the driver expects that the host's `newsaved' member
  44  * will be filled with a list of UIDs and message numbers representing
  45  * the mailbox state.  If this list is empty, the server did
  46  * not respond to the request for a UID listing.
  47  *
  48  * Each time a message is fetched, we can check its UID against the
  49  * `oldsaved' list to see if it is old.
  50  *
  51  * Each time a message-id is seen, we mark it with MARK_SEEN.
  52  *
  53  * Each time a message is deleted, we mark its id UID_DELETED in the
  54  * `newsaved' member.  When we want to assert that an expunge has been
  55  * done on the server, we call expunge_uid() to register that all
  56  * deleted messages are gone by marking them UID_EXPUNGED.
  57  *
  58  * At the end of the query, the `newsaved' member becomes the
  59  * `oldsaved' list.  The old `oldsaved' list is freed.
  60  *
  61  * At the end of the fetchmail run, seen and non-EXPUNGED members of all
  62  * current `oldsaved' lists are flushed out to the .fetchids file to
  63  * be picked up by the next run.  If there are no un-expunged
  64  * messages, the file is deleted.
  65  *
  66  * Note: some comparisons (those used for DNS address lists) are caseblind!
  67  */
  68
  69 /* UIDs associated with un-queried hosts */
  70 static struct idlist *scratchlist;
  71
  72 #ifdef POP3_ENABLE
  73 void initialize_saved_lists(struct query *hostlist, const char *idfile)
  74 /* read file of saved IDs and attach to each host */
  75 {
  76     struct stat statbuf;
  77     FILE        *tmpfp;
  78     struct query *ctl;
  79
  80     /* make sure lists are initially empty */
  81     for (ctl = hostlist; ctl; ctl = ctl->next)
  82         ctl->skipped = ctl->oldsaved = ctl->newsaved = (struct idlist *)NULL;
  83
  84     errno = 0;
  85
  86     /*
  87      * Croak if the uidl directory does not exist.
  88      * This probably means an NFS mount failed and we can't
  89      * see a uidl file that ought to be there.
  90      * Question: is this a portable check? It's not clear
  91      * that all implementations of lstat() will return ENOTDIR
  92      * rather than plain ENOENT in this case...
  93      */
  94    if (lstat(idfile, &statbuf) < 0) {
  95      if (errno == ENOTDIR)
  96     {
  97       report(stderr, _("lstat: %s: %s\n"), idfile, strerror(errno));
  98       exit(PS_IOERR);
  99     }
 100    }
 101
 102     /* let's get stored message UIDs from previous queries */
 103     if ((tmpfp = fopen(idfile, "r")) != (FILE *)NULL)
 104     {
 105         char buf[POPBUFSIZE+1];
 106         char *host = NULL;      /* pacify -Wall */
 107         char *user;
 108         char *id;
 109         char *atsign;   /* temp pointer used in parsing user and host */
 110         char *delimp1;
 111         char saveddelim1;
 112         char *delimp2;
 113         char saveddelim2 = '\0';        /* pacify -Wall */
 114
 115         while (fgets(buf, POPBUFSIZE, tmpfp) != (char *)NULL)
 116         {
 117             /*
 118              * At this point, we assume the bug has two fields -- a user@host
 119              * part, and an ID part. Either field may contain spurious @ signs.
 120              * The previous version of this code presumed one could split at
 121              * the rightmost '@'.  This is not correct, as InterMail puts an
 122              * '@' in the UIDL.
 123              */
 124
 125             /* first, skip leading spaces */
 126             user = buf + strspn(buf, " \t");
 127
 128             /*
 129              * First, we split the buf into a userhost part and an id
 130              * part ... but id doesn't necessarily start with a '<',
 131              * espescially if the POP server returns an X-UIDL header
 132              * instead of a Message-ID, as GMX's (www.gmx.net) POP3
 133              * StreamProxy V1.0 does.
 134              */
 135             if ((id = strchr(user, ' ')) != NULL )
 136             {
 137                 for (delimp1 = id; delimp1 >= user; delimp1--)
 138                     if ((*delimp1 != ' ') && (*delimp1 != '\t'))
 139                         break;
 140
 141                 /*
 142                  * It should be safe to assume that id starts after
 143                  * the " " - after all, we're writing the " "
 144                  * ourselves in write_saved_lists() :-)
 145                  */
 146                 id = id + strspn(id, " ");
 147
 148                 delimp1++; /* but what if there is only white space ?!? */
 149                 saveddelim1 = *delimp1; /* save char after token */
 150                 *delimp1 = '\0';                /* delimit token with \0 */
 151                 if (id != NULL)
 152                 {
 153                     /* now remove trailing white space chars from id */
 154                     if ((delimp2 = strpbrk(id, " \t\n")) != NULL ) {
 155                         saveddelim2 = *delimp2;
 156                         *delimp2 = '\0';
 157                     }
 158                     atsign = strrchr(user, '@');
 159                     if (atsign) {
 160                         *atsign = '\0';
 161                         host = atsign + 1;
 162
 163                     }
 164                     for (ctl = hostlist; ctl; ctl = ctl->next) {
 165                         if (ctl->server.truename &&
 166                             strcasecmp(host, ctl->server.truename) == 0
 167                             && strcasecmp(user, ctl->remotename) == 0) {
 168
 169                             save_str(&ctl->oldsaved, id, UID_SEEN);
 170                             break;
 171                         }
 172                     }
 173                     /*
 174                      * If it's not in a host we're querying,
 175                      * save it anyway.  Otherwise we'd lose UIDL
 176                      * information any time we queried an explicit
 177                      * subset of hosts.
 178                      */
 179                     if (ctl == (struct query *)NULL) {
 180                                 /* restore string */
 181                         *delimp1 = saveddelim1;
 182                         *atsign = '@';
 183                         if (delimp2 != NULL) {
 184                             *delimp2 = saveddelim2;
 185                         }
 186                         save_str(&scratchlist, buf, UID_SEEN);
 187                     }
 188                 }
 189             }
 190         }
 191         fclose(tmpfp);  /* not checking should be safe, mode was "r" */
 192     }
 193
 194     if (outlevel >= O_DEBUG)
 195     {
 196         struct idlist   *idp;
 197         int uidlcount = 0;
 198
 199         for (ctl = hostlist; ctl; ctl = ctl->next)
 200             if (ctl->server.uidl)
 201             {
 202                 report_build(stdout, _("Old UID list from %s:"),
 203                              ctl->server.pollname);
 204                 for (idp = ctl->oldsaved; idp; idp = idp->next)
 205                     report_build(stdout, " %s", idp->id);
 206                 if (!idp)
 207                     report_build(stdout, _(" <empty>"));
 208                 report_complete(stdout, "\n");
 209                 uidlcount++;
 210             }
 211
 212         if (uidlcount)
 213         {
 214             report_build(stdout, _("Scratch list of UIDs:"));
 215             for (idp = scratchlist; idp; idp = idp->next)
 216                 report_build(stdout, " %s", idp->id);
 217             if (!idp)
 218                 report_build(stdout, _(" <empty>"));
 219             report_complete(stdout, "\n");
 220         }
 221     }
 222 }
 223 #endif /* POP3_ENABLE */
 224
 225 struct idlist *save_str(struct idlist **idl, const char *str, flag status)
 226 /* save a number/UID pair on the given UID list */
 227 {
 228     struct idlist **end;
 229
 230     /* do it nonrecursively so the list is in the right order */
 231     for (end = idl; *end; end = &(*end)->next)
 232         continue;
 233
 234     *end = (struct idlist *)xmalloc(sizeof(struct idlist));
 235     (*end)->val.status.mark = status;
 236     (*end)->id = str ? xstrdup(str) : (char *)NULL;
 237     (*end)->next = NULL;
 238
 239     return(*end);
 240 }
 241
 242 void free_str_list(struct idlist **idl)
 243 /* free the given UID list */
 244 {
 245     if (*idl == (struct idlist *)NULL)
 246         return;
 247
 248     free_str_list(&(*idl)->next);
 249     free ((*idl)->id);
 250     free(*idl);
 251     *idl = (struct idlist *)NULL;
 252 }
 253
 254 void save_str_pair(struct idlist **idl, const char *str1, const char *str2)
 255 /* save an ID pair on the given list */
 256 {
 257     struct idlist **end;
 258
 259     /* do it nonrecursively so the list is in the right order */
 260     for (end = idl; *end; end = &(*end)->next)
 261         continue;
 262
 263     *end = (struct idlist *)xmalloc(sizeof(struct idlist));
 264     (*end)->id = str1 ? xstrdup(str1) : (char *)NULL;
 265     if (str2)
 266         (*end)->val.id2 = xstrdup(str2);
 267     else
 268         (*end)->val.id2 = (char *)NULL;
 269     (*end)->next = (struct idlist *)NULL;
 270 }
 271
 272 #ifdef __UNUSED__
 273 void free_str_pair_list(struct idlist **idl)
 274 /* free the given ID pair list */
 275 {
 276     if (*idl == (struct idlist *)NULL)
 277         return;
 278
 279     free_idpair_list(&(*idl)->next);
 280     free ((*idl)->id);
 281     free ((*idl)->val.id2);
 282     free(*idl);
 283     *idl = (struct idlist *)NULL;
 284 }
 285 #endif
 286
 287 int str_in_list(struct idlist **idl, const char *str, const flag caseblind)
 288 /* is a given ID in the given list? (comparison may be caseblind) */
 289 {
 290     if (*idl == (struct idlist *)NULL || str == (char *) NULL)
 291         return(0);
 292     else if (!caseblind && strcmp(str, (*idl)->id) == 0)
 293         return(1);
 294     else if (caseblind && strcasecmp(str, (*idl)->id) == 0)
 295         return(1);
 296     else
 297         return(str_in_list(&(*idl)->next, str, caseblind));
 298 }
 299
 300 int str_nr_in_list( struct idlist **idl, const char *str )
 301   /* return the position of str in idl */
 302 {
 303     int nr;
 304     struct idlist *walk;
 305     if ( !str )
 306         return -1;
 307     for( walk = *idl, nr = 0; walk; nr ++, walk = walk->next )
 308         if( strcmp( str, walk->id) == 0 )
 309             return nr;
 310     return -1;
 311 }
 312
 313 int str_nr_last_in_list( struct idlist **idl, const char *str)
 314 /* return the last position of str in idl */
 315 {
 316     int nr, ret = -1;
 317     struct idlist *walk;
 318     if ( !str )
 319         return -1;
 320     for( walk = *idl, nr = 0; walk; nr ++, walk = walk->next )
 321         if( strcmp( str, walk->id) == 0 )
 322             ret = nr;
 323     return ret;
 324 }
 325
 326 void str_set_mark( struct idlist **idl, const char *str, const flag val)
 327 /* update the mark on an of an id to given value */
 328 {
 329     int nr;
 330     struct idlist *walk;
 331     if (!str)
 332         return;
 333     for(walk = *idl, nr = 0; walk; nr ++, walk = walk->next)
 334         if (strcmp(str, walk->id) == 0)
 335             walk->val.status.mark = val;
 336 }
 337
 338 int count_list( struct idlist **idl)
 339 /* count the number of elements in the list */
 340 {
 341   if( !*idl )
 342     return 0;
 343   return 1 + count_list( &(*idl)->next );
 344 }
 345
 346 char *str_from_nr_list(struct idlist **idl, int number)
 347 /* return the number'th string in idl */
 348 {
 349     if( !*idl  || number < 0)
 350         return 0;
 351     if( number == 0 )
 352         return (*idl)->id;
 353     return str_from_nr_list(&(*idl)->next, number-1);
 354 }
 355
 356
 357 char *str_find(struct idlist **idl, int number)
 358 /* return the id of the given number in the given list. */
 359 {
 360     if (*idl == (struct idlist *) 0)
 361         return((char *) 0);
 362     else if (number == (*idl)->val.status.num)
 363         return((*idl)->id);
 364     else
 365         return(str_find(&(*idl)->next, number));
 366 }
 367
 368 char *idpair_find(struct idlist **idl, const char *id)
 369 /* return the id of the given id in the given list (caseblind comparison) */
 370 {
 371     if (*idl == (struct idlist *) 0)
 372         return((char *) 0);
 373     else if (strcasecmp(id, (*idl)->id) == 0)
 374         return((*idl)->val.id2 ? (*idl)->val.id2 : (*idl)->id);
 375     else
 376         return(idpair_find(&(*idl)->next, id));
 377 }
 378
 379 int delete_str(struct idlist **idl, int num)
 380 /* delete given message from given list */
 381 {
 382     struct idlist       *idp;
 383
 384     for (idp = *idl; idp; idp = idp->next)
 385         if (idp->val.status.num == num)
 386         {
 387             idp->val.status.mark = UID_DELETED;
 388             return(1);
 389         }
 390     return(0);
 391 }
 392
 393 struct idlist *copy_str_list(struct idlist *idl)
 394 /* copy the given UID list */
 395 {
 396     struct idlist *newnode ;
 397
 398     if (idl == (struct idlist *)NULL)
 399         return(NULL);
 400     else
 401     {
 402         newnode = (struct idlist *)xmalloc(sizeof(struct idlist));
 403         memcpy(newnode, idl, sizeof(struct idlist));
 404         newnode->next = copy_str_list(idl->next);
 405         return(newnode);
 406     }
 407 }
 408
 409 void append_str_list(struct idlist **idl, struct idlist **nidl)
 410 /* append nidl to idl (does not copy *) */
 411 {
 412     if ((*nidl) == (struct idlist *)NULL || *nidl == *idl)
 413         return;
 414     else if ((*idl) == (struct idlist *)NULL)
 415         *idl = *nidl;
 416     else if ((*idl)->next == (struct idlist *)NULL)
 417         (*idl)->next = *nidl;
 418     else if ((*idl)->next != *nidl)
 419         append_str_list(&(*idl)->next, nidl);
 420 }
 421
 422 #ifdef POP3_ENABLE
 423 void expunge_uids(struct query *ctl)
 424 /* assert that all UIDs marked deleted have actually been expunged */
 425 {
 426     struct idlist *idl;
 427
 428     for (idl = ctl->newsaved; idl; idl = idl->next)
 429         if (idl->val.status.mark == UID_DELETED)
 430             idl->val.status.mark = UID_EXPUNGED;
 431 }
 432
 433 void uid_swap_lists(struct query *ctl)
 434 /* finish a query */
 435 {
 436     /* debugging code */
 437     if (ctl->server.uidl && outlevel >= O_DEBUG)
 438     {
 439         struct idlist *idp;
 440
 441         report_build(stdout, _("New UID list from %s:"), ctl->server.pollname);
 442         for (idp = ctl->newsaved; idp; idp = idp->next)
 443             report_build(stdout, " %s = %d", idp->id, idp->val.status.mark);
 444         if (!idp)
 445             report_build(stdout, _(" <empty>"));
 446         report_complete(stdout, "\n");
 447     }
 448
 449     /*
 450      * Don't swap UID lists unless we've actually seen UIDLs.
 451      * This is necessary in order to keep UIDL information
 452      * from being heedlessly deleted later on.
 453      *
 454      * Older versions of fetchmail did
 455      *
 456      *     free_str_list(&scratchlist);
 457      *
 458      * after swap.  This was wrong; we need to preserve the UIDL information
 459      * from unqueried hosts.  Unfortunately, not doing this means that
 460      * under some circumstances UIDLs can end up being stored forever --
 461      * specifically, if a user description is removed from .fetchmailrc
 462      * with UIDLs from that account in .fetchids, there is no way for
 463      * them to ever get garbage-collected.
 464      */
 465     if (ctl->newsaved)
 466     {
 467         /* old state of mailbox may now be irrelevant */
 468         if (outlevel >= O_DEBUG)
 469             report(stdout, _("swapping UID lists\n"));
 470         free_str_list(&ctl->oldsaved);
 471         ctl->oldsaved = ctl->newsaved;
 472         ctl->newsaved = (struct idlist *) NULL;
 473     }
 474     else if (outlevel >= O_DEBUG)
 475         report(stdout, _("not swapping UID lists, no UIDs seen this query\n"));
 476 }
 477
 478 void write_saved_lists(struct query *hostlist, const char *idfile)
 479 /* perform end-of-run write of seen-messages list */
 480 {
 481     int         idcount;
 482     FILE        *tmpfp;
 483     struct query *ctl;
 484     struct idlist *idp;
 485
 486     /* if all lists are empty, nuke the file */
 487     idcount = 0;
 488     for (ctl = hostlist; ctl; ctl = ctl->next) {
 489         for (idp = ctl->oldsaved; idp; idp = idp->next)
 490             if (idp->val.status.mark == UID_SEEN
 491                                 || idp->val.status.mark == UID_DELETED)
 492                 idcount++;
 493     }
 494
 495     /* either nuke the file or write updated last-seen IDs */
 496     if (!idcount && !scratchlist)
 497     {
 498         if (outlevel >= O_DEBUG)
 499             report(stdout, _("Deleting fetchids file.\n"));
 500         unlink(idfile);
 501     }
 502     else
 503     {
 504         if (outlevel >= O_DEBUG)
 505             report(stdout, _("Writing fetchids file.\n"));
 506         if ((tmpfp = fopen(idfile, "w")) != (FILE *)NULL) {
 507             for (ctl = hostlist; ctl; ctl = ctl->next) {
 508                 for (idp = ctl->oldsaved; idp; idp = idp->next)
 509                     if (idp->val.status.mark == UID_SEEN
 510                                 || idp->val.status.mark == UID_DELETED)
 511                         fprintf(tmpfp, "%s@%s %s\n",
 512                             ctl->remotename, ctl->server.truename, idp->id);
 513             }
 514             for (idp = scratchlist; idp; idp = idp->next)
 515                 fputs(idp->id, tmpfp);
 516             fclose(tmpfp);
 517         }
 518     }
 519 }
 520 #endif /* POP3_ENABLE */
 521
 522 /* uid.c ends here */