Pileus Git - ~andy/fetchmail/blob - uid.c

   1 /*
   2  * uid.c -- UIDL handling for POP3 servers without LAST
   3  *
   4  * For license terms, see the file COPYING in this directory.
   5  */
   6
   7 #include "config.h"
   8
   9 #include <sys/stat.h>
  10 #include <errno.h>
  11 #include <stdio.h>
  12 #include <limits.h>
  13 #if defined(STDC_HEADERS)
  14 #include <stdlib.h>
  15 #include <string.h>
  16 #endif
  17 #if defined(HAVE_UNISTD_H)
  18 #include <unistd.h>
  19 #endif
  20
  21 #include "fetchmail.h"
  22 #include "i18n.h"
  23
  24 /*
  25  * Machinery for handling UID lists live here.  This is mainly to support
  26  * RFC1725-conformant POP3 servers without a LAST command, but may also be
  27  * useful for making the IMAP4 querying logic UID-oriented, if a future
  28  * revision of IMAP forces me to.
  29  *
  30  * These functions are also used by the rest of the code to maintain
  31  * string lists.
  32  *
  33  * Here's the theory:
  34  *
  35  * At start of a query, we have a (possibly empty) list of UIDs to be
  36  * considered seen in `oldsaved'.  These are messages that were left in
  37  * the mailbox and *not deleted* on previous queries (we don't need to
  38  * remember the UIDs of deleted messages because ... well, they're gone!)
  39  * This list is initially set up by initialize_saved_list() from the
  40  * .fetchids file.
  41  *
  42  * Early in the query, during the execution of the protocol-specific
  43  * getrange code, the driver expects that the host's `newsaved' member
  44  * will be filled with a list of UIDs and message numbers representing
  45  * the mailbox state.  If this list is empty, the server did
  46  * not respond to the request for a UID listing.
  47  *
  48  * Each time a message is fetched, we can check its UID against the
  49  * `oldsaved' list to see if it is old.
  50  *
  51  * Each time a message-id is seen, we mark it with MARK_SEEN.
  52  *
  53  * Each time a message is deleted, we mark its id UID_DELETED in the
  54  * `newsaved' member.  When we want to assert that an expunge has been
  55  * done on the server, we call expunge_uid() to register that all
  56  * deleted messages are gone by marking them UID_EXPUNGED.
  57  *
  58  * At the end of the query, the `newsaved' member becomes the
  59  * `oldsaved' list.  The old `oldsaved' list is freed.
  60  *
  61  * At the end of the fetchmail run, seen and non-EXPUNGED members of all
  62  * current `oldsaved' lists are flushed out to the .fetchids file to
  63  * be picked up by the next run.  If there are no un-expunged
  64  * messages, the file is deleted.
  65  *
  66  * Note: some comparisons (those used for DNS address lists) are caseblind!
  67  */
  68
  69 /* UIDs associated with un-queried hosts */
  70 static struct idlist *scratchlist;
  71
  72 #ifdef POP3_ENABLE
  73 void initialize_saved_lists(struct query *hostlist, const char *idfile)
  74 /* read file of saved IDs and attach to each host */
  75 {
  76     struct stat statbuf;
  77     FILE        *tmpfp;
  78     struct query *ctl;
  79
  80     /* make sure lists are initially empty */
  81     for (ctl = hostlist; ctl; ctl = ctl->next)
  82         ctl->skipped = ctl->oldsaved = ctl->newsaved = (struct idlist *)NULL;
  83
  84     errno = 0;
  85
  86     /*
  87      * Croak if the uidl directory does not exist.
  88      * This probably means an NFS mount failed and we can't
  89      * see a uidl file that ought to be there.
  90      * Question: is this a portable check? It's not clear
  91      * that all implementations of lstat() will return ENOTDIR
  92      * rather than plain ENOENT in this case...
  93      */
  94    if (lstat(idfile, &statbuf) < 0) {
  95      if (errno == ENOTDIR)
  96     {
  97       report(stderr, GT_("lstat: %s: %s\n"), idfile, strerror(errno));
  98       exit(PS_IOERR);
  99     }
 100    }
 101
 102     /* let's get stored message UIDs from previous queries */
 103     if ((tmpfp = fopen(idfile, "r")) != (FILE *)NULL)
 104     {
 105         char buf[POPBUFSIZE+1];
 106         char *host = NULL;      /* pacify -Wall */
 107         char *user;
 108         char *id;
 109         char *atsign;   /* temp pointer used in parsing user and host */
 110         char *delimp1;
 111         char saveddelim1;
 112         char *delimp2;
 113         char saveddelim2 = '\0';        /* pacify -Wall */
 114
 115         while (fgets(buf, POPBUFSIZE, tmpfp) != (char *)NULL)
 116         {
 117             /*
 118              * At this point, we assume the bug has two fields -- a user@host
 119              * part, and an ID part. Either field may contain spurious @ signs.
 120              * The previous version of this code presumed one could split at
 121              * the rightmost '@'.  This is not correct, as InterMail puts an
 122              * '@' in the UIDL.
 123              */
 124
 125             /* first, skip leading spaces */
 126             user = buf + strspn(buf, " \t");
 127
 128             /*
 129              * First, we split the buf into a userhost part and an id
 130              * part ... but id doesn't necessarily start with a '<',
 131              * espescially if the POP server returns an X-UIDL header
 132              * instead of a Message-ID, as GMX's (www.gmx.net) POP3
 133              * StreamProxy V1.0 does.
 134              */
 135             if ((id = strchr(user, ' ')) != NULL )
 136             {
 137
 138               /*
 139                * this is one other trick. The userhost part
 140                * may contain ' ' in the user part, at least in
 141                * the lotus notes case.
 142                * So we start looking for the '@' after which the
 143                * host will follow with the ' ' seperator finaly id.
 144                */
 145                 delimp1 = strchr(user, '@');
 146                 id = strchr(delimp1,' ');
 147                 for (delimp1 = id; delimp1 >= user; delimp1--)
 148                     if ((*delimp1 != ' ') && (*delimp1 != '\t'))
 149                         break;
 150
 151                 /*
 152                  * It should be safe to assume that id starts after
 153                  * the " " - after all, we're writing the " "
 154                  * ourselves in write_saved_lists() :-)
 155                  */
 156                 id = id + strspn(id, " ");
 157
 158                 delimp1++; /* but what if there is only white space ?!? */
 159                 saveddelim1 = *delimp1; /* save char after token */
 160                 *delimp1 = '\0';                /* delimit token with \0 */
 161                 if (id != NULL)
 162                 {
 163                     /* now remove trailing white space chars from id */
 164                     if ((delimp2 = strpbrk(id, " \t\n")) != NULL ) {
 165                         saveddelim2 = *delimp2;
 166                         *delimp2 = '\0';
 167                     }
 168                     atsign = strrchr(user, '@');
 169                     if (atsign) {
 170                         *atsign = '\0';
 171                         host = atsign + 1;
 172
 173                     }
 174                     for (ctl = hostlist; ctl; ctl = ctl->next) {
 175                         if (strcasecmp(host, ctl->server.queryname) == 0
 176                             && strcasecmp(user, ctl->remotename) == 0) {
 177
 178                             save_str(&ctl->oldsaved, id, UID_SEEN);
 179                             break;
 180                         }
 181                     }
 182                     /*
 183                      * If it's not in a host we're querying,
 184                      * save it anyway.  Otherwise we'd lose UIDL
 185                      * information any time we queried an explicit
 186                      * subset of hosts.
 187                      */
 188                     if (ctl == (struct query *)NULL) {
 189                                 /* restore string */
 190                         *delimp1 = saveddelim1;
 191                         *atsign = '@';
 192                         if (delimp2 != NULL) {
 193                             *delimp2 = saveddelim2;
 194                         }
 195                         save_str(&scratchlist, buf, UID_SEEN);
 196                     }
 197                 }
 198             }
 199         }
 200         fclose(tmpfp);  /* not checking should be safe, mode was "r" */
 201     }
 202
 203     if (outlevel >= O_DEBUG)
 204     {
 205         struct idlist   *idp;
 206         int uidlcount = 0;
 207
 208         for (ctl = hostlist; ctl; ctl = ctl->next)
 209             if (ctl->server.uidl)
 210             {
 211                 report_build(stdout, GT_("Old UID list from %s:"),
 212                              ctl->server.pollname);
 213                 for (idp = ctl->oldsaved; idp; idp = idp->next)
 214                     report_build(stdout, " %s", idp->id);
 215                 if (!idp)
 216                     report_build(stdout, GT_(" <empty>"));
 217                 report_complete(stdout, "\n");
 218                 uidlcount++;
 219             }
 220
 221         if (uidlcount)
 222         {
 223             report_build(stdout, GT_("Scratch list of UIDs:"));
 224             for (idp = scratchlist; idp; idp = idp->next)
 225                 report_build(stdout, " %s", idp->id);
 226             if (!idp)
 227                 report_build(stdout, GT_(" <empty>"));
 228             report_complete(stdout, "\n");
 229         }
 230     }
 231 }
 232 #endif /* POP3_ENABLE */
 233
 234 struct idlist *save_str(struct idlist **idl, const char *str, flag status)
 235 /* save a number/UID pair on the given UID list */
 236 {
 237     struct idlist **end;
 238
 239     /* do it nonrecursively so the list is in the right order */
 240     for (end = idl; *end; end = &(*end)->next)
 241         continue;
 242
 243     *end = (struct idlist *)xmalloc(sizeof(struct idlist));
 244     (*end)->val.status.mark = status;
 245     (*end)->id = str ? xstrdup(str) : (char *)NULL;
 246     (*end)->next = NULL;
 247
 248     return(*end);
 249 }
 250
 251 void free_str_list(struct idlist **idl)
 252 /* free the given UID list */
 253 {
 254     if (*idl == (struct idlist *)NULL)
 255         return;
 256
 257     free_str_list(&(*idl)->next);
 258     free ((*idl)->id);
 259     free(*idl);
 260     *idl = (struct idlist *)NULL;
 261 }
 262
 263 void save_str_pair(struct idlist **idl, const char *str1, const char *str2)
 264 /* save an ID pair on the given list */
 265 {
 266     struct idlist **end;
 267
 268     /* do it nonrecursively so the list is in the right order */
 269     for (end = idl; *end; end = &(*end)->next)
 270         continue;
 271
 272     *end = (struct idlist *)xmalloc(sizeof(struct idlist));
 273     (*end)->id = str1 ? xstrdup(str1) : (char *)NULL;
 274     if (str2)
 275         (*end)->val.id2 = xstrdup(str2);
 276     else
 277         (*end)->val.id2 = (char *)NULL;
 278     (*end)->next = (struct idlist *)NULL;
 279 }
 280
 281 #ifdef __UNUSED__
 282 void free_str_pair_list(struct idlist **idl)
 283 /* free the given ID pair list */
 284 {
 285     if (*idl == (struct idlist *)NULL)
 286         return;
 287
 288     free_idpair_list(&(*idl)->next);
 289     free ((*idl)->id);
 290     free ((*idl)->val.id2);
 291     free(*idl);
 292     *idl = (struct idlist *)NULL;
 293 }
 294 #endif
 295
 296 int str_in_list(struct idlist **idl, const char *str, const flag caseblind)
 297 /* is a given ID in the given list? (comparison may be caseblind) */
 298 {
 299     if (*idl == (struct idlist *)NULL || str == (char *) NULL)
 300         return(0);
 301     else if (!caseblind && strcmp(str, (*idl)->id) == 0)
 302         return(1);
 303     else if (caseblind && strcasecmp(str, (*idl)->id) == 0)
 304         return(1);
 305     else
 306         return(str_in_list(&(*idl)->next, str, caseblind));
 307 }
 308
 309 int str_nr_in_list( struct idlist **idl, const char *str )
 310   /* return the position of str in idl */
 311 {
 312     int nr;
 313     struct idlist *walk;
 314     if ( !str )
 315         return -1;
 316     for( walk = *idl, nr = 0; walk; nr ++, walk = walk->next )
 317         if( strcmp( str, walk->id) == 0 )
 318             return nr;
 319     return -1;
 320 }
 321
 322 int str_nr_last_in_list( struct idlist **idl, const char *str)
 323 /* return the last position of str in idl */
 324 {
 325     int nr, ret = -1;
 326     struct idlist *walk;
 327     if ( !str )
 328         return -1;
 329     for( walk = *idl, nr = 0; walk; nr ++, walk = walk->next )
 330         if( strcmp( str, walk->id) == 0 )
 331             ret = nr;
 332     return ret;
 333 }
 334
 335 void str_set_mark( struct idlist **idl, const char *str, const flag val)
 336 /* update the mark on an of an id to given value */
 337 {
 338     int nr;
 339     struct idlist *walk;
 340     if (!str)
 341         return;
 342     for(walk = *idl, nr = 0; walk; nr ++, walk = walk->next)
 343         if (strcmp(str, walk->id) == 0)
 344             walk->val.status.mark = val;
 345 }
 346
 347 int count_list( struct idlist **idl)
 348 /* count the number of elements in the list */
 349 {
 350   if( !*idl )
 351     return 0;
 352   return 1 + count_list( &(*idl)->next );
 353 }
 354
 355 char *str_from_nr_list(struct idlist **idl, int number)
 356 /* return the number'th string in idl */
 357 {
 358     if( !*idl  || number < 0)
 359         return 0;
 360     if( number == 0 )
 361         return (*idl)->id;
 362     return str_from_nr_list(&(*idl)->next, number-1);
 363 }
 364
 365
 366 char *str_find(struct idlist **idl, int number)
 367 /* return the id of the given number in the given list. */
 368 {
 369     if (*idl == (struct idlist *) 0)
 370         return((char *) 0);
 371     else if (number == (*idl)->val.status.num)
 372         return((*idl)->id);
 373     else
 374         return(str_find(&(*idl)->next, number));
 375 }
 376
 377 char *idpair_find(struct idlist **idl, const char *id)
 378 /* return the id of the given id in the given list (caseblind comparison) */
 379 {
 380     if (*idl == (struct idlist *) 0)
 381         return((char *) 0);
 382     else if (strcasecmp(id, (*idl)->id) == 0)
 383         return((*idl)->val.id2 ? (*idl)->val.id2 : (*idl)->id);
 384     else
 385         return(idpair_find(&(*idl)->next, id));
 386 }
 387
 388 int delete_str(struct idlist **idl, int num)
 389 /* delete given message from given list */
 390 {
 391     struct idlist       *idp;
 392
 393     for (idp = *idl; idp; idp = idp->next)
 394         if (idp->val.status.num == num)
 395         {
 396             idp->val.status.mark = UID_DELETED;
 397             return(1);
 398         }
 399     return(0);
 400 }
 401
 402 struct idlist *copy_str_list(struct idlist *idl)
 403 /* copy the given UID list */
 404 {
 405     struct idlist *newnode ;
 406
 407     if (idl == (struct idlist *)NULL)
 408         return(NULL);
 409     else
 410     {
 411         newnode = (struct idlist *)xmalloc(sizeof(struct idlist));
 412         memcpy(newnode, idl, sizeof(struct idlist));
 413         newnode->next = copy_str_list(idl->next);
 414         return(newnode);
 415     }
 416 }
 417
 418 void append_str_list(struct idlist **idl, struct idlist **nidl)
 419 /* append nidl to idl (does not copy *) */
 420 {
 421     if ((*nidl) == (struct idlist *)NULL || *nidl == *idl)
 422         return;
 423     else if ((*idl) == (struct idlist *)NULL)
 424         *idl = *nidl;
 425     else if ((*idl)->next == (struct idlist *)NULL)
 426         (*idl)->next = *nidl;
 427     else if ((*idl)->next != *nidl)
 428         append_str_list(&(*idl)->next, nidl);
 429 }
 430
 431 #ifdef POP3_ENABLE
 432 void expunge_uids(struct query *ctl)
 433 /* assert that all UIDs marked deleted have actually been expunged */
 434 {
 435     struct idlist *idl;
 436
 437     for (idl = ctl->newsaved; idl; idl = idl->next)
 438         if (idl->val.status.mark == UID_DELETED)
 439             idl->val.status.mark = UID_EXPUNGED;
 440 }
 441
 442 void uid_swap_lists(struct query *ctl)
 443 /* finish a query */
 444 {
 445     /* debugging code */
 446     if (ctl->server.uidl && outlevel >= O_DEBUG)
 447     {
 448         struct idlist *idp;
 449
 450         report_build(stdout, GT_("New UID list from %s:"), ctl->server.pollname);
 451         for (idp = ctl->newsaved; idp; idp = idp->next)
 452             report_build(stdout, " %s = %d", idp->id, idp->val.status.mark);
 453         if (!idp)
 454             report_build(stdout, GT_(" <empty>"));
 455         report_complete(stdout, "\n");
 456     }
 457
 458     /*
 459      * Don't swap UID lists unless we've actually seen UIDLs.
 460      * This is necessary in order to keep UIDL information
 461      * from being heedlessly deleted later on.
 462      *
 463      * Older versions of fetchmail did
 464      *
 465      *     free_str_list(&scratchlist);
 466      *
 467      * after swap.  This was wrong; we need to preserve the UIDL information
 468      * from unqueried hosts.  Unfortunately, not doing this means that
 469      * under some circumstances UIDLs can end up being stored forever --
 470      * specifically, if a user description is removed from .fetchmailrc
 471      * with UIDLs from that account in .fetchids, there is no way for
 472      * them to ever get garbage-collected.
 473      */
 474     if (ctl->newsaved)
 475     {
 476         /* old state of mailbox may now be irrelevant */
 477         if (outlevel >= O_DEBUG)
 478             report(stdout, GT_("swapping UID lists\n"));
 479         free_str_list(&ctl->oldsaved);
 480         ctl->oldsaved = ctl->newsaved;
 481         ctl->newsaved = (struct idlist *) NULL;
 482     }
 483     else if (outlevel >= O_DEBUG)
 484         report(stdout, GT_("not swapping UID lists, no UIDs seen this query\n"));
 485 }
 486
 487 void write_saved_lists(struct query *hostlist, const char *idfile)
 488 /* perform end-of-run write of seen-messages list */
 489 {
 490     int         idcount;
 491     FILE        *tmpfp;
 492     struct query *ctl;
 493     struct idlist *idp;
 494
 495     /* if all lists are empty, nuke the file */
 496     idcount = 0;
 497     for (ctl = hostlist; ctl; ctl = ctl->next) {
 498         for (idp = ctl->oldsaved; idp; idp = idp->next)
 499             if (idp->val.status.mark == UID_SEEN
 500                                 || idp->val.status.mark == UID_DELETED)
 501                 idcount++;
 502     }
 503
 504     /* either nuke the file or write updated last-seen IDs */
 505     if (!idcount && !scratchlist)
 506     {
 507         if (outlevel >= O_DEBUG)
 508             report(stdout, GT_("Deleting fetchids file.\n"));
 509         unlink(idfile);
 510     }
 511     else
 512     {
 513         if (outlevel >= O_DEBUG)
 514             report(stdout, GT_("Writing fetchids file.\n"));
 515         if ((tmpfp = fopen(idfile, "w")) != (FILE *)NULL) {
 516             for (ctl = hostlist; ctl; ctl = ctl->next) {
 517                 for (idp = ctl->oldsaved; idp; idp = idp->next)
 518                     if (idp->val.status.mark == UID_SEEN
 519                                 || idp->val.status.mark == UID_DELETED)
 520                         fprintf(tmpfp, "%s@%s %s\n",
 521                             ctl->remotename, ctl->server.queryname, idp->id);
 522             }
 523             for (idp = scratchlist; idp; idp = idp->next)
 524                 fputs(idp->id, tmpfp);
 525             fclose(tmpfp);
 526         }
 527     }
 528 }
 529 #endif /* POP3_ENABLE */
 530
 531 /* uid.c ends here */