]> Pileus Git - ~andy/fetchmail/blobdiff - uid.c
Fix typo repsonsible -> responsible.
[~andy/fetchmail] / uid.c
diff --git a/uid.c b/uid.c
index 453274b795cfcced565fbcb68737efcfc7b9f3bd..d069d7d0484b5b2bdeb1c01170fd5187762d537b 100644 (file)
--- a/uid.c
+++ b/uid.c
@@ -1,30 +1,12 @@
-/*
- * uid.c -- UIDL handling for POP3 servers without LAST
+/**
+ * \file uid.c
+ * UID list handling (currently, only for POP3)
  *
  * For license terms, see the file COPYING in this directory.
- */
-
-#include "config.h"
-
-#include <sys/stat.h>
-#include <errno.h>
-#include <stdio.h>
-#include <limits.h>
-#if defined(STDC_HEADERS)
-#include <stdlib.h>
-#include <string.h>
-#endif
-#if defined(HAVE_UNISTD_H)
-#include <unistd.h>
-#endif
-
-#include "fetchmail.h"
-
-/*
- * Machinery for handling UID lists live here.  This is mainly to support
- * RFC1725-conformant POP3 servers without a LAST command, but may also be
- * useful for making the IMAP4 querying logic UID-oriented, if a future
- * revision of IMAP forces me to.
+ *
+ * Machinery for handling UID lists live here.  This is currently used
+ * by POP3, but may also be useful for making the IMAP4 querying logic
+ * UID-oriented.
  *
  * These functions are also used by the rest of the code to maintain
  * string lists.
@@ -38,7 +20,7 @@
  * This list is initially set up by initialize_saved_list() from the
  * .fetchids file.
  *
- * Early in the query, during the execution of the protocol-specific 
+ * Early in the query, during the execution of the protocol-specific
  * getrange code, the driver expects that the host's `newsaved' member
  * will be filled with a list of UIDs and message numbers representing
  * the mailbox state.  If this list is empty, the server did
  * be picked up by the next run.  If there are no un-expunged
  * messages, the file is deleted.
  *
- * Note: some comparisons (those used for DNS address lists) are caseblind!  
+ * One disadvantage of UIDL is that all the UIDs have to be downloaded
+ * before a search for new messages can be done. Typically, new messages
+ * are appended to mailboxes. Hence, downloading all UIDs just to download
+ * a few new mails is a waste of bandwidth. If new messages are always at
+ * the end of the mailbox, fast UIDL will decrease the time required to
+ * download new mails.
+ *
+ * During fast UIDL, the UIDs of all messages are not downloaded! The first
+ * unseen message is searched for by using a binary search on UIDs. UIDs
+ * after the first unseen message are downloaded as and when needed.
+ *
+ * The advantages of fast UIDL are (this is noticeable only when the
+ * mailbox has too many mails):
+ *
+ * - There is no need to download the UIDs of all mails right at the start.
+ * - There is no need to save all the UIDs in memory separately in
+ * `newsaved' list.
+ * - There is no need to download the UIDs of seen mail (except for the
+ * first binary search).
+ * - The first new mail is downloaded considerably faster.
+ *
+ * The disadvantages are:
+ *
+ * - Since all UIDs are not downloaded, it is not possible to swap old and
+ * new list. The current state of the mailbox is essentially a merged state
+ * of old and new mails.
+ * - If an intermediate mail has been temporarily refused (say, due to 4xx
+ * code from the smtp server), this mail may not get downloaded.
+ * - If 'flush' is used, such intermediate mails will also get deleted.
+ *
+ * The first two disadvantages can be overcome by doing a linear search
+ * once in a while (say, every 10th poll). Also, with flush, fast UIDL
+ * should be disabled.
+ *
+ * Note: some comparisons (those used for DNS address lists) are caseblind!
  */
 
-/* UIDs associated with un-queried hosts */
-static struct idlist *scratchlist;
+#include "config.h"
+
+#include <sys/stat.h>
+#include <errno.h>
+#include <stdio.h>
+#include <limits.h>
+#include <stdlib.h>
+#include <string.h>
+#include <unistd.h>
+
+#include "fetchmail.h"
+#include "gettext.h"
+#include "sdump.h"
+
+int dofastuidl = 0;
 
 #ifdef POP3_ENABLE
+/** UIDs associated with un-queried hosts */
+static struct idlist *scratchlist;
+
+static int dump_saved_uid(struct uid_db_record *rec, void *unused)
+{
+    char *t;
+
+    (void)unused;
+
+    t = sdump(rec->id, rec->id_len);
+    report_build(stdout, " %s", t);
+    free(t);
+
+    return 0;
+}
+
+/** Read saved IDs from \a idfile and attach to each host in \a hostlist. */
 void initialize_saved_lists(struct query *hostlist, const char *idfile)
-/* read file of saved IDs and attach to each host */
 {
     struct stat statbuf;
     FILE       *tmpfp;
     struct query *ctl;
 
     /* make sure lists are initially empty */
-    for (ctl = hostlist; ctl; ctl = ctl->next)
-       ctl->skipped = ctl->oldsaved = ctl->newsaved = (struct idlist *)NULL;
+    for (ctl = hostlist; ctl; ctl = ctl->next) {
+       ctl->skipped = (struct idlist *)NULL;
+
+       init_uid_db(&ctl->oldsaved);
+       init_uid_db(&ctl->newsaved);
+    }
 
     errno = 0;
 
@@ -90,13 +139,13 @@ void initialize_saved_lists(struct query *hostlist, const char *idfile)
      * that all implementations of lstat() will return ENOTDIR
      * rather than plain ENOENT in this case...
      */
-   if (lstat(idfile, &statbuf) < 0) {
-     if (errno == ENOTDIR) 
-    {
-      report(stderr, "lstat: %s: %s\n", idfile, strerror(errno));
-      exit(PS_IOERR);
+    if (lstat(idfile, &statbuf) < 0) {
+       if (errno == ENOTDIR)
+       {
+           report(stderr, "lstat: %s: %s\n", idfile, strerror(errno));
+           exit(PS_IOERR);
+       }
     }
-   }
 
     /* let's get stored message UIDs from previous queries */
     if ((tmpfp = fopen(idfile, "r")) != (FILE *)NULL)
@@ -114,13 +163,13 @@ void initialize_saved_lists(struct query *hostlist, const char *idfile)
        while (fgets(buf, POPBUFSIZE, tmpfp) != (char *)NULL)
        {
            /*
-            * At this point, we assume the bug has two fields -- a user@host 
+            * At this point, we assume the bug has two fields -- a user@host
             * part, and an ID part. Either field may contain spurious @ signs.
-            * The previous version of this code presumed one could split at 
-            * the rightmost '@'.  This is not correct, as InterMail puts an 
+            * The previous version of this code presumed one could split at
+            * the rightmost '@'.  This is not correct, as InterMail puts an
             * '@' in the UIDL.
             */
-         
+
            /* first, skip leading spaces */
            user = buf + strspn(buf, " \t");
 
@@ -130,14 +179,24 @@ void initialize_saved_lists(struct query *hostlist, const char *idfile)
             * espescially if the POP server returns an X-UIDL header
             * instead of a Message-ID, as GMX's (www.gmx.net) POP3
             * StreamProxy V1.0 does.
+            *
+            * this is one other trick. The userhost part
+            * may contain ' ' in the user part, at least in
+            * the lotus notes case.
+            * So we start looking for the '@' after which the
+            * host will follow with the ' ' separator with the id.
+            *
+            * XXX FIXME: There is a case this code cannot handle:
+            * the user name cannot have blanks after a '@'.
             */
-           if ((id = strchr(user, ' ')) != NULL )
+           if ((delimp1 = strchr(user, '@')) != NULL &&
+               (id = strchr(delimp1,' ')) != NULL)
            {
                for (delimp1 = id; delimp1 >= user; delimp1--)
                    if ((*delimp1 != ' ') && (*delimp1 != '\t'))
                        break;
 
-               /* 
+               /*
                 * It should be safe to assume that id starts after
                 * the " " - after all, we're writing the " "
                 * ourselves in write_saved_lists() :-)
@@ -145,41 +204,43 @@ void initialize_saved_lists(struct query *hostlist, const char *idfile)
                id = id + strspn(id, " ");
 
                delimp1++; /* but what if there is only white space ?!? */
-               saveddelim1 = *delimp1; /* save char after token */
+               /* we have at least one @, else we are not in this branch */
+               saveddelim1 = *delimp1;         /* save char after token */
                *delimp1 = '\0';                /* delimit token with \0 */
-               if (id != NULL) 
-               {
-                   /* now remove trailing white space chars from id */
-                   if ((delimp2 = strpbrk(id, " \t\n")) != NULL ) {
-                       saveddelim2 = *delimp2;
-                       *delimp2 = '\0';
-                   }
-                   atsign = strrchr(user, '@');
-                   if (atsign) {
-                       *atsign = '\0';
-                       host = atsign + 1;
 
-                   }
-                   for (ctl = hostlist; ctl; ctl = ctl->next) {
-                       if (ctl->server.truename &&
-                           strcasecmp(host, ctl->server.truename) == 0
+               /* now remove trailing white space chars from id */
+               if ((delimp2 = strpbrk(id, " \t\n")) != NULL ) {
+                   saveddelim2 = *delimp2;
+                   *delimp2 = '\0';
+               }
+
+               atsign = strrchr(user, '@');
+               /* we have at least one @, else we are not in this branch */
+               *atsign = '\0';
+               host = atsign + 1;
+
+               /* find uidl db and save it */
+               for (ctl = hostlist; ctl; ctl = ctl->next) {
+                   if (strcasecmp(host, ctl->server.queryname) == 0
                            && strcasecmp(user, ctl->remotename) == 0) {
-       
-                           save_str(&ctl->oldsaved, id, UID_SEEN);
-                           break;
-                       }
+                       uid_db_insert(&ctl->oldsaved, id, UID_SEEN);
+                       break;
                    }
-                   /* if it's not in a host we're querying,
-                   ** save it anyway */
-                   if (ctl == (struct query *)NULL) {
-                               /* restore string */
-                       *delimp1 = saveddelim1;
-                       *atsign = '@';
-                       if (delimp2 != NULL) {
-                           *delimp2 = saveddelim2;
-                       }
-                       save_str(&scratchlist, buf, UID_SEEN);
+               }
+               /*
+                * If it's not in a host we're querying,
+                * save it anyway.  Otherwise we'd lose UIDL
+                * information any time we queried an explicit
+                * subset of hosts.
+                */
+               if (ctl == (struct query *)NULL) {
+                   /* restore string */
+                   *delimp1 = saveddelim1;
+                   *atsign = '@';
+                   if (delimp2 != NULL) {
+                       *delimp2 = saveddelim2;
                    }
+                   save_str(&scratchlist, buf, UID_SEEN);
                }
            }
        }
@@ -189,313 +250,268 @@ void initialize_saved_lists(struct query *hostlist, const char *idfile)
     if (outlevel >= O_DEBUG)
     {
        struct idlist   *idp;
-       int uidlcount = 0;
 
        for (ctl = hostlist; ctl; ctl = ctl->next)
-           if (ctl->server.uidl)
            {
-               report_build(stdout, "Old UID list from %s:",ctl->server.pollname);
-               for (idp = ctl->oldsaved; idp; idp = idp->next)
-                   report_build(stdout, " %s", idp->id);
-               if (!idp)
-                   report_build(stdout, " <empty>");
+               report_build(stdout, GT_("Old UID list from %s:"),
+                            ctl->server.pollname);
+
+               if (!uid_db_n_records(&ctl->oldsaved))
+                   report_build(stdout, GT_(" <empty>"));
+               else
+                   traverse_uid_db(&ctl->oldsaved, dump_saved_uid, NULL);
+
                report_complete(stdout, "\n");
-               uidlcount++;
            }
 
-       if (uidlcount)
-       {
-           report_build(stdout, "Scratch list of UIDs:");
-           for (idp = scratchlist; idp; idp = idp->next)
-               report_build(stdout, " %s", idp->id);
-           if (!idp)
-               report_build(stdout, " <empty>");
-           report_complete(stdout, "\n");
+       report_build(stdout, GT_("Scratch list of UIDs:"));
+       if (!scratchlist)
+               report_build(stdout, GT_(" <empty>"));
+       else for (idp = scratchlist; idp; idp = idp->next) {
+               char *t = sdump(idp->id, strlen(idp->id)-1);
+               report_build(stdout, " %s\n", t);
+               free(t);
        }
+       report_complete(stdout, "\n");
     }
 }
-#endif /* POP3_ENABLE */
 
-struct idlist *save_str(struct idlist **idl, const char *str, flag status)
-/* save a number/UID pair on the given UID list */
+static int mark_as_expunged_if(struct uid_db_record *rec, void *unused)
 {
-    struct idlist **end;
-
-    /* do it nonrecursively so the list is in the right order */
-    for (end = idl; *end; end = &(*end)->next)
-       continue;
+    (void)unused;
 
-    *end = (struct idlist *)xmalloc(sizeof(struct idlist));
-    (*end)->val.status.mark = status;
-    (*end)->id = str ? xstrdup(str) : (char *)NULL;
-    (*end)->next = NULL;
-
-    return(*end);
-}
-
-void free_str_list(struct idlist **idl)
-/* free the given UID list */
-{
-    if (*idl == (struct idlist *)NULL)
-       return;
-
-    free_str_list(&(*idl)->next);
-    free ((*idl)->id);
-    free(*idl);
-    *idl = (struct idlist *)NULL;
-}
-
-void save_str_pair(struct idlist **idl, const char *str1, const char *str2)
-/* save an ID pair on the given list */
-{
-    struct idlist **end;
-
-    /* do it nonrecursively so the list is in the right order */
-    for (end = idl; *end; end = &(*end)->next)
-       continue;
-
-    *end = (struct idlist *)xmalloc(sizeof(struct idlist));
-    (*end)->id = str1 ? xstrdup(str1) : (char *)NULL;
-    if (str2)
-       (*end)->val.id2 = xstrdup(str2);
-    else
-       (*end)->val.id2 = (char *)NULL;
-    (*end)->next = (struct idlist *)NULL;
+    if (rec->status == UID_DELETED) rec->status = UID_EXPUNGED;
+    return 0;
 }
 
-#ifdef __UNUSED__
-void free_str_pair_list(struct idlist **idl)
-/* free the given ID pair list */
+/** Assert that all UIDs marked deleted in query \a ctl have actually been
+expunged. */
+void expunge_uids(struct query *ctl)
 {
-    if (*idl == (struct idlist *)NULL)
-       return;
-
-    free_idpair_list(&(*idl)->next);
-    free ((*idl)->id);
-    free ((*idl)->val.id2);
-    free(*idl);
-    *idl = (struct idlist *)NULL;
+    traverse_uid_db(dofastuidl ? &ctl->oldsaved : &ctl->newsaved,
+                    mark_as_expunged_if, NULL);
 }
-#endif
 
-int str_in_list(struct idlist **idl, const char *str, const flag caseblind)
-/* is a given ID in the given list? (comparison may be caseblind) */
+static const char *str_uidmark(int mark)
 {
-    if (*idl == (struct idlist *)NULL || str == (char *) NULL)
-       return(0);
-    else if (!caseblind && strcmp(str, (*idl)->id) == 0)
-       return(1);
-    else if (caseblind && strcasecmp(str, (*idl)->id) == 0)
-       return(1);
-    else
-       return(str_in_list(&(*idl)->next, str, caseblind));
+       static char buf[20];
+
+       switch(mark) {
+               case UID_UNSEEN:
+                       return "UNSEEN";
+               case UID_SEEN:
+                       return "SEEN";
+               case UID_EXPUNGED:
+                       return "EXPUNGED";
+               case UID_DELETED:
+                       return "DELETED";
+               default:
+                       if (snprintf(buf, sizeof(buf), "MARK=%d", mark) < 0)
+                               return "ERROR";
+                       else
+                               return buf;
+       }
 }
 
-int str_nr_in_list( struct idlist **idl, const char *str )
-  /* return the position of str in idl */
+static int dump_uid_db_record(struct uid_db_record *rec, void *arg)
 {
-    int nr;
-    struct idlist *walk;
-    if ( !str )
-        return -1;
-    for( walk = *idl, nr = 0; walk; nr ++, walk = walk->next )
-        if( strcmp( str, walk->id) == 0 )
-           return nr;
-    return -1;
-}
+       unsigned *n_recs;
+       char *t;
 
-int str_nr_last_in_list( struct idlist **idl, const char *str)
-/* return the last position of str in idl */
-{
-    int nr, ret = -1;
-    struct idlist *walk;
-    if ( !str )
-        return -1;
-    for( walk = *idl, nr = 0; walk; nr ++, walk = walk->next )
-        if( strcmp( str, walk->id) == 0 )
-           ret = nr;
-    return ret;
-}
+       n_recs = (unsigned int *)arg;
+       --*n_recs;
 
-void str_set_mark( struct idlist **idl, const char *str, const flag val)
-/* update the mark on an of an id to given value */
-{
-    int nr;
-    struct idlist *walk;
-    if (!str)
-        return;
-    for(walk = *idl, nr = 0; walk; nr ++, walk = walk->next)
-        if (strcmp(str, walk->id) == 0)
-           walk->val.status.mark = val;
-}
+       t = sdump(rec->id, rec->id_len);
+       report_build(stdout, " %s = %s%s", t, str_uidmark(rec->status), *n_recs ? "," : "");
+       free(t);
 
-int count_list( struct idlist **idl)
-/* count the number of elements in the list */
-{
-  if( !*idl )
-    return 0;
-  return 1 + count_list( &(*idl)->next );
+       return 0;
 }
 
-char *str_from_nr_list(struct idlist **idl, int number)
-/* return the number'th string in idl */
+static void dump_uid_db(struct uid_db *db)
 {
-    if( !*idl  || number < 0)
-        return 0;
-    if( number == 0 )
-        return (*idl)->id;
-    return str_from_nr_list(&(*idl)->next, number-1);
-}
+       unsigned n_recs;
 
-    
-char *str_find(struct idlist **idl, int number)
-/* return the id of the given number in the given list. */
-{
-    if (*idl == (struct idlist *) 0)
-       return((char *) 0);
-    else if (number == (*idl)->val.status.num)
-       return((*idl)->id);
-    else
-       return(str_find(&(*idl)->next, number));
-}
+       n_recs = uid_db_n_records(db);
+       if (!n_recs) {
+               report_build(stdout, GT_(" <empty>"));
+               return;
+       }
 
-char *idpair_find(struct idlist **idl, const char *id)
-/* return the id of the given id in the given list (caseblind comparison) */
-{
-    if (*idl == (struct idlist *) 0)
-       return((char *) 0);
-    else if (strcasecmp(id, (*idl)->id) == 0)
-       return((*idl)->val.id2 ? (*idl)->val.id2 : (*idl)->id);
-    else
-       return(idpair_find(&(*idl)->next, id));
+       traverse_uid_db(db, dump_uid_db_record, &n_recs);
 }
 
-int delete_str(struct idlist **idl, int num)
-/* delete given message from given list */
+/** Finish a successful query */
+void uid_swap_lists(struct query *ctl)
 {
-    struct idlist      *idp;
-
-    for (idp = *idl; idp; idp = idp->next)
-       if (idp->val.status.num == num)
-       {
-           idp->val.status.mark = UID_DELETED;
-           return(1);
+    /* debugging code */
+    if (outlevel >= O_DEBUG)
+    {
+       if (dofastuidl) {
+           report_build(stdout, GT_("Merged UID list from %s:"), ctl->server.pollname);
+           dump_uid_db(&ctl->oldsaved);
+       } else {
+           report_build(stdout, GT_("New UID list from %s:"), ctl->server.pollname);
+           dump_uid_db(&ctl->newsaved);
        }
-    return(0);
+       report_complete(stdout, "\n");
+    }
+
+    /*
+     * Don't swap UID lists unless we've actually seen UIDLs.
+     * This is necessary in order to keep UIDL information
+     * from being heedlessly deleted later on.
+     *
+     * Older versions of fetchmail did
+     *
+     *     free_str_list(&scratchlist);
+     *
+     * after swap.  This was wrong; we need to preserve the UIDL information
+     * from unqueried hosts.  Unfortunately, not doing this means that
+     * under some circumstances UIDLs can end up being stored forever --
+     * specifically, if a user description is removed from .fetchmailrc
+     * with UIDLs from that account in .fetchids, there is no way for
+     * them to ever get garbage-collected.
+     */
+    if (uid_db_n_records(&ctl->newsaved))
+    {
+       swap_uid_db_data(&ctl->newsaved, &ctl->oldsaved);
+       clear_uid_db(&ctl->newsaved);
+    }
+    /* in fast uidl, there is no need to swap lists: the old state of
+     * mailbox cannot be discarded! */
+    else if (outlevel >= O_DEBUG && !dofastuidl)
+       report(stdout, GT_("not swapping UID lists, no UIDs seen this query\n"));
 }
 
-struct idlist *copy_str_list(struct idlist *idl)
-/* copy the given UID list */
+/** Finish a query which had errors */
+void uid_discard_new_list(struct query *ctl)
 {
-    struct idlist *newnode ;
+    /* debugging code */
+    if (outlevel >= O_DEBUG)
+    {
+       /* this is now a merged list! the mails which were seen in this
+        * poll are marked here. */
+       report_build(stdout, GT_("Merged UID list from %s:"), ctl->server.pollname);
+       dump_uid_db(&ctl->oldsaved);
+       report_complete(stdout, "\n");
+    }
 
-    if (idl == (struct idlist *)NULL)
-       return(NULL);
-    else
+    if (uid_db_n_records(&ctl->newsaved))
     {
-       newnode = (struct idlist *)xmalloc(sizeof(struct idlist));
-       newnode->next = copy_str_list(idl->next);
-       return(newnode);
+       /* new state of mailbox is not reliable */
+       if (outlevel >= O_DEBUG)
+           report(stdout, GT_("discarding new UID list\n"));
+       clear_uid_db(&ctl->newsaved);
     }
 }
 
-void append_str_list(struct idlist **idl, struct idlist **nidl)
-/* append nidl to idl (does not copy *) */
+/** Reset the number associated with each id */
+void uid_reset_num(struct query *ctl)
 {
-    if ((*nidl) == (struct idlist *)NULL || *nidl == *idl)
-       return;
-    else if ((*idl) == (struct idlist *)NULL)
-       *idl = *nidl;
-    else if ((*idl)->next == (struct idlist *)NULL)
-       (*idl)->next = *nidl;
-    else if ((*idl)->next != *nidl)
-       append_str_list(&(*idl)->next, nidl);
+    reset_uid_db_nums(&ctl->oldsaved);
 }
 
-#ifdef POP3_ENABLE
-void expunge_uids(struct query *ctl)
-/* assert that all UIDs marked deleted have actually been expunged */
+/** Write list of seen messages, at end of run. */
+static int count_seen_deleted(struct uid_db_record *rec, void *arg)
 {
-    struct idlist *idl;
-
-    for (idl = ctl->newsaved; idl; idl = idl->next)
-       if (idl->val.status.mark == UID_DELETED)
-           idl->val.status.mark = UID_EXPUNGED;
+    if (rec->status == UID_SEEN || rec->status == UID_DELETED)
+       ++*(long *)arg;
+    return 0;
 }
 
-void uid_end_query(struct query *ctl) 
-/* finish a query */
+struct write_saved_info {
+    struct query *ctl;
+    FILE *fp;
+};
+
+static int write_uid_db_record(struct uid_db_record *rec, void *arg)
 {
-    /* debugging code */
-    if (ctl->server.uidl && outlevel >= O_DEBUG)
-    {
-       struct idlist *idp;
+    struct write_saved_info *info;
+    int rc;
 
-       report_build(stdout, "New UID list from %s:", ctl->server.pollname);
-       for (idp = ctl->newsaved; idp; idp = idp->next)
-           report_build(stdout, " %s = %d", idp->id, idp->val.status.mark);
-       if (!idp)
-           report_build(stdout, " <empty>");
-       report_complete(stdout, "\n");
-    }
+    if (!(rec->status == UID_SEEN || rec->status == UID_DELETED))
+       return 0;
 
-    /*
-     * Don't swap UID lists unless we've actually seen UIDLs.
-     * This is necessary in order to keep UIDL information
-     * from being heedlessly deleted later on.
-     */
-    if (ctl->newsaved)
-    {
-       /* old state of mailbox may now be irrelevant */
-       if (outlevel >= O_DEBUG)
-           report(stdout, "swapping UID lists\n");
-       free_str_list(&ctl->oldsaved);
-       free_str_list(&scratchlist);
-       ctl->oldsaved = ctl->newsaved;
-       ctl->newsaved = (struct idlist *) NULL;
-    }
-    else if (outlevel >= O_DEBUG)
-       report(stdout, "not swapping UID lists, no UIDs seen this query\n");
+    info = (struct write_saved_info *)arg;
+    rc = fprintf(info->fp, "%s@%s %s\n",
+                info->ctl->remotename, info->ctl->server.queryname,
+                rec->id);
+    return rc < 0 ? -1 : 0;
 }
 
+/** Write new list of UIDs (state) to \a idfile. */
 void write_saved_lists(struct query *hostlist, const char *idfile)
-/* perform end-of-run write of seen-messages list */
 {
-    int                idcount;
+    long       idcount;
     FILE       *tmpfp;
     struct query *ctl;
     struct idlist *idp;
 
     /* if all lists are empty, nuke the file */
     idcount = 0;
-    for (ctl = hostlist; ctl; ctl = ctl->next) {
-       if (ctl->oldsaved)
-           idcount++;
-    }
+    for (ctl = hostlist; ctl; ctl = ctl->next)
+       traverse_uid_db(&ctl->oldsaved, count_seen_deleted, &idcount);
 
     /* either nuke the file or write updated last-seen IDs */
     if (!idcount && !scratchlist)
     {
+       if (outlevel >= O_DEBUG) {
+           if (access(idfile, F_OK) == 0)
+                   report(stdout, GT_("Deleting fetchids file.\n"));
+       }
+       if (unlink(idfile) && errno != ENOENT)
+           report(stderr, GT_("Error deleting %s: %s\n"), idfile, strerror(errno));
+    } else {
+       char *newnam = (char *)xmalloc(strlen(idfile) + 2);
+       strcpy(newnam, idfile);
+       strcat(newnam, "_");
        if (outlevel >= O_DEBUG)
-           report(stdout, "Deleting fetchids file.\n");
-       unlink(idfile);
-    }
-    else
-    {
-       if (outlevel >= O_DEBUG)
-           report(stdout, "Writing fetchids file.\n");
-       if ((tmpfp = fopen(idfile, "w")) != (FILE *)NULL) {
+           report(stdout, GT_("Writing fetchids file.\n"));
+       (void)unlink(newnam); /* remove file/link first */
+       if ((tmpfp = fopen(newnam, "w")) != (FILE *)NULL) {
+           struct write_saved_info info;
+           int errflg = 0;
+
+           info.fp = tmpfp;
+
            for (ctl = hostlist; ctl; ctl = ctl->next) {
-               for (idp = ctl->oldsaved; idp; idp = idp->next)
-                   if (idp->val.status.mark == UID_SEEN
-                               || idp->val.status.mark == UID_DELETED)
-                       fprintf(tmpfp, "%s@%s %s\n", 
-                           ctl->remotename, ctl->server.truename, idp->id);
+               info.ctl = ctl;
+
+               if (traverse_uid_db(&ctl->oldsaved, write_uid_db_record, &info) < 0) {
+                   int e = errno;
+                   report(stderr, GT_("Write error on fetchids file %s: %s\n"), newnam, strerror(e));
+                   errflg = 1;
+                   goto bailout;
+               }
            }
+
            for (idp = scratchlist; idp; idp = idp->next)
-               fputs(idp->id, tmpfp);
-           fclose(tmpfp);
+               if (EOF == fputs(idp->id, tmpfp)) {
+                           int e = errno;
+                           report(stderr, GT_("Write error on fetchids file %s: %s\n"), newnam, strerror(e));
+                           errflg = 1;
+                           goto bailout;
+               }
+
+bailout:
+           (void)fflush(tmpfp); /* return code ignored, we check ferror instead */
+           errflg |= ferror(tmpfp);
+           errflg |= fclose(tmpfp);
+           /* if we could write successfully, move into place;
+            * otherwise, drop */
+           if (errflg) {
+               report(stderr, GT_("Error writing to fetchids file %s, old file left in place.\n"), newnam);
+               unlink(newnam);
+           } else {
+               if (rename(newnam, idfile)) {
+                   report(stderr, GT_("Cannot rename fetchids file %s to %s: %s\n"), newnam, idfile, strerror(errno));
+               }
+           }
+       } else {
+           report(stderr, GT_("Cannot open fetchids file %s for writing: %s\n"), newnam, strerror(errno));
        }
+       free(newnam);
     }
 }
 #endif /* POP3_ENABLE */