]> Pileus Git - ~andy/fetchmail/blobdiff - imap.c
Merge branch 'legacy_63'
[~andy/fetchmail] / imap.c
diff --git a/imap.c b/imap.c
index eb57bf4ae7f423eea3f50c91f2eb4bdfef162773..a598519b59e1685c1d6eee7fb937cc609620837a 100644 (file)
--- a/imap.c
+++ b/imap.c
 #include  "config.h"
 #include  <stdio.h>
 #include  <string.h>
+#include  <strings.h>
 #include  <ctype.h>
-#if defined(STDC_HEADERS)
 #include  <stdlib.h>
-#endif
+#include  <limits.h>
+#include  <errno.h>
 #include  "fetchmail.h"
 #include  "socket.h"
 
-#ifdef KERBEROS_V4
-#ifdef KERBEROS_V5
-#include <kerberosIV/des.h>
-#include <kerberosIV/krb.h>
-#else
-#if defined (__bsdi__)
-#include <des.h>
-#define krb_get_err_text(e) (krb_err_txt[e])
-#endif
-#if defined(__NetBSD__) || (__FreeBSD__) || defined(__linux__)
-#define krb_get_err_text(e) (krb_err_txt[e])
-#endif
-#include <krb.h>
-#endif
-#endif /* KERBEROS_V4 */
-#include  "i18n.h"
-
-#ifdef GSSAPI
-#ifdef HAVE_GSSAPI_H
-#include <gssapi.h>
-#endif
-#ifdef HAVE_GSSAPI_GSSAPI_H
-#include <gssapi/gssapi.h>
-#endif
-#ifdef HAVE_GSSAPI_GSSAPI_GENERIC_H
-#include <gssapi/gssapi_generic.h>
-#endif
-#ifndef HAVE_GSS_C_NT_HOSTBASED_SERVICE
-#define GSS_C_NT_HOSTBASED_SERVICE gss_nt_service_name
-#endif
-#endif
-
-#include "md5.h"
-
-#if OPIE_ENABLE
-#include <opie.h>
-#endif /* OPIE_ENABLE */
-
-#ifndef strstr         /* glibc-2.1 declares this as a macro */
-extern char *strstr(); /* needed on sysV68 R3V7.1. */
-#endif /* strstr */
+#include  "gettext.h"
 
 /* imap_version values */
-#define IMAP2          -1      /* IMAP2 or IMAP2BIS, RFC1176 */
 #define IMAP4          0       /* IMAP4 rev 0, RFC1730 */
 #define IMAP4rev1      1       /* IMAP4 rev 1, RFC2060 */
 
-static int count, seen, recent, unseen, deletions, imap_version, preauth; 
-static int expunged, expunge_period;
+/* global variables: please reinitialize them explicitly for proper
+ * working in daemon mode */
+
+/* TODO: session variables to be initialized before server greeting */
+static int preauth = FALSE;
+
+/* session variables initialized in capa_probe() or imap_getauth() */
 static char capabilities[MSGBUFSIZE+1];
+static int imap_version = IMAP4;
+static flag do_idle = FALSE, has_idle = FALSE;
+static int expunge_period = 1;
+
+/* mailbox variables initialized in imap_getrange() */
+static int count = 0, oldcount = 0, recentcount = 0, unseen = 0, deletions = 0;
+static unsigned int startcount = 1;
+static int expunged = 0;
+static unsigned int *unseen_messages;
+
+/* for "IMAP> EXPUNGE" */
+static int actual_deletions = 0;
+
+/* for "IMAP> IDLE" */
+static int saved_timeout = 0, idle_timeout = 0;
+static time_t idle_start_time = 0;
+
+static int imap_untagged_response(int sock, const char *buf)
+/* interpret untagged status responses */
+{
+    /* For each individual check, use a BLANK before the word to avoid
+     * confusion with the \Recent flag or similar */
+    if (stage == STAGE_GETAUTH
+           && !strncmp(buf, "* CAPABILITY", 12))
+    {
+       strlcpy(capabilities, buf + 12, sizeof(capabilities));
+    }
+    else if (stage == STAGE_GETAUTH
+           && !strncmp(buf, "* PREAUTH", 9))
+    {
+       preauth = TRUE;
+    }
+    else if (stage != STAGE_LOGOUT
+           && !strncmp(buf, "* BYE", 5))
+    {
+       /* log the unexpected bye from server as we expect the
+        * connection to be cut-off after this */
+       if (outlevel > O_SILENT)
+           report(stderr, GT_("Received BYE response from IMAP server: %s"), buf + 5);
+    }
+    else if (strstr(buf, " EXISTS"))
+    {
+       char *t; unsigned long u;
+       errno = 0;
+       u = strtoul(buf+2, &t, 10);
+       /*
+        * Don't trust the message count passed by the server.
+        * Without this check, it might be possible to do a
+        * DNS-spoofing attack that would pass back a ridiculous 
+        * count, and allocate a malloc area that would overlap
+        * a portion of the stack.
+        */
+       if (errno /* strtoul failed */
+               || t == buf+2 /* no valid data */
+               || u > (unsigned long)(INT_MAX/sizeof(int)) /* too large */)
+       {
+           report(stderr, GT_("bogus message count in \"%s\"!"), buf);
+           return(PS_PROTOCOL);
+       }
+       count = u; /* safe as long as count <= INT_MAX - checked above */
+
+       if ((recentcount = count - oldcount) < 0)
+           recentcount = 0;
+
+       /*
+        * Nasty kluge to handle RFC2177 IDLE.  If we know we're idling
+        * we can't wait for the tag matching the IDLE; we have to tell the
+        * server the IDLE is finished by shipping back a DONE when we
+        * see an EXISTS.  Only after that will a tagged response be
+        * shipped.  The idling flag also gets cleared on a timeout.
+        */
+       if (stage == STAGE_IDLE)
+       {
+           /* If IDLE isn't supported, we were only sending NOOPs anyway. */
+           if (has_idle)
+           {
+               /* we do our own write and report here to disable tagging */
+               SockWrite(sock, "DONE\r\n", 6);
+               if (outlevel >= O_MONITOR)
+                   report(stdout, "IMAP> DONE\n");
+           }
+
+           mytimeout = saved_timeout;
+           stage = STAGE_GETRANGE;
+       }
+    }
+    /* we now compute recentcount as a difference between
+     * new and old EXISTS, hence disable RECENT check */
+# if 0
+    else if (strstr(buf, " RECENT"))
+    {
+       /* fixme: use strto[u]l and error checking */
+       recentcount = atoi(buf+2);
+    }
+# endif
+    else if (strstr(buf, " EXPUNGE"))
+    {
+       unsigned long u; char *t;
+       /* the response "* 10 EXPUNGE" means that the currently
+        * tenth (i.e. only one) message has been deleted */
+       errno = 0;
+       u = strtoul(buf+2, &t, 10);
+       if (errno /* conversion error */ || t == buf+2 /* no number found */) {
+           report(stderr, GT_("bogus EXPUNGE count in \"%s\"!"), buf);
+           return PS_PROTOCOL;
+       }
+       if (u > 0)
+       {
+           if (count > 0)
+               count--;
+           if (oldcount > 0)
+               oldcount--;
+           /* We do expect an EXISTS response immediately
+            * after this, so this updation of recentcount is
+            * just a precaution! */
+           if ((recentcount = count - oldcount) < 0)
+               recentcount = 0;
+           actual_deletions++;
+       }
+    }
+    /*
+     * The server may decide to make the mailbox read-only, 
+     * which causes fetchmail to go into a endless loop
+     * fetching the same message over and over again. 
+     * 
+     * However, for check_only, we use EXAMINE which will
+     * mark the mailbox read-only as per the RFC.
+     * 
+     * This checks for the condition and aborts if 
+     * the mailbox is read-only. 
+     *
+     * See RFC 2060 section 6.3.1 (SELECT).
+     * See RFC 2060 section 6.3.2 (EXAMINE).
+     */ 
+    else if (stage == STAGE_GETRANGE
+           && !check_only && strstr(buf, "[READ-ONLY]"))
+    {
+       return(PS_LOCKBUSY);
+    }
+    else
+    {
+       return(PS_UNTAGGED);
+    }
+    return(PS_SUCCESS);
+}
 
-int imap_ok(int sock, char *argbuf)
+static int imap_response(int sock, char *argbuf, struct RecvSplit *rs)
 /* parse command response */
 {
-    char buf [MSGBUFSIZE+1];
+    char buf[MSGBUFSIZE+1];
 
-    seen = 0;
     do {
        int     ok;
        char    *cp;
 
-       if ((ok = gen_recv(sock, buf, sizeof(buf))))
+       if (rs)
+           ok = gen_recv_split(sock, buf, sizeof(buf), rs);
+       else
+           ok = gen_recv(sock, buf, sizeof(buf));
+       if (ok != PS_SUCCESS)
            return(ok);
 
        /* all tokens in responses are caseblind */
        for (cp = buf; *cp; cp++)
-           if (islower(*cp))
-               *cp = toupper(*cp);
-
-       /* interpret untagged status responses */
-       if (strstr(buf, "* CAPABILITY"))
-           strncpy(capabilities, buf + 12, sizeof(capabilities));
-       if (strstr(buf, "EXISTS"))
-           count = atoi(buf+2);
-       if (strstr(buf, "RECENT"))
-           recent = atoi(buf+2);
-       if (strstr(buf, "UNSEEN"))
+           if (islower((unsigned char)*cp))
+               *cp = toupper((unsigned char)*cp);
+
+       /* untagged responses start with "* " */
+       if (buf[0] == '*' && buf[1] == ' ') {
+           ok = imap_untagged_response(sock, buf);
+           if (ok == PS_UNTAGGED)
+           {
+               if (argbuf && stage != STAGE_IDLE && tag[0] != '\0')
+               {
+                   /* if there is an unmatched response, pass it back to
+                    * the calling function for further analysis. The
+                    * calling function should call imap_response() again
+                    * to read the remaining response */
+                   strcpy(argbuf, buf);
+                   return(ok);
+               }
+           }
+           else if (ok != PS_SUCCESS)
+               return(ok);
+       }
+
+       if (stage == STAGE_IDLE)
        {
-           char        *cp;
-
-           /*
-            * Handle both "* 42 UNSEEN" (if tha ever happens) and 
-            * "* OK [UNSEEN 42] 42". Note that what this gets us is
-            * a minimum index, not a count.
-            */
-           unseen = 0;
-           for (cp = buf; *cp && !isdigit(*cp); cp++)
-               continue;
-           unseen = atoi(cp);
+           /* reduce the timeout: servers may not reset their timeout
+            * when they send some information asynchronously */
+           mytimeout = idle_timeout - (time((time_t *) NULL) - idle_start_time);
+           if (mytimeout <= 0)
+               return(PS_IDLETIMEOUT);
        }
-       if (strstr(buf, "FLAGS"))
-           seen = (strstr(buf, "SEEN") != (char *)NULL);
-       if (strstr(buf, "PREAUTH"))
-           preauth = TRUE;
     } while
        (tag[0] != '\0' && strncmp(buf, tag, strlen(tag)));
 
@@ -123,30 +238,25 @@ int imap_ok(int sock, char *argbuf)
        char    *cp;
 
        /* skip the tag */
-       for (cp = buf; !isspace(*cp); cp++)
+       for (cp = buf; !isspace((unsigned char)*cp); cp++)
            continue;
-       while (isspace(*cp))
+       while (isspace((unsigned char)*cp))
            cp++;
 
-       if (strncmp(cp, "PREAUTH", 2) == 0)
+        if (strncasecmp(cp, "OK", 2) == 0)
        {
            if (argbuf)
                strcpy(argbuf, cp);
-           preauth = TRUE;
            return(PS_SUCCESS);
        }
-       else if (strncmp(cp, "OK", 2) == 0)
-       {
-           if (argbuf)
-               strcpy(argbuf, cp);
-           return(PS_SUCCESS);
-       }
-       else if (strncmp(cp, "BAD", 3) == 0)
+       else if (strncasecmp(cp, "BAD", 3) == 0)
            return(PS_ERROR);
-       else if (strncmp(cp, "NO", 2) == 0)
+       else if (strncasecmp(cp, "NO", 2) == 0)
        {
            if (stage == STAGE_GETAUTH) 
                return(PS_AUTHFAIL);    /* RFC2060, 6.2.2 */
+           else if (stage == STAGE_GETSIZES)
+               return(PS_SUCCESS);     /* see comments in imap_getpartialsizes() */
            else
                return(PS_ERROR);
        }
@@ -155,531 +265,19 @@ int imap_ok(int sock, char *argbuf)
     }
 }
 
-#if OPIE_ENABLE
-static int do_otp(int sock, struct query *ctl)
-{
-    int i, rval;
-    char buffer[128];
-    char challenge[OPIE_CHALLENGE_MAX+1];
-    char response[OPIE_RESPONSE_MAX+1];
-
-    gen_send(sock, "AUTHENTICATE X-OTP");
-
-    if (rval = gen_recv(sock, buffer, sizeof(buffer)))
-       return rval;
-
-    if ((i = from64tobits(challenge, buffer)) < 0) {
-       report(stderr, _("Could not decode initial BASE64 challenge\n"));
-       return PS_AUTHFAIL;
-    };
-
-
-    to64frombits(buffer, ctl->remotename, strlen(ctl->remotename));
-
-    if (outlevel >= O_MONITOR)
-       report(stdout, "IMAP> %s\n", buffer);
-
-    /* best not to count on the challenge code handling multiple writes */
-    strcat(buffer, "\r\n");
-    SockWrite(sock, buffer, strlen(buffer));
-
-    if (rval = gen_recv(sock, buffer, sizeof(buffer)))
-       return rval;
-
-    if ((i = from64tobits(challenge, buffer)) < 0) {
-       report(stderr, _("Could not decode OTP challenge\n"));
-       return PS_AUTHFAIL;
-    };
-
-    rval = opiegenerator(challenge, !strcmp(ctl->password, "opie") ? "" : ctl->password, response);
-    if ((rval == -2) && !run.poll_interval) {
-       char secret[OPIE_SECRET_MAX+1];
-       fprintf(stderr, _("Secret pass phrase: "));
-       if (opiereadpass(secret, sizeof(secret), 0))
-           rval = opiegenerator(challenge, secret, response);
-       memset(secret, 0, sizeof(secret));
-    };
-
-    if (rval)
-       return(PS_AUTHFAIL);
-
-    to64frombits(buffer, response, strlen(response));
-
-    if (outlevel >= O_MONITOR)
-       report(stdout, "IMAP> %s\n", buffer);
-    strcat(buffer, "\r\n");
-    SockWrite(sock, buffer, strlen(buffer));
-
-    if (rval = gen_recv(sock, buffer, sizeof(buffer)))
-       return rval;
-
-    if (strstr(buffer, "OK"))
-       return PS_SUCCESS;
-    else
-       return PS_AUTHFAIL;
-};
-#endif /* OPIE_ENABLE */
-
-#ifdef KERBEROS_V4
-#if SIZEOF_INT == 4
-typedef        int     int32;
-#elif SIZEOF_SHORT == 4
-typedef        short   int32;
-#elif SIZEOF_LONG == 4
-typedef        long    int32;
-#else
-#error Cannot deduce a 32-bit-type
-#endif
-
-static int do_rfc1731(int sock, char *truename)
-/* authenticate as per RFC1731 -- note 32-bit integer requirement here */
-{
-    int result = 0, len;
-    char buf1[4096], buf2[4096];
-    union {
-      int32 cint;
-      char cstr[4];
-    } challenge1, challenge2;
-    char srvinst[INST_SZ];
-    char *p;
-    char srvrealm[REALM_SZ];
-    KTEXT_ST authenticator;
-    CREDENTIALS credentials;
-    char tktuser[MAX_K_NAME_SZ+1+INST_SZ+1+REALM_SZ+1];
-    char tktinst[INST_SZ];
-    char tktrealm[REALM_SZ];
-    des_cblock session;
-    des_key_schedule schedule;
-
-    gen_send(sock, "AUTHENTICATE KERBEROS_V4");
-
-    /* The data encoded in the first ready response contains a random
-     * 32-bit number in network byte order.  The client should respond
-     * with a Kerberos ticket and an authenticator for the principal
-     * "imap.hostname@realm", where "hostname" is the first component
-     * of the host name of the server with all letters in lower case
-     * and where "realm" is the Kerberos realm of the server.  The
-     * encrypted checksum field included within the Kerberos
-     * authenticator should contain the server provided 32-bit number
-     * in network byte order.
-     */
-
-    if (result = gen_recv(sock, buf1, sizeof buf1)) {
-       return result;
-    }
-
-    len = from64tobits(challenge1.cstr, buf1);
-    if (len < 0) {
-       report(stderr, _("could not decode initial BASE64 challenge\n"));
-       return PS_AUTHFAIL;
-    }
-
-    /* this patch by Dan Root <dar@thekeep.org> solves an endianess
-     * problem. */
-    {
-       char tmp[4];
-
-       *(int *)tmp = ntohl(*(int *) challenge1.cstr);
-       memcpy(challenge1.cstr, tmp, sizeof(tmp));
-    }
-
-    /* Client responds with a Kerberos ticket and an authenticator for
-     * the principal "imap.hostname@realm" where "hostname" is the
-     * first component of the host name of the server with all letters
-     * in lower case and where "realm" is the Kerberos realm of the
-     * server.  The encrypted checksum field included within the
-     * Kerberos authenticator should contain the server-provided
-     * 32-bit number in network byte order.
-     */
-
-    strncpy(srvinst, truename, (sizeof srvinst)-1);
-    srvinst[(sizeof srvinst)-1] = '\0';
-    for (p = srvinst; *p; p++) {
-      if (isupper(*p)) {
-       *p = tolower(*p);
-      }
-    }
-
-    strncpy(srvrealm, (char *)krb_realmofhost(srvinst), (sizeof srvrealm)-1);
-    srvrealm[(sizeof srvrealm)-1] = '\0';
-    if (p = strchr(srvinst, '.')) {
-      *p = '\0';
-    }
-
-    result = krb_mk_req(&authenticator, "imap", srvinst, srvrealm, 0);
-    if (result) {
-       report(stderr, "krb_mq_req: %s\n", krb_get_err_text(result));
-       return PS_AUTHFAIL;
-    }
-
-    result = krb_get_cred("imap", srvinst, srvrealm, &credentials);
-    if (result) {
-       report(stderr, "krb_get_cred: %s\n", krb_get_err_text(result));
-       return PS_AUTHFAIL;
-    }
-
-    memcpy(session, credentials.session, sizeof session);
-    memset(&credentials, 0, sizeof credentials);
-    des_key_sched(&session, schedule);
-
-    result = krb_get_tf_fullname(TKT_FILE, tktuser, tktinst, tktrealm);
-    if (result) {
-       report(stderr, "krb_get_tf_fullname: %s\n", krb_get_err_text(result));
-       return PS_AUTHFAIL;
-    }
-
-    if (strcmp(tktuser, user) != 0) {
-       report(stderr, 
-              _("principal %s in ticket does not match -u %s\n"), tktuser,
-               user);
-       return PS_AUTHFAIL;
-    }
-
-    if (tktinst[0]) {
-       report(stderr, 
-              _("non-null instance (%s) might cause strange behavior\n"),
-               tktinst);
-       strcat(tktuser, ".");
-       strcat(tktuser, tktinst);
-    }
-
-    if (strcmp(tktrealm, srvrealm) != 0) {
-       strcat(tktuser, "@");
-       strcat(tktuser, tktrealm);
-    }
-
-    result = krb_mk_req(&authenticator, "imap", srvinst, srvrealm,
-           challenge1.cint);
-    if (result) {
-       report(stderr, "krb_mq_req: %s\n", krb_get_err_text(result));
-       return PS_AUTHFAIL;
-    }
-
-    to64frombits(buf1, authenticator.dat, authenticator.length);
-    if (outlevel >= O_MONITOR) {
-       report(stdout, "IMAP> %s\n", buf1);
-    }
-    strcat(buf1, "\r\n");
-    SockWrite(sock, buf1, strlen(buf1));
-
-    /* Upon decrypting and verifying the ticket and authenticator, the
-     * server should verify that the contained checksum field equals
-     * the original server provided random 32-bit number.  Should the
-     * verification be successful, the server must add one to the
-     * checksum and construct 8 octets of data, with the first four
-     * octets containing the incremented checksum in network byte
-     * order, the fifth octet containing a bit-mask specifying the
-     * protection mechanisms supported by the server, and the sixth
-     * through eighth octets containing, in network byte order, the
-     * maximum cipher-text buffer size the server is able to receive.
-     * The server must encrypt the 8 octets of data in the session key
-     * and issue that encrypted data in a second ready response.  The
-     * client should consider the server authenticated if the first
-     * four octets the un-encrypted data is equal to one plus the
-     * checksum it previously sent.
-     */
-    
-    if (result = gen_recv(sock, buf1, sizeof buf1))
-       return result;
-
-    /* The client must construct data with the first four octets
-     * containing the original server-issued checksum in network byte
-     * order, the fifth octet containing the bit-mask specifying the
-     * selected protection mechanism, the sixth through eighth octets
-     * containing in network byte order the maximum cipher-text buffer
-     * size the client is able to receive, and the following octets
-     * containing a user name string.  The client must then append
-     * from one to eight octets so that the length of the data is a
-     * multiple of eight octets. The client must then PCBC encrypt the
-     * data with the session key and respond to the second ready
-     * response with the encrypted data.  The server decrypts the data
-     * and verifies the contained checksum.  The username field
-     * identifies the user for whom subsequent IMAP operations are to
-     * be performed; the server must verify that the principal
-     * identified in the Kerberos ticket is authorized to connect as
-     * that user.  After these verifications, the authentication
-     * process is complete.
-     */
-
-    len = from64tobits(buf2, buf1);
-    if (len < 0) {
-       report(stderr, _("could not decode BASE64 ready response\n"));
-       return PS_AUTHFAIL;
-    }
-
-    des_ecb_encrypt((des_cblock *)buf2, (des_cblock *)buf2, schedule, 0);
-    memcpy(challenge2.cstr, buf2, 4);
-    if (ntohl(challenge2.cint) != challenge1.cint + 1) {
-       report(stderr, _("challenge mismatch\n"));
-       return PS_AUTHFAIL;
-    }      
-
-    memset(authenticator.dat, 0, sizeof authenticator.dat);
-
-    result = htonl(challenge1.cint);
-    memcpy(authenticator.dat, &result, sizeof result);
-
-    /* The protection mechanisms and their corresponding bit-masks are as
-     * follows:
-     *
-     * 1 No protection mechanism
-     * 2 Integrity (krb_mk_safe) protection
-     * 4 Privacy (krb_mk_priv) protection
-     */
-    authenticator.dat[4] = 1;
-
-    len = strlen(tktuser);
-    strncpy(authenticator.dat+8, tktuser, len);
-    authenticator.length = len + 8 + 1;
-    while (authenticator.length & 7) {
-       authenticator.length++;
-    }
-    des_pcbc_encrypt((des_cblock *)authenticator.dat,
-           (des_cblock *)authenticator.dat, authenticator.length, schedule,
-           &session, 1);
-
-    to64frombits(buf1, authenticator.dat, authenticator.length);
-    if (outlevel >= O_MONITOR) {
-       report(stdout, "IMAP> %s\n", buf1);
-    }
-
-    strcat(buf1, "\r\n");
-    SockWrite(sock, buf1, strlen(buf1));
-
-    if (result = gen_recv(sock, buf1, sizeof buf1))
-       return result;
-
-    if (strstr(buf1, "OK")) {
-        return PS_SUCCESS;
-    }
-    else {
-       return PS_AUTHFAIL;
-    }
-}
-#endif /* KERBEROS_V4 */
-
-#ifdef GSSAPI
-#define GSSAUTH_P_NONE      1
-#define GSSAUTH_P_INTEGRITY 2
-#define GSSAUTH_P_PRIVACY   4
-
-static int do_gssauth(int sock, char *hostname, char *username)
-{
-    gss_buffer_desc request_buf, send_token;
-    gss_buffer_t sec_token;
-    gss_name_t target_name;
-    gss_ctx_id_t context;
-    gss_OID mech_name;
-    gss_qop_t quality;
-    int cflags;
-    OM_uint32 maj_stat, min_stat;
-    char buf1[8192], buf2[8192], server_conf_flags;
-    unsigned long buf_size;
-    int result;
-
-    /* first things first: get an imap ticket for host */
-    sprintf(buf1, "imap@%s", hostname);
-    request_buf.value = buf1;
-    request_buf.length = strlen(buf1) + 1;
-    maj_stat = gss_import_name(&min_stat, &request_buf, GSS_C_NT_HOSTBASED_SERVICE,
-        &target_name);
-    if (maj_stat != GSS_S_COMPLETE) {
-        report(stderr, _("Couldn't get service name for [%s]\n"), buf1);
-        return PS_AUTHFAIL;
-    }
-    else if (outlevel >= O_DEBUG) {
-        maj_stat = gss_display_name(&min_stat, target_name, &request_buf,
-            &mech_name);
-        report(stderr, _("Using service name [%s]\n"),request_buf.value);
-        maj_stat = gss_release_buffer(&min_stat, &request_buf);
-    }
-
-    gen_send(sock, "AUTHENTICATE GSSAPI");
-
-    /* upon receipt of the GSSAPI authentication request, server returns
-     * null data ready response. */
-    if (result = gen_recv(sock, buf1, sizeof buf1)) {
-        return result;
-    }
-
-    /* now start the security context initialisation loop... */
-    sec_token = GSS_C_NO_BUFFER;
-    context = GSS_C_NO_CONTEXT;
-    if (outlevel >= O_VERBOSE)
-        report(stdout, _("Sending credentials\n"));
-    do {
-        send_token.length = 0;
-       send_token.value = NULL;
-        maj_stat = gss_init_sec_context(&min_stat, 
-                                       GSS_C_NO_CREDENTIAL,
-                                       &context, 
-                                       target_name, 
-                                       GSS_C_NO_OID, 
-                                       GSS_C_MUTUAL_FLAG | GSS_C_SEQUENCE_FLAG, 
-                                       0, 
-                                       GSS_C_NO_CHANNEL_BINDINGS, 
-                                       sec_token, 
-                                       NULL, 
-                                       &send_token, 
-                                       NULL, 
-                                       NULL);
-        if (maj_stat!=GSS_S_COMPLETE && maj_stat!=GSS_S_CONTINUE_NEEDED) {
-            report(stderr, _("Error exchanging credentials\n"));
-            gss_release_name(&min_stat, &target_name);
-            /* wake up server and await NO response */
-            SockWrite(sock, "\r\n", 2);
-            if (result = gen_recv(sock, buf1, sizeof buf1))
-                return result;
-            return PS_AUTHFAIL;
-        }
-        to64frombits(buf1, send_token.value, send_token.length);
-        gss_release_buffer(&min_stat, &send_token);
-       strcat(buf1, "\r\n");
-        SockWrite(sock, buf1, strlen(buf1));
-        if (outlevel >= O_MONITOR)
-            report(stdout, "IMAP> %s\n", buf1);
-        if (maj_stat == GSS_S_CONTINUE_NEEDED) {
-           if (result = gen_recv(sock, buf1, sizeof buf1)) {
-               gss_release_name(&min_stat, &target_name);
-               return result;
-           }
-           request_buf.length = from64tobits(buf2, buf1 + 2);
-           request_buf.value = buf2;
-           sec_token = &request_buf;
-        }
-    } while (maj_stat == GSS_S_CONTINUE_NEEDED);
-    gss_release_name(&min_stat, &target_name);
-
-    /* get security flags and buffer size */
-    if (result = gen_recv(sock, buf1, sizeof buf1)) {
-        return result;
-    }
-    request_buf.length = from64tobits(buf2, buf1 + 2);
-    request_buf.value = buf2;
-
-    maj_stat = gss_unwrap(&min_stat, context, &request_buf, &send_token,
-        &cflags, &quality);
-    if (maj_stat != GSS_S_COMPLETE) {
-        report(stderr, _("Couldn't unwrap security level data\n"));
-        gss_release_buffer(&min_stat, &send_token);
-        return PS_AUTHFAIL;
-    }
-    if (outlevel >= O_DEBUG)
-        report(stdout, _("Credential exchange complete\n"));
-    /* first octet is security levels supported. We want none, for now */
-    server_conf_flags = ((char *)send_token.value)[0];
-    if ( !(((char *)send_token.value)[0] & GSSAUTH_P_NONE) ) {
-        report(stderr, _("Server requires integrity and/or privacy\n"));
-        gss_release_buffer(&min_stat, &send_token);
-        return PS_AUTHFAIL;
-    }
-    ((char *)send_token.value)[0] = 0;
-    buf_size = ntohl(*((long *)send_token.value));
-    /* we don't care about buffer size if we don't wrap data */
-    gss_release_buffer(&min_stat, &send_token);
-    if (outlevel >= O_DEBUG) {
-        report(stdout, _("Unwrapped security level flags: %s%s%s\n"),
-            server_conf_flags & GSSAUTH_P_NONE ? "N" : "-",
-            server_conf_flags & GSSAUTH_P_INTEGRITY ? "I" : "-",
-            server_conf_flags & GSSAUTH_P_PRIVACY ? "C" : "-");
-        report(stdout, _("Maximum GSS token size is %ld\n"),buf_size);
-    }
-
-    /* now respond in kind (hack!!!) */
-    buf_size = htonl(buf_size); /* do as they do... only matters if we do enc */
-    memcpy(buf1, &buf_size, 4);
-    buf1[0] = GSSAUTH_P_NONE;
-    strcpy(buf1+4, username); /* server decides if princ is user */
-    request_buf.length = 4 + strlen(username) + 1;
-    request_buf.value = buf1;
-    maj_stat = gss_wrap(&min_stat, context, 0, GSS_C_QOP_DEFAULT, &request_buf,
-        &cflags, &send_token);
-    if (maj_stat != GSS_S_COMPLETE) {
-        report(stderr, _("Error creating security level request\n"));
-        return PS_AUTHFAIL;
-    }
-    to64frombits(buf1, send_token.value, send_token.length);
-    if (outlevel >= O_DEBUG) {
-        report(stdout, _("Requesting authorization as %s\n"), username);
-        report(stdout, "IMAP> %s\n",buf1);
-    }
-    strcat(buf1, "\r\n");
-    SockWrite(sock, buf1, strlen(buf1));
-
-    /* we should be done. Get status and finish up */
-    if (result = gen_recv(sock, buf1, sizeof buf1))
-        return result;
-    if (strstr(buf1, "OK")) {
-        /* flush security context */
-        if (outlevel >= O_DEBUG)
-            report(stdout, _("Releasing GSS credentials\n"));
-        maj_stat = gss_delete_sec_context(&min_stat, &context, &send_token);
-        if (maj_stat != GSS_S_COMPLETE) {
-            report(stderr, _("Error releasing credentials\n"));
-            return PS_AUTHFAIL;
-        }
-        /* send_token may contain a notification to the server to flush
-         * credentials. RFC 1731 doesn't specify what to do, and since this
-         * support is only for authentication, we'll assume the server
-         * knows enough to flush its own credentials */
-        gss_release_buffer(&min_stat, &send_token);
-        return PS_SUCCESS;
-    }
-
-    return PS_AUTHFAIL;
-}      
-#endif /* GSSAPI */
-
-static void hmac_md5 (unsigned char *password,  size_t pass_len,
-                      unsigned char *challenge, size_t chal_len,
-                      unsigned char *response,  size_t resp_len)
+static int imap_ok(int sock, char *argbuf)
+/* parse command response */
 {
-    int i;
-    unsigned char ipad[64];
-    unsigned char opad[64];
-    unsigned char hash_passwd[16];
-
-    MD5_CTX ctx;
-    
-    if (resp_len != 16)
-        return;
-
-    if (pass_len > sizeof (ipad))
-    {
-        MD5Init (&ctx);
-        MD5Update (&ctx, password, pass_len);
-        MD5Final (hash_passwd, &ctx);
-        password = hash_passwd; pass_len = sizeof (hash_passwd);
-    }
-
-    memset (ipad, 0, sizeof (ipad));
-    memset (opad, 0, sizeof (opad));
-    memcpy (ipad, password, pass_len);
-    memcpy (opad, password, pass_len);
-
-    for (i=0; i<64; i++) {
-        ipad[i] ^= 0x36;
-        opad[i] ^= 0x5c;
-    }
-
-    MD5Init (&ctx);
-    MD5Update (&ctx, ipad, sizeof (ipad));
-    MD5Update (&ctx, challenge, chal_len);
-    MD5Final (response, &ctx);
+    int ok;
 
-    MD5Init (&ctx);
-    MD5Update (&ctx, opad, sizeof (opad));
-    MD5Update (&ctx, response, resp_len);
-    MD5Final (response, &ctx);
+    while ((ok = imap_response(sock, argbuf, NULL)) == PS_UNTAGGED)
+       ; /* wait for the tagged response */
+    return(ok);
 }
 
-#if NTLM_ENABLE
+#ifdef NTLM_ENABLE
 #include "ntlm.h"
 
-static tSmbNtlmAuthRequest   request;             
-static tSmbNtlmAuthChallenge challenge;
-static tSmbNtlmAuthResponse  response;
-
 /*
  * NTLM support by Grant Edwards.
  *
@@ -693,151 +291,25 @@ static tSmbNtlmAuthResponse  response;
 
 static int do_imap_ntlm(int sock, struct query *ctl)
 {
-    char msgbuf[2048];
-    int result,len;
-  
+    int result;
+
     gen_send(sock, "AUTHENTICATE NTLM");
 
-    if ((result = gen_recv(sock, msgbuf, sizeof msgbuf)))
-       return result;
-  
-    if (msgbuf[0] != '+')
-       return PS_AUTHFAIL;
-  
-    buildSmbNtlmAuthRequest(&request,ctl->remotename,NULL);
-
-    if (outlevel >= O_DEBUG)
-       dumpSmbNtlmAuthRequest(stdout, &request);
-
-    memset(msgbuf,0,sizeof msgbuf);
-    to64frombits (msgbuf, (unsigned char*)&request, SmbLength(&request));
-  
-    if (outlevel >= O_MONITOR)
-       report(stdout, "IMAP> %s\n", msgbuf);
-  
-    strcat(msgbuf,"\r\n");
-    SockWrite (sock, msgbuf, strlen (msgbuf));
-
-    if ((gen_recv(sock, msgbuf, sizeof msgbuf)))
+    if ((result = ntlm_helper(sock, ctl, "IMAP")))
        return result;
-  
-    len = from64tobits ((unsigned char*)&challenge, msgbuf);
-    
-    if (outlevel >= O_DEBUG)
-       dumpSmbNtlmAuthChallenge(stdout, &challenge);
-    
-    buildSmbNtlmAuthResponse(&challenge, &response,ctl->remotename,ctl->password);
-  
-    if (outlevel >= O_DEBUG)
-       dumpSmbNtlmAuthResponse(stdout, &response);
-  
-    memset(msgbuf,0,sizeof msgbuf);
-    to64frombits (msgbuf, (unsigned char*)&response, SmbLength(&response));
-
-    if (outlevel >= O_MONITOR)
-       report(stdout, "IMAP> %s\n", msgbuf);
-      
-    strcat(msgbuf,"\r\n");
-
-    SockWrite (sock, msgbuf, strlen (msgbuf));
-  
-    if ((result = gen_recv (sock, msgbuf, sizeof msgbuf)))
-       return result;
-  
-    if (strstr (msgbuf, "OK"))
+
+    result = imap_ok (sock, NULL);
+    if (result == PS_SUCCESS)
        return PS_SUCCESS;
     else
        return PS_AUTHFAIL;
 }
 #endif /* NTLM */
 
-static int do_cram_md5 (int sock, struct query *ctl)
-/* authenticate as per RFC2195 */
-{
-    int result;
-    int len;
-    unsigned char buf1[1024];
-    unsigned char msg_id[768];
-    unsigned char response[16];
-    unsigned char reply[1024];
-
-    gen_send (sock, "AUTHENTICATE CRAM-MD5");
-
-    /* From RFC2195:
-     * The data encoded in the first ready response contains an
-     * presumptively arbitrary string of random digits, a timestamp, and the
-     * fully-qualified primary host name of the server.  The syntax of the
-     * unencoded form must correspond to that of an RFC 822 'msg-id'
-     * [RFC822] as described in [POP3].
-     */
-
-    if ((result = gen_recv (sock, buf1, sizeof (buf1)))) {
-       return result;
-    }
-
-    len = from64tobits (msg_id, buf1);
-    if (len < 0) {
-       report (stderr, _("could not decode BASE64 challenge\n"));
-       return PS_AUTHFAIL;
-    } else if (len < sizeof (msg_id)) {
-        msg_id[len] = 0;
-    } else {
-        msg_id[sizeof (msg_id)-1] = 0;
-    }
-    if (outlevel >= O_DEBUG) {
-        report (stdout, "decoded as %s\n", msg_id);
-    }
-
-    /* The client makes note of the data and then responds with a string
-     * consisting of the user name, a space, and a 'digest'.  The latter is
-     * computed by applying the keyed MD5 algorithm from [KEYED-MD5] where
-     * the key is a shared secret and the digested text is the timestamp
-     * (including angle-brackets).
-     */
-
-    hmac_md5 (ctl->password, strlen (ctl->password),
-              msg_id, strlen (msg_id),
-              response, sizeof (response));
-
-#ifdef HAVE_SNPRINTF
-    snprintf (reply, sizeof (reply),
-#else
-    sprintf(reply,
-#endif
-              "%s %02x%02x%02x%02x%02x%02x%02x%02x%02x%02x%02x%02x%02x%02x%02x%02x", 
-              ctl->remotename,
-              response[0], response[1], response[2], response[3],
-              response[4], response[5], response[6], response[7],
-              response[8], response[9], response[10], response[11],
-              response[12], response[13], response[14], response[15]);
-
-    if (outlevel >= O_DEBUG) {
-        report (stdout, "replying with %s\n", reply);
-    }
-
-    to64frombits (buf1, reply, strlen (reply));
-    if (outlevel >= O_MONITOR) {
-       report (stdout, "IMAP> %s\n", buf1);
-    }
-
-    /* PMDF5.2 IMAP has a bug that requires this to be a single write */
-    strcat (buf1, "\r\n");
-    SockWrite (sock, buf1, strlen (buf1));
-
-    if ((result = gen_recv (sock, buf1, sizeof (buf1))))
-       return result;
-
-    if (strstr (buf1, "OK")) {
-        return PS_SUCCESS;
-    } else {
-       return PS_AUTHFAIL;
-    }
-}
-
-int imap_canonicalize(char *result, char *raw, int maxlen)
+static void imap_canonicalize(char *result, char *raw, size_t maxlen)
 /* encode an IMAP password as per RFC1730's quoting conventions */
 {
-    int i, j;
+    size_t i, j;
 
     j = 0;
     for (i = 0; i < strlen(raw) && i < maxlen; i++)
@@ -847,45 +319,86 @@ int imap_canonicalize(char *result, char *raw, int maxlen)
        result[j++] = raw[i];
     }
     result[j] = '\0';
-
-    return(i);
 }
 
-int imap_getauth(int sock, struct query *ctl, char *greeting)
-/* apply for connection authorization */
+static int capa_probe(int sock, struct query *ctl)
+/* set capability variables from a CAPA probe */
 {
-    int ok = 0;
+    int        ok;
 
     /* probe to see if we're running IMAP4 and can use RFC822.PEEK */
     capabilities[0] = '\0';
     if ((ok = gen_transact(sock, "CAPABILITY")) == PS_SUCCESS)
     {
-       /* UW-IMAP server 10.173 notifies in all caps */
+       char    *cp;
+
+       /* capability checks are supposed to be caseblind */
+       for (cp = capabilities; *cp; cp++)
+           *cp = toupper((unsigned char)*cp);
+
+       /* UW-IMAP server 10.173 notifies in all caps, but RFC2060 says we
+          should expect a response in mixed-case */
        if (strstr(capabilities, "IMAP4REV1"))
        {
            imap_version = IMAP4rev1;
            if (outlevel >= O_DEBUG)
-               report(stdout, _("Protocol identified as IMAP4 rev 1\n"));
+               report(stdout, GT_("Protocol identified as IMAP4 rev 1\n"));
        }
        else
        {
            imap_version = IMAP4;
            if (outlevel >= O_DEBUG)
-               report(stdout, _("Protocol identified as IMAP4 rev 0\n"));
+               report(stdout, GT_("Protocol identified as IMAP4 rev 0\n"));
        }
     }
-    else if (ok == PS_ERROR)
+    else
+       return ok;
+
+    /* 
+     * Handle idling.  We depend on coming through here on startup
+     * and after each timeout (including timeouts during idles).
+     */
+    do_idle = ctl->idle;
+    if (ctl->idle)
     {
-       imap_version = IMAP2;
-       if (outlevel >= O_DEBUG)
-           report(stdout, _("Protocol identified as IMAP2 or IMAP2BIS\n"));
+       if (strstr(capabilities, "IDLE"))
+           has_idle = TRUE;
+       else
+           has_idle = FALSE;
+       if (outlevel >= O_VERBOSE)
+           report(stdout, GT_("will idle after poll\n"));
+    }
+
+    peek_capable = TRUE;
+
+    return PS_SUCCESS;
+}
+
+static int do_authcert (int sock, const char *command, const char *name)
+/* do authentication "external" (authentication provided by client cert) */
+{
+    char buf[256];
+
+    if (name && name[0])
+    {
+        size_t len = strlen(name);
+        if ((len / 3) + ((len % 3) ? 4 : 0)  < sizeof(buf))
+            to64frombits (buf, name, strlen(name));
+        else
+            return PS_AUTHFAIL; /* buffer too small. */
     }
     else
-       return(ok);
+        buf[0]=0;
+    return gen_transact(sock, "%s EXTERNAL %s",command,buf);
+}
 
-    peek_capable = (imap_version >= IMAP4);
+static int imap_getauth(int sock, struct query *ctl, char *greeting)
+/* apply for connection authorization */
+{
+    int ok = 0;
+    (void)greeting;
 
-    /* 
+    /*
      * Assumption: expunges are cheap, so we want to do them
      * after every message unless user said otherwise.
      */
@@ -894,117 +407,229 @@ int imap_getauth(int sock, struct query *ctl, char *greeting)
     else
        expunge_period = 1;
 
-    if (preauth)
-       return(PS_SUCCESS);
-
-#if OPIE_ENABLE
-    if ((ctl->server.protocol == P_IMAP) && strstr(capabilities, "AUTH=X-OTP"))
-    {
-       if (outlevel >= O_DEBUG)
-           report(stdout, _("OTP authentication is supported\n"));
-       if (do_otp(sock, ctl) == PS_SUCCESS)
-           return(PS_SUCCESS);
-    };
-#endif /* OPIE_ENABLE */
+    if ((ok = capa_probe(sock, ctl)))
+       return ok;
 
-#ifdef GSSAPI
-    if (strstr(capabilities, "AUTH=GSSAPI"))
-    {
-        if (ctl->server.protocol == P_IMAP_GSS)
-        {
-            if (outlevel >= O_DEBUG)
-                report(stdout, _("GSS authentication is supported\n"));
-            return do_gssauth(sock, ctl->server.truename, ctl->remotename);
-        }
-    }
-    else if (ctl->server.protocol == P_IMAP_GSS)
+    /* 
+     * If either (a) we saw a PREAUTH token in the greeting, or
+     * (b) the user specified ssh preauthentication, then we're done.
+     */
+    if (preauth || ctl->server.authenticate == A_SSH)
     {
-        report(stderr, 
-              _("Required GSS capability not supported by server\n"));
-        return(PS_AUTHFAIL);
+        preauth = FALSE;  /* reset for the next session */
+        return(PS_SUCCESS);
     }
-#endif /* GSSAPI */
 
-#ifdef KERBEROS_V4
-    if (strstr(capabilities, "AUTH=KERBEROS_V4"))
-    {
-       if (outlevel >= O_DEBUG)
-           report(stdout, _("KERBEROS_V4 authentication is supported\n"));
+#ifdef SSL_ENABLE
+    if (maybe_tls(ctl)) {
+       char *commonname;
 
-       if (ctl->server.protocol == P_IMAP_K4)
+       commonname = ctl->server.pollname;
+       if (ctl->server.via)
+           commonname = ctl->server.via;
+       if (ctl->sslcommonname)
+           commonname = ctl->sslcommonname;
+
+       if (strstr(capabilities, "STARTTLS")
+               || must_tls(ctl)) /* if TLS is mandatory, ignore capabilities */
        {
-           if ((ok = do_rfc1731(sock, ctl->server.truename)))
+           /* Use "tls1" rather than ctl->sslproto because tls1 is the only
+            * protocol that will work with STARTTLS.  Don't need to worry
+            * whether TLS is mandatory or opportunistic unless SSLOpen() fails
+            * (see below). */
+           if (gen_transact(sock, "STARTTLS") == PS_SUCCESS
+                   && (set_timeout(mytimeout), SSLOpen(sock, ctl->sslcert, ctl->sslkey, "tls1", ctl->sslcertck,
+                       ctl->sslcertfile, ctl->sslcertpath, ctl->sslfingerprint, commonname,
+                       ctl->server.pollname, &ctl->remotename)) != -1)
            {
-               if (outlevel >= O_MONITOR)
-                   report(stdout, "IMAP> *\n");
-               SockWrite(sock, "*\r\n", 3);
+               /*
+                * RFC 2595 says this:
+                *
+                * "Once TLS has been started, the client MUST discard cached
+                * information about server capabilities and SHOULD re-issue the
+                * CAPABILITY command.  This is necessary to protect against
+                * man-in-the-middle attacks which alter the capabilities list prior
+                * to STARTTLS.  The server MAY advertise different capabilities
+                * after STARTTLS."
+                *
+                * Now that we're confident in our TLS connection we can
+                * guarantee a secure capability re-probe.
+                */
+               if ((ok = capa_probe(sock, ctl)))
+                   return ok;
+               if (outlevel >= O_VERBOSE)
+               {
+                   report(stdout, GT_("%s: upgrade to TLS succeeded.\n"), commonname);
+               }
+           } else if (must_tls(ctl)) {
+               /* Config required TLS but we couldn't guarantee it, so we must
+                * stop. */
+               set_timeout(0);
+               report(stderr, GT_("%s: upgrade to TLS failed.\n"), commonname);
+               return PS_SOCKET;
+           } else {
+               set_timeout(0);
+               if (outlevel >= O_VERBOSE) {
+                   report(stdout, GT_("%s: opportunistic upgrade to TLS failed, trying to continue\n"), commonname);
+               }
+               /* We don't know whether the connection is in a working state, so
+                * test by issuing a NOOP. */
+               if (gen_transact(sock, "NOOP") != PS_SUCCESS) {
+                   /* Not usable.  Empty sslproto to force an unencrypted
+                    * connection on the next attempt, and repoll. */
+                   ctl->sslproto = xstrdup("");
+                   return PS_REPOLL;
+               }
+               /* Usable.  Proceed with authenticating insecurely. */
            }
-           
-           return(ok);
        }
-       /* else fall through to ordinary AUTH=LOGIN case */
     }
-    else if (ctl->server.protocol == P_IMAP_K4)
+#endif /* SSL_ENABLE */
+
+    /*
+     * Time to authenticate the user.
+     * Try the protocol variants that don't require passwords first.
+     */
+    ok = PS_AUTHFAIL;
+
+    /* Yahoo hack - we'll just try ID if it was offered by the server,
+     * and IGNORE errors. */
     {
-       report(stderr, 
-              _("Required KERBEROS_V4 capability not supported by server\n"));
-       return(PS_AUTHFAIL);
+       char *tmp = strstr(capabilities, " ID");
+       if (tmp && !isalnum((unsigned char)tmp[3]) && strstr(ctl->server.via ? ctl->server.via : ctl->server.pollname, "yahoo.com")) {
+               (void)gen_transact(sock, "ID (\"guid\" \"1\")");
+       }
     }
-#endif /* KERBEROS_V4 */
 
-    if (strstr(capabilities, "AUTH=CRAM-MD5"))
+    if ((ctl->server.authenticate == A_ANY 
+         || ctl->server.authenticate == A_EXTERNAL)
+       && strstr(capabilities, "AUTH=EXTERNAL"))
     {
-        if (outlevel >= O_DEBUG)
-            report (stdout, _("CRAM-MD5 authentication is supported\n"));
-        if (ctl->server.protocol != P_IMAP_LOGIN)
+        ok = do_authcert(sock, "AUTHENTICATE", ctl->remotename);
+       if (ok)
         {
-            if ((ok = do_cram_md5 (sock, ctl)))
-            {
-                if (outlevel >= O_MONITOR)
-                    report (stdout, "IMAP> *\n");
-                SockWrite (sock, "*\r\n", 3);
-            }
+            /* SASL cancellation of authentication */
+            gen_send(sock, "*");
+            if (ctl->server.authenticate != A_ANY)
+                return ok;
+        } else {
             return ok;
-        }
+       }
+    }
+
+#ifdef GSSAPI
+    if (((ctl->server.authenticate == A_ANY && check_gss_creds("imap", ctl->server.truename) == PS_SUCCESS)
+        || ctl->server.authenticate == A_GSSAPI)
+       && strstr(capabilities, "AUTH=GSSAPI"))
+    {
+       if ((ok = do_gssauth(sock, "AUTHENTICATE", "imap",
+                       ctl->server.truename, ctl->remotename)))
+       {
+           if (ctl->server.authenticate != A_ANY)
+                return ok;
+       } else  {
+           return ok;
+       }
     }
-    else if (ctl->server.protocol == P_IMAP_CRAM_MD5)
+#endif /* GSSAPI */
+
+    /*
+     * No such luck.  OK, now try the variants that mask your password
+     * in a challenge-response.
+     */
+
+    if ((ctl->server.authenticate == A_ANY && strstr(capabilities, "AUTH=CRAM-MD5"))
+       || ctl->server.authenticate == A_CRAM_MD5)
+    {
+       if ((ok = do_cram_md5 (sock, "AUTHENTICATE", ctl, NULL)))
+       {
+           if(ctl->server.authenticate != A_ANY)
+                return ok;
+       }
+       else
+           return ok;
+    }
+
+#ifdef OPIE_ENABLE
+    if ((ctl->server.authenticate == A_ANY 
+        || ctl->server.authenticate == A_OTP)
+       && strstr(capabilities, "AUTH=X-OTP")) {
+       if ((ok = do_otp(sock, "AUTHENTICATE", ctl)))
+       {
+           /* SASL cancellation of authentication */
+           gen_send(sock, "*");
+           if(ctl->server.authenticate != A_ANY)
+                return ok;
+       } else {
+           return ok;
+       }
+    }
+#else
+    if (ctl->server.authenticate == A_OTP)
     {
-        report(stderr,
-               _("Required CRAM-MD5 capability not supported by server\n"));
-        return(PS_AUTHFAIL);
+       report(stderr, 
+          GT_("Required OTP capability not compiled into fetchmail\n"));
     }
+#endif /* OPIE_ENABLE */
 
 #ifdef NTLM_ENABLE
-    if (strstr (capabilities, "AUTH=NTLM"))
+    if ((ctl->server.authenticate == A_ANY 
+        || ctl->server.authenticate == A_NTLM) 
+       && strstr (capabilities, "AUTH=NTLM")) {
+       if ((ok = do_imap_ntlm(sock, ctl)))
+       {
+           if(ctl->server.authenticate != A_ANY)
+                return ok;
+       }
+       else
+           return(ok);
+    }
+#else
+    if (ctl->server.authenticate == A_NTLM)
     {
-        if (outlevel >= O_DEBUG)
-            report (stdout, _("NTLM authentication is supported\n"));
-        return do_imap_ntlm (sock, ctl);
+       report(stderr, 
+          GT_("Required NTLM capability not compiled into fetchmail\n"));
     }
 #endif /* NTLM_ENABLE */
 
-#ifdef __UNUSED__      /* The Cyrus IMAP4rev1 server chokes on this */
-    /* this handles either AUTH=LOGIN or AUTH-LOGIN */
-    if ((imap_version >= IMAP4rev1) && (!strstr(capabilities, "LOGIN"))) {
-      report(stderr, 
-            _("Required LOGIN capability not supported by server\n"));
-      return PS_AUTHFAIL;
-    };
-#endif /* __UNUSED__ */
-
+    /* 
+     * We're stuck with sending the password en clair.
+     * The reason for this odd-looking logic is that some
+     * servers return LOGINDISABLED even though login 
+     * actually works.  So arrange things in such a way that
+     * setting auth passwd makes it ignore this capability.
+     */
+    if((ctl->server.authenticate==A_ANY&&!strstr(capabilities,"LOGINDISABLED"))
+       || ctl->server.authenticate == A_PASSWORD)
     {
        /* these sizes guarantee no buffer overflow */
-       char    remotename[NAMELEN*2+1], password[PASSWORDLEN*2+1];
+       char *remotename, *password;
+       size_t rnl, pwl;
+       rnl = 2 * strlen(ctl->remotename) + 1;
+       pwl = 2 * strlen(ctl->password) + 1;
+       remotename = (char *)xmalloc(rnl);
+       password = (char *)xmalloc(pwl);
+
+       imap_canonicalize(remotename, ctl->remotename, rnl);
+       imap_canonicalize(password, ctl->password, pwl);
 
-       imap_canonicalize(remotename, ctl->remotename, NAMELEN);
-       imap_canonicalize(password, ctl->password, PASSWORDLEN);
+       snprintf(shroud, sizeof (shroud), "\"%s\"", password);
        ok = gen_transact(sock, "LOGIN \"%s\" \"%s\"", remotename, password);
+       memset(shroud, 0x55, sizeof(shroud));
+       shroud[0] = '\0';
+       memset(password, 0x55, strlen(password));
+       free(password);
+       free(remotename);
+       if (ok)
+       {
+           if(ctl->server.authenticate != A_ANY)
+                return ok;
+       }
+       else
+           return(ok);
     }
 
-    if (ok)
-       return(ok);
-    
-    return(PS_SUCCESS);
+    return(ok);
 }
 
 static int internal_expunge(int sock)
@@ -1012,9 +637,27 @@ static int internal_expunge(int sock)
 {
     int        ok;
 
+    actual_deletions = 0;
+
     if ((ok = gen_transact(sock, "EXPUNGE")))
        return(ok);
 
+    /* if there is a mismatch between the number of mails which should
+     * have been expunged and the number of mails actually expunged,
+     * another email client may be deleting mails. Quit here,
+     * otherwise fetchmail gets out-of-sync with the imap server,
+     * reports the wrong size to the SMTP server on MAIL FROM: and
+     * triggers a "message ... was not the expected length" error on
+     * every subsequent mail */
+    if (deletions > 0 && deletions != actual_deletions)
+    {
+       report(stderr,
+               GT_("mail expunge mismatch (%d actual != %d expected)\n"),
+               actual_deletions, deletions);
+       deletions = 0;
+       return(PS_ERROR);
+    }
+
     expunged += deletions;
     deletions = 0;
 
@@ -1025,6 +668,175 @@ static int internal_expunge(int sock)
     return(PS_SUCCESS);
 }
 
+static int imap_idle(int sock)
+/* start an RFC2177 IDLE, or fake one if unsupported */
+{
+    int ok;
+
+    saved_timeout = mytimeout;
+
+    if (has_idle) {
+       /* special timeout to terminate the IDLE and re-issue it
+        * at least every 28 minutes:
+        * (the server may have an inactivity timeout) */
+       mytimeout = idle_timeout = 1680; /* 28 min */
+       time(&idle_start_time);
+       stage = STAGE_IDLE;
+       /* enter IDLE mode */
+       ok = gen_transact(sock, "IDLE");
+
+       if (ok == PS_IDLETIMEOUT) {
+           /* send "DONE" continuation */
+           SockWrite(sock, "DONE\r\n", 6);
+           if (outlevel >= O_MONITOR)
+               report(stdout, "IMAP> DONE\n");
+           /* reset stage and timeout here: we are not idling any more */
+           mytimeout = saved_timeout;
+           stage = STAGE_GETRANGE;
+           /* get OK IDLE message */
+           ok = imap_ok(sock, NULL);
+       }
+    } else {  /* no idle support, fake it */
+       /* Note: stage and timeout have not been changed here as NOOP
+        * does not idle */
+       ok = gen_transact(sock, "NOOP");
+
+       /* no error, but no new mail either */
+       if (ok == PS_SUCCESS && recentcount == 0)
+       {
+           /* There are some servers who do send new mail
+            * notification out of the blue. This is in compliance
+            * with RFC 2060 section 5.3. Wait for that with a low
+            * timeout */
+           mytimeout = idle_timeout = 28;
+           time(&idle_start_time);
+           stage = STAGE_IDLE;
+           /* We are waiting for notification; no tag needed */
+           tag[0] = '\0';
+           /* wait (briefly) for an unsolicited status update */
+           ok = imap_ok(sock, NULL);
+           if (ok == PS_IDLETIMEOUT) {
+               /* no notification came; ok */
+               ok = PS_SUCCESS;
+           }
+       }
+    }
+
+    /* restore normal timeout value */
+    set_timeout(0);
+    mytimeout = saved_timeout;
+    stage = STAGE_GETRANGE;
+
+    return(ok);
+}
+
+static int imap_search(int sock, struct query *ctl, int count)
+/* search for unseen messages */
+{
+    int ok;
+    char buf[MSGBUFSIZE+1], *cp;
+
+    /* Don't count deleted messages. Enabled only for IMAP4 servers or
+     * higher and only when keeping mails. This flag will have an
+     * effect only when user has marked some unread mails for deletion
+     * using another e-mail client. */
+    flag skipdeleted = ctl->keep;
+    const char *undeleted;
+
+    /* structure to keep the end portion of the incomplete response */
+    struct RecvSplit rs;
+
+    /* startcount is higher than count so that if there are no
+     * unseen messages, imap_getsizes() will not need to do
+     * anything! */
+    startcount = count + 1;
+
+    for (;;)
+    {
+       undeleted = (skipdeleted ? " UNDELETED" : "");
+       gen_send(sock, "SEARCH UNSEEN%s", undeleted);
+       gen_recv_split_init("* SEARCH", &rs);
+       while ((ok = imap_response(sock, buf, &rs)) == PS_UNTAGGED)
+       {
+           if ((cp = strstr(buf, "* SEARCH")))
+           {
+               char    *ep;
+
+               cp += 8;        /* skip "* SEARCH" */
+               while (*cp && unseen < count)
+               {
+                   /* skip whitespace */
+                   while (*cp && isspace((unsigned char)*cp))
+                       cp++;
+                   if (*cp) 
+                   {
+                       unsigned long um;
+
+                       errno = 0;
+                       um = strtoul(cp,&ep,10);
+                       if (errno == 0 && ep > cp
+                               && um <= INT_MAX && um <= (unsigned)count)
+                       {
+                           unseen_messages[unseen++] = um;
+                           if (outlevel >= O_DEBUG)
+                               report(stdout, GT_("%lu is unseen\n"), um);
+                           if (startcount > um)
+                               startcount = um;
+                       }
+                       cp = ep;
+                   }
+               }
+           }
+       }
+       if (ok != PS_ERROR) /* success or non-protocol error */
+           return(ok);
+
+       /* there is a protocol error. try a different search command. */
+       if (skipdeleted)
+       {
+           /* retry with "SEARCH UNSEEN" */
+           skipdeleted = FALSE;
+           continue;
+       }
+       /* try with "FETCH 1:n FLAGS" */
+       break;
+    }
+
+    if (count == 1)
+       gen_send(sock, "FETCH %d FLAGS", count);
+    else
+       gen_send(sock, "FETCH %d:%d FLAGS", 1, count);
+    while ((ok = imap_response(sock, buf, NULL)) == PS_UNTAGGED)
+    {
+       unsigned int num;
+       int consumed;
+
+       /* expected response format:
+        * IMAP< * 1 FETCH (FLAGS (\Seen))
+        * IMAP< * 2 FETCH (FLAGS (\Seen \Deleted))
+        * IMAP< * 3 FETCH (FLAGS ())
+        * IMAP< * 4 FETCH (FLAGS (\Recent))
+        * IMAP< * 5 FETCH (UID 10 FLAGS (\Recent))
+        */
+       if (unseen < count
+               && sscanf(buf, "* %u %n", &num, &consumed) == 1
+               && 0 == strncasecmp(buf+consumed, "FETCH", 5)
+               && isspace((unsigned char)buf[consumed+5])
+               && num >= 1 && num <= (unsigned)count
+               && strstr(buf, "FLAGS ")
+               && !strstr(buf, "\\SEEN")
+               && !strstr(buf, "\\DELETED"))
+       {
+           unseen_messages[unseen++] = num;
+           if (outlevel >= O_DEBUG)
+               report(stdout, GT_("%u is unseen\n"), num);
+           if (startcount > num)
+               startcount = num;
+       }
+    }
+    return(ok);
+}
+
 static int imap_getrange(int sock, 
                         struct query *ctl, 
                         const char *folder, 
@@ -1034,114 +846,255 @@ static int imap_getrange(int sock,
     int ok;
 
     /* find out how many messages are waiting */
-    *bytes = recent = unseen = -1;
+    *bytes = -1;
 
     if (pass > 1)
     {
-       /* 
-        * We have to have an expunge here, otherwise the re-poll will
-        * infinite-loop picking up un-expunged messages -- unless the
-        * expunge period is one and we've been nuking each message 
-        * just after deletion.
-        */
-       ok = 0;
-       if (deletions && expunge_period != 1)
-           internal_expunge(sock);
-       count = -1;
-       if (ok || gen_transact(sock, "NOOP"))
+       /* deleted mails have already been expunged by
+        * end_mailbox_poll().
+        *
+        * recentcount is already set here by the last imap command which
+        * returned EXISTS on detecting new mail. if recentcount is 0, wait
+        * for new mail.
+        *
+        * this is a while loop because imap_idle() might return on other
+        * mailbox changes also */
+       while (recentcount == 0 && do_idle) {
+           smtp_close(ctl, 1);
+           ok = imap_idle(sock);
+           if (ok)
+           {
+               report(stderr, GT_("re-poll failed\n"));
+               return(ok);
+           }
+       }
+       /* if recentcount is 0, return no mail */
+       if (recentcount == 0)
+               count = 0;
+       if (outlevel >= O_DEBUG)
+           report(stdout, ngettext("%d message waiting after re-poll\n",
+                                   "%d messages waiting after re-poll\n",
+                                   count), count);
+    }
+    else
+    {
+       oldcount = count = 0;
+       ok = gen_transact(sock, 
+                         check_only ? "EXAMINE \"%s\"" : "SELECT \"%s\"",
+                         folder ? folder : "INBOX");
+       /* imap_ok returns PS_LOCKBUSY for READ-ONLY folders,
+        * which we can safely use in fetchall keep only */
+       if (ok == PS_LOCKBUSY && ctl->fetchall && ctl-> keep)
+           ok = 0;
+
+       if (ok != 0)
        {
-           report(stderr, _("re-poll failed\n"));
+           report(stderr, GT_("mailbox selection failed\n"));
            return(ok);
        }
-       else if (count == -1)   /* no EXISTS response to NOOP */
+       else if (outlevel >= O_DEBUG)
+           report(stdout, ngettext("%d message waiting after first poll\n",
+                                   "%d messages waiting after first poll\n",
+                                   count), count);
+
+       /*
+        * We should have an expunge here to
+        * a) avoid fetching deleted mails during 'fetchall'
+        * b) getting a wrong count of mails during 'no fetchall'
+        */
+       if (!check_only && !ctl->keep && count > 0)
+       {
+           ok = internal_expunge(sock);
+           if (ok)
+           {
+               report(stderr, GT_("expunge failed\n"));
+               return(ok);
+           }
+           if (outlevel >= O_DEBUG)
+               report(stdout, ngettext("%d message waiting after expunge\n",
+                                       "%d messages waiting after expunge\n",
+                                       count), count);
+       }
+
+       if (count == 0 && do_idle)
        {
-           count = recent = 0;
-           unseen = -1;
+           /* no messages?  then we may need to idle until we get some */
+           while (count == 0) {
+               ok = imap_idle(sock);
+               if (ok)
+               {
+                   report(stderr, GT_("re-poll failed\n"));
+                   return(ok);
+               }
+           }
+           if (outlevel >= O_DEBUG)
+               report(stdout, ngettext("%d message waiting after re-poll\n",
+                                       "%d messages waiting after re-poll\n",
+                                       count), count);
        }
     }
-    else
+
+    *countp = oldcount = count;
+    recentcount = 0;
+    startcount = 1;
+
+    /* OK, now get a count of unseen messages and their indices */
+    if (!ctl->fetchall && count > 0)
     {
-       if (!check_only)
-           ok = gen_transact(sock, "SELECT %s", folder ? folder : "INBOX");
-       else
-           ok = gen_transact(sock, "EXAMINE %s", folder ? folder : "INBOX");
+       if (unseen_messages)
+           free(unseen_messages);
+       unseen_messages = (unsigned int *)xmalloc(count * sizeof(unsigned int));
+       memset(unseen_messages, 0, count * sizeof(unsigned int));
+       unseen = 0;
+
+       ok = imap_search(sock, ctl, count);
        if (ok != 0)
        {
-           report(stderr, _("mailbox selection failed\n"));
+           report(stderr, GT_("search for unseen messages failed\n"));
            return(ok);
        }
-    }
-
-    *countp = count;
 
-    /*
-     * Note: because IMAP has an is_old method, this number is used
-     * only for the "X messages (Y unseen)" notification.  Accordingly
-     * it doesn't matter much that it can be wrong (e.g. if we see an
-     * UNSEEN response but not all messages above the first UNSEEN one
-     * are likewise).
-     */
-    if (unseen >= 0)           /* optional, but better if we see it */
-       *newp = count - unseen + 1;
-    else if (recent >= 0)      /* mandatory */
-       *newp = recent;
-    else
-       *newp = -1;             /* should never happen, RECENT is mandatory */ 
+       if (outlevel >= O_DEBUG && unseen > 0)
+           report(stdout, GT_("%u is first unseen\n"), startcount);
+    } else
+       unseen = -1;
 
+    *newp = unseen;
     expunged = 0;
+    deletions = 0;
 
     return(PS_SUCCESS);
 }
 
-static int imap_getsizes(int sock, int count, int *sizes)
-/* capture the sizes of all messages */
+static int imap_getpartialsizes(int sock, int first, int last, int *sizes)
+/* capture the sizes of messages #first-#last */
 {
     char buf [MSGBUFSIZE+1];
+    int ok;
 
     /*
      * Some servers (as in, PMDF5.1-9.1 under OpenVMS 6.1)
      * won't accept 1:1 as valid set syntax.  Some implementors
      * should be taken out and shot for excessive anality.
+     *
+     * Microsoft Exchange (brain-dead piece of crap that it is) 
+     * sometimes gets its knickers in a knot about bodiless messages.
+     * You may see responses like this:
+     *
+     * fetchmail: IMAP> A0004 FETCH 1:9 RFC822.SIZE
+     * fetchmail: IMAP< * 2 FETCH (RFC822.SIZE 1187)
+     * fetchmail: IMAP< * 3 FETCH (RFC822.SIZE 3954)
+     * fetchmail: IMAP< * 4 FETCH (RFC822.SIZE 1944)
+     * fetchmail: IMAP< * 5 FETCH (RFC822.SIZE 2933)
+     * fetchmail: IMAP< * 6 FETCH (RFC822.SIZE 1854)
+     * fetchmail: IMAP< * 7 FETCH (RFC822.SIZE 34054)
+     * fetchmail: IMAP< * 8 FETCH (RFC822.SIZE 5561)
+     * fetchmail: IMAP< * 9 FETCH (RFC822.SIZE 1101)
+     * fetchmail: IMAP< A0004 NO The requested item could not be found.
+     *
+     * This means message 1 has only headers.  For kicks and grins
+     * you can telnet in and look:
+     * A003 FETCH 1 FULL
+     * A003 NO The requested item could not be found.
+     * A004 fetch 1 rfc822.header
+     * A004 NO The requested item could not be found.
+     * A006 FETCH 1 BODY
+     * * 1 FETCH (BODY ("TEXT" "PLAIN" ("CHARSET" "US-ASCII") NIL NIL "7BIT" 35 3))
+     * A006 OK FETCH completed.
+     *
+     * To get around this, we treat the final NO as success and count
+     * on the fact that the sizes array has been preinitialized with a
+     * known-bad size value.
      */
-    if (count == 1)
-       gen_send(sock, "FETCH 1 RFC822.SIZE", count);
-    else
-       gen_send(sock, "FETCH 1:%d RFC822.SIZE", count);
-    for (;;)
-    {
-       int num, size, ok;
 
-       if ((ok = gen_recv(sock, buf, sizeof(buf))))
-           return(ok);
-       if (strstr(buf, "OK"))
-           break;
-       else if (sscanf(buf, "* %d FETCH (RFC822.SIZE %d)", &num, &size) == 2)
-           sizes[num - 1] = size;
+    /* expunges change the fetch numbers */
+    first -= expunged;
+    last -= expunged;
+
+    if (last == first)
+       gen_send(sock, "FETCH %d RFC822.SIZE", last);
+    else if (last > first)
+       gen_send(sock, "FETCH %d:%d RFC822.SIZE", first, last);
+    else /* no unseen messages! */
+       return(PS_SUCCESS);
+    while ((ok = imap_response(sock, buf, NULL)) == PS_UNTAGGED)
+    {
+       unsigned int size;
+       int num;
+       int consumed;
+       char *ptr;
+
+       /* expected response formats:
+        * IMAP> A0005 FETCH 1 RFC822.SIZE
+        * IMAP< * 1 FETCH (RFC822.SIZE 1187)
+        * IMAP< * 1 FETCH (UID 16 RFC822.SIZE 1447)
+        */
+       if (sscanf(buf, "* %d %n", &num, &consumed) == 1
+           && 0 == strncasecmp(buf + consumed, "FETCH", 5)
+           && isspace((unsigned char)buf[consumed + 5])
+               && (ptr = strstr(buf, "RFC822.SIZE "))
+               && sscanf(ptr, "RFC822.SIZE %u", &size) == 1)
+       {
+           if (num >= first && num <= last)
+               sizes[num - first] = size;
+           else
+               report(stderr,
+                       GT_("Warning: ignoring bogus data for message sizes returned by the server.\n"));
+       }
     }
+    return(ok);
+}
 
-    return(PS_SUCCESS);
+static int imap_getsizes(int sock, int count, int *sizes)
+/* capture the sizes of all messages */
+{
+    return imap_getpartialsizes(sock, 1, count, sizes);
 }
 
 static int imap_is_old(int sock, struct query *ctl, int number)
 /* is the given message old? */
 {
-    int ok;
+    flag seen = TRUE;
+    int i;
 
-    /* expunges change the fetch numbers */
-    number -= expunged;
+    (void)sock;
+    (void)ctl;
+    /* 
+     * Expunges change the fetch numbers, but unseen_messages contains
+     * indices from before any expungees were done.  So neither the
+     * argument nor the values in message_sequence need to be decremented.
+     */
 
-    if ((ok = gen_transact(sock, "FETCH %d FLAGS", number)) != 0)
-       return(PS_ERROR);
+    seen = TRUE;
+    for (i = 0; i < unseen; i++)
+       if (unseen_messages[i] == (unsigned)number)
+       {
+           seen = FALSE;
+           break;
+       }
 
     return(seen);
 }
 
+#if 0
+static char *skip_token(char *ptr)
+{
+    while(isspace((unsigned char)*ptr)) ptr++;
+    while(!isspace((unsigned char)*ptr) && !iscntrl((unsigned char)*ptr)) ptr++;
+    while(isspace((unsigned char)*ptr)) ptr++;
+    return(ptr);
+}
+#endif
+
 static int imap_fetch_headers(int sock, struct query *ctl,int number,int *lenp)
 /* request headers of nth message */
 {
     char buf [MSGBUFSIZE+1];
     int        num;
+    int ok;
+    char *ptr;
 
+    (void)ctl;
     /* expunges change the fetch numbers */
     number -= expunged;
 
@@ -1152,18 +1105,50 @@ static int imap_fetch_headers(int sock, struct query *ctl,int number,int *lenp)
     gen_send(sock, "FETCH %d RFC822.HEADER", number);
 
     /* looking for FETCH response */
-    do {
-       int     ok;
+    if ((ok = imap_response(sock, buf, NULL)) == PS_UNTAGGED)
+    {
+               int consumed;
+       /* expected response formats:
+        * IMAP> A0006 FETCH 1 RFC822.HEADER
+        * IMAP< * 1 FETCH (RFC822.HEADER {1360}
+        * IMAP< * 1 FETCH (UID 16 RFC822.HEADER {1360}
+        * IMAP< * 1 FETCH (UID 16 RFC822.SIZE 4029 RFC822.HEADER {1360}
+        */
+       if (sscanf(buf, "* %d %n", &num, &consumed) == 1
+           && 0 == strncasecmp(buf + consumed, "FETCH", 5)
+           && isspace((unsigned char)buf[5+consumed])
+               && num == number
+               && (ptr = strstr(buf, "RFC822.HEADER"))
+               && sscanf(ptr, "RFC822.HEADER {%d}%n", lenp, &consumed) == 1
+               && ptr[consumed-1] == '}')
+       {
+           return(PS_SUCCESS);
+       }
 
-       if ((ok = gen_recv(sock, buf, sizeof(buf))))
-           return(ok);
-    } while
-       (sscanf(buf+2, "%d FETCH (%*s {%d}", &num, lenp) != 2);
+       /* wait for a tagged response */
+       imap_ok (sock, 0);
 
-    if (num != number)
+       /* try to recover for some responses */
+       if (!strncmp(buf, "* NO", 4) ||
+               !strncmp(buf, "* BAD", 5) ||
+               strstr(buf, "FETCH ()"))
+       {
+           return(PS_TRANSIENT);
+       }
+
+       /* a response which does not match any of the above */
+       if (outlevel > O_SILENT)
+           report(stderr, GT_("Incorrect FETCH response: %s.\n"), buf);
        return(PS_ERROR);
-    else
-       return(PS_SUCCESS);
+    }
+    else if (ok == PS_SUCCESS)
+    {
+       /* an unexpected tagged response */
+       if (outlevel > O_SILENT)
+           report(stderr, GT_("Incorrect FETCH response: %s.\n"), buf);
+       return(PS_TRANSIENT);
+    }
+    return(ok);
 }
 
 static int imap_fetch_body(int sock, struct query *ctl, int number, int *lenp)
@@ -1172,6 +1157,7 @@ static int imap_fetch_body(int sock, struct query *ctl, int number, int *lenp)
     char buf [MSGBUFSIZE+1], *cp;
     int        num;
 
+    (void)ctl;
     /* expunges change the fetch numbers */
     number -= expunged;
 
@@ -1181,29 +1167,27 @@ static int imap_fetch_body(int sock, struct query *ctl, int number, int *lenp)
      * craps out during the message, it will still be marked `unseen' on
      * the server.
      *
-     * However...*don't* do this if we're using keep to suppress deletion!
-     * In that case, marking the seen flag is the only way to prevent the
-     * message from being re-fetched on subsequent runs (and according
-     * to RFC2060 p.43 this fetch should set Seen as a side effect).
+     * According to RFC2060, and Mark Crispin the IMAP maintainer,
+     * FETCH %d BODY[TEXT] and RFC822.TEXT are "functionally 
+     * equivalent".  However, we know of at least one server that
+     * treats them differently in the presence of MIME attachments;
+     * the latter form downloads the attachment, the former does not.
+     * The server is InterChange.
+     *
+     * When I tried working around this by disabling use of the 4rev1 form,
+     * I found that doing this breaks operation with M$ Exchange.
+     * Annoyingly enough, Exchange's refusal to cope is technically legal
+     * under RFC2062.
      */
     switch (imap_version)
     {
     case IMAP4rev1:    /* RFC 2060 */
-       if (!ctl->keep)
-           gen_send(sock, "FETCH %d BODY.PEEK[TEXT]", number);
-       else
-           gen_send(sock, "FETCH %d BODY[TEXT]", number);
+    default:
+       gen_send(sock, "FETCH %d BODY.PEEK[TEXT]", number);
        break;
 
     case IMAP4:                /* RFC 1730 */
-       if (!ctl->keep)
-           gen_send(sock, "FETCH %d RFC822.TEXT.PEEK", number);
-       else
-           gen_send(sock, "FETCH %d RFC822.TEXT", number);
-       break;
-
-    default:           /* RFC 1176 */
-       gen_send(sock, "FETCH %d RFC822.TEXT", number);
+       gen_send(sock, "FETCH %d RFC822.TEXT.PEEK", number);
        break;
     }
 
@@ -1219,59 +1203,54 @@ static int imap_fetch_body(int sock, struct query *ctl, int number, int *lenp)
     if (num != number)
        return(PS_ERROR);
 
+    /* Understand "NIL" as length => no body present
+     * (MS Exchange, BerliOS Bug #11980) */
+    if (strstr(buf+10, "NIL)")) {
+           *lenp = 0;
+           return PS_SUCCESS;
+    }
+
+    /* Understand the empty string. Seen on Yahoo. */
+    /* XXX FIXME: we should be able to handle strings here. */
+    if (strstr(buf+10, "\"\")")) {
+           *lenp = 0;
+           return PS_SUCCESS;
+    }
+
     /*
      * Try to extract a length from the FETCH response.  RFC2060 requires
      * it to be present, but at least one IMAP server (Novell GroupWise)
-     * botches this.
+     * botches this.  The overflow check is needed because of a broken
+     * server called dbmail that returns huge garbage lengths.
      */
-    if ((cp = strchr(buf, '{')))
-       *lenp = atoi(cp + 1);
-    else
+    if ((cp = strchr(buf, '{'))) {
+       long l; char *t;
+        errno = 0;
+       ++ cp;
+       l = strtol(cp, &t, 10);
+        if (errno || t == cp || (t && !strchr(t, '}')) /* parse error */
+                   || l < 0 || l > INT_MAX /* range check */) {
+           *lenp = -1;
+       } else {
+           *lenp = l;
+       }
+    } else {
        *lenp = -1;     /* missing length part in FETCH reponse */
+    }
 
-    return(PS_SUCCESS);
+    return PS_SUCCESS;
 }
 
-static int imap_trail(int sock, struct query *ctl, int number)
+static int imap_trail(int sock, struct query *ctl, const char *tag)
 /* discard tail of FETCH response after reading message text */
 {
     /* expunges change the fetch numbers */
     /* number -= expunged; */
 
-    for (;;)
-    {
-       char buf[MSGBUFSIZE+1];
-       int ok;
-
-       if ((ok = gen_recv(sock, buf, sizeof(buf))))
-           return(ok);
-
-       /* UW IMAP returns "OK FETCH", Cyrus returns "OK Completed" */
-       if (strstr(buf, "OK"))
-           break;
-
-#ifdef __UNUSED__
-       /*
-        * Any IMAP server that fails to set Seen on a BODY[TEXT]
-        * fetch violates RFC2060 p.43 (top).  This becomes an issue
-        * when keep is on, because seen messages aren't deleted and
-        * get refetched on each poll.  As a workaround, if keep is on
-        * we can set the Seen flag explicitly.
-        *
-        * This code isn't used yet because we don't know of any IMAP
-        * servers broken in this way.
-        */
-       if (ctl->keep)
-           if ((ok = gen_transact(sock,
-                       imap_version == IMAP4 
-                               ? "STORE %d +FLAGS.SILENT (\\Seen)"
-                               : "STORE %d +FLAGS (\\Seen)", 
-                       number)))
-               return(ok);
-#endif /* __UNUSED__ */
-    }
+    (void)ctl;
+    (void)tag;
 
-    return(PS_SUCCESS);
+    return imap_ok(sock, NULL);
 }
 
 static int imap_delete(int sock, struct query *ctl, int number)
@@ -1279,24 +1258,18 @@ static int imap_delete(int sock, struct query *ctl, int number)
 {
     int        ok;
 
+    (void)ctl;
     /* expunges change the fetch numbers */
     number -= expunged;
 
     /*
-     * Use SILENT if possible as a minor throughput optimization.
-     * Note: this has been dropped from IMAP4rev1.
-     *
      * We set Seen because there are some IMAP servers (notably HP
      * OpenMail) that do message-receipt DSNs, but only when the seen
      * bit is set.  This is the appropriate time -- we get here right
      * after the local SMTP response that says delivery was
      * successful.
      */
-    if ((ok = gen_transact(sock,
-                       imap_version == IMAP4 
-                               ? "STORE %d +FLAGS.SILENT (\\Seen \\Deleted)"
-                               : "STORE %d +FLAGS (\\Seen \\Deleted)", 
-                       number)))
+    if ((ok = gen_transact(sock, "STORE %d +FLAGS.SILENT (\\Seen \\Deleted)", number)))
        return(ok);
     else
        deletions++;
@@ -1308,43 +1281,70 @@ static int imap_delete(int sock, struct query *ctl, int number)
      * the next session.
      */
     if (NUM_NONZERO(expunge_period) && (deletions % expunge_period) == 0)
-       internal_expunge(sock);
+    {
+       if ((ok = internal_expunge(sock)))
+           return(ok);
+    }
+
+    return(PS_SUCCESS);
+}
+
+static int imap_mark_seen(int sock, struct query *ctl, int number)
+/* mark the given message as seen */
+{
+    (void)ctl;
 
+    /* expunges change the message numbers */
+    number -= expunged;
+
+    return(gen_transact(sock,"STORE %d +FLAGS.SILENT (\\Seen)", number));
+}
+
+static int imap_end_mailbox_poll(int sock, struct query *ctl)
+/* cleanup mailbox before we idle or switch to another one */
+{
+    (void)ctl;
+    if (deletions)
+       internal_expunge(sock);
     return(PS_SUCCESS);
 }
 
 static int imap_logout(int sock, struct query *ctl)
 /* send logout command */
 {
+    (void)ctl;
     /* if any un-expunged deletions remain, ship an expunge now */
     if (deletions)
        internal_expunge(sock);
 
+#ifdef USE_SEARCH
+    /* Memory clean-up */
+    if (unseen_messages)
+       free(unseen_messages);
+#endif /* USE_SEARCH */
+
     return(gen_transact(sock, "LOGOUT"));
 }
 
-const static struct method imap =
+static const struct method imap =
 {
     "IMAP",            /* Internet Message Access Protocol */
-#if INET6_ENABLE
-    "imap",
-    "imaps",
-#else /* INET6_ENABLE */
-    143,                /* standard IMAP2bis/IMAP4 port */
-    993,                /* ssl IMAP2bis/IMAP4 port */
-#endif /* INET6_ENABLE */
+    "imap",            /* service (plain and TLS) */
+    "imaps",           /* service (SSL) */
     TRUE,              /* this is a tagged protocol */
     FALSE,             /* no message delimiter */
     imap_ok,           /* parse command response */
-    imap_canonicalize, /* deal with embedded slashes and spaces */
     imap_getauth,      /* get authorization */
     imap_getrange,     /* query range of messages */
     imap_getsizes,     /* get sizes of messages (used for ESMTP SIZE option) */
+    imap_getpartialsizes,      /* get sizes of subset of messages (used for ESMTP SIZE option) */
     imap_is_old,       /* no UID check */
     imap_fetch_headers,        /* request given message headers */
     imap_fetch_body,   /* request given message body */
     imap_trail,                /* eat message trailer */
     imap_delete,       /* delete the message */
+    imap_mark_seen,    /* how to mark a message as seen */
+    imap_end_mailbox_poll,     /* end-of-mailbox processing */
     imap_logout,       /* expunge and exit */
     TRUE,              /* yes, we can re-poll */
 };