]> Pileus Git - ~andy/fetchmail/blobdiff - imap.c
Almost ready to ship.
[~andy/fetchmail] / imap.c
diff --git a/imap.c b/imap.c
index 86a5e2450bdf39fab1048c52a5ef70994a959a24..1c7d1fe8c9d5c82909e8ed63b965b1bf9b501bf1 100644 (file)
--- a/imap.c
+++ b/imap.c
 #include  "socket.h"
 
 #ifdef KERBEROS_V4
+#ifdef KERBEROS_V5
+#include <kerberosIV/des.h>
+#include <kerberosIV/krb.h>
+#else
 #if defined (__bsdi__)
 #include <des.h>
 #define krb_get_err_text(e) (krb_err_txt[e])
 #endif
-#if defined (__FreeBSD__) || defined(__linux__)
+#if defined(__NetBSD__) || (__FreeBSD__) || defined(__linux__)
 #define krb_get_err_text(e) (krb_err_txt[e])
 #endif
 #include <krb.h>
+#endif
 #endif /* KERBEROS_V4 */
+#include  "i18n.h"
 
 #ifdef GSSAPI
+#ifdef HAVE_GSSAPI_H
+#include <gssapi.h>
+#endif
+#ifdef HAVE_GSSAPI_GSSAPI_H
 #include <gssapi/gssapi.h>
+#endif
+#ifdef HAVE_GSSAPI_GSSAPI_GENERIC_H
 #include <gssapi/gssapi_generic.h>
 #endif
+#ifndef HAVE_GSS_C_NT_HOSTBASED_SERVICE
+#define GSS_C_NT_HOSTBASED_SERVICE gss_nt_service_name
+#endif
+#endif
+
+#include "md5.h"
 
 #if OPIE
 #include <opie.h>
@@ -44,7 +62,8 @@ extern char *strstr();        /* needed on sysV68 R3V7.1. */
 #define IMAP4          0       /* IMAP4 rev 0, RFC1730 */
 #define IMAP4rev1      1       /* IMAP4 rev 1, RFC2060 */
 
-static int count, seen, recent, unseen, deletions,expunged, imap_version;
+static int count, seen, recent, unseen, deletions, imap_version, preauth; 
+static int expunged, expunge_period;
 static char capabilities[MSGBUFSIZE+1];
 
 int imap_ok(int sock, char *argbuf)
@@ -107,13 +126,22 @@ int imap_ok(int sock, char *argbuf)
        while (isspace(*cp))
            cp++;
 
-       if (strncmp(cp, "OK", 2) == 0)
+       if (strncmp(cp, "PREAUTH", 2) == 0)
+       {
+           if (argbuf)
+               strcpy(argbuf, cp);
+           preauth = TRUE;
+           return(PS_SUCCESS);
+       }
+       else if (strncmp(cp, "OK", 2) == 0)
        {
            if (argbuf)
                strcpy(argbuf, cp);
            return(PS_SUCCESS);
        }
-       else if (strncmp(cp, "BAD", 2) == 0)
+       else if (strncmp(cp, "BAD", 3) == 0)
+           return(PS_ERROR);
+       else if (strncmp(cp, "NO", 2) == 0)
            return(PS_ERROR);
        else
            return(PS_PROTOCOL);
@@ -123,63 +151,65 @@ int imap_ok(int sock, char *argbuf)
 #if OPIE
 static int do_otp(int sock, struct query *ctl)
 {
-  int i, rval;
-  char buffer[128];
-  char challenge[OPIE_CHALLENGE_MAX+1];
-  char response[OPIE_RESPONSE_MAX+1];
+    int i, rval;
+    char buffer[128];
+    char challenge[OPIE_CHALLENGE_MAX+1];
+    char response[OPIE_RESPONSE_MAX+1];
 
-  gen_send(sock, "AUTHENTICATE X-OTP");
+    gen_send(sock, "AUTHENTICATE X-OTP");
 
-  if (rval = gen_recv(sock, buffer, sizeof(buffer)))
-    return rval;
+    if (rval = gen_recv(sock, buffer, sizeof(buffer)))
+       return rval;
 
-  if ((i = from64tobits(challenge, buffer)) < 0) {
-    error(0, -1, "Could not decode initial BASE64 challenge");
-    return PS_AUTHFAIL;
-  };
+    if ((i = from64tobits(challenge, buffer)) < 0) {
+       report(stderr, _("Could not decode initial BASE64 challenge\n"));
+       return PS_AUTHFAIL;
+    };
 
 
-  to64frombits(buffer, ctl->remotename, strlen(ctl->remotename));
+    to64frombits(buffer, ctl->remotename, strlen(ctl->remotename));
 
-  if (outlevel == O_VERBOSE)
-     error(0, 0, "IMAP> %s", buffer);
-  SockWrite(sock, buffer, strlen(buffer));
-  SockWrite(sock, "\r\n", 2);
+    if (outlevel >= O_MONITOR)
+       report(stdout, "IMAP> %s\n", buffer);
 
-  if (rval = gen_recv(sock, buffer, sizeof(buffer)))
-    return rval;
+    /* best not to count on the challenge code handling multiple writes */
+    strcat(buffer, "\r\n");
+    SockWrite(sock, buffer, strlen(buffer));
 
-  if ((i = from64tobits(challenge, buffer)) < 0) {
-    error(0, -1, "Could not decode OTP challenge");
-    return PS_AUTHFAIL;
-  };
+    if (rval = gen_recv(sock, buffer, sizeof(buffer)))
+       return rval;
+
+    if ((i = from64tobits(challenge, buffer)) < 0) {
+       report(stderr, _("Could not decode OTP challenge\n"));
+       return PS_AUTHFAIL;
+    };
 
-  rval = opiegenerator(challenge, !strcmp(ctl->password, "opie") ? "" : ctl->password, response);
-  if ((rval == -2) && (cmd_daemon == -1)) {
-    char secret[OPIE_SECRET_MAX+1];
-    fprintf(stderr, "Secret pass phrase: ");
-    if (opiereadpass(secret, sizeof(secret), 0))
-      rval = opiegenerator(challenge, secret, response);
-    memset(secret, 0, sizeof(secret));
-  };
+    rval = opiegenerator(challenge, !strcmp(ctl->password, "opie") ? "" : ctl->password, response);
+    if ((rval == -2) && !run.poll_interval) {
+       char secret[OPIE_SECRET_MAX+1];
+       fprintf(stderr, _("Secret pass phrase: "));
+       if (opiereadpass(secret, sizeof(secret), 0))
+           rval = opiegenerator(challenge, secret, response);
+       memset(secret, 0, sizeof(secret));
+    };
 
-  if (rval)
-   return PS_AUTHFAIL;
+    if (rval)
+       return PS_AUTHFAIL;
 
-  to64frombits(buffer, response, strlen(response));
+    to64frombits(buffer, response, strlen(response));
 
-  if (outlevel == O_VERBOSE)
-     error(0, 0, "IMAP> %s", buffer);
-  SockWrite(sock, buffer, strlen(buffer));
-  SockWrite(sock, "\r\n", 2);
+    if (outlevel >= O_MONITOR)
+       report(stdout, "IMAP> %s\n", buffer);
+    strcat(buffer, "\r\n");
+    SockWrite(sock, buffer, strlen(buffer));
 
-  if (rval = gen_recv(sock, buffer, sizeof(buffer)))
-    return rval;
+    if (rval = gen_recv(sock, buffer, sizeof(buffer)))
+       return rval;
 
-  if (strstr(buffer, "OK"))
-    return PS_SUCCESS;
-  else
-    return PS_AUTHFAIL;
+    if (strstr(buffer, "OK"))
+       return PS_SUCCESS;
+    else
+       return PS_AUTHFAIL;
 };
 #endif /* OPIE */
 
@@ -233,10 +263,19 @@ static int do_rfc1731(int sock, char *truename)
 
     len = from64tobits(challenge1.cstr, buf1);
     if (len < 0) {
-       error(0, -1, "could not decode initial BASE64 challenge");
+       report(stderr, _("could not decode initial BASE64 challenge\n"));
        return PS_AUTHFAIL;
     }
 
+    /* this patch by Dan Root <dar@thekeep.org> solves an endianess
+     * problem. */
+    {
+       char tmp[4];
+
+       *(int *)tmp = ntohl(*(int *) challenge1.cstr);
+       memcpy(challenge1.cstr, tmp, sizeof(tmp));
+    }
+
     /* Client responds with a Kerberos ticket and an authenticator for
      * the principal "imap.hostname@realm" where "hostname" is the
      * first component of the host name of the server with all letters
@@ -262,34 +301,36 @@ static int do_rfc1731(int sock, char *truename)
 
     result = krb_mk_req(&authenticator, "imap", srvinst, srvrealm, 0);
     if (result) {
-       error(0, -1, "krb_mq_req: %s", krb_get_err_text(result));
+       report(stderr, "krb_mq_req: %s\n", krb_get_err_text(result));
        return PS_AUTHFAIL;
     }
 
     result = krb_get_cred("imap", srvinst, srvrealm, &credentials);
     if (result) {
-       error(0, -1, "krb_get_cred: %s", krb_get_err_text(result));
+       report(stderr, "krb_get_cred: %s\n", krb_get_err_text(result));
        return PS_AUTHFAIL;
     }
 
     memcpy(session, credentials.session, sizeof session);
     memset(&credentials, 0, sizeof credentials);
-    des_key_sched(session, schedule);
+    des_key_sched(&session, schedule);
 
     result = krb_get_tf_fullname(TKT_FILE, tktuser, tktinst, tktrealm);
     if (result) {
-       error(0, -1, "krb_get_tf_fullname: %s", krb_get_err_text(result));
+       report(stderr, "krb_get_tf_fullname: %s\n", krb_get_err_text(result));
        return PS_AUTHFAIL;
     }
 
     if (strcmp(tktuser, user) != 0) {
-       error(0, -1, "principal %s in ticket does not match -u %s", tktuser,
+       report(stderr, 
+              _("principal %s in ticket does not match -u %s\n"), tktuser,
                user);
        return PS_AUTHFAIL;
     }
 
     if (tktinst[0]) {
-       error(0, 0, "non-null instance (%s) might cause strange behavior",
+       report(stderr, 
+              _("non-null instance (%s) might cause strange behavior\n"),
                tktinst);
        strcat(tktuser, ".");
        strcat(tktuser, tktinst);
@@ -303,16 +344,16 @@ static int do_rfc1731(int sock, char *truename)
     result = krb_mk_req(&authenticator, "imap", srvinst, srvrealm,
            challenge1.cint);
     if (result) {
-       error(0, -1, "krb_mq_req: %s", krb_get_err_text(result));
+       report(stderr, "krb_mq_req: %s\n", krb_get_err_text(result));
        return PS_AUTHFAIL;
     }
 
     to64frombits(buf1, authenticator.dat, authenticator.length);
-    if (outlevel == O_VERBOSE) {
-       error(0, 0, "IMAP> %s", buf1);
+    if (outlevel >= O_MONITOR) {
+       report(stdout, "IMAP> %s\n", buf1);
     }
+    strcat(buf1, "\r\n");
     SockWrite(sock, buf1, strlen(buf1));
-    SockWrite(sock, "\r\n", 2);
 
     /* Upon decrypting and verifying the ticket and authenticator, the
      * server should verify that the contained checksum field equals
@@ -355,14 +396,14 @@ static int do_rfc1731(int sock, char *truename)
 
     len = from64tobits(buf2, buf1);
     if (len < 0) {
-       error(0, -1, "could not decode BASE64 ready response");
+       report(stderr, _("could not decode BASE64 ready response\n"));
        return PS_AUTHFAIL;
     }
 
     des_ecb_encrypt((des_cblock *)buf2, (des_cblock *)buf2, schedule, 0);
     memcpy(challenge2.cstr, buf2, 4);
     if (ntohl(challenge2.cint) != challenge1.cint + 1) {
-       error(0, -1, "challenge mismatch");
+       report(stderr, _("challenge mismatch\n"));
        return PS_AUTHFAIL;
     }      
 
@@ -391,11 +432,12 @@ static int do_rfc1731(int sock, char *truename)
            &session, 1);
 
     to64frombits(buf1, authenticator.dat, authenticator.length);
-    if (outlevel == O_VERBOSE) {
-       error(0, 0, "IMAP> %s", buf1);
+    if (outlevel >= O_MONITOR) {
+       report(stdout, "IMAP> %s\n", buf1);
     }
+
+    strcat(buf1, "\r\n");
     SockWrite(sock, buf1, strlen(buf1));
-    SockWrite(sock, "\r\n", 2);
 
     if (result = gen_recv(sock, buf1, sizeof buf1))
        return result;
@@ -432,16 +474,16 @@ static int do_gssauth(int sock, char *hostname, char *username)
     sprintf(buf1, "imap@%s", hostname);
     request_buf.value = buf1;
     request_buf.length = strlen(buf1) + 1;
-    maj_stat = gss_import_name(&min_stat, &request_buf, gss_nt_service_name,
+    maj_stat = gss_import_name(&min_stat, &request_buf, GSS_C_NT_HOSTBASED_SERVICE,
         &target_name);
     if (maj_stat != GSS_S_COMPLETE) {
-        error(0, -1, "Couldn't get service name for [%s]", buf1);
+        report(stderr, _("Couldn't get service name for [%s]\n"), buf1);
         return PS_AUTHFAIL;
     }
-    else if (outlevel == O_VERBOSE) {
+    else if (outlevel >= O_DEBUG) {
         maj_stat = gss_display_name(&min_stat, target_name, &request_buf,
             &mech_name);
-        error(0, 0, "Using service name [%s]",request_buf.value);
+        report(stderr, _("Using service name [%s]\n"),request_buf.value);
         maj_stat = gss_release_buffer(&min_stat, &request_buf);
     }
 
@@ -456,14 +498,26 @@ static int do_gssauth(int sock, char *hostname, char *username)
     /* now start the security context initialisation loop... */
     sec_token = GSS_C_NO_BUFFER;
     context = GSS_C_NO_CONTEXT;
-    if (outlevel == O_VERBOSE)
-        error(0,0,"Sending credentials");
+    if (outlevel >= O_VERBOSE)
+        report(stdout, _("Sending credentials\n"));
     do {
-        maj_stat = gss_init_sec_context(&min_stat, GSS_C_NO_CREDENTIAL, 
-            &context, target_name, NULL, 0, 0, NULL, sec_token, NULL,
-           &send_token, &cflags, NULL);
+        send_token.length = 0;
+       send_token.value = NULL;
+        maj_stat = gss_init_sec_context(&min_stat, 
+                                       GSS_C_NO_CREDENTIAL,
+                                       &context, 
+                                       target_name, 
+                                       GSS_C_NO_OID, 
+                                       GSS_C_MUTUAL_FLAG | GSS_C_SEQUENCE_FLAG, 
+                                       0, 
+                                       GSS_C_NO_CHANNEL_BINDINGS, 
+                                       sec_token, 
+                                       NULL, 
+                                       &send_token, 
+                                       NULL, 
+                                       NULL);
         if (maj_stat!=GSS_S_COMPLETE && maj_stat!=GSS_S_CONTINUE_NEEDED) {
-            error(0, -1,"Error exchanging credentials");
+            report(stderr, _("Error exchanging credentials\n"));
             gss_release_name(&min_stat, &target_name);
             /* wake up server and await NO response */
             SockWrite(sock, "\r\n", 2);
@@ -473,10 +527,10 @@ static int do_gssauth(int sock, char *hostname, char *username)
         }
         to64frombits(buf1, send_token.value, send_token.length);
         gss_release_buffer(&min_stat, &send_token);
+       strcat(buf1, "\r\n");
         SockWrite(sock, buf1, strlen(buf1));
-        SockWrite(sock, "\r\n", 2);
-        if (outlevel == O_VERBOSE)
-            error(0,0,"IMAP> %s", buf1);
+        if (outlevel >= O_MONITOR)
+            report(stdout, "IMAP> %s\n", buf1);
         if (maj_stat == GSS_S_CONTINUE_NEEDED) {
            if (result = gen_recv(sock, buf1, sizeof buf1)) {
                gss_release_name(&min_stat, &target_name);
@@ -499,16 +553,16 @@ static int do_gssauth(int sock, char *hostname, char *username)
     maj_stat = gss_unwrap(&min_stat, context, &request_buf, &send_token,
         &cflags, &quality);
     if (maj_stat != GSS_S_COMPLETE) {
-        error(0,-1,"Couldn't unwrap security level data");
+        report(stderr, _("Couldn't unwrap security level data\n"));
         gss_release_buffer(&min_stat, &send_token);
         return PS_AUTHFAIL;
     }
-    if (outlevel == O_VERBOSE)
-        error(0,0,"Credential exchange complete");
+    if (outlevel >= O_DEBUG)
+        report(stdout, _("Credential exchange complete\n"));
     /* first octet is security levels supported. We want none, for now */
     server_conf_flags = ((char *)send_token.value)[0];
     if ( !(((char *)send_token.value)[0] & GSSAUTH_P_NONE) ) {
-        error(0,-1,"Server requires integrity and/or privacy");
+        report(stderr, _("Server requires integrity and/or privacy\n"));
         gss_release_buffer(&min_stat, &send_token);
         return PS_AUTHFAIL;
     }
@@ -516,12 +570,12 @@ static int do_gssauth(int sock, char *hostname, char *username)
     buf_size = ntohl(*((long *)send_token.value));
     /* we don't care about buffer size if we don't wrap data */
     gss_release_buffer(&min_stat, &send_token);
-    if (outlevel == O_VERBOSE) {
-        error(0,0,"Unwrapped security level flags: %s%s%s",
+    if (outlevel >= O_DEBUG) {
+        report(stdout, _("Unwrapped security level flags: %s%s%s\n"),
             server_conf_flags & GSSAUTH_P_NONE ? "N" : "-",
             server_conf_flags & GSSAUTH_P_INTEGRITY ? "I" : "-",
             server_conf_flags & GSSAUTH_P_PRIVACY ? "C" : "-");
-        error(0,0,"Maximum GSS token size is %ld",buf_size);
+        report(stdout, _("Maximum GSS token size is %ld\n"),buf_size);
     }
 
     /* now respond in kind (hack!!!) */
@@ -534,33 +588,34 @@ static int do_gssauth(int sock, char *hostname, char *username)
     maj_stat = gss_wrap(&min_stat, context, 0, GSS_C_QOP_DEFAULT, &request_buf,
         &cflags, &send_token);
     if (maj_stat != GSS_S_COMPLETE) {
-        error(0,-1,"Error creating security level request");
+        report(stderr, _("Error creating security level request\n"));
         return PS_AUTHFAIL;
     }
     to64frombits(buf1, send_token.value, send_token.length);
-    if (outlevel == O_VERBOSE) {
-        error(0,0,"Requesting authorisation as %s", username);
-        error(0,0,"IMAP> %s",buf1);
+    if (outlevel >= O_DEBUG) {
+        report(stdout, _("Requesting authorisation as %s\n"), username);
+        report(stdout, "IMAP> %s\n",buf1);
     }
+    strcat(buf1, "\r\n");
     SockWrite(sock, buf1, strlen(buf1));
-    SockWrite(sock, "\r\n", 2);
 
     /* we should be done. Get status and finish up */
     if (result = gen_recv(sock, buf1, sizeof buf1))
         return result;
     if (strstr(buf1, "OK")) {
         /* flush security context */
-        if (outlevel == O_VERBOSE)
-            error(0, 0, "Releasing GSS credentials");
+        if (outlevel >= O_DEBUG)
+            report(stdout, _("Releasing GSS credentials\n"));
         maj_stat = gss_delete_sec_context(&min_stat, &context, &send_token);
         if (maj_stat != GSS_S_COMPLETE) {
-            error(0, -1, "Error releasing credentials");
+            report(stderr, _("Error releasing credentials\n"));
             return PS_AUTHFAIL;
         }
         /* send_token may contain a notification to the server to flush
          * credentials. RFC 1731 doesn't specify what to do, and since this
          * support is only for authentication, we'll assume the server
          * knows enough to flush its own credentials */
+        gss_release_buffer(&min_stat, &send_token);
         return PS_SUCCESS;
     }
 
@@ -568,17 +623,231 @@ static int do_gssauth(int sock, char *hostname, char *username)
 }      
 #endif /* GSSAPI */
 
-int imap_canonicalize(char *result, char *passwd)
+static void hmac_md5 (unsigned char *password,  size_t pass_len,
+                      unsigned char *challenge, size_t chal_len,
+                      unsigned char *response,  size_t resp_len)
+{
+    int i;
+    unsigned char ipad[64];
+    unsigned char opad[64];
+    unsigned char hash_passwd[16];
+
+    MD5_CTX ctx;
+    
+    if (resp_len != 16)
+        return;
+
+    if (pass_len > sizeof (ipad))
+    {
+        MD5Init (&ctx);
+        MD5Update (&ctx, password, pass_len);
+        MD5Final (hash_passwd, &ctx);
+        password = hash_passwd; pass_len = sizeof (hash_passwd);
+    }
+
+    memset (ipad, 0, sizeof (ipad));
+    memset (opad, 0, sizeof (opad));
+    memcpy (ipad, password, pass_len);
+    memcpy (opad, password, pass_len);
+
+    for (i=0; i<64; i++) {
+        ipad[i] ^= 0x36;
+        opad[i] ^= 0x5c;
+    }
+
+    MD5Init (&ctx);
+    MD5Update (&ctx, ipad, sizeof (ipad));
+    MD5Update (&ctx, challenge, chal_len);
+    MD5Final (response, &ctx);
+
+    MD5Init (&ctx);
+    MD5Update (&ctx, opad, sizeof (opad));
+    MD5Update (&ctx, response, resp_len);
+    MD5Final (response, &ctx);
+}
+
+#if NTLM_ENABLE
+#include "ntlm.h"
+
+static tSmbNtlmAuthRequest   request;             
+static tSmbNtlmAuthChallenge challenge;
+static tSmbNtlmAuthResponse  response;
+
+/*
+ * NTLM support by Grant Edwards.
+ *
+ * Handle MS-Exchange NTLM authentication method.  This is the same
+ * as the NTLM auth used by Samba for SMB related services. We just
+ * encode the packets in base64 instead of sending them out via a
+ * network interface.
+ * 
+ * Much source (ntlm.h, smb*.c smb*.h) was borrowed from Samba.
+ */
+
+static int do_imap_ntlm(int sock, struct query *ctl)
+{
+    char msgbuf[2048];
+    int result,len;
+  
+    gen_send(sock, "AUTHENTICATE NTLM");
+
+    if ((result = gen_recv(sock, msgbuf, sizeof msgbuf)))
+       return result;
+  
+    if (msgbuf[0] != '+')
+       return PS_AUTHFAIL;
+  
+    buildSmbNtlmAuthRequest(&request,ctl->remotename,NULL);
+
+    if (outlevel >= O_DEBUG)
+       dumpSmbNtlmAuthRequest(stdout, &request);
+
+    memset(msgbuf,0,sizeof msgbuf);
+    to64frombits (msgbuf, (unsigned char*)&request, SmbLength(&request));
+  
+    if (outlevel >= O_MONITOR)
+       report(stdout, "IMAP> %s\n", msgbuf);
+  
+    strcat(msgbuf,"\r\n");
+    SockWrite (sock, msgbuf, strlen (msgbuf));
+
+    if ((gen_recv(sock, msgbuf, sizeof msgbuf)))
+       return result;
+  
+    len = from64tobits ((unsigned char*)&challenge, msgbuf);
+    
+    if (outlevel >= O_DEBUG)
+       dumpSmbNtlmAuthChallenge(stdout, &challenge);
+    
+    buildSmbNtlmAuthResponse(&challenge, &response,ctl->remotename,ctl->password);
+  
+    if (outlevel >= O_DEBUG)
+       dumpSmbNtlmAuthResponse(stdout, &response);
+  
+    memset(msgbuf,0,sizeof msgbuf);
+    to64frombits (msgbuf, (unsigned char*)&response, SmbLength(&response));
+
+    if (outlevel >= O_MONITOR)
+       report(stdout, "IMAP> %s\n", msgbuf);
+      
+    strcat(msgbuf,"\r\n");
+
+    SockWrite (sock, msgbuf, strlen (msgbuf));
+  
+    if ((result = gen_recv (sock, msgbuf, sizeof msgbuf)))
+       return result;
+  
+    if (strstr (msgbuf, "OK"))
+       return PS_SUCCESS;
+    else
+       return PS_AUTHFAIL;
+}
+#endif /* NTLM */
+
+static int do_cram_md5 (int sock, struct query *ctl)
+/* authenticate as per RFC2195 */
+{
+    int result;
+    int len;
+    int quot;
+    unsigned char buf1[1024];
+    unsigned char msg_id[768];
+    unsigned char response[16];
+    unsigned char reply[1024];
+
+    gen_send (sock, "AUTHENTICATE CRAM-MD5");
+
+    /* From RFC2195:
+     * The data encoded in the first ready response contains an
+     * presumptively arbitrary string of random digits, a timestamp, and the
+     * fully-qualified primary host name of the server.  The syntax of the
+     * unencoded form must correspond to that of an RFC 822 'msg-id'
+     * [RFC822] as described in [POP3].
+     */
+
+    if ((result = gen_recv (sock, buf1, sizeof (buf1)))) {
+       return result;
+    }
+
+    len = from64tobits (msg_id, buf1);
+    if (len < 0) {
+       report (stderr, _("could not decode BASE64 challenge\n"));
+       return PS_AUTHFAIL;
+    } else if (len < sizeof (msg_id)) {
+        msg_id[len] = 0;
+    } else {
+        msg_id[sizeof (msg_id)-1] = 0;
+    }
+    if (outlevel >= O_DEBUG) {
+        report (stdout, "decoded as %s\n", msg_id);
+    }
+
+    /* The client makes note of the data and then responds with a string
+     * consisting of the user name, a space, and a 'digest'.  The latter is
+     * computed by applying the keyed MD5 algorithm from [KEYED-MD5] where
+     * the key is a shared secret and the digested text is the timestamp
+     * (including angle-brackets).
+     *
+     * If the usename has a space in it, it's surrounded by string quotes 
+     * before being shipped.  This is not in conformance with the CRAM-MD5
+     * RFCs (which don't describe any kind of quoting and imply that the
+     * username must be a single token), but at least one server accepts
+     * it anyway (the greeting line says "InterChange IMAP4 Server v3.51.06").
+     * If this doesn't work, sending the unquoted name wouldn't have worked
+     * either, so we lost nothing.
+     */
+
+    hmac_md5 (ctl->password, strlen (ctl->password),
+              msg_id, strlen (msg_id),
+              response, sizeof (response));
+
+    quot = (int) strpbrk (ctl->remotename, " ");
+#ifdef HAVE_SNPRINTF
+    snprintf (reply, sizeof (reply),
+#else
+    sprintf(reply,
+#endif
+              "%s%s%s %02x%02x%02x%02x%02x%02x%02x%02x%02x%02x%02x%02x%02x%02x%02x%02x", 
+              quot ? "\"" : "", ctl->remotename, quot ? "\"" : "",
+              response[0], response[1], response[2], response[3],
+              response[4], response[5], response[6], response[7],
+              response[8], response[9], response[10], response[11],
+              response[12], response[13], response[14], response[15]);
+
+    if (outlevel >= O_DEBUG) {
+        report (stdout, "replying with %s\n", reply);
+    }
+
+    to64frombits (buf1, reply, strlen (reply));
+    if (outlevel >= O_MONITOR) {
+       report (stdout, "IMAP> %s\n", buf1);
+    }
+
+    /* PMDF5.2 IMAP has a bug that requires this to be a single write */
+    strcat (buf1, "\r\n");
+    SockWrite (sock, buf1, strlen (buf1));
+
+    if ((result = gen_recv (sock, buf1, sizeof (buf1))))
+       return result;
+
+    if (strstr (buf1, "OK")) {
+        return PS_SUCCESS;
+    } else {
+       return PS_AUTHFAIL;
+    }
+}
+
+int imap_canonicalize(char *result, char *raw, int maxlen)
 /* encode an IMAP password as per RFC1730's quoting conventions */
 {
     int i, j;
 
     j = 0;
-    for (i = 0; i < strlen(passwd); i++)
+    for (i = 0; i < strlen(raw) && i < maxlen; i++)
     {
-       if ((passwd[i] == '\\') || (passwd[i] == '"'))
+       if ((raw[i] == '\\') || (raw[i] == '"'))
            result[j++] = '\\';
-       result[j++] = passwd[i];
+       result[j++] = raw[i];
     }
     result[j] = '\0';
 
@@ -589,7 +858,6 @@ int imap_getauth(int sock, struct query *ctl, char *greeting)
 /* apply for connection authorization */
 {
     int ok = 0;
-    char       password[PASSWORDLEN*2];
 
     /* probe to see if we're running IMAP4 and can use RFC822.PEEK */
     capabilities[0] = '\0';
@@ -599,33 +867,46 @@ int imap_getauth(int sock, struct query *ctl, char *greeting)
        if (strstr(capabilities, "IMAP4REV1"))
        {
            imap_version = IMAP4rev1;
-           if (outlevel == O_VERBOSE)
-               error(0, 0, "Protocol identified as IMAP4 rev 1");
+           if (outlevel >= O_DEBUG)
+               report(stdout, _("Protocol identified as IMAP4 rev 1\n"));
        }
        else
        {
            imap_version = IMAP4;
-           if (outlevel == O_VERBOSE)
-           error(0, 0, "Protocol identified as IMAP4 rev 0");
+           if (outlevel >= O_DEBUG)
+               report(stdout, _("Protocol identified as IMAP4 rev 0\n"));
        }
     }
     else if (ok == PS_ERROR)
     {
        imap_version = IMAP2;
-       if (outlevel == O_VERBOSE)
-           error(0, 0, "Protocol identified as IMAP2 or IMAP2BIS");
+       if (outlevel >= O_DEBUG)
+           report(stdout, _("Protocol identified as IMAP2 or IMAP2BIS\n"));
     }
     else
        return(ok);
 
     peek_capable = (imap_version >= IMAP4);
 
+    /* 
+     * Assumption: expunges are cheap, so we want to do them
+     * after every message unless user said otherwise.
+     */
+    if (NUM_SPECIFIED(ctl->expunge))
+       expunge_period = NUM_VALUE_OUT(ctl->expunge);
+    else
+       expunge_period = 1;
+
+    if (preauth)
+       return(PS_SUCCESS);
+
 #if OPIE
-    if ((ctl->server.protocol == P_IMAP) && strstr(capabilities, "AUTH=X-OTP")) {
-      if (outlevel == O_VERBOSE)
-        error(0, 0, "OTP authentication is supported");
-      if (do_otp(sock, ctl) == PS_SUCCESS)
-        return PS_SUCCESS;
+    if ((ctl->server.protocol == P_IMAP) && strstr(capabilities, "AUTH=X-OTP"))
+    {
+       if (outlevel >= O_DEBUG)
+           report(stdout, _("OTP authentication is supported\n"));
+       if (do_otp(sock, ctl) == PS_SUCCESS)
+           return(PS_SUCCESS);
     };
 #endif /* OPIE */
 
@@ -634,14 +915,15 @@ int imap_getauth(int sock, struct query *ctl, char *greeting)
     {
         if (ctl->server.protocol == P_IMAP_GSS)
         {
-            if (outlevel == O_VERBOSE)
-                error(0, 0, "GSS authentication is supported");
+            if (outlevel >= O_DEBUG)
+                report(stdout, _("GSS authentication is supported\n"));
             return do_gssauth(sock, ctl->server.truename, ctl->remotename);
         }
     }
     else if (ctl->server.protocol == P_IMAP_GSS)
     {
-        error(0,-1, "Required GSS capability not supported by server");
+        report(stderr, 
+              _("Required GSS capability not supported by server\n"));
         return(PS_AUTHFAIL);
     }
 #endif /* GSSAPI */
@@ -649,39 +931,79 @@ int imap_getauth(int sock, struct query *ctl, char *greeting)
 #ifdef KERBEROS_V4
     if (strstr(capabilities, "AUTH=KERBEROS_V4"))
     {
-       if (outlevel == O_VERBOSE)
-           error(0, 0, "KERBEROS_V4 authentication is supported");
+       if (outlevel >= O_DEBUG)
+           report(stdout, _("KERBEROS_V4 authentication is supported\n"));
 
        if (ctl->server.protocol == P_IMAP_K4)
        {
            if ((ok = do_rfc1731(sock, ctl->server.truename)))
            {
-               if (outlevel == O_VERBOSE)
-                   error(0, 0, "IMAP> *");
+               if (outlevel >= O_MONITOR)
+                   report(stdout, "IMAP> *\n");
                SockWrite(sock, "*\r\n", 3);
            }
            
            return(ok);
        }
-       /* else fall through to ourdinary AUTH=LOGIN case */
+       /* else fall through to ordinary AUTH=LOGIN case */
     }
     else if (ctl->server.protocol == P_IMAP_K4)
     {
-       error(0,-1, "Required KERBEROS_V4 capability not supported by server");
+       report(stderr, 
+              _("Required KERBEROS_V4 capability not supported by server\n"));
        return(PS_AUTHFAIL);
     }
 #endif /* KERBEROS_V4 */
 
+    if (strstr(capabilities, "AUTH=CRAM-MD5"))
+    {
+        if (outlevel >= O_DEBUG)
+            report (stdout, _("CRAM-MD5 authentication is supported\n"));
+        if (ctl->server.protocol != P_IMAP_LOGIN)
+        {
+            if ((ok = do_cram_md5 (sock, ctl)))
+            {
+                if (outlevel >= O_MONITOR)
+                    report (stdout, "IMAP> *\n");
+                SockWrite (sock, "*\r\n", 3);
+            }
+            return ok;
+        }
+    }
+    else if (ctl->server.protocol == P_IMAP_CRAM_MD5)
+    {
+        report(stderr,
+               _("Required CRAM-MD5 capability not supported by server\n"));
+        return(PS_AUTHFAIL);
+    }
+
+#ifdef NTLM_ENABLE
+    if (strstr (capabilities, "AUTH=NTLM"))
+    {
+        if (outlevel >= O_DEBUG)
+            report (stdout, _("NTLM authentication is supported\n"));
+        return do_imap_ntlm (sock, ctl);
+    }
+#endif /* NTLM_ENABLE */
+
 #ifdef __UNUSED__      /* The Cyrus IMAP4rev1 server chokes on this */
     /* this handles either AUTH=LOGIN or AUTH-LOGIN */
     if ((imap_version >= IMAP4rev1) && (!strstr(capabilities, "LOGIN"))) {
-      error(0,-1, "Required LOGIN capability not supported by server");
+      report(stderr, 
+            _("Required LOGIN capability not supported by server\n"));
       return PS_AUTHFAIL;
     };
 #endif /* __UNUSED__ */
 
-    imap_canonicalize(password, ctl->password);
-    ok = gen_transact(sock, "LOGIN \"%s\" \"%s\"", ctl->remotename, password);
+    {
+       /* these sizes guarantee no buffer overflow */
+       char    remotename[NAMELEN*2+1], password[PASSWORDLEN*2+1];
+
+       imap_canonicalize(remotename, ctl->remotename, NAMELEN);
+       imap_canonicalize(password, ctl->password, PASSWORDLEN);
+       ok = gen_transact(sock, "LOGIN \"%s\" \"%s\"", remotename, password);
+    }
+
     if (ok)
        return(ok);
     
@@ -715,21 +1037,23 @@ static int imap_getrange(int sock,
     int ok;
 
     /* find out how many messages are waiting */
-    *bytes, recent = unseen = -1;
+    *bytes = recent = unseen = -1;
 
     if (pass > 1)
     {
        /* 
         * We have to have an expunge here, otherwise the re-poll will
-        * infinite-loop picking up un-expunged message.
+        * infinite-loop picking up un-expunged messages -- unless the
+        * expunge period is one and we've been nuking each message 
+        * just after deletion.
         */
        ok = 0;
-       if (deletions && ctl->expunge > 1)
+       if (deletions && expunge_period != 1)
            internal_expunge(sock);
        count = -1;
        if (ok || gen_transact(sock, "NOOP"))
        {
-           error(0, 0, "re-poll failed");
+           report(stderr, _("re-poll failed\n"));
            return(ok);
        }
        else if (count == -1)   /* no EXISTS response to NOOP */
@@ -746,7 +1070,7 @@ static int imap_getrange(int sock,
            ok = gen_transact(sock, "EXAMINE %s", folder ? folder : "INBOX");
        if (ok != 0)
        {
-           error(0, 0, "mailbox selection failed");
+           report(stderr, _("mailbox selection failed\n"));
            return(ok);
        }
     }
@@ -892,16 +1216,20 @@ static int imap_fetch_body(int sock, struct query *ctl, int number, int *lenp)
        if ((ok = gen_recv(sock, buf, sizeof(buf))))
            return(ok);
     } while
-       (sscanf(buf+2, "%d FETCH", &num) != 1);
+       (!strstr(buf+4, "FETCH") || sscanf(buf+2, "%d", &num) != 1);
 
     if (num != number)
        return(PS_ERROR);
 
-    /* try to extract a length */
+    /*
+     * Try to extract a length from the FETCH response.  RFC2060 requires
+     * it to be present, but at least one IMAP server (Novell GroupWise)
+     * botches this.
+     */
     if ((cp = strchr(buf, '{')))
        *lenp = atoi(cp + 1);
     else
-       *lenp = 0;
+       *lenp = -1;     /* missing length part in FETCH reponse */
 
     return(PS_SUCCESS);
 }
@@ -923,7 +1251,25 @@ static int imap_trail(int sock, struct query *ctl, int number)
        /* UW IMAP returns "OK FETCH", Cyrus returns "OK Completed" */
        if (strstr(buf, "OK"))
            break;
+
+#ifdef __UNUSED__
+       /*
+        * We've had a report of one POP3 server (not yet identified) that 
+        * fails to set SEEN on a message fetch.  This becomes an issue when
+        * keep is on, because seen messages aren't deleted and get
+        * refetched on each poll.  As a workaround, if keep is on
+        * we could set the Seen flag explicitly.  This code isn't used yet
+        * because we don't know of any IMAP servers broken in this way.
+        */
+       if (ctl->keep)
+           if ((ok = gen_transact(sock,
+                       imap_version == IMAP4 
+                               ? "STORE %d +FLAGS.SILENT (\\Seen)"
+                               : "STORE %d +FLAGS (\\Seen)", 
+                       number)))
+               return(ok);
     }
+#endif /* __UNUSED__ */
 
     return(PS_SUCCESS);
 }
@@ -939,23 +1285,29 @@ static int imap_delete(int sock, struct query *ctl, int number)
     /*
      * Use SILENT if possible as a minor throughput optimization.
      * Note: this has been dropped from IMAP4rev1.
+     *
+     * We set Seen because there are some IMAP servers (notably HP
+     * OpenMail) that do message-receipt DSNs, but only when the seen
+     * bit is set.  This is the appropriate time -- we get here right
+     * after the local SMTP response that says delivery was
+     * successful.
      */
     if ((ok = gen_transact(sock,
                        imap_version == IMAP4 
-                               ? "STORE %d +FLAGS.SILENT (\\Deleted)"
-                               : "STORE %d +FLAGS (\\Deleted)", 
+                               ? "STORE %d +FLAGS.SILENT (\\Seen \\Deleted)"
+                               : "STORE %d +FLAGS (\\Seen \\Deleted)", 
                        number)))
        return(ok);
     else
        deletions++;
 
     /*
-     * We do an expunge after ctl->expunge messages, rather than
+     * We do an expunge after expunge_period messages, rather than
      * just before quit, so that a line hit during a long session
      * won't result in lots of messages being fetched again during
      * the next session.
      */
-    if (NUM_NONZERO(ctl->expunge) && (deletions % ctl->expunge) == 0)
+    if (NUM_NONZERO(expunge_period) && (deletions % expunge_period) == 0)
        internal_expunge(sock);
 
     return(PS_SUCCESS);
@@ -964,8 +1316,8 @@ static int imap_delete(int sock, struct query *ctl, int number)
 static int imap_logout(int sock, struct query *ctl)
 /* send logout command */
 {
-    /* if expunges after deletion have been suppressed, ship one now */
-    if (NUM_SPECIFIED(ctl->expunge) && NUM_ZERO(ctl->expunge) && deletions)
+    /* if any un-expunged deletions remain, ship an expunge now */
+    if (deletions)
        internal_expunge(sock);
 
     return(gen_transact(sock, "LOGOUT"));
@@ -985,7 +1337,7 @@ const static struct method imap =
     imap_canonicalize, /* deal with embedded slashes and spaces */
     imap_getauth,      /* get authorization */
     imap_getrange,     /* query range of messages */
-    imap_getsizes,     /* get sizes of messages (used for --limit option */
+    imap_getsizes,     /* get sizes of messages (used for ESMTP SIZE option) */
     imap_is_old,       /* no UID check */
     imap_fetch_headers,        /* request given message headers */
     imap_fetch_body,   /* request given message body */