Pileus Git - ~andy/fetchmail/blob - driver.c

   1 /*
   2  * driver.c -- generic driver for mail fetch method protocols
   3  *
   4  * Copyright 1997 by Eric S. Raymond
   5  * For license terms, see the file COPYING in this directory.
   6  */
   7
   8 #include  "config.h"
   9 #include  <stdio.h>
  10 #include  <setjmp.h>
  11 #include  <errno.h>
  12 #include  <string.h>
  13 #ifdef HAVE_MEMORY_H
  14 #include  <memory.h>
  15 #endif /* HAVE_MEMORY_H */
  16 #if defined(STDC_HEADERS)
  17 #include  <stdlib.h>
  18 #include  <limits.h>
  19 #endif
  20 #if defined(HAVE_UNISTD_H)
  21 #include <unistd.h>
  22 #endif
  23 #if defined(HAVE_SYS_ITIMER_H)
  24 #include <sys/itimer.h>
  25 #endif
  26 #include  <signal.h>
  27 #ifdef HAVE_SYS_WAIT_H
  28 #include <sys/wait.h>
  29 #endif
  30
  31 #ifdef HAVE_SYS_SOCKET_H
  32 #include <sys/socket.h>
  33 #endif
  34 #ifdef HAVE_NET_SOCKET_H
  35 #include <net/socket.h>
  36 #endif
  37 #include <netdb.h>
  38 #ifdef HAVE_PKG_hesiod
  39 #include <hesiod.h>
  40 #endif
  41
  42 #include <langinfo.h>
  43
  44 #include "kerberos.h"
  45 #ifdef KERBEROS_V4
  46 #include <netinet/in.h>
  47 #endif /* KERBEROS_V4 */
  48
  49 #include "i18n.h"
  50 #include "socket.h"
  51
  52 #include "fetchmail.h"
  53 #include "getaddrinfo.h"
  54 #include "tunable.h"
  55
  56 /* throw types for runtime errors */
  57 #define THROW_TIMEOUT   1               /* server timed out */
  58 #define THROW_SIGPIPE   2               /* SIGPIPE on stream socket */
  59
  60 /* magic values for the message length array */
  61 #define MSGLEN_UNKNOWN  0               /* length unknown (0 is impossible) */
  62 #define MSGLEN_INVALID  -1              /* length passed back is invalid */
  63 #define MSGLEN_TOOLARGE -2              /* message is too large */
  64 #define MSGLEN_OLD      -3              /* message is old */
  65
  66 int pass;               /* how many times have we re-polled? */
  67 int stage;              /* where are we? */
  68 int phase;              /* where are we, for error-logging purposes? */
  69 int batchcount;         /* count of messages sent in current batch */
  70 flag peek_capable;      /* can we peek for better error recovery? */
  71 int mailserver_socket_temp = -1;        /* socket to free if connect timeout */
  72
  73 static volatile int timeoutcount = 0;   /* count consecutive timeouts */
  74 static volatile int idletimeout = 0;    /* timeout occured in idle stage? */
  75
  76 static jmp_buf  restart;
  77
  78 int is_idletimeout(void)
  79 /* last timeout occured in idle stage? */
  80 {
  81     return idletimeout;
  82 }
  83
  84 void resetidletimeout(void)
  85 {
  86     idletimeout = 0;
  87 }
  88
  89 void set_timeout(int timeleft)
  90 /* reset the nonresponse-timeout */
  91 {
  92 #if !defined(__EMX__) && !defined(__BEOS__)
  93     struct itimerval ntimeout;
  94
  95     if (timeleft == 0)
  96         timeoutcount = 0;
  97
  98     ntimeout.it_interval.tv_sec = ntimeout.it_interval.tv_usec = 0;
  99     ntimeout.it_value.tv_sec  = timeleft;
 100     ntimeout.it_value.tv_usec = 0;
 101     setitimer(ITIMER_REAL, &ntimeout, (struct itimerval *)NULL);
 102 #endif
 103 }
 104
 105 static RETSIGTYPE timeout_handler (int signal)
 106 /* handle SIGALRM signal indicating a server timeout */
 107 {
 108     (void)signal;
 109     if(stage != STAGE_IDLE) {
 110         timeoutcount++;
 111         longjmp(restart, THROW_TIMEOUT);
 112     } else
 113         idletimeout = 1;
 114 }
 115
 116 static RETSIGTYPE sigpipe_handler (int signal)
 117 /* handle SIGPIPE signal indicating a broken stream socket */
 118 {
 119     (void)signal;
 120     longjmp(restart, THROW_SIGPIPE);
 121 }
 122
 123 #define CLEANUP_TIMEOUT 60 /* maximum timeout during cleanup */
 124
 125 static int cleanupSockClose (int fd)
 126 /* close sockets in maximum CLEANUP_TIMEOUT seconds during cleanup */
 127 {
 128     int scerror;
 129     SIGHANDLERTYPE alrmsave;
 130     alrmsave = set_signal_handler(SIGALRM, null_signal_handler);
 131     set_timeout(CLEANUP_TIMEOUT);
 132     scerror = SockClose(fd);
 133     set_timeout(0);
 134     set_signal_handler(SIGALRM, alrmsave);
 135     return (scerror);
 136 }
 137
 138 #ifdef KERBEROS_V4
 139 static int kerberos_auth(socket, canonical, principal)
 140 /* authenticate to the server host using Kerberos V4 */
 141 int socket;             /* socket to server host */
 142 char *canonical;        /* server name */
 143 char *principal;
 144 {
 145     KTEXT ticket;
 146     MSG_DAT msg_data;
 147     CREDENTIALS cred;
 148     Key_schedule schedule;
 149     int rem;
 150     char * prin_copy = (char *) NULL;
 151     char * prin = (char *) NULL;
 152     char * inst = (char *) NULL;
 153     char * realm = (char *) NULL;
 154
 155     if (principal != (char *)NULL && *principal)
 156     {
 157         char *cp;
 158         prin = prin_copy = xstrdup(principal);
 159         for (cp = prin_copy; *cp && *cp != '.'; ++cp)
 160             ;
 161         if (*cp)
 162         {
 163             *cp++ = '\0';
 164             inst = cp;
 165             while (*cp && *cp != '@')
 166                 ++cp;
 167             if (*cp)
 168             {
 169                 *cp++ = '\0';
 170                 realm = cp;
 171             }
 172         }
 173     }
 174
 175     ticket = xmalloc(sizeof (KTEXT_ST));
 176     rem = (krb_sendauth (0L, socket, ticket,
 177                          prin ? prin : "pop",
 178                          inst ? inst : canonical,
 179                          realm ? realm : ((char *) (krb_realmofhost (canonical))),
 180                          ((unsigned long) 0),
 181                          (&msg_data),
 182                          (&cred),
 183                          (schedule),
 184                          ((struct sockaddr_in *) 0),
 185                          ((struct sockaddr_in *) 0),
 186                          "KPOPV0.1"));
 187     free(ticket);
 188     if (prin_copy)
 189     {
 190         free(prin_copy);
 191     }
 192     if (rem != KSUCCESS)
 193     {
 194         report(stderr, GT_("kerberos error %s\n"), (krb_get_err_text (rem)));
 195         return (PS_AUTHFAIL);
 196     }
 197     return (0);
 198 }
 199 #endif /* KERBEROS_V4 */
 200
 201 #ifdef KERBEROS_V5
 202 static int kerberos5_auth(socket, canonical)
 203 /* authenticate to the server host using Kerberos V5 */
 204 int socket;             /* socket to server host */
 205 const char *canonical;  /* server name */
 206 {
 207     krb5_error_code retval;
 208     krb5_context context;
 209     krb5_ccache ccdef;
 210     krb5_principal client = NULL, server = NULL;
 211     krb5_error *err_ret = NULL;
 212
 213     krb5_auth_context auth_context = NULL;
 214
 215     krb5_init_context(&context);
 216     krb5_auth_con_init(context, &auth_context);
 217
 218     if ((retval = krb5_cc_default(context, &ccdef))) {
 219         report(stderr, "krb5_cc_default: %s\n", error_message(retval));
 220         return(PS_ERROR);
 221     }
 222
 223     if ((retval = krb5_cc_get_principal(context, ccdef, &client))) {
 224         report(stderr, "krb5_cc_get_principal: %s\n", error_message(retval));
 225         return(PS_ERROR);
 226     }
 227
 228     if ((retval = krb5_sname_to_principal(context, canonical, "pop",
 229            KRB5_NT_UNKNOWN,
 230            &server))) {
 231         report(stderr, "krb5_sname_to_principal: %s\n", error_message(retval));
 232         return(PS_ERROR);
 233     }
 234
 235     retval = krb5_sendauth(context, &auth_context, (krb5_pointer) &socket,
 236          "KPOPV1.0", client, server,
 237          AP_OPTS_MUTUAL_REQUIRED,
 238          NULL,  /* no data to checksum */
 239          0,   /* no creds, use ccache instead */
 240          ccdef,
 241          &err_ret, 0,
 242
 243          NULL); /* don't need reply */
 244
 245     krb5_free_principal(context, server);
 246     krb5_free_principal(context, client);
 247     krb5_auth_con_free(context, auth_context);
 248
 249     if (retval) {
 250 #ifdef HEIMDAL
 251       if (err_ret && err_ret->e_text) {
 252           report(stderr, GT_("krb5_sendauth: %s [server says '%*s'] \n"),
 253                  error_message(retval),
 254                  err_ret->e_text);
 255 #else
 256       if (err_ret && err_ret->text.length) {
 257           report(stderr, GT_("krb5_sendauth: %s [server says '%*s'] \n"),
 258                  error_message(retval),
 259                  err_ret->text.length,
 260                  err_ret->text.data);
 261 #endif
 262           krb5_free_error(context, err_ret);
 263       } else
 264           report(stderr, "krb5_sendauth: %s\n", error_message(retval));
 265       return(PS_ERROR);
 266     }
 267
 268     return 0;
 269 }
 270 #endif /* KERBEROS_V5 */
 271
 272 static void clean_skipped_list(struct idlist **skipped_list)
 273 /* struct "idlist" contains no "prev" ptr; we must remove unused items first */
 274 {
 275     struct idlist *current=NULL, *prev=NULL, *tmp=NULL, *head=NULL;
 276     prev = current = head = *skipped_list;
 277
 278     if (!head)
 279         return;
 280     do
 281     {
 282         /* if item has no reference, remove it */
 283         if (current && current->val.status.mark == 0)
 284         {
 285             if (current == head) /* remove first item (head) */
 286             {
 287                 head = current->next;
 288                 if (current->id) free(current->id);
 289                 free(current);
 290                 prev = current = head;
 291             }
 292             else /* remove middle/last item */
 293             {
 294                 tmp = current->next;
 295                 prev->next = tmp;
 296                 if (current->id) free(current->id);
 297                 free(current);
 298                 current = tmp;
 299             }
 300         }
 301         else /* skip this item */
 302         {
 303             prev = current;
 304             current = current->next;
 305         }
 306     } while(current);
 307
 308     *skipped_list = head;
 309 }
 310
 311 static void send_size_warnings(struct query *ctl)
 312 /* send warning mail with skipped msg; reset msg count when user notified */
 313 {
 314     int size, nbr;
 315     int msg_to_send = FALSE;
 316     struct idlist *head=NULL, *current=NULL;
 317     int max_warning_poll_count;
 318
 319     head = ctl->skipped;
 320     if (!head)
 321         return;
 322
 323     /* don't start a notification message unless we need to */
 324     for (current = head; current; current = current->next)
 325         if (current->val.status.num == 0 && current->val.status.mark)
 326             msg_to_send = TRUE;
 327     if (!msg_to_send)
 328         return;
 329
 330     /*
 331      * There's no good way to recover if we can't send notification mail,
 332      * but it's not a disaster, either, since the skipped mail will not
 333      * be deleted.
 334      */
 335     if (open_warning_by_mail(ctl))
 336         return;
 337     stuff_warning(iana_charset, ctl,
 338            GT_("Subject: Fetchmail oversized-messages warning"));
 339     stuff_warning(NULL, ctl, "%s", "");
 340     if (ctl->limitflush)
 341         stuff_warning(NULL, ctl,
 342                 GT_("The following oversized messages were deleted on server %s account %s:"),
 343                 ctl->server.pollname, ctl->remotename);
 344     else
 345         stuff_warning(NULL, ctl,
 346                 GT_("The following oversized messages remain on server %s account %s:"),
 347                 ctl->server.pollname, ctl->remotename);
 348
 349     stuff_warning(NULL, ctl, "%s", "");
 350
 351     if (run.poll_interval == 0)
 352         max_warning_poll_count = 0;
 353     else
 354         max_warning_poll_count = ctl->warnings/run.poll_interval;
 355
 356     /* parse list of skipped msg, adding items to the mail */
 357     for (current = head; current; current = current->next)
 358     {
 359         if (current->val.status.num == 0 && current->val.status.mark)
 360         {
 361             nbr = current->val.status.mark;
 362             size = atoi(current->id);
 363             if (ctl->limitflush)
 364                 stuff_warning(NULL, ctl,
 365                         GT_("  %d msg %d octets long deleted by fetchmail."),
 366                         nbr, size);
 367             else
 368                 stuff_warning(NULL, ctl,
 369                         GT_("  %d msg %d octets long skipped by fetchmail."),
 370                         nbr, size);
 371         }
 372         current->val.status.num++;
 373         current->val.status.mark = 0;
 374
 375         if (current->val.status.num >= max_warning_poll_count)
 376             current->val.status.num = 0;
 377     }
 378
 379     stuff_warning(NULL, ctl, "%s", "");
 380
 381     close_warning_by_mail(ctl, (struct msgblk *)NULL);
 382 }
 383
 384 static void mark_oversized(struct query *ctl, int size)
 385 /* mark a message oversized */
 386 {
 387     struct idlist *current=NULL, *tmp=NULL;
 388     char sizestr[32];
 389     int cnt;
 390
 391     /* convert size to string */
 392     snprintf(sizestr, sizeof(sizestr), "%d", size);
 393
 394     /* build a list of skipped messages
 395      * val.id = size of msg (string cnvt)
 396      * val.status.num = warning_poll_count
 397      * val.status.mask = nbr of msg this size
 398      */
 399
 400     current = ctl->skipped;
 401
 402     /* initialise warning_poll_count to the
 403      * current value so that all new msg will
 404      * be included in the next mail
 405      */
 406     cnt = current ? current->val.status.num : 0;
 407
 408     /* if entry exists, increment the count */
 409     if (current && (tmp = str_in_list(&current, sizestr, FALSE)))
 410     {
 411         tmp->val.status.mark++;
 412     }
 413     /* otherwise, create a new entry */
 414     /* initialise with current poll count */
 415     else
 416     {
 417         tmp = save_str(&ctl->skipped, sizestr, 1);
 418         tmp->val.status.num = cnt;
 419     }
 420 }
 421
 422 static int fetch_messages(int mailserver_socket, struct query *ctl,
 423                           int count, int **msgsizes, int maxfetch,
 424                           int *fetches, int *dispatches, int *deletions)
 425 /* fetch messages in lockstep mode */
 426 {
 427     flag force_retrieval;
 428     int num, firstnum = 1, lastnum = 0, err, len;
 429     int fetchsizelimit = ctl->fetchsizelimit;
 430     int msgsize;
 431     int initialfetches = *fetches;
 432
 433     if (ctl->server.base_protocol->getpartialsizes && NUM_NONZERO(fetchsizelimit))
 434     {
 435         /* for POP3, we can get the size of one mail only! Unfortunately, this
 436          * protocol specific test cannot be done elsewhere as the protocol
 437          * could be "auto". */
 438         switch (ctl->server.protocol)
 439         {
 440             case P_POP3: case P_APOP: case P_RPOP:
 441             fetchsizelimit = 1;
 442         }
 443
 444         /* Time to allocate memory to store the sizes */
 445         xfree(*msgsizes);
 446         *msgsizes = (int *)xmalloc(sizeof(int) * fetchsizelimit);
 447     }
 448
 449     /*
 450      * What forces this code is that in POP2 and
 451      * IMAP2bis you can't fetch a message without
 452      * having it marked `seen'.  In POP3 and IMAP4, on the
 453      * other hand, you can (peek_capable is set by
 454      * each driver module to convey this; it's not a
 455      * method constant because of the difference between
 456      * IMAP2bis and IMAP4, and because POP3 doesn't  peek
 457      * if fetchall is on).
 458      *
 459      * The result of being unable to peek is that if there's
 460      * any kind of transient error (DNS lookup failure, or
 461      * sendmail refusing delivery due to process-table limits)
 462      * the message will be marked "seen" on the server without
 463      * having been delivered.  This is not a big problem if
 464      * fetchmail is running in foreground, because the user
 465      * will see a "skipped" message when it next runs and get
 466      * clued in.
 467      *
 468      * But in daemon mode this leads to the message
 469      * being silently ignored forever.  This is not
 470      * acceptable.
 471      *
 472      * We compensate for this by checking the error
 473      * count from the previous pass and forcing all
 474      * messages to be considered new if it's nonzero.
 475      */
 476     force_retrieval = !peek_capable && (ctl->errcount > 0);
 477
 478     for (num = 1; num <= count; num++)
 479     {
 480         flag suppress_delete = FALSE;
 481         flag suppress_forward = FALSE;
 482         flag suppress_readbody = FALSE;
 483         flag retained = FALSE;
 484         int msgcode = MSGLEN_UNKNOWN;
 485
 486         /* check if the message is old
 487          * Note: the size of the message may not be known here */
 488         if (ctl->fetchall || force_retrieval)
 489             ;
 490         else if (ctl->server.base_protocol->is_old && (ctl->server.base_protocol->is_old)(mailserver_socket,ctl,num))
 491             msgcode = MSGLEN_OLD;
 492         if (msgcode == MSGLEN_OLD)
 493         {
 494                 /* To avoid flooding the syslog when using --keep,
 495                  * report "Skipped message" only when:
 496                  *  1) --verbose is on, or
 497                  *  2) fetchmail does not use syslog
 498                  */
 499             if (   (outlevel >= O_VERBOSE) ||
 500                    (outlevel > O_SILENT && !run.use_syslog)
 501                )
 502             {
 503                 report_build(stdout,
 504                              GT_("skipping message %s@%s:%d"),
 505                              ctl->remotename, ctl->server.truename, num);
 506             }
 507
 508             goto flagthemail;
 509         }
 510
 511         if (ctl->server.base_protocol->getpartialsizes && NUM_NONZERO(fetchsizelimit) &&
 512             lastnum < num)
 513         {
 514             /* Instead of getting the sizes of all mails at the start, we get
 515              * the sizes in blocks of fetchsizelimit. This leads to better
 516              * performance when there are too many mails (say, 10000) in
 517              * the mailbox and either we are not getting all the mails at
 518              * one go (--fetchlimit 100) or there is a frequent socket
 519              * error while just getting the sizes of all mails! */
 520
 521             int i;
 522             int oldstage = stage;
 523             firstnum = num;
 524             lastnum = num + fetchsizelimit - 1;
 525             if (lastnum > count)
 526                 lastnum = count;
 527             for (i = 0; i < fetchsizelimit; i++)
 528                 (*msgsizes)[i] = 0;
 529
 530             stage = STAGE_GETSIZES;
 531             err = (ctl->server.base_protocol->getpartialsizes)(mailserver_socket, num, lastnum, *msgsizes);
 532             if (err != 0) {
 533                 return err;
 534             }
 535             stage = oldstage;
 536         }
 537
 538         msgsize = *msgsizes ? (*msgsizes)[num-firstnum] : 0;
 539
 540         /* check if the message is oversized */
 541         if (NUM_NONZERO(ctl->limit) && (msgsize > ctl->limit))
 542             msgcode = MSGLEN_TOOLARGE;
 543 /*      else if (msgsize == 512)
 544             msgcode = MSGLEN_OLD;  (hmh) sample code to skip message */
 545
 546         if (msgcode < 0)
 547         {
 548             if (msgcode == MSGLEN_TOOLARGE)
 549             {
 550                 mark_oversized(ctl, msgsize);
 551                 if (!ctl->limitflush)
 552                     suppress_delete = TRUE;
 553             }
 554             if (outlevel > O_SILENT)
 555             {
 556                 /* old messages are already handled above */
 557                 report_build(stdout,
 558                              GT_("skipping message %s@%s:%d (%d octets)"),
 559                              ctl->remotename, ctl->server.truename, num,
 560                              msgsize);
 561                 switch (msgcode)
 562                 {
 563                 case MSGLEN_INVALID:
 564                     /*
 565                      * Invalid lengths are produced by Post Office/NT's
 566                      * annoying habit of randomly prepending bogus
 567                      * LIST items of length -1.  Patrick Audley
 568                      * <paudley@pobox.com> tells us: LIST shows a
 569                      * size of -1, RETR and TOP return "-ERR
 570                      * System error - couldn't open message", and
 571                      * DELE succeeds but doesn't actually delete
 572                      * the message.
 573                      */
 574                     report_build(stdout, GT_(" (length -1)"));
 575                     break;
 576                 case MSGLEN_TOOLARGE:
 577                     report_build(stdout, GT_(" (oversized)"));
 578                     break;
 579                 }
 580             }
 581         }
 582         else
 583         {
 584             flag wholesize = !ctl->server.base_protocol->fetch_body;
 585             flag separatefetchbody = (ctl->server.base_protocol->fetch_body) ? TRUE : FALSE;
 586
 587             /* request a message */
 588             err = (ctl->server.base_protocol->fetch_headers)(mailserver_socket,ctl,num, &len);
 589             if (err == PS_TRANSIENT)    /* server is probably Exchange */
 590             {
 591                 report(stdout,
 592                              GT_("couldn't fetch headers, message %s@%s:%d (%d octets)\n"),
 593                              ctl->remotename, ctl->server.truename, num,
 594                              msgsize);
 595                 continue;
 596             }
 597             else if (err != 0)
 598                 return(err);
 599
 600             /* -1 means we didn't see a size in the response */
 601             if (len == -1)
 602             {
 603                 len = msgsize;
 604                 wholesize = TRUE;
 605             }
 606
 607             if (outlevel > O_SILENT)
 608             {
 609                 report_build(stdout, GT_("reading message %s@%s:%d of %d"),
 610                              ctl->remotename, ctl->server.truename,
 611                              num, count);
 612
 613                 if (len > 0)
 614                     report_build(stdout, wholesize ? GT_(" (%d octets)")
 615                                  : GT_(" (%d header octets)"), len);
 616                 if (outlevel >= O_VERBOSE)
 617                     report_complete(stdout, "\n");
 618                 else
 619                     report_complete(stdout, " ");
 620             }
 621
 622             /*
 623              * Read the message headers and ship them to the
 624              * output sink.
 625              */
 626             err = readheaders(mailserver_socket, len, msgsize,
 627                              ctl, num,
 628                              /* pass the suppress_readbody flag only if the underlying
 629                               * protocol does not fetch the body separately */
 630                              separatefetchbody ? 0 : &suppress_readbody);
 631             if (err == PS_RETAINED)
 632                 suppress_forward = suppress_delete = retained = TRUE;
 633             else if (err == PS_TRANSIENT)
 634                 suppress_delete = suppress_forward = TRUE;
 635             else if (err == PS_REFUSED)
 636                 suppress_forward = TRUE;
 637             else if (err == PS_TRUNCATED)
 638                 suppress_readbody = TRUE;
 639             else if (err)
 640                 return(err);
 641
 642             /* tell server we got it OK and resynchronize */
 643             if (separatefetchbody && ctl->server.base_protocol->trail)
 644             {
 645                 if (outlevel >= O_VERBOSE && !is_a_file(1) && !run.use_syslog)
 646                 {
 647                     fputc('\n', stdout);
 648                     fflush(stdout);
 649                 }
 650
 651                 if ((err = (ctl->server.base_protocol->trail)(mailserver_socket, ctl, tag)))
 652                     return(err);
 653             }
 654
 655             /* do not read the body which is not being forwarded only if
 656              * the underlying protocol allows the body to be fetched
 657              * separately */
 658             if (separatefetchbody && suppress_forward)
 659                 suppress_readbody = TRUE;
 660
 661             /*
 662              * If we're using IMAP4 or something else that
 663              * can fetch headers separately from bodies,
 664              * it's time to request the body now.  This
 665              * fetch may be skipped if we got an anti-spam
 666              * or other PS_REFUSED error response during
 667              * readheaders.
 668              */
 669             if (!suppress_readbody)
 670             {
 671                 if (separatefetchbody)
 672                 {
 673                     len = -1;
 674                     if ((err=(ctl->server.base_protocol->fetch_body)(mailserver_socket,ctl,num,&len)))
 675                         return(err);
 676                     /*
 677                      * Work around a bug in Novell's
 678                      * broken GroupWise IMAP server;
 679                      * its body FETCH response is missing
 680                      * the required length for the data
 681                      * string.  This violates RFC2060.
 682                      */
 683                     if (len == -1)
 684                         len = msgsize - msgblk.msglen;
 685                     if (outlevel > O_SILENT && !wholesize)
 686                         report_complete(stdout,
 687                                         GT_(" (%d body octets) "), len);
 688                 }
 689
 690                 /* process the body now */
 691                 err = readbody(mailserver_socket,
 692                               ctl,
 693                               !suppress_forward,
 694                               len);
 695                 if (err == PS_TRANSIENT)
 696                     suppress_delete = suppress_forward = TRUE;
 697                 else if (err)
 698                     return(err);
 699
 700                 /* tell server we got it OK and resynchronize */
 701                 if (ctl->server.base_protocol->trail)
 702                 {
 703                     if (outlevel >= O_VERBOSE && !is_a_file(1) && !run.use_syslog)
 704                     {
 705                         fputc('\n', stdout);
 706                         fflush(stdout);
 707                     }
 708
 709                     err = (ctl->server.base_protocol->trail)(mailserver_socket, ctl, tag);
 710                     if (err != 0)
 711                         return(err);
 712                 }
 713             }
 714
 715             /* count # messages forwarded on this pass */
 716             if (!suppress_forward)
 717                 (*dispatches)++;
 718
 719             /*
 720              * Check to see if the numbers matched?
 721              *
 722              * Yes, some servers foo this up horribly.
 723              * All IMAP servers seem to get it right, and
 724              * so does Eudora QPOP at least in 2.xx
 725              * versions.
 726              *
 727              * Microsoft Exchange gets it completely
 728              * wrong, reporting compressed rather than
 729              * actual sizes (so the actual length of
 730              * message is longer than the reported size).
 731              * Another fine example of Microsoft brain death!
 732              *
 733              * Some older POP servers, like the old UCB
 734              * POP server and the pre-QPOP QUALCOMM
 735              * versions, report a longer size in the LIST
 736              * response than actually gets shipped up.
 737              * It's unclear what is going on here, as the
 738              * QUALCOMM server (at least) seems to be
 739              * reporting the on-disk size correctly.
 740              */
 741             if (msgblk.msglen != msgsize)
 742             {
 743                 if (outlevel >= O_DEBUG)
 744                     report(stdout,
 745                            GT_("message %s@%s:%d was not the expected length (%d actual != %d expected)\n"),
 746                            ctl->remotename, ctl->server.truename, num,
 747                            msgblk.msglen, msgsize);
 748             }
 749
 750             /* end-of-message processing starts here */
 751             if (!close_sink(ctl, &msgblk, !suppress_forward))
 752             {
 753                 ctl->errcount++;
 754                 suppress_delete = TRUE;
 755             }
 756             if (!retained)
 757                 (*fetches)++;
 758         }
 759
 760 flagthemail:
 761         /*
 762          * At this point in flow of control, either
 763          * we've bombed on a protocol error or had
 764          * delivery refused by the SMTP server
 765          * (unlikely -- I've never seen it) or we've
 766          * seen `accepted for delivery' and the
 767          * message is shipped.  It's safe to mark the
 768          * message seen and delete it on the server
 769          * now.
 770          */
 771
 772         /* maybe we delete this message now? */
 773         if (retained)
 774         {
 775             if (outlevel > O_SILENT)
 776                 report(stdout, GT_(" retained\n"));
 777         }
 778         else if (ctl->server.base_protocol->delete_msg
 779                  && !suppress_delete
 780                  && ((msgcode >= 0 && !ctl->keep)
 781                      || (msgcode == MSGLEN_OLD && ctl->flush)
 782                      || (msgcode == MSGLEN_TOOLARGE && ctl->limitflush)))
 783         {
 784             (*deletions)++;
 785             if (outlevel > O_SILENT)
 786                 report_complete(stdout, GT_(" flushed\n"));
 787             err = (ctl->server.base_protocol->delete_msg)(mailserver_socket, ctl, num);
 788             if (err != 0)
 789                 return(err);
 790         }
 791         else
 792         {
 793             if (   (outlevel >= O_VERBOSE) ||
 794                         /* To avoid flooding the syslog when using --keep,
 795                          * report "Skipped message" only when:
 796                          *  1) --verbose is on, or
 797                          *  2) fetchmail does not use syslog, or
 798                          *  3) the message was skipped for some other
 799                          *     reason than just being old.
 800                          */
 801                    (outlevel > O_SILENT && (!run.use_syslog || msgcode != MSGLEN_OLD))
 802                )
 803             report_complete(stdout, GT_(" not flushed\n"));
 804
 805             /* maybe we mark this message as seen now? */
 806             if (ctl->server.base_protocol->mark_seen
 807                 && !suppress_delete
 808                 && (msgcode >= 0 && ctl->keep))
 809             {
 810                 err = (ctl->server.base_protocol->mark_seen)(mailserver_socket, ctl, num);
 811                 if (err != 0)
 812                     return(err);
 813             }
 814         }
 815
 816         /* perhaps this as many as we're ready to handle */
 817         if (maxfetch && maxfetch <= *fetches && num < count)
 818         {
 819             int remcount = count - (*fetches - initialfetches);
 820             report(stdout,
 821                    ngettext("fetchlimit %d reached; %d message left on server %s account %s\n",
 822                             "fetchlimit %d reached; %d messages left on server %s account %s\n", remcount),
 823                    maxfetch, remcount, ctl->server.truename, ctl->remotename);
 824             return(PS_MAXFETCH);
 825         }
 826     } /* for (num = 1; num <= count; num++) */
 827
 828     return(PS_SUCCESS);
 829 }
 830
 831 /* retrieve messages from server using given protocol method table */
 832 static int do_session(
 833         /* parsed options with merged-in defaults */
 834         struct query *ctl,
 835         /* protocol method table */
 836         const struct method *proto,
 837         /* maximum number of messages to fetch */
 838         const int maxfetch)
 839 {
 840     static int *msgsizes;
 841     volatile int err, mailserver_socket = -1;   /* pacifies -Wall */
 842     int tmperr;
 843     int deletions = 0, js;
 844     const char *msg;
 845     SIGHANDLERTYPE pipesave;
 846     SIGHANDLERTYPE alrmsave;
 847
 848     ctl->server.base_protocol = proto;
 849
 850     msgsizes = NULL;
 851     pass = 0;
 852     err = 0;
 853     init_transact(proto);
 854
 855     /* set up the server-nonresponse timeout */
 856     alrmsave = set_signal_handler(SIGALRM, timeout_handler);
 857     mytimeout = ctl->server.timeout;
 858
 859     /* set up the broken-pipe timeout */
 860     pipesave = set_signal_handler(SIGPIPE, sigpipe_handler);
 861
 862     if ((js = setjmp(restart)))
 863     {
 864         /* exception caught */
 865 #ifdef HAVE_SIGPROCMASK
 866         /*
 867          * Don't rely on setjmp() to restore the blocked-signal mask.
 868          * It does this under BSD but is required not to under POSIX.
 869          *
 870          * If your Unix doesn't have sigprocmask, better hope it has
 871          * BSD-like behavior.  Otherwise you may see fetchmail get
 872          * permanently wedged after a second timeout on a bad read,
 873          * because alarm signals were blocked after the first.
 874          */
 875         sigset_t        allsigs;
 876
 877         sigfillset(&allsigs);
 878         sigprocmask(SIG_UNBLOCK, &allsigs, NULL);
 879 #endif /* HAVE_SIGPROCMASK */
 880
 881         if (js == THROW_SIGPIPE)
 882         {
 883             set_signal_handler(SIGPIPE, SIG_IGN);
 884             report(stdout,
 885                    GT_("SIGPIPE thrown from an MDA or a stream socket error\n"));
 886             wait(0);
 887         }
 888         else if (js == THROW_TIMEOUT)
 889         {
 890             if (phase == OPEN_WAIT)
 891                 report(stdout,
 892                        GT_("timeout after %d seconds waiting to connect to server %s.\n"),
 893                        ctl->server.timeout, ctl->server.pollname);
 894             else if (phase == SERVER_WAIT)
 895                 report(stdout,
 896                        GT_("timeout after %d seconds waiting for server %s.\n"),
 897                        ctl->server.timeout, ctl->server.pollname);
 898             else if (phase == FORWARDING_WAIT)
 899                 report(stdout,
 900                        GT_("timeout after %d seconds waiting for %s.\n"),
 901                        ctl->server.timeout,
 902                        ctl->mda ? "MDA" : "SMTP");
 903             else if (phase == LISTENER_WAIT)
 904                 report(stdout,
 905                        GT_("timeout after %d seconds waiting for listener to respond.\n"), ctl->server.timeout);
 906             else
 907                 report(stdout,
 908                        GT_("timeout after %d seconds.\n"), ctl->server.timeout);
 909
 910             /*
 911              * If we've exceeded our threshold for consecutive timeouts,
 912              * try to notify the user, then mark the connection wedged.
 913              * Don't do this if the connection can idle, though; idle
 914              * timeouts just mean the frequency of mail is low.
 915              */
 916             if (timeoutcount > MAX_TIMEOUTS
 917                 && !open_warning_by_mail(ctl))
 918             {
 919                 stuff_warning(iana_charset, ctl,
 920                               GT_("Subject: fetchmail sees repeated timeouts"));
 921                 stuff_warning(NULL, ctl, "%s", "");
 922                 stuff_warning(NULL, ctl,
 923                               GT_("Fetchmail saw more than %d timeouts while attempting to get mail from %s@%s.\n"),
 924                               MAX_TIMEOUTS,
 925                               ctl->remotename, ctl->server.truename);
 926                 stuff_warning(NULL, ctl,
 927     GT_("This could mean that your mailserver is stuck, or that your SMTP\n" \
 928     "server is wedged, or that your mailbox file on the server has been\n" \
 929     "corrupted by a server error.  You can run `fetchmail -v -v' to\n" \
 930     "diagnose the problem.\n\n" \
 931     "Fetchmail won't poll this mailbox again until you restart it.\n"));
 932                 close_warning_by_mail(ctl, (struct msgblk *)NULL);
 933                 ctl->wedged = TRUE;
 934             }
 935         }
 936
 937         err = PS_SOCKET;
 938         goto cleanUp;
 939     }
 940     else
 941     {
 942         /* setjmp returned zero -> normal operation */
 943         char buf[MSGBUFSIZE+1], *realhost;
 944         int count, newm, bytes;
 945         int fetches, dispatches, oldphase;
 946         struct idlist *idp;
 947
 948         /* execute pre-initialization command, if any */
 949         if (ctl->preconnect && (err = system(ctl->preconnect)))
 950         {
 951             report(stderr,
 952                    GT_("pre-connection command failed with status %d\n"), err);
 953             err = PS_SYNTAX;
 954             goto closeUp;
 955         }
 956
 957         /* open a socket to the mail server */
 958         oldphase = phase;
 959         phase = OPEN_WAIT;
 960         set_timeout(mytimeout);
 961
 962 #ifdef HAVE_PKG_hesiod
 963         /* If either the pollname or vianame are "hesiod" we want to
 964            lookup the user's hesiod pobox host */
 965         if (!strcasecmp(ctl->server.queryname, "hesiod")) {
 966             struct hes_postoffice *hes_p;
 967             hes_p = hes_getmailhost(ctl->remotename);
 968             if (hes_p != NULL && strcmp(hes_p->po_type, "POP") == 0) {
 969                  free(ctl->server.queryname);
 970                  ctl->server.queryname = xstrdup(hes_p->po_host);
 971                  if (ctl->server.via)
 972                      free(ctl->server.via);
 973                  ctl->server.via = xstrdup(hes_p->po_host);
 974             } else {
 975                  report(stderr,
 976                         GT_("couldn't find HESIOD pobox for %s\n"),
 977                         ctl->remotename);
 978             }
 979         }
 980 #endif /* HESIOD */
 981
 982         /*
 983          * Canonicalize the server truename for later use.  This also
 984          * functions as a probe for whether the mailserver is accessible.
 985          * We try it on each poll cycle until we get a result.  This way,
 986          * fetchmail won't fail if started up when the network is inaccessible.
 987          */
 988         if (ctl->server.dns && !ctl->server.trueaddr)
 989         {
 990             if (ctl->server.lead_server)
 991             {
 992                 char    *leadname = ctl->server.lead_server->truename;
 993
 994                 /* prevent core dump from ill-formed or duplicate entry */
 995                 if (!leadname)
 996                 {
 997                     report(stderr, GT_("Lead server has no name.\n"));
 998                     err = PS_DNS;
 999                     set_timeout(0);
1000                     phase = oldphase;
1001                     goto closeUp;
1002                 }
1003
1004                 xfree(ctl->server.truename);
1005                 ctl->server.truename = xstrdup(leadname);
1006             }
1007             else
1008             {
1009                 struct addrinfo hints, *res;
1010                 int error;
1011
1012                 memset(&hints, 0, sizeof(hints));
1013                 hints.ai_socktype = SOCK_STREAM;
1014                 hints.ai_family = AF_UNSPEC;
1015                 hints.ai_flags = AI_CANONNAME;
1016
1017                 error = getaddrinfo(ctl->server.queryname, NULL, &hints, &res);
1018                 if (error)
1019                 {
1020                     report(stderr,
1021                            GT_("couldn't find canonical DNS name of %s (%s)\n"),
1022                            ctl->server.pollname, ctl->server.queryname);
1023                     err = PS_DNS;
1024                     set_timeout(0);
1025                     phase = oldphase;
1026                     goto closeUp;
1027                 }
1028                 else
1029                 {
1030                     xfree(ctl->server.truename);
1031                     /* Older FreeBSD versions return NULL in ai_canonname
1032                      * if they cannot canonicalize, rather than copying
1033                      * the queryname here, as IEEE Std 1003.1-2001
1034                      * requires. Work around NULL. */
1035                     if (res->ai_canonname != NULL) {
1036                         ctl->server.truename = xstrdup(res->ai_canonname);
1037                     } else {
1038                         ctl->server.truename = xstrdup(ctl->server.queryname);
1039                     }
1040                     ctl->server.trueaddr = (struct sockaddr *)xmalloc(res->ai_addrlen);
1041                     ctl->server.trueaddr_len = res->ai_addrlen;
1042                     memcpy(ctl->server.trueaddr, res->ai_addr, res->ai_addrlen);
1043                     freeaddrinfo(res);
1044                 }
1045             }
1046         }
1047
1048         realhost = ctl->server.via ? ctl->server.via : ctl->server.pollname;
1049
1050         /* allow time for the port to be set up if we have a plugin */
1051         if (ctl->server.plugin)
1052             (void)sleep(1);
1053         if ((mailserver_socket = SockOpen(realhost,
1054                              ctl->server.service ? ctl->server.service : ( ctl->use_ssl ? ctl->server.base_protocol->sslservice : ctl->server.base_protocol->service ),
1055                              ctl->server.plugin)) == -1)
1056         {
1057             char        errbuf[BUFSIZ];
1058             int err_no = errno;
1059             /*
1060              * Avoid generating a bogus error every poll cycle when we're
1061              * in daemon mode but the connection to the outside world
1062              * is down.
1063              */
1064             if (!((err_no == EHOSTUNREACH || err_no == ENETUNREACH)
1065                   && run.poll_interval))
1066             {
1067                 report_build(stderr, GT_("%s connection to %s failed"),
1068                              ctl->server.base_protocol->name, ctl->server.pollname);
1069                     strlcpy(errbuf, strerror(err_no), sizeof(errbuf));
1070                 report_complete(stderr, ": %s\n", errbuf);
1071
1072 #ifdef __UNUSED
1073                 /*
1074                  * Don't use this.  It was an attempt to address Debian bug
1075                  * #47143 (Notify user by mail when pop server nonexistent).
1076                  * Trouble is, that doesn't work; you trip over the case
1077                  * where your SLIP or PPP link is down...
1078                  */
1079                 /* warn the system administrator */
1080                 if (open_warning_by_mail(ctl) == 0)
1081                 {
1082                     stuff_warning(iana_charset, ctl,
1083                          GT_("Subject: Fetchmail unreachable-server warning."));
1084                     stuff_warning(NULL, ctl, "");
1085                     stuff_warning(NULL, ctl, GT_("Fetchmail could not reach the mail server %s:"),
1086                                   ctl->server.pollname);
1087                     stuff_warning(NULL, ctl, errbuf, ctl->server.pollname);
1088                     close_warning_by_mail(ctl, (struct msgblk *)NULL);
1089                 }
1090 #endif
1091             }
1092             err = PS_SOCKET;
1093             set_timeout(0);
1094             phase = oldphase;
1095             goto closeUp;
1096         }
1097
1098 #ifdef SSL_ENABLE
1099         /* Save the socket opened. Useful if Fetchmail hangs on SSLOpen
1100          * because the socket can be closed.
1101          */
1102         mailserver_socket_temp = mailserver_socket;
1103         set_timeout(mytimeout);
1104
1105         /* perform initial SSL handshake on open connection */
1106         /* Note:  We pass the realhost name over for certificate
1107                 verification.  We may want to make this configurable */
1108         if (ctl->use_ssl && SSLOpen(mailserver_socket,ctl->sslcert,ctl->sslkey,ctl->sslproto,ctl->sslcertck,
1109             ctl->sslcertpath,ctl->sslfingerprint,realhost,ctl->server.pollname) == -1)
1110         {
1111             report(stderr, GT_("SSL connection failed.\n"));
1112             err = PS_SOCKET;
1113             goto cleanUp;
1114         }
1115
1116         /* Fetchmail didn't hang on SSLOpen,
1117          * then no need to set mailserver_socket_temp
1118          */
1119         mailserver_socket_temp = -1;
1120 #endif
1121
1122         /* A timeout is still defined before SSLOpen,
1123          * then Fetchmail hanging on SSLOpen is handled.
1124          */
1125         set_timeout(0);
1126         phase = oldphase;
1127 #ifdef KERBEROS_V4
1128         if (ctl->server.authenticate == A_KERBEROS_V4 && (strcasecmp(proto->name,"IMAP") != 0))
1129         {
1130             set_timeout(mytimeout);
1131             err = kerberos_auth(mailserver_socket, ctl->server.truename,
1132                                ctl->server.principal);
1133             set_timeout(0);
1134             if (err != 0)
1135                 goto cleanUp;
1136         }
1137 #endif /* KERBEROS_V4 */
1138
1139 #ifdef KERBEROS_V5
1140         if (ctl->server.authenticate == A_KERBEROS_V5)
1141         {
1142             set_timeout(mytimeout);
1143             err = kerberos5_auth(mailserver_socket, ctl->server.truename);
1144             set_timeout(0);
1145             if (err != 0)
1146                 goto cleanUp;
1147         }
1148 #endif /* KERBEROS_V5 */
1149
1150         /* accept greeting message from mail server */
1151         err = (ctl->server.base_protocol->parse_response)(mailserver_socket, buf);
1152         if (err != 0)
1153             goto cleanUp;
1154
1155         /* try to get authorized to fetch mail */
1156         stage = STAGE_GETAUTH;
1157         if (ctl->server.base_protocol->getauth)
1158         {
1159             err = (ctl->server.base_protocol->getauth)(mailserver_socket, ctl, buf);
1160
1161             if (err != 0)
1162             {
1163                 if (err == PS_LOCKBUSY)
1164                     report(stderr, GT_("Lock-busy error on %s@%s\n"),
1165                           ctl->remotename,
1166                           ctl->server.truename);
1167                 else if (err == PS_SERVBUSY)
1168                     report(stderr, GT_("Server busy error on %s@%s\n"),
1169                           ctl->remotename,
1170                           ctl->server.truename);
1171                 else if (err == PS_AUTHFAIL)
1172                 {
1173                     report(stderr, GT_("Authorization failure on %s@%s%s\n"),
1174                            ctl->remotename,
1175                            ctl->server.truename,
1176                            (ctl->wehaveauthed ? GT_(" (previously authorized)") : "")
1177                         );
1178
1179                     /*
1180                      * If we're running in background, try to mail the
1181                      * calling user a heads-up about the authentication
1182                      * failure once it looks like this isn't a fluke
1183                      * due to the server being temporarily inaccessible.
1184                      * When we get third succesive failure, we notify the user
1185                      * but only if we haven't already managed to get
1186                      * authorization.  After that, once we get authorization
1187                      * we let the user know service is restored.
1188                      */
1189                     if (run.poll_interval
1190                         && !ctl->wehavesentauthnote
1191                         && ((ctl->wehaveauthed && ++ctl->authfailcount >= 10)
1192                             || (!ctl->wehaveauthed && ++ctl->authfailcount >= 3))
1193                         && !open_warning_by_mail(ctl))
1194                     {
1195                         ctl->wehavesentauthnote = 1;
1196                         stuff_warning(iana_charset, ctl,
1197                                       GT_("Subject: fetchmail authentication failed on %s@%s"),
1198                             ctl->remotename, ctl->server.truename);
1199                         stuff_warning(NULL, ctl, "%s", "");
1200                         stuff_warning(NULL, ctl,
1201                                       GT_("Fetchmail could not get mail from %s@%s.\n"),
1202                                       ctl->remotename,
1203                                       ctl->server.truename);
1204                         if (ctl->wehaveauthed) {
1205                             stuff_warning(NULL, ctl, GT_("\
1206 The attempt to get authorization failed.\n\
1207 Since we have already succeeded in getting authorization for this\n\
1208 connection, this is probably another failure mode (such as busy server)\n\
1209 that fetchmail cannot distinguish because the server didn't send a useful\n\
1210 error message."));
1211                             stuff_warning(NULL, ctl, GT_("\
1212 \n\
1213 However, if you HAVE changed your account details since starting the\n\
1214 fetchmail daemon, you need to stop the daemon, change your configuration\n\
1215 of fetchmail, and then restart the daemon.\n\
1216 \n\
1217 The fetchmail daemon will continue running and attempt to connect\n\
1218 at each cycle.  No future notifications will be sent until service\n\
1219 is restored."));
1220                         } else {
1221                             stuff_warning(NULL, ctl, GT_("\
1222 The attempt to get authorization failed.\n\
1223 This probably means your password is invalid, but some servers have\n\
1224 other failure modes that fetchmail cannot distinguish from this\n\
1225 because they don't send useful error messages on login failure.\n\
1226 \n\
1227 The fetchmail daemon will continue running and attempt to connect\n\
1228 at each cycle.  No future notifications will be sent until service\n\
1229 is restored."));
1230                         }
1231                         close_warning_by_mail(ctl, (struct msgblk *)NULL);
1232                     }
1233                 }
1234                 else if (err == PS_REPOLL)
1235                 {
1236                   if (outlevel >= O_VERBOSE)
1237                     report(stderr, GT_("Repoll immediately on %s@%s\n"),
1238                            ctl->remotename,
1239                            ctl->server.truename);
1240                 }
1241                 else
1242                     report(stderr, GT_("Unknown login or authentication error on %s@%s\n"),
1243                            ctl->remotename,
1244                            ctl->server.truename);
1245
1246                 goto cleanUp;
1247             }
1248             else
1249             {
1250                 /*
1251                  * This connection has given us authorization at least once.
1252                  *
1253                  * There are dodgy server (clubinternet.fr for example) that
1254                  * give spurious authorization failures on patently good
1255                  * account/password details, then 5 minutes later let you in!
1256                  *
1257                  * This is meant to build in some tolerance of such nasty bits
1258                  * of work.
1259                  */
1260                 ctl->wehaveauthed = 1;
1261                 /*if (ctl->authfailcount >= 3)*/
1262                 if (ctl->wehavesentauthnote)
1263                 {
1264                     ctl->wehavesentauthnote = 0;
1265                     report(stderr,
1266                            GT_("Authorization OK on %s@%s\n"),
1267                            ctl->remotename,
1268                            ctl->server.truename);
1269                     if (!open_warning_by_mail(ctl))
1270                     {
1271                         stuff_warning(iana_charset, ctl,
1272                               GT_("Subject: fetchmail authentication OK on %s@%s"),
1273                                       ctl->remotename, ctl->server.truename);
1274                         stuff_warning(NULL, ctl, "%s", "");
1275                         stuff_warning(NULL, ctl,
1276                               GT_("Fetchmail was able to log into %s@%s.\n"),
1277                                       ctl->remotename,
1278                                       ctl->server.truename);
1279                         stuff_warning(NULL, ctl,
1280                                       GT_("Service has been restored.\n"));
1281                         close_warning_by_mail(ctl, (struct msgblk *)NULL);
1282
1283                     }
1284                 }
1285                 /*
1286                  * Reporting only after the first three
1287                  * consecutive failures, or ten consecutive
1288                  * failures after we have managed to get
1289                  * authorization.
1290                  */
1291                 ctl->authfailcount = 0;
1292             }
1293         }
1294
1295         ctl->errcount = fetches = 0;
1296
1297         /* now iterate over each folder selected */
1298         for (idp = ctl->mailboxes; idp; idp = idp->next)
1299         {
1300             pass = 0;
1301             do {
1302                 dispatches = 0;
1303                 ++pass;
1304
1305                 /* reset timeout, in case we did an IDLE */
1306                 mytimeout = ctl->server.timeout;
1307
1308                 if (outlevel >= O_DEBUG)
1309                 {
1310                     if (idp->id)
1311                         report(stdout, GT_("selecting or re-polling folder %s\n"), idp->id);
1312                     else
1313                         report(stdout, GT_("selecting or re-polling default folder\n"));
1314                 }
1315
1316                 /* compute # of messages and number of new messages waiting */
1317                 stage = STAGE_GETRANGE;
1318                 err = (ctl->server.base_protocol->getrange)(mailserver_socket, ctl, idp->id, &count, &newm, &bytes);
1319                 if (err != 0)
1320                     goto cleanUp;
1321
1322                 /* show user how many messages we downloaded */
1323                 if (idp->id)
1324                     (void) snprintf(buf, sizeof(buf),
1325                                    GT_("%s at %s (folder %s)"),
1326                                    ctl->remotename, ctl->server.pollname, idp->id);
1327                 else
1328                     (void) snprintf(buf, sizeof(buf), GT_("%s at %s"),
1329                                    ctl->remotename, ctl->server.pollname);
1330                 if (outlevel > O_SILENT)
1331                 {
1332                     if (count == -1)            /* only used for ETRN */
1333                         report(stdout, GT_("Polling %s\n"), ctl->server.truename);
1334                     else if (count != 0)
1335                     {
1336                         if (newm != -1 && (count - newm) > 0)
1337                             report_build(stdout, ngettext("%d message (%d %s) for %s", "%d messages (%d %s) for %s", (unsigned long)count),
1338                                   count,
1339                                   count - newm,
1340                                   ngettext("seen", "seen", (unsigned long)count-newm),
1341                                   buf);
1342                         else
1343                             report_build(stdout, ngettext("%d message for %s",
1344                                                           "%d messages for %s",
1345                                                           count),
1346                                   count, buf);
1347                         if (bytes == -1)
1348                             report_complete(stdout, ".\n");
1349                         else
1350                             report_complete(stdout, GT_(" (%d octets).\n"), bytes);
1351                     }
1352                     else
1353                     {
1354                         /* these are pointless in normal daemon mode */
1355                         if (pass == 1 && (run.poll_interval == 0 || outlevel >= O_VERBOSE))
1356                             report(stdout, GT_("No mail for %s\n"), buf);
1357                     }
1358                 }
1359
1360                 /* very important, this is where we leave the do loop */
1361                 if (count == 0)
1362                     break;
1363
1364                 if (check_only)
1365                 {
1366                     if (newm == -1 || ctl->fetchall)
1367                         newm = count;
1368                     fetches = newm;     /* set error status correctly */
1369                     /*
1370                      * There used to be a `goto noerror' here, but this
1371                      * prevented checking of multiple folders.  This
1372                      * comment is a reminder in case I introduced some
1373                      * subtle bug by removing it...
1374                      */
1375                 }
1376                 else if (count > 0)
1377                 {
1378                     int         i;
1379
1380                     /*
1381                      * Don't trust the message count passed by the server.
1382                      * Without this check, it might be possible to do a
1383                      * DNS-spoofing attack that would pass back a ridiculous
1384                      * count, and allocate a malloc area that would overlap
1385                      * a portion of the stack.
1386                      */
1387                     if ((unsigned)count > INT_MAX/sizeof(int))
1388                     {
1389                         report(stderr, GT_("bogus message count!"));
1390                         err = PS_PROTOCOL;
1391                         goto cleanUp;
1392                     }
1393
1394                     /*
1395                      * We need the size of each message before it's
1396                      * loaded in order to pass it to the ESMTP SIZE
1397                      * option.  If the protocol has a getsizes method,
1398                      * we presume this means it doesn't get reliable
1399                      * sizes from message fetch responses.
1400                      *
1401                      * If the protocol supports getting sizes of subset of
1402                      * messages, we skip this step now.
1403                      */
1404                     if (proto->getsizes &&
1405                         !(proto->getpartialsizes && NUM_NONZERO(ctl->fetchsizelimit)))
1406                     {
1407                         xfree(msgsizes);
1408                         msgsizes = (int *)xmalloc(sizeof(int) * count);
1409                         for (i = 0; i < count; i++)
1410                             msgsizes[i] = 0;
1411
1412                         stage = STAGE_GETSIZES;
1413                         err = (proto->getsizes)(mailserver_socket, count, msgsizes);
1414                         if (err != 0)
1415                             goto cleanUp;
1416
1417                         if (bytes == -1)
1418                         {
1419                             bytes = 0;
1420                             for (i = 0; i < count; i++)
1421                                 bytes += msgsizes[i];
1422                         }
1423                     }
1424
1425                     /* read, forward, and delete messages */
1426                     stage = STAGE_FETCH;
1427
1428                     /* fetch in lockstep mode */
1429                     err = fetch_messages(mailserver_socket, ctl,
1430                                          count, &msgsizes,
1431                                          maxfetch,
1432                                          &fetches, &dispatches, &deletions);
1433                     if (err != PS_SUCCESS && err != PS_MAXFETCH)
1434                         goto cleanUp;
1435
1436                     if (!check_only && ctl->skipped
1437                         && run.poll_interval > 0 && !nodetach)
1438                     {
1439                         clean_skipped_list(&ctl->skipped);
1440                         send_size_warnings(ctl);
1441                     }
1442                 }
1443
1444                 /* end-of-mailbox processing before we repoll or switch to another one */
1445                 if (ctl->server.base_protocol->end_mailbox_poll)
1446                 {
1447                     err = (ctl->server.base_protocol->end_mailbox_poll)(mailserver_socket, ctl);
1448                     if (err)
1449                         goto cleanUp;
1450                 }
1451                 /* Return now if we have reached the fetchlimit */
1452                 if (maxfetch && maxfetch <= fetches)
1453                     goto no_error;
1454             } while
1455                   /*
1456                    * Only re-poll if we either had some actual forwards and
1457                    * either allowed deletions and had no errors.
1458                    * Otherwise it is far too easy to get into infinite loops.
1459                    */
1460                   (dispatches && ctl->server.base_protocol->retry && !ctl->keep && !ctl->errcount);
1461         }
1462
1463         /* XXX: From this point onwards, preserve err unless a new error has occurred */
1464
1465     no_error:
1466         /* PS_SUCCESS, PS_MAXFETCH: ordinary termination with no errors -- officially log out */
1467         stage = STAGE_LOGOUT;
1468         tmperr = (ctl->server.base_protocol->logout_cmd)(mailserver_socket, ctl);
1469         if (tmperr != PS_SUCCESS)
1470             err = tmperr;
1471         /*
1472          * Hmmmm...arguably this would be incorrect if we had fetches but
1473          * no dispatches (due to oversized messages, etc.)
1474          */
1475         else if (err == PS_SUCCESS && fetches == 0)
1476             err = PS_NOMAIL;
1477         /*
1478          * Close all SMTP delivery sockets.  For optimum performance
1479          * we'd like to hold them open til end of run, but (1) this
1480          * loses if our poll interval is longer than the MTA's
1481          * inactivity timeout, and (2) some MTAs (like smail) don't
1482          * deliver after each message, but rather queue up mail and
1483          * wait to actually deliver it until the input socket is
1484          * closed.
1485          *
1486          * don't send QUIT for ODMR case because we're acting as a
1487          * proxy between the SMTP server and client.
1488          */
1489         smtp_close(ctl, ctl->server.protocol != P_ODMR);
1490         cleanupSockClose(mailserver_socket);
1491         goto closeUp;
1492
1493     cleanUp:
1494         /* we only get here on error */
1495         if (err != 0 && err != PS_SOCKET && err != PS_REPOLL)
1496         {
1497             stage = STAGE_LOGOUT;
1498             (ctl->server.base_protocol->logout_cmd)(mailserver_socket, ctl);
1499         }
1500
1501         /* try to clean up all streams */
1502         release_sink(ctl);
1503         /*
1504          * Sending SMTP QUIT on signal is theoretically nice, but led
1505          * to a subtle bug.  If fetchmail was terminated by signal
1506          * while it was shipping message text, it would hang forever
1507          * waiting for a command acknowledge.  In theory we could
1508          * enable the QUIT only outside of the message send.  In
1509          * practice, we don't care.  All mailservers hang up on a
1510          * dropped TCP/IP connection anyway.
1511          */
1512         smtp_close(ctl, 0);
1513         if (mailserver_socket != -1) {
1514             cleanupSockClose(mailserver_socket);
1515             mailserver_socket = -1;
1516         }
1517         /* If there was a connect timeout, the socket should be closed.
1518          * mailserver_socket_temp contains the socket to close.
1519          */
1520         if (mailserver_socket_temp != -1) {
1521             cleanupSockClose(mailserver_socket_temp);
1522             mailserver_socket_temp = -1;
1523         }
1524     }
1525
1526     /* no report on PS_AUTHFAIL */
1527     msg = NULL;
1528     switch (err)
1529     {
1530     case PS_SOCKET:
1531         msg = GT_("socket");
1532         break;
1533     case PS_SYNTAX:
1534         msg = GT_("missing or bad RFC822 header");
1535         break;
1536     case PS_IOERR:
1537         msg = GT_("MDA");
1538         break;
1539     case PS_ERROR:
1540         msg = GT_("client/server synchronization");
1541         break;
1542     case PS_PROTOCOL:
1543         msg = GT_("client/server protocol");
1544         break;
1545     case PS_LOCKBUSY:
1546         msg = GT_("lock busy on server");
1547         break;
1548     case PS_SMTP:
1549         msg = GT_("SMTP transaction");
1550         break;
1551     case PS_DNS:
1552         msg = GT_("DNS lookup");
1553         break;
1554     case PS_UNDEFINED:
1555         msg = GT_("undefined");
1556         break;
1557     }
1558     if (msg) {
1559         if (phase == FORWARDING_WAIT || phase == LISTENER_WAIT
1560                 || err == PS_SMTP)
1561             report(stderr, GT_("%s error while fetching from %s@%s and delivering to SMTP host %s\n"),
1562                     msg, ctl->remotename, ctl->server.pollname,
1563                     ctl->smtphost ? ctl->smtphost : GT_("unknown"));
1564         else
1565             report(stderr, GT_("%s error while fetching from %s@%s\n"),
1566                     msg, ctl->remotename, ctl->server.pollname);
1567     }
1568
1569 closeUp:
1570     xfree(msgsizes);
1571
1572     /* execute wrapup command, if any */
1573     if (ctl->postconnect && (tmperr = system(ctl->postconnect)))
1574     {
1575         report(stderr, GT_("post-connection command failed with status %d\n"), tmperr);
1576         if (err == PS_SUCCESS)
1577             err = PS_SYNTAX;
1578     }
1579
1580     set_timeout(0); /* cancel any pending alarm */
1581     set_signal_handler(SIGALRM, alrmsave);
1582     set_signal_handler(SIGPIPE, pipesave);
1583     return(err);
1584 }
1585
1586 /** retrieve messages from server using given protocol method table */
1587 int do_protocol(struct query *ctl /** parsed options with merged-in defaults */,
1588                 const struct method *proto /** protocol method table */)
1589 {
1590     int err;
1591
1592 #ifndef KERBEROS_V4
1593     if (ctl->server.authenticate == A_KERBEROS_V4)
1594     {
1595         report(stderr, GT_("Kerberos V4 support not linked.\n"));
1596         return(PS_ERROR);
1597     }
1598 #endif /* KERBEROS_V4 */
1599
1600 #ifndef KERBEROS_V5
1601     if (ctl->server.authenticate == A_KERBEROS_V5)
1602     {
1603         report(stderr, GT_("Kerberos V5 support not linked.\n"));
1604         return(PS_ERROR);
1605     }
1606 #endif /* KERBEROS_V5 */
1607
1608     /* lacking methods, there are some options that may fail */
1609     if (!proto->is_old)
1610     {
1611         /* check for unsupported options */
1612         if (ctl->flush) {
1613             report(stderr,
1614                     GT_("Option --flush is not supported with %s\n"),
1615                     proto->name);
1616             return(PS_SYNTAX);
1617         }
1618         else if (ctl->fetchall) {
1619             report(stderr,
1620                     GT_("Option --all is not supported with %s\n"),
1621                     proto->name);
1622             return(PS_SYNTAX);
1623         }
1624     }
1625     if (!(proto->getsizes || proto->getpartialsizes)
1626             && NUM_SPECIFIED(ctl->limit))
1627     {
1628         report(stderr,
1629                 GT_("Option --limit is not supported with %s\n"),
1630                 proto->name);
1631         return(PS_SYNTAX);
1632     }
1633
1634     /*
1635      * If no expunge limit or we do expunges within the driver,
1636      * then just do one session, passing in any fetchlimit.
1637      */
1638     if ((ctl->keep && !ctl->flush) ||
1639         proto->retry || !NUM_SPECIFIED(ctl->expunge))
1640         return(do_session(ctl, proto, NUM_VALUE_OUT(ctl->fetchlimit)));
1641     /*
1642      * There's an expunge limit, and it isn't handled in the driver itself.
1643      * OK; do multiple sessions, each fetching a limited # of messages.
1644      * Stop if the total count of retrieved messages exceeds ctl->fetchlimit
1645      * (if it was nonzero).
1646      */
1647     else
1648     {
1649         int totalcount = 0;
1650         int lockouts   = 0;
1651         int expunge    = NUM_VALUE_OUT(ctl->expunge);
1652         int fetchlimit = NUM_VALUE_OUT(ctl->fetchlimit);
1653
1654         do {
1655             if (fetchlimit > 0 && (expunge == 0 || expunge > fetchlimit - totalcount))
1656                 expunge = fetchlimit - totalcount;
1657             err = do_session(ctl, proto, expunge);
1658             totalcount += expunge;
1659             if (NUM_SPECIFIED(ctl->fetchlimit) && totalcount >= fetchlimit)
1660                 break;
1661             if (err != PS_LOCKBUSY)
1662                 lockouts = 0;
1663             else if (lockouts >= MAX_LOCKOUTS)
1664                 break;
1665             else /* err == PS_LOCKBUSY */
1666             {
1667                 /*
1668                  * Allow time for the server lock to release.  if we
1669                  * don't do this, we'll often hit a locked-mailbox
1670                  * condition and fail.
1671                  */
1672                 lockouts++;
1673                 sleep(3);
1674             }
1675         } while
1676             (err == PS_MAXFETCH || err == PS_LOCKBUSY);
1677
1678         return(err);
1679     }
1680 }
1681
1682
1683 /* driver.c ends here */