Pileus Git - ~andy/fetchmail/blob - driver.c

   1 /*
   2  * driver.c -- generic driver for mail fetch method protocols
   3  *
   4  * Copyright 1997 by Eric S. Raymond
   5  * For license terms, see the file COPYING in this directory.
   6  */
   7
   8 #include  "config.h"
   9 #include  <stdio.h>
  10 #include  <setjmp.h>
  11 #include  <errno.h>
  12 #include  <string.h>
  13 #ifdef HAVE_MEMORY_H
  14 #include  <memory.h>
  15 #endif /* HAVE_MEMORY_H */
  16 #if defined(STDC_HEADERS)
  17 #include  <stdlib.h>
  18 #include  <limits.h>
  19 #endif
  20 #if defined(HAVE_UNISTD_H)
  21 #include <unistd.h>
  22 #endif
  23 #if defined(HAVE_SYS_ITIMER_H)
  24 #include <sys/itimer.h>
  25 #endif
  26 #include  <signal.h>
  27 #ifdef HAVE_SYS_WAIT_H
  28 #include <sys/wait.h>
  29 #endif
  30
  31 #ifdef HAVE_SYS_SOCKET_H
  32 #include <sys/socket.h>
  33 #endif
  34 #ifdef HAVE_NET_SOCKET_H
  35 #include <net/socket.h>
  36 #endif
  37 #include <netdb.h>
  38 #ifdef HAVE_PKG_hesiod
  39 #include <hesiod.h>
  40 #endif
  41
  42 #include <langinfo.h>
  43
  44 #include "kerberos.h"
  45 #ifdef KERBEROS_V4
  46 #include <netinet/in.h>
  47 #endif /* KERBEROS_V4 */
  48
  49 #include "i18n.h"
  50 #include "socket.h"
  51
  52 #include "fetchmail.h"
  53 #include "getaddrinfo.h"
  54 #include "tunable.h"
  55
  56 /* throw types for runtime errors */
  57 #define THROW_TIMEOUT   1               /* server timed out */
  58 #define THROW_SIGPIPE   2               /* SIGPIPE on stream socket */
  59
  60 /* magic values for the message length array */
  61 #define MSGLEN_UNKNOWN  0               /* length unknown (0 is impossible) */
  62 #define MSGLEN_INVALID  -1              /* length passed back is invalid */
  63 #define MSGLEN_TOOLARGE -2              /* message is too large */
  64 #define MSGLEN_OLD      -3              /* message is old */
  65
  66 int pass;               /* how many times have we re-polled? */
  67 int stage;              /* where are we? */
  68 int phase;              /* where are we, for error-logging purposes? */
  69 int batchcount;         /* count of messages sent in current batch */
  70 flag peek_capable;      /* can we peek for better error recovery? */
  71 int mailserver_socket_temp = -1;        /* socket to free if connect timeout */
  72
  73 static volatile int timeoutcount = 0;   /* count consecutive timeouts */
  74 static volatile int idletimeout = 0;    /* timeout occured in idle stage? */
  75
  76 static jmp_buf  restart;
  77
  78 int is_idletimeout(void)
  79 /* last timeout occured in idle stage? */
  80 {
  81     return idletimeout;
  82 }
  83
  84 void resetidletimeout(void)
  85 {
  86     idletimeout = 0;
  87 }
  88
  89 void set_timeout(int timeleft)
  90 /* reset the nonresponse-timeout */
  91 {
  92 #if !defined(__EMX__) && !defined(__BEOS__)
  93     struct itimerval ntimeout;
  94
  95     if (timeleft == 0)
  96         timeoutcount = 0;
  97
  98     ntimeout.it_interval.tv_sec = ntimeout.it_interval.tv_usec = 0;
  99     ntimeout.it_value.tv_sec  = timeleft;
 100     ntimeout.it_value.tv_usec = 0;
 101     setitimer(ITIMER_REAL, &ntimeout, (struct itimerval *)NULL);
 102 #endif
 103 }
 104
 105 static RETSIGTYPE timeout_handler (int signal)
 106 /* handle SIGALRM signal indicating a server timeout */
 107 {
 108     (void)signal;
 109     if(stage != STAGE_IDLE) {
 110         timeoutcount++;
 111         longjmp(restart, THROW_TIMEOUT);
 112     } else
 113         idletimeout = 1;
 114 }
 115
 116 static RETSIGTYPE sigpipe_handler (int signal)
 117 /* handle SIGPIPE signal indicating a broken stream socket */
 118 {
 119     (void)signal;
 120     longjmp(restart, THROW_SIGPIPE);
 121 }
 122
 123 #define CLEANUP_TIMEOUT 60 /* maximum timeout during cleanup */
 124
 125 static int cleanupSockClose (int fd)
 126 /* close sockets in maximum CLEANUP_TIMEOUT seconds during cleanup */
 127 {
 128     int scerror;
 129     SIGHANDLERTYPE alrmsave;
 130     alrmsave = set_signal_handler(SIGALRM, null_signal_handler);
 131     set_timeout(CLEANUP_TIMEOUT);
 132     scerror = SockClose(fd);
 133     set_timeout(0);
 134     set_signal_handler(SIGALRM, alrmsave);
 135     return (scerror);
 136 }
 137
 138 #ifdef KERBEROS_V4
 139 static int kerberos_auth(socket, canonical, principal)
 140 /* authenticate to the server host using Kerberos V4 */
 141 int socket;             /* socket to server host */
 142 char *canonical;        /* server name */
 143 char *principal;
 144 {
 145     KTEXT ticket;
 146     MSG_DAT msg_data;
 147     CREDENTIALS cred;
 148     Key_schedule schedule;
 149     int rem;
 150     char * prin_copy = (char *) NULL;
 151     char * prin = (char *) NULL;
 152     char * inst = (char *) NULL;
 153     char * realm = (char *) NULL;
 154
 155     if (principal != (char *)NULL && *principal)
 156     {
 157         char *cp;
 158         prin = prin_copy = xstrdup(principal);
 159         for (cp = prin_copy; *cp && *cp != '.'; ++cp)
 160             ;
 161         if (*cp)
 162         {
 163             *cp++ = '\0';
 164             inst = cp;
 165             while (*cp && *cp != '@')
 166                 ++cp;
 167             if (*cp)
 168             {
 169                 *cp++ = '\0';
 170                 realm = cp;
 171             }
 172         }
 173     }
 174
 175     ticket = xmalloc(sizeof (KTEXT_ST));
 176     rem = (krb_sendauth (0L, socket, ticket,
 177                          prin ? prin : "pop",
 178                          inst ? inst : canonical,
 179                          realm ? realm : ((char *) (krb_realmofhost (canonical))),
 180                          ((unsigned long) 0),
 181                          (&msg_data),
 182                          (&cred),
 183                          (schedule),
 184                          ((struct sockaddr_in *) 0),
 185                          ((struct sockaddr_in *) 0),
 186                          "KPOPV0.1"));
 187     free(ticket);
 188     if (prin_copy)
 189     {
 190         free(prin_copy);
 191     }
 192     if (rem != KSUCCESS)
 193     {
 194         report(stderr, GT_("kerberos error %s\n"), (krb_get_err_text (rem)));
 195         return (PS_AUTHFAIL);
 196     }
 197     return (0);
 198 }
 199 #endif /* KERBEROS_V4 */
 200
 201 #ifdef KERBEROS_V5
 202 static int kerberos5_auth(socket, canonical)
 203 /* authenticate to the server host using Kerberos V5 */
 204 int socket;             /* socket to server host */
 205 const char *canonical;  /* server name */
 206 {
 207     krb5_error_code retval;
 208     krb5_context context;
 209     krb5_ccache ccdef;
 210     krb5_principal client = NULL, server = NULL;
 211     krb5_error *err_ret = NULL;
 212
 213     krb5_auth_context auth_context = NULL;
 214
 215     krb5_init_context(&context);
 216     krb5_auth_con_init(context, &auth_context);
 217
 218     if ((retval = krb5_cc_default(context, &ccdef))) {
 219         report(stderr, "krb5_cc_default: %s\n", error_message(retval));
 220         return(PS_ERROR);
 221     }
 222
 223     if ((retval = krb5_cc_get_principal(context, ccdef, &client))) {
 224         report(stderr, "krb5_cc_get_principal: %s\n", error_message(retval));
 225         return(PS_ERROR);
 226     }
 227
 228     if ((retval = krb5_sname_to_principal(context, canonical, "pop",
 229            KRB5_NT_UNKNOWN,
 230            &server))) {
 231         report(stderr, "krb5_sname_to_principal: %s\n", error_message(retval));
 232         return(PS_ERROR);
 233     }
 234
 235     retval = krb5_sendauth(context, &auth_context, (krb5_pointer) &socket,
 236          "KPOPV1.0", client, server,
 237          AP_OPTS_MUTUAL_REQUIRED,
 238          NULL,  /* no data to checksum */
 239          0,   /* no creds, use ccache instead */
 240          ccdef,
 241          &err_ret, 0,
 242
 243          NULL); /* don't need reply */
 244
 245     krb5_free_principal(context, server);
 246     krb5_free_principal(context, client);
 247     krb5_auth_con_free(context, auth_context);
 248
 249     if (retval) {
 250 #ifdef HEIMDAL
 251       if (err_ret && err_ret->e_text) {
 252           report(stderr, GT_("krb5_sendauth: %s [server says '%*s'] \n"),
 253                  error_message(retval),
 254                  err_ret->e_text);
 255 #else
 256       if (err_ret && err_ret->text.length) {
 257           report(stderr, GT_("krb5_sendauth: %s [server says '%*s'] \n"),
 258                  error_message(retval),
 259                  err_ret->text.length,
 260                  err_ret->text.data);
 261 #endif
 262           krb5_free_error(context, err_ret);
 263       } else
 264           report(stderr, "krb5_sendauth: %s\n", error_message(retval));
 265       return(PS_ERROR);
 266     }
 267
 268     return 0;
 269 }
 270 #endif /* KERBEROS_V5 */
 271
 272 static void clean_skipped_list(struct idlist **skipped_list)
 273 /* struct "idlist" contains no "prev" ptr; we must remove unused items first */
 274 {
 275     struct idlist *current=NULL, *prev=NULL, *tmp=NULL, *head=NULL;
 276     prev = current = head = *skipped_list;
 277
 278     if (!head)
 279         return;
 280     do
 281     {
 282         /* if item has no reference, remove it */
 283         if (current && current->val.status.mark == 0)
 284         {
 285             if (current == head) /* remove first item (head) */
 286             {
 287                 head = current->next;
 288                 if (current->id) free(current->id);
 289                 free(current);
 290                 prev = current = head;
 291             }
 292             else /* remove middle/last item */
 293             {
 294                 tmp = current->next;
 295                 prev->next = tmp;
 296                 if (current->id) free(current->id);
 297                 free(current);
 298                 current = tmp;
 299             }
 300         }
 301         else /* skip this item */
 302         {
 303             prev = current;
 304             current = current->next;
 305         }
 306     } while(current);
 307
 308     *skipped_list = head;
 309 }
 310
 311 static void send_size_warnings(struct query *ctl)
 312 /* send warning mail with skipped msg; reset msg count when user notified */
 313 {
 314     int size, nbr;
 315     int msg_to_send = FALSE;
 316     struct idlist *head=NULL, *current=NULL;
 317     int max_warning_poll_count;
 318
 319     head = ctl->skipped;
 320     if (!head)
 321         return;
 322
 323     /* don't start a notification message unless we need to */
 324     for (current = head; current; current = current->next)
 325         if (current->val.status.num == 0 && current->val.status.mark)
 326             msg_to_send = TRUE;
 327     if (!msg_to_send)
 328         return;
 329
 330     /*
 331      * There's no good way to recover if we can't send notification mail,
 332      * but it's not a disaster, either, since the skipped mail will not
 333      * be deleted.
 334      */
 335     if (open_warning_by_mail(ctl))
 336         return;
 337     stuff_warning(iana_charset, ctl,
 338            GT_("Subject: Fetchmail oversized-messages warning"));
 339     stuff_warning(NULL, ctl, "%s", "");
 340     if (ctl->limitflush)
 341         stuff_warning(NULL, ctl,
 342                 GT_("The following oversized messages were deleted on server %s account %s:"),
 343                 ctl->server.pollname, ctl->remotename);
 344     else
 345         stuff_warning(NULL, ctl,
 346                 GT_("The following oversized messages remain on server %s account %s:"),
 347                 ctl->server.pollname, ctl->remotename);
 348
 349     stuff_warning(NULL, ctl, "%s", "");
 350
 351     if (run.poll_interval == 0)
 352         max_warning_poll_count = 0;
 353     else
 354         max_warning_poll_count = ctl->warnings/run.poll_interval;
 355
 356     /* parse list of skipped msg, adding items to the mail */
 357     for (current = head; current; current = current->next)
 358     {
 359         if (current->val.status.num == 0 && current->val.status.mark)
 360         {
 361             nbr = current->val.status.mark;
 362             size = atoi(current->id);
 363             if (ctl->limitflush)
 364                 stuff_warning(NULL, ctl,
 365                         GT_("  %d msg %d octets long deleted by fetchmail."),
 366                         nbr, size);
 367             else
 368                 stuff_warning(NULL, ctl,
 369                         GT_("  %d msg %d octets long skipped by fetchmail."),
 370                         nbr, size);
 371         }
 372         current->val.status.num++;
 373         current->val.status.mark = 0;
 374
 375         if (current->val.status.num >= max_warning_poll_count)
 376             current->val.status.num = 0;
 377     }
 378
 379     stuff_warning(NULL, ctl, "%s", "");
 380
 381     close_warning_by_mail(ctl, (struct msgblk *)NULL);
 382 }
 383
 384 static void mark_oversized(struct query *ctl, int size)
 385 /* mark a message oversized */
 386 {
 387     struct idlist *current=NULL, *tmp=NULL;
 388     char sizestr[32];
 389     int cnt;
 390
 391     /* convert size to string */
 392     snprintf(sizestr, sizeof(sizestr), "%d", size);
 393
 394     /* build a list of skipped messages
 395      * val.id = size of msg (string cnvt)
 396      * val.status.num = warning_poll_count
 397      * val.status.mask = nbr of msg this size
 398      */
 399
 400     current = ctl->skipped;
 401
 402     /* initialise warning_poll_count to the
 403      * current value so that all new msg will
 404      * be included in the next mail
 405      */
 406     cnt = current ? current->val.status.num : 0;
 407
 408     /* if entry exists, increment the count */
 409     if (current && (tmp = str_in_list(&current, sizestr, FALSE)))
 410     {
 411         tmp->val.status.mark++;
 412     }
 413     /* otherwise, create a new entry */
 414     /* initialise with current poll count */
 415     else
 416     {
 417         tmp = save_str(&ctl->skipped, sizestr, 1);
 418         tmp->val.status.num = cnt;
 419     }
 420 }
 421
 422 static int fetch_messages(int mailserver_socket, struct query *ctl,
 423                           int count, int **msgsizes, int maxfetch,
 424                           int *fetches, int *dispatches, int *deletions)
 425 /* fetch messages in lockstep mode */
 426 {
 427     flag force_retrieval;
 428     int num, firstnum = 1, lastnum = 0, err, len;
 429     int fetchsizelimit = ctl->fetchsizelimit;
 430     int msgsize;
 431     int initialfetches = *fetches;
 432
 433     if (ctl->server.base_protocol->getpartialsizes && NUM_NONZERO(fetchsizelimit))
 434     {
 435         /* for POP3, we can get the size of one mail only! Unfortunately, this
 436          * protocol specific test cannot be done elsewhere as the protocol
 437          * could be "auto". */
 438         switch (ctl->server.protocol)
 439         {
 440             case P_POP3: case P_APOP: case P_RPOP:
 441             fetchsizelimit = 1;
 442         }
 443
 444         /* Time to allocate memory to store the sizes */
 445         xfree(*msgsizes);
 446         *msgsizes = xmalloc(sizeof(int) * fetchsizelimit);
 447     }
 448
 449     /*
 450      * What forces this code is that in POP2 and
 451      * IMAP2bis you can't fetch a message without
 452      * having it marked `seen'.  In POP3 and IMAP4, on the
 453      * other hand, you can (peek_capable is set by
 454      * each driver module to convey this; it's not a
 455      * method constant because of the difference between
 456      * IMAP2bis and IMAP4, and because POP3 doesn't  peek
 457      * if fetchall is on).
 458      *
 459      * The result of being unable to peek is that if there's
 460      * any kind of transient error (DNS lookup failure, or
 461      * sendmail refusing delivery due to process-table limits)
 462      * the message will be marked "seen" on the server without
 463      * having been delivered.  This is not a big problem if
 464      * fetchmail is running in foreground, because the user
 465      * will see a "skipped" message when it next runs and get
 466      * clued in.
 467      *
 468      * But in daemon mode this leads to the message
 469      * being silently ignored forever.  This is not
 470      * acceptable.
 471      *
 472      * We compensate for this by checking the error
 473      * count from the previous pass and forcing all
 474      * messages to be considered new if it's nonzero.
 475      */
 476     force_retrieval = !peek_capable && (ctl->errcount > 0);
 477
 478     for (num = 1; num <= count; num++)
 479     {
 480         flag suppress_delete = FALSE;
 481         flag suppress_forward = FALSE;
 482         flag suppress_readbody = FALSE;
 483         flag retained = FALSE;
 484         int msgcode = MSGLEN_UNKNOWN;
 485
 486         /* check if the message is old
 487          * Note: the size of the message may not be known here */
 488         if (ctl->fetchall || force_retrieval)
 489             ;
 490         else if (ctl->server.base_protocol->is_old && (ctl->server.base_protocol->is_old)(mailserver_socket,ctl,num))
 491             msgcode = MSGLEN_OLD;
 492         if (msgcode == MSGLEN_OLD)
 493         {
 494                 /* To avoid flooding the syslog when using --keep,
 495                  * report "Skipped message" only when:
 496                  *  1) --verbose is on, or
 497                  *  2) fetchmail does not use syslog
 498                  */
 499             if (   (outlevel >= O_VERBOSE) ||
 500                    (outlevel > O_SILENT && !run.use_syslog)
 501                )
 502             {
 503                 report_build(stdout,
 504                              GT_("skipping message %s@%s:%d"),
 505                              ctl->remotename, ctl->server.truename, num);
 506             }
 507
 508             goto flagthemail;
 509         }
 510
 511         if (ctl->server.base_protocol->getpartialsizes && NUM_NONZERO(fetchsizelimit) &&
 512             lastnum < num)
 513         {
 514             /* Instead of getting the sizes of all mails at the start, we get
 515              * the sizes in blocks of fetchsizelimit. This leads to better
 516              * performance when there are too many mails (say, 10000) in
 517              * the mailbox and either we are not getting all the mails at
 518              * one go (--fetchlimit 100) or there is a frequent socket
 519              * error while just getting the sizes of all mails! */
 520
 521             int i;
 522             int oldstage = stage;
 523             firstnum = num;
 524             lastnum = num + fetchsizelimit - 1;
 525             if (lastnum > count)
 526                 lastnum = count;
 527             for (i = 0; i < fetchsizelimit; i++)
 528                 (*msgsizes)[i] = 0;
 529
 530             stage = STAGE_GETSIZES;
 531             err = (ctl->server.base_protocol->getpartialsizes)(mailserver_socket, num, lastnum, *msgsizes);
 532             if (err != 0) {
 533                 return err;
 534             }
 535             stage = oldstage;
 536         }
 537
 538         msgsize = *msgsizes ? (*msgsizes)[num-firstnum] : 0;
 539
 540         /* check if the message is oversized */
 541         if (NUM_NONZERO(ctl->limit) && (msgsize > ctl->limit))
 542             msgcode = MSGLEN_TOOLARGE;
 543 /*      else if (msgsize == 512)
 544             msgcode = MSGLEN_OLD;  (hmh) sample code to skip message */
 545
 546         if (msgcode < 0)
 547         {
 548             if (msgcode == MSGLEN_TOOLARGE)
 549             {
 550                 mark_oversized(ctl, msgsize);
 551                 if (!ctl->limitflush)
 552                     suppress_delete = TRUE;
 553             }
 554             if (outlevel > O_SILENT)
 555             {
 556                 /* old messages are already handled above */
 557                 report_build(stdout,
 558                              GT_("skipping message %s@%s:%d (%d octets)"),
 559                              ctl->remotename, ctl->server.truename, num,
 560                              msgsize);
 561                 switch (msgcode)
 562                 {
 563                 case MSGLEN_INVALID:
 564                     /*
 565                      * Invalid lengths are produced by Post Office/NT's
 566                      * annoying habit of randomly prepending bogus
 567                      * LIST items of length -1.  Patrick Audley
 568                      * <paudley@pobox.com> tells us: LIST shows a
 569                      * size of -1, RETR and TOP return "-ERR
 570                      * System error - couldn't open message", and
 571                      * DELE succeeds but doesn't actually delete
 572                      * the message.
 573                      */
 574                     report_build(stdout, GT_(" (length -1)"));
 575                     break;
 576                 case MSGLEN_TOOLARGE:
 577                     report_build(stdout, GT_(" (oversized)"));
 578                     break;
 579                 }
 580             }
 581         }
 582         else
 583         {
 584             flag wholesize = !ctl->server.base_protocol->fetch_body;
 585             flag separatefetchbody = (ctl->server.base_protocol->fetch_body) ? TRUE : FALSE;
 586
 587             /* request a message */
 588             err = (ctl->server.base_protocol->fetch_headers)(mailserver_socket,ctl,num, &len);
 589             if (err == PS_TRANSIENT)    /* server is probably Exchange */
 590             {
 591                 report(stdout,
 592                              GT_("couldn't fetch headers, message %s@%s:%d (%d octets)\n"),
 593                              ctl->remotename, ctl->server.truename, num,
 594                              msgsize);
 595                 continue;
 596             }
 597             else if (err != 0)
 598                 return(err);
 599
 600             /* -1 means we didn't see a size in the response */
 601             if (len == -1)
 602             {
 603                 len = msgsize;
 604                 wholesize = TRUE;
 605             }
 606
 607             if (outlevel > O_SILENT)
 608             {
 609                 report_build(stdout, GT_("reading message %s@%s:%d of %d"),
 610                              ctl->remotename, ctl->server.truename,
 611                              num, count);
 612
 613                 if (len > 0)
 614                     report_build(stdout, wholesize ? GT_(" (%d octets)")
 615                                  : GT_(" (%d header octets)"), len);
 616                 if (outlevel >= O_VERBOSE)
 617                     report_complete(stdout, "\n");
 618                 else
 619                     report_complete(stdout, " ");
 620             }
 621
 622             /*
 623              * Read the message headers and ship them to the
 624              * output sink.
 625              */
 626             err = readheaders(mailserver_socket, len, msgsize,
 627                              ctl, num,
 628                              /* pass the suppress_readbody flag only if the underlying
 629                               * protocol does not fetch the body separately */
 630                              separatefetchbody ? 0 : &suppress_readbody);
 631             if (err == PS_RETAINED)
 632                 suppress_forward = suppress_delete = retained = TRUE;
 633             else if (err == PS_TRANSIENT)
 634                 suppress_delete = suppress_forward = TRUE;
 635             else if (err == PS_REFUSED)
 636                 suppress_forward = TRUE;
 637             else if (err == PS_TRUNCATED)
 638                 suppress_readbody = TRUE;
 639             else if (err)
 640                 return(err);
 641
 642             /* tell server we got it OK and resynchronize */
 643             if (separatefetchbody && ctl->server.base_protocol->trail)
 644             {
 645                 if (outlevel >= O_VERBOSE && !is_a_file(1) && !run.use_syslog)
 646                 {
 647                     fputc('\n', stdout);
 648                     fflush(stdout);
 649                 }
 650
 651                 if ((err = (ctl->server.base_protocol->trail)(mailserver_socket, ctl, tag)))
 652                     return(err);
 653             }
 654
 655             /* do not read the body which is not being forwarded only if
 656              * the underlying protocol allows the body to be fetched
 657              * separately */
 658             if (separatefetchbody && suppress_forward)
 659                 suppress_readbody = TRUE;
 660
 661             /*
 662              * If we're using IMAP4 or something else that
 663              * can fetch headers separately from bodies,
 664              * it's time to request the body now.  This
 665              * fetch may be skipped if we got an anti-spam
 666              * or other PS_REFUSED error response during
 667              * readheaders.
 668              */
 669             if (!suppress_readbody)
 670             {
 671                 if (separatefetchbody)
 672                 {
 673                     len = -1;
 674                     if ((err=(ctl->server.base_protocol->fetch_body)(mailserver_socket,ctl,num,&len)))
 675                         return(err);
 676                     /*
 677                      * Work around a bug in Novell's
 678                      * broken GroupWise IMAP server;
 679                      * its body FETCH response is missing
 680                      * the required length for the data
 681                      * string.  This violates RFC2060.
 682                      */
 683                     if (len == -1)
 684                         len = msgsize - msgblk.msglen;
 685                     if (outlevel > O_SILENT && !wholesize)
 686                         report_complete(stdout,
 687                                         GT_(" (%d body octets) "), len);
 688                 }
 689
 690                 /* process the body now */
 691                 err = readbody(mailserver_socket,
 692                               ctl,
 693                               !suppress_forward,
 694                               len);
 695                 if (err == PS_TRANSIENT)
 696                     suppress_delete = suppress_forward = TRUE;
 697                 else if (err)
 698                     return(err);
 699
 700                 /* tell server we got it OK and resynchronize */
 701                 if (ctl->server.base_protocol->trail)
 702                 {
 703                     if (outlevel >= O_VERBOSE && !is_a_file(1) && !run.use_syslog)
 704                     {
 705                         fputc('\n', stdout);
 706                         fflush(stdout);
 707                     }
 708
 709                     err = (ctl->server.base_protocol->trail)(mailserver_socket, ctl, tag);
 710                     if (err != 0)
 711                         return(err);
 712                 }
 713             }
 714
 715             /* count # messages forwarded on this pass */
 716             if (!suppress_forward)
 717                 (*dispatches)++;
 718
 719             /*
 720              * Check to see if the numbers matched?
 721              *
 722              * Yes, some servers foo this up horribly.
 723              * All IMAP servers seem to get it right, and
 724              * so does Eudora QPOP at least in 2.xx
 725              * versions.
 726              *
 727              * Microsoft Exchange gets it completely
 728              * wrong, reporting compressed rather than
 729              * actual sizes (so the actual length of
 730              * message is longer than the reported size).
 731              * Another fine example of Microsoft brain death!
 732              *
 733              * Some older POP servers, like the old UCB
 734              * POP server and the pre-QPOP QUALCOMM
 735              * versions, report a longer size in the LIST
 736              * response than actually gets shipped up.
 737              * It's unclear what is going on here, as the
 738              * QUALCOMM server (at least) seems to be
 739              * reporting the on-disk size correctly.
 740              */
 741             if (msgblk.msglen != msgsize)
 742             {
 743                 if (outlevel >= O_DEBUG)
 744                     report(stdout,
 745                            GT_("message %s@%s:%d was not the expected length (%d actual != %d expected)\n"),
 746                            ctl->remotename, ctl->server.truename, num,
 747                            msgblk.msglen, msgsize);
 748             }
 749
 750             /* end-of-message processing starts here */
 751             if (!close_sink(ctl, &msgblk, !suppress_forward))
 752             {
 753                 ctl->errcount++;
 754                 suppress_delete = TRUE;
 755             }
 756             if (!retained)
 757                 (*fetches)++;
 758         }
 759
 760 flagthemail:
 761         /*
 762          * At this point in flow of control, either
 763          * we've bombed on a protocol error or had
 764          * delivery refused by the SMTP server
 765          * (unlikely -- I've never seen it) or we've
 766          * seen `accepted for delivery' and the
 767          * message is shipped.  It's safe to mark the
 768          * message seen and delete it on the server
 769          * now.
 770          */
 771
 772         /* maybe we delete this message now? */
 773         if (retained)
 774         {
 775             if (outlevel > O_SILENT)
 776                 report(stdout, GT_(" retained\n"));
 777         }
 778         else if (ctl->server.base_protocol->delete_msg
 779                  && !suppress_delete
 780                  && ((msgcode >= 0 && !ctl->keep)
 781                      || (msgcode == MSGLEN_OLD && ctl->flush)
 782                      || (msgcode == MSGLEN_TOOLARGE && ctl->limitflush)))
 783         {
 784             (*deletions)++;
 785             if (outlevel > O_SILENT)
 786                 report_complete(stdout, GT_(" flushed\n"));
 787             err = (ctl->server.base_protocol->delete_msg)(mailserver_socket, ctl, num);
 788             if (err != 0)
 789                 return(err);
 790         }
 791         else
 792         {
 793             if (   (outlevel >= O_VERBOSE) ||
 794                         /* To avoid flooding the syslog when using --keep,
 795                          * report "Skipped message" only when:
 796                          *  1) --verbose is on, or
 797                          *  2) fetchmail does not use syslog, or
 798                          *  3) the message was skipped for some other
 799                          *     reason than just being old.
 800                          */
 801                    (outlevel > O_SILENT && (!run.use_syslog || msgcode != MSGLEN_OLD))
 802                )
 803             report_complete(stdout, GT_(" not flushed\n"));
 804
 805             /* maybe we mark this message as seen now? */
 806             if (ctl->server.base_protocol->mark_seen
 807                 && !suppress_delete
 808                 && (msgcode >= 0 && ctl->keep))
 809             {
 810                 err = (ctl->server.base_protocol->mark_seen)(mailserver_socket, ctl, num);
 811                 if (err != 0)
 812                     return(err);
 813             }
 814         }
 815
 816         /* perhaps this as many as we're ready to handle */
 817         if (maxfetch && maxfetch <= *fetches && num < count)
 818         {
 819             int remcount = count - (*fetches - initialfetches);
 820             report(stdout,
 821                    ngettext("fetchlimit %d reached; %d message left on server %s account %s\n",
 822                             "fetchlimit %d reached; %d messages left on server %s account %s\n", remcount),
 823                    maxfetch, remcount, ctl->server.truename, ctl->remotename);
 824             return(PS_MAXFETCH);
 825         }
 826     } /* for (num = 1; num <= count; num++) */
 827
 828     return(PS_SUCCESS);
 829 }
 830
 831 /* retrieve messages from server using given protocol method table */
 832 static int do_session(
 833         /* parsed options with merged-in defaults */
 834         struct query *ctl,
 835         /* protocol method table */
 836         const struct method *proto,
 837         /* maximum number of messages to fetch */
 838         const int maxfetch)
 839 {
 840     static int *msgsizes;
 841     volatile int err, mailserver_socket = -1;   /* pacifies -Wall */
 842     int tmperr;
 843     int deletions = 0, js;
 844     const char *msg;
 845     SIGHANDLERTYPE pipesave;
 846     SIGHANDLERTYPE alrmsave;
 847
 848     ctl->server.base_protocol = proto;
 849
 850     msgsizes = NULL;
 851     pass = 0;
 852     err = 0;
 853     init_transact(proto);
 854
 855     /* set up the server-nonresponse timeout */
 856     alrmsave = set_signal_handler(SIGALRM, timeout_handler);
 857     mytimeout = ctl->server.timeout;
 858
 859     /* set up the broken-pipe timeout */
 860     pipesave = set_signal_handler(SIGPIPE, sigpipe_handler);
 861
 862     if ((js = setjmp(restart)))
 863     {
 864         /* exception caught */
 865 #ifdef HAVE_SIGPROCMASK
 866         /*
 867          * Don't rely on setjmp() to restore the blocked-signal mask.
 868          * It does this under BSD but is required not to under POSIX.
 869          *
 870          * If your Unix doesn't have sigprocmask, better hope it has
 871          * BSD-like behavior.  Otherwise you may see fetchmail get
 872          * permanently wedged after a second timeout on a bad read,
 873          * because alarm signals were blocked after the first.
 874          */
 875         sigset_t        allsigs;
 876
 877         sigfillset(&allsigs);
 878         sigprocmask(SIG_UNBLOCK, &allsigs, NULL);
 879 #endif /* HAVE_SIGPROCMASK */
 880
 881         if (js == THROW_SIGPIPE)
 882         {
 883             set_signal_handler(SIGPIPE, SIG_IGN);
 884             report(stdout,
 885                    GT_("SIGPIPE thrown from an MDA or a stream socket error\n"));
 886             wait(0);
 887         }
 888         else if (js == THROW_TIMEOUT)
 889         {
 890             if (phase == OPEN_WAIT)
 891                 report(stdout,
 892                        GT_("timeout after %d seconds waiting to connect to server %s.\n"),
 893                        ctl->server.timeout, ctl->server.pollname);
 894             else if (phase == SERVER_WAIT)
 895                 report(stdout,
 896                        GT_("timeout after %d seconds waiting for server %s.\n"),
 897                        ctl->server.timeout, ctl->server.pollname);
 898             else if (phase == FORWARDING_WAIT)
 899                 report(stdout,
 900                        GT_("timeout after %d seconds waiting for %s.\n"),
 901                        ctl->server.timeout,
 902                        ctl->mda ? "MDA" : "SMTP");
 903             else if (phase == LISTENER_WAIT)
 904                 report(stdout,
 905                        GT_("timeout after %d seconds waiting for listener to respond.\n"), ctl->server.timeout);
 906             else
 907                 report(stdout,
 908                        GT_("timeout after %d seconds.\n"), ctl->server.timeout);
 909
 910             /*
 911              * If we've exceeded our threshold for consecutive timeouts,
 912              * try to notify the user, then mark the connection wedged.
 913              * Don't do this if the connection can idle, though; idle
 914              * timeouts just mean the frequency of mail is low.
 915              */
 916             if (timeoutcount > MAX_TIMEOUTS
 917                 && !open_warning_by_mail(ctl))
 918             {
 919                 stuff_warning(iana_charset, ctl,
 920                               GT_("Subject: fetchmail sees repeated timeouts"));
 921                 stuff_warning(NULL, ctl, "%s", "");
 922                 stuff_warning(NULL, ctl,
 923                               GT_("Fetchmail saw more than %d timeouts while attempting to get mail from %s@%s.\n"),
 924                               MAX_TIMEOUTS,
 925                               ctl->remotename, ctl->server.truename);
 926                 stuff_warning(NULL, ctl,
 927     GT_("This could mean that your mailserver is stuck, or that your SMTP\n" \
 928     "server is wedged, or that your mailbox file on the server has been\n" \
 929     "corrupted by a server error.  You can run `fetchmail -v -v' to\n" \
 930     "diagnose the problem.\n\n" \
 931     "Fetchmail won't poll this mailbox again until you restart it.\n"));
 932                 close_warning_by_mail(ctl, (struct msgblk *)NULL);
 933                 ctl->wedged = TRUE;
 934             }
 935         }
 936
 937         err = PS_SOCKET;
 938         goto cleanUp;
 939     }
 940     else
 941     {
 942         /* setjmp returned zero -> normal operation */
 943         char buf[MSGBUFSIZE+1], *realhost;
 944         int count, newm, bytes;
 945         int fetches, dispatches, oldphase;
 946         struct idlist *idp;
 947
 948         /* execute pre-initialization command, if any */
 949         if (ctl->preconnect && (err = system(ctl->preconnect)))
 950         {
 951             report(stderr,
 952                    GT_("pre-connection command failed with status %d\n"), err);
 953             err = PS_SYNTAX;
 954             goto closeUp;
 955         }
 956
 957         /* open a socket to the mail server */
 958         oldphase = phase;
 959         phase = OPEN_WAIT;
 960         set_timeout(mytimeout);
 961
 962 #ifdef HAVE_PKG_hesiod
 963         /* If either the pollname or vianame are "hesiod" we want to
 964            lookup the user's hesiod pobox host */
 965         if (!strcasecmp(ctl->server.queryname, "hesiod")) {
 966             struct hes_postoffice *hes_p;
 967             hes_p = hes_getmailhost(ctl->remotename);
 968             if (hes_p != NULL && strcmp(hes_p->po_type, "POP") == 0) {
 969                  free(ctl->server.queryname);
 970                  ctl->server.queryname = xstrdup(hes_p->po_host);
 971                  if (ctl->server.via)
 972                      free(ctl->server.via);
 973                  ctl->server.via = xstrdup(hes_p->po_host);
 974             } else {
 975                  report(stderr,
 976                         GT_("couldn't find HESIOD pobox for %s\n"),
 977                         ctl->remotename);
 978             }
 979         }
 980 #endif /* HESIOD */
 981
 982         /*
 983          * Canonicalize the server truename for later use.  This also
 984          * functions as a probe for whether the mailserver is accessible.
 985          * We try it on each poll cycle until we get a result.  This way,
 986          * fetchmail won't fail if started up when the network is inaccessible.
 987          */
 988         if (ctl->server.dns && !ctl->server.trueaddr)
 989         {
 990             if (ctl->server.lead_server)
 991             {
 992                 char    *leadname = ctl->server.lead_server->truename;
 993
 994                 /* prevent core dump from ill-formed or duplicate entry */
 995                 if (!leadname)
 996                 {
 997                     report(stderr, GT_("Lead server has no name.\n"));
 998                     err = PS_DNS;
 999                     set_timeout(0);
1000                     phase = oldphase;
1001                     goto closeUp;
1002                 }
1003
1004                 xfree(ctl->server.truename);
1005                 ctl->server.truename = xstrdup(leadname);
1006             }
1007             else
1008             {
1009                 struct addrinfo hints, *res;
1010                 int error;
1011
1012                 memset(&hints, 0, sizeof(hints));
1013                 hints.ai_socktype = SOCK_STREAM;
1014                 hints.ai_family = AF_UNSPEC;
1015                 hints.ai_flags = AI_CANONNAME;
1016
1017                 error = getaddrinfo(ctl->server.queryname, NULL, &hints, &res);
1018                 if (error)
1019                 {
1020                     report(stderr,
1021                            GT_("couldn't find canonical DNS name of %s (%s)\n"),
1022                            ctl->server.pollname, ctl->server.queryname);
1023                     err = PS_DNS;
1024                     set_timeout(0);
1025                     phase = oldphase;
1026                     goto closeUp;
1027                 }
1028                 else
1029                 {
1030                     xfree(ctl->server.truename);
1031                     ctl->server.truename = xstrdup(res->ai_canonname);
1032                     ctl->server.trueaddr = xmalloc(res->ai_addrlen);
1033                     ctl->server.trueaddr_len = res->ai_addrlen;
1034                     memcpy(ctl->server.trueaddr, res->ai_addr, res->ai_addrlen);
1035                     freeaddrinfo(res);
1036                 }
1037             }
1038         }
1039
1040         realhost = ctl->server.via ? ctl->server.via : ctl->server.pollname;
1041
1042         /* allow time for the port to be set up if we have a plugin */
1043         if (ctl->server.plugin)
1044             (void)sleep(1);
1045         if ((mailserver_socket = SockOpen(realhost,
1046                              ctl->server.service ? ctl->server.service : ( ctl->use_ssl ? ctl->server.base_protocol->sslservice : ctl->server.base_protocol->service ),
1047                              ctl->server.plugin)) == -1)
1048         {
1049             char        errbuf[BUFSIZ];
1050             int err_no = errno;
1051             /*
1052              * Avoid generating a bogus error every poll cycle when we're
1053              * in daemon mode but the connection to the outside world
1054              * is down.
1055              */
1056             if (!((err_no == EHOSTUNREACH || err_no == ENETUNREACH)
1057                   && run.poll_interval))
1058             {
1059                 report_build(stderr, GT_("%s connection to %s failed"),
1060                              ctl->server.base_protocol->name, ctl->server.pollname);
1061                     strlcpy(errbuf, strerror(err_no), sizeof(errbuf));
1062                 report_complete(stderr, ": %s\n", errbuf);
1063
1064 #ifdef __UNUSED
1065                 /*
1066                  * Don't use this.  It was an attempt to address Debian bug
1067                  * #47143 (Notify user by mail when pop server nonexistent).
1068                  * Trouble is, that doesn't work; you trip over the case
1069                  * where your SLIP or PPP link is down...
1070                  */
1071                 /* warn the system administrator */
1072                 if (open_warning_by_mail(ctl) == 0)
1073                 {
1074                     stuff_warning(iana_charset, ctl,
1075                          GT_("Subject: Fetchmail unreachable-server warning."));
1076                     stuff_warning(NULL, ctl, "");
1077                     stuff_warning(NULL, ctl, GT_("Fetchmail could not reach the mail server %s:"),
1078                                   ctl->server.pollname);
1079                     stuff_warning(NULL, ctl, errbuf, ctl->server.pollname);
1080                     close_warning_by_mail(ctl, (struct msgblk *)NULL);
1081                 }
1082 #endif
1083             }
1084             err = PS_SOCKET;
1085             set_timeout(0);
1086             phase = oldphase;
1087             goto closeUp;
1088         }
1089
1090 #ifdef SSL_ENABLE
1091         /* Save the socket opened. Useful if Fetchmail hangs on SSLOpen
1092          * because the socket can be closed.
1093          */
1094         mailserver_socket_temp = mailserver_socket;
1095         set_timeout(mytimeout);
1096
1097         /* perform initial SSL handshake on open connection */
1098         /* Note:  We pass the realhost name over for certificate
1099                 verification.  We may want to make this configurable */
1100         if (ctl->use_ssl && SSLOpen(mailserver_socket,ctl->sslcert,ctl->sslkey,ctl->sslproto,ctl->sslcertck,
1101             ctl->sslcertpath,ctl->sslfingerprint,realhost,ctl->server.pollname) == -1)
1102         {
1103             report(stderr, GT_("SSL connection failed.\n"));
1104             err = PS_SOCKET;
1105             goto cleanUp;
1106         }
1107
1108         /* Fetchmail didn't hang on SSLOpen,
1109          * then no need to set mailserver_socket_temp
1110          */
1111         mailserver_socket_temp = -1;
1112 #endif
1113
1114         /* A timeout is still defined before SSLOpen,
1115          * then Fetchmail hanging on SSLOpen is handled.
1116          */
1117         set_timeout(0);
1118         phase = oldphase;
1119 #ifdef KERBEROS_V4
1120         if (ctl->server.authenticate == A_KERBEROS_V4 && (strcasecmp(proto->name,"IMAP") != 0))
1121         {
1122             set_timeout(mytimeout);
1123             err = kerberos_auth(mailserver_socket, ctl->server.truename,
1124                                ctl->server.principal);
1125             set_timeout(0);
1126             if (err != 0)
1127                 goto cleanUp;
1128         }
1129 #endif /* KERBEROS_V4 */
1130
1131 #ifdef KERBEROS_V5
1132         if (ctl->server.authenticate == A_KERBEROS_V5)
1133         {
1134             set_timeout(mytimeout);
1135             err = kerberos5_auth(mailserver_socket, ctl->server.truename);
1136             set_timeout(0);
1137             if (err != 0)
1138                 goto cleanUp;
1139         }
1140 #endif /* KERBEROS_V5 */
1141
1142         /* accept greeting message from mail server */
1143         err = (ctl->server.base_protocol->parse_response)(mailserver_socket, buf);
1144         if (err != 0)
1145             goto cleanUp;
1146
1147         /* try to get authorized to fetch mail */
1148         stage = STAGE_GETAUTH;
1149         if (ctl->server.base_protocol->getauth)
1150         {
1151             err = (ctl->server.base_protocol->getauth)(mailserver_socket, ctl, buf);
1152
1153             if (err != 0)
1154             {
1155                 if (err == PS_LOCKBUSY)
1156                     report(stderr, GT_("Lock-busy error on %s@%s\n"),
1157                           ctl->remotename,
1158                           ctl->server.truename);
1159                 else if (err == PS_SERVBUSY)
1160                     report(stderr, GT_("Server busy error on %s@%s\n"),
1161                           ctl->remotename,
1162                           ctl->server.truename);
1163                 else if (err == PS_AUTHFAIL)
1164                 {
1165                     report(stderr, GT_("Authorization failure on %s@%s%s\n"),
1166                            ctl->remotename,
1167                            ctl->server.truename,
1168                            (ctl->wehaveauthed ? GT_(" (previously authorized)") : "")
1169                         );
1170
1171                     /*
1172                      * If we're running in background, try to mail the
1173                      * calling user a heads-up about the authentication
1174                      * failure once it looks like this isn't a fluke
1175                      * due to the server being temporarily inaccessible.
1176                      * When we get third succesive failure, we notify the user
1177                      * but only if we haven't already managed to get
1178                      * authorization.  After that, once we get authorization
1179                      * we let the user know service is restored.
1180                      */
1181                     if (run.poll_interval
1182                         && !ctl->wehavesentauthnote
1183                         && ((ctl->wehaveauthed && ++ctl->authfailcount >= 10)
1184                             || (!ctl->wehaveauthed && ++ctl->authfailcount >= 3))
1185                         && !open_warning_by_mail(ctl))
1186                     {
1187                         ctl->wehavesentauthnote = 1;
1188                         stuff_warning(iana_charset, ctl,
1189                                       GT_("Subject: fetchmail authentication failed on %s@%s"),
1190                             ctl->remotename, ctl->server.truename);
1191                         stuff_warning(NULL, ctl, "%s", "");
1192                         stuff_warning(NULL, ctl,
1193                                       GT_("Fetchmail could not get mail from %s@%s.\n"),
1194                                       ctl->remotename,
1195                                       ctl->server.truename);
1196                         if (ctl->wehaveauthed) {
1197                             stuff_warning(NULL, ctl, GT_("\
1198 The attempt to get authorization failed.\n\
1199 Since we have already succeeded in getting authorization for this\n\
1200 connection, this is probably another failure mode (such as busy server)\n\
1201 that fetchmail cannot distinguish because the server didn't send a useful\n\
1202 error message."));
1203                             stuff_warning(NULL, ctl, GT_("\
1204 \n\
1205 However, if you HAVE changed your account details since starting the\n\
1206 fetchmail daemon, you need to stop the daemon, change your configuration\n\
1207 of fetchmail, and then restart the daemon.\n\
1208 \n\
1209 The fetchmail daemon will continue running and attempt to connect\n\
1210 at each cycle.  No future notifications will be sent until service\n\
1211 is restored."));
1212                         } else {
1213                             stuff_warning(NULL, ctl, GT_("\
1214 The attempt to get authorization failed.\n\
1215 This probably means your password is invalid, but some servers have\n\
1216 other failure modes that fetchmail cannot distinguish from this\n\
1217 because they don't send useful error messages on login failure.\n\
1218 \n\
1219 The fetchmail daemon will continue running and attempt to connect\n\
1220 at each cycle.  No future notifications will be sent until service\n\
1221 is restored."));
1222                         }
1223                         close_warning_by_mail(ctl, (struct msgblk *)NULL);
1224                     }
1225                 }
1226                 else if (err == PS_REPOLL)
1227                 {
1228                   if (outlevel >= O_VERBOSE)
1229                     report(stderr, GT_("Repoll immediately on %s@%s\n"),
1230                            ctl->remotename,
1231                            ctl->server.truename);
1232                 }
1233                 else
1234                     report(stderr, GT_("Unknown login or authentication error on %s@%s\n"),
1235                            ctl->remotename,
1236                            ctl->server.truename);
1237
1238                 goto cleanUp;
1239             }
1240             else
1241             {
1242                 /*
1243                  * This connection has given us authorization at least once.
1244                  *
1245                  * There are dodgy server (clubinternet.fr for example) that
1246                  * give spurious authorization failures on patently good
1247                  * account/password details, then 5 minutes later let you in!
1248                  *
1249                  * This is meant to build in some tolerance of such nasty bits
1250                  * of work.
1251                  */
1252                 ctl->wehaveauthed = 1;
1253                 /*if (ctl->authfailcount >= 3)*/
1254                 if (ctl->wehavesentauthnote)
1255                 {
1256                     ctl->wehavesentauthnote = 0;
1257                     report(stderr,
1258                            GT_("Authorization OK on %s@%s\n"),
1259                            ctl->remotename,
1260                            ctl->server.truename);
1261                     if (!open_warning_by_mail(ctl))
1262                     {
1263                         stuff_warning(iana_charset, ctl,
1264                               GT_("Subject: fetchmail authentication OK on %s@%s"),
1265                                       ctl->remotename, ctl->server.truename);
1266                         stuff_warning(NULL, ctl, "%s", "");
1267                         stuff_warning(NULL, ctl,
1268                               GT_("Fetchmail was able to log into %s@%s.\n"),
1269                                       ctl->remotename,
1270                                       ctl->server.truename);
1271                         stuff_warning(NULL, ctl,
1272                                       GT_("Service has been restored.\n"));
1273                         close_warning_by_mail(ctl, (struct msgblk *)NULL);
1274
1275                     }
1276                 }
1277                 /*
1278                  * Reporting only after the first three
1279                  * consecutive failures, or ten consecutive
1280                  * failures after we have managed to get
1281                  * authorization.
1282                  */
1283                 ctl->authfailcount = 0;
1284             }
1285         }
1286
1287         ctl->errcount = fetches = 0;
1288
1289         /* now iterate over each folder selected */
1290         for (idp = ctl->mailboxes; idp; idp = idp->next)
1291         {
1292             pass = 0;
1293             do {
1294                 dispatches = 0;
1295                 ++pass;
1296
1297                 /* reset timeout, in case we did an IDLE */
1298                 mytimeout = ctl->server.timeout;
1299
1300                 if (outlevel >= O_DEBUG)
1301                 {
1302                     if (idp->id)
1303                         report(stdout, GT_("selecting or re-polling folder %s\n"), idp->id);
1304                     else
1305                         report(stdout, GT_("selecting or re-polling default folder\n"));
1306                 }
1307
1308                 /* compute # of messages and number of new messages waiting */
1309                 stage = STAGE_GETRANGE;
1310                 err = (ctl->server.base_protocol->getrange)(mailserver_socket, ctl, idp->id, &count, &newm, &bytes);
1311                     goto cleanUp;
1312
1313                 /* show user how many messages we downloaded */
1314                 if (idp->id)
1315                     (void) snprintf(buf, sizeof(buf),
1316                                    GT_("%s at %s (folder %s)"),
1317                                    ctl->remotename, ctl->server.pollname, idp->id);
1318                 else
1319                     (void) snprintf(buf, sizeof(buf), GT_("%s at %s"),
1320                                    ctl->remotename, ctl->server.pollname);
1321                 if (outlevel > O_SILENT)
1322                 {
1323                     if (count == -1)            /* only used for ETRN */
1324                         report(stdout, GT_("Polling %s\n"), ctl->server.truename);
1325                     else if (count != 0)
1326                     {
1327                         if (newm != -1 && (count - newm) > 0)
1328                             report_build(stdout, ngettext("%d message (%d %s) for %s", "%d messages (%d %s) for %s", (unsigned long)count),
1329                                   count,
1330                                   count - newm,
1331                                   ngettext("seen", "seen", (unsigned long)count-newm),
1332                                   buf);
1333                         else
1334                             report_build(stdout, ngettext("%d message for %s",
1335                                                           "%d messages for %s",
1336                                                           count),
1337                                   count, buf);
1338                         if (bytes == -1)
1339                             report_complete(stdout, ".\n");
1340                         else
1341                             report_complete(stdout, GT_(" (%d octets).\n"), bytes);
1342                     }
1343                     else
1344                     {
1345                         /* these are pointless in normal daemon mode */
1346                         if (pass == 1 && (run.poll_interval == 0 || outlevel >= O_VERBOSE))
1347                             report(stdout, GT_("No mail for %s\n"), buf);
1348                     }
1349                 }
1350
1351                 /* very important, this is where we leave the do loop */
1352                 if (count == 0)
1353                     break;
1354
1355                 if (check_only)
1356                 {
1357                     if (newm == -1 || ctl->fetchall)
1358                         newm = count;
1359                     fetches = newm;     /* set error status correctly */
1360                     /*
1361                      * There used to be a `goto noerror' here, but this
1362                      * prevented checking of multiple folders.  This
1363                      * comment is a reminder in case I introduced some
1364                      * subtle bug by removing it...
1365                      */
1366                 }
1367                 else if (count > 0)
1368                 {
1369                     int         i;
1370
1371                     /*
1372                      * Don't trust the message count passed by the server.
1373                      * Without this check, it might be possible to do a
1374                      * DNS-spoofing attack that would pass back a ridiculous
1375                      * count, and allocate a malloc area that would overlap
1376                      * a portion of the stack.
1377                      */
1378                     if ((unsigned)count > INT_MAX/sizeof(int))
1379                     {
1380                         report(stderr, GT_("bogus message count!"));
1381                         err = PS_PROTOCOL;
1382                         goto cleanUp;
1383                     }
1384
1385                     /*
1386                      * We need the size of each message before it's
1387                      * loaded in order to pass it to the ESMTP SIZE
1388                      * option.  If the protocol has a getsizes method,
1389                      * we presume this means it doesn't get reliable
1390                      * sizes from message fetch responses.
1391                      *
1392                      * If the protocol supports getting sizes of subset of
1393                      * messages, we skip this step now.
1394                      */
1395                     if (proto->getsizes &&
1396                         !(proto->getpartialsizes && NUM_NONZERO(ctl->fetchsizelimit)))
1397                     {
1398                         xfree(msgsizes);
1399                         msgsizes = xmalloc(sizeof(int) * count);
1400                         for (i = 0; i < count; i++)
1401                             msgsizes[i] = 0;
1402
1403                         stage = STAGE_GETSIZES;
1404                         err = (proto->getsizes)(mailserver_socket, count, msgsizes);
1405                         if (err != 0)
1406                             goto cleanUp;
1407
1408                         if (bytes == -1)
1409                         {
1410                             bytes = 0;
1411                             for (i = 0; i < count; i++)
1412                                 bytes += msgsizes[i];
1413                         }
1414                     }
1415
1416                     /* read, forward, and delete messages */
1417                     stage = STAGE_FETCH;
1418
1419                     /* fetch in lockstep mode */
1420                     err = fetch_messages(mailserver_socket, ctl,
1421                                          count, &msgsizes,
1422                                          maxfetch,
1423                                          &fetches, &dispatches, &deletions);
1424                     if (err != PS_SUCCESS && err != PS_MAXFETCH)
1425                         goto cleanUp;
1426
1427                     if (!check_only && ctl->skipped
1428                         && run.poll_interval > 0 && !nodetach)
1429                     {
1430                         clean_skipped_list(&ctl->skipped);
1431                         send_size_warnings(ctl);
1432                     }
1433                 }
1434
1435                 /* end-of-mailbox processing before we repoll or switch to another one */
1436                 if (ctl->server.base_protocol->end_mailbox_poll)
1437                 {
1438                     err = (ctl->server.base_protocol->end_mailbox_poll)(mailserver_socket, ctl);
1439                     if (err)
1440                         goto cleanUp;
1441                 }
1442                 /* Return now if we have reached the fetchlimit */
1443                 if (maxfetch && maxfetch <= fetches)
1444                     goto no_error;
1445             } while
1446                   /*
1447                    * Only re-poll if we either had some actual forwards and
1448                    * either allowed deletions and had no errors.
1449                    * Otherwise it is far too easy to get into infinite loops.
1450                    */
1451                   (dispatches && ctl->server.base_protocol->retry && !ctl->keep && !ctl->errcount);
1452         }
1453
1454         /* XXX: From this point onwards, preserve err unless a new error has occurred */
1455
1456     no_error:
1457         /* PS_SUCCESS, PS_MAXFETCH: ordinary termination with no errors -- officially log out */
1458         stage = STAGE_LOGOUT;
1459         tmperr = (ctl->server.base_protocol->logout_cmd)(mailserver_socket, ctl);
1460         if (tmperr != PS_SUCCESS)
1461             err = tmperr;
1462         /*
1463          * Hmmmm...arguably this would be incorrect if we had fetches but
1464          * no dispatches (due to oversized messages, etc.)
1465          */
1466         else if (err == PS_SUCCESS && fetches == 0)
1467             err = PS_NOMAIL;
1468         /*
1469          * Close all SMTP delivery sockets.  For optimum performance
1470          * we'd like to hold them open til end of run, but (1) this
1471          * loses if our poll interval is longer than the MTA's
1472          * inactivity timeout, and (2) some MTAs (like smail) don't
1473          * deliver after each message, but rather queue up mail and
1474          * wait to actually deliver it until the input socket is
1475          * closed.
1476          *
1477          * don't send QUIT for ODMR case because we're acting as a
1478          * proxy between the SMTP server and client.
1479          */
1480         smtp_close(ctl, ctl->server.protocol != P_ODMR);
1481         cleanupSockClose(mailserver_socket);
1482         goto closeUp;
1483
1484     cleanUp:
1485         /* we only get here on error */
1486         if (err != 0 && err != PS_SOCKET && err != PS_REPOLL)
1487         {
1488             stage = STAGE_LOGOUT;
1489             (ctl->server.base_protocol->logout_cmd)(mailserver_socket, ctl);
1490         }
1491
1492         /* try to clean up all streams */
1493         release_sink(ctl);
1494         /*
1495          * Sending SMTP QUIT on signal is theoretically nice, but led
1496          * to a subtle bug.  If fetchmail was terminated by signal
1497          * while it was shipping message text, it would hang forever
1498          * waiting for a command acknowledge.  In theory we could
1499          * enable the QUIT only outside of the message send.  In
1500          * practice, we don't care.  All mailservers hang up on a
1501          * dropped TCP/IP connection anyway.
1502          */
1503         smtp_close(ctl, 0);
1504         if (mailserver_socket != -1) {
1505             cleanupSockClose(mailserver_socket);
1506             mailserver_socket = -1;
1507         }
1508         /* If there was a connect timeout, the socket should be closed.
1509          * mailserver_socket_temp contains the socket to close.
1510          */
1511         if (mailserver_socket_temp != -1) {
1512             cleanupSockClose(mailserver_socket_temp);
1513             mailserver_socket_temp = -1;
1514         }
1515     }
1516
1517     /* no report on PS_AUTHFAIL */
1518     msg = NULL;
1519     switch (err)
1520     {
1521     case PS_SOCKET:
1522         msg = GT_("socket");
1523         break;
1524     case PS_SYNTAX:
1525         msg = GT_("missing or bad RFC822 header");
1526         break;
1527     case PS_IOERR:
1528         msg = GT_("MDA");
1529         break;
1530     case PS_ERROR:
1531         msg = GT_("client/server synchronization");
1532         break;
1533     case PS_PROTOCOL:
1534         msg = GT_("client/server protocol");
1535         break;
1536     case PS_LOCKBUSY:
1537         msg = GT_("lock busy on server");
1538         break;
1539     case PS_SMTP:
1540         msg = GT_("SMTP transaction");
1541         break;
1542     case PS_DNS:
1543         msg = GT_("DNS lookup");
1544         break;
1545     case PS_UNDEFINED:
1546         msg = GT_("undefined");
1547         break;
1548     }
1549     if (msg) {
1550         if (phase == FORWARDING_WAIT || phase == LISTENER_WAIT
1551                 || err == PS_SMTP)
1552             report(stderr, GT_("%s error while fetching from %s@%s and delivering to SMTP host %s\n"),
1553                     msg, ctl->remotename, ctl->server.pollname,
1554                     ctl->smtphost ? ctl->smtphost : GT_("unknown"));
1555         else
1556             report(stderr, GT_("%s error while fetching from %s@%s\n"),
1557                     msg, ctl->remotename, ctl->server.pollname);
1558     }
1559
1560 closeUp:
1561     xfree(msgsizes);
1562
1563     /* execute wrapup command, if any */
1564     if (ctl->postconnect && (tmperr = system(ctl->postconnect)))
1565     {
1566         report(stderr, GT_("post-connection command failed with status %d\n"), tmperr);
1567         if (err == PS_SUCCESS)
1568             err = PS_SYNTAX;
1569     }
1570
1571     set_timeout(0); /* cancel any pending alarm */
1572     set_signal_handler(SIGALRM, alrmsave);
1573     set_signal_handler(SIGPIPE, pipesave);
1574     return(err);
1575 }
1576
1577 int do_protocol(ctl, proto)
1578 /* retrieve messages from server using given protocol method table */
1579 struct query *ctl;              /* parsed options with merged-in defaults */
1580 const struct method *proto;     /* protocol method table */
1581 {
1582     int err;
1583
1584 #ifndef KERBEROS_V4
1585     if (ctl->server.authenticate == A_KERBEROS_V4)
1586     {
1587         report(stderr, GT_("Kerberos V4 support not linked.\n"));
1588         return(PS_ERROR);
1589     }
1590 #endif /* KERBEROS_V4 */
1591
1592 #ifndef KERBEROS_V5
1593     if (ctl->server.authenticate == A_KERBEROS_V5)
1594     {
1595         report(stderr, GT_("Kerberos V5 support not linked.\n"));
1596         return(PS_ERROR);
1597     }
1598 #endif /* KERBEROS_V5 */
1599
1600     /* lacking methods, there are some options that may fail */
1601     if (!proto->is_old)
1602     {
1603         /* check for unsupported options */
1604         if (ctl->flush) {
1605             report(stderr,
1606                     GT_("Option --flush is not supported with %s\n"),
1607                     proto->name);
1608             return(PS_SYNTAX);
1609         }
1610         else if (ctl->fetchall) {
1611             report(stderr,
1612                     GT_("Option --all is not supported with %s\n"),
1613                     proto->name);
1614             return(PS_SYNTAX);
1615         }
1616     }
1617     if (!(proto->getsizes || proto->getpartialsizes)
1618             && NUM_SPECIFIED(ctl->limit))
1619     {
1620         report(stderr,
1621                 GT_("Option --limit is not supported with %s\n"),
1622                 proto->name);
1623         return(PS_SYNTAX);
1624     }
1625
1626     /*
1627      * If no expunge limit or we do expunges within the driver,
1628      * then just do one session, passing in any fetchlimit.
1629      */
1630     if ((ctl->keep && !ctl->flush) ||
1631         proto->retry || !NUM_SPECIFIED(ctl->expunge))
1632         return(do_session(ctl, proto, NUM_VALUE_OUT(ctl->fetchlimit)));
1633     /*
1634      * There's an expunge limit, and it isn't handled in the driver itself.
1635      * OK; do multiple sessions, each fetching a limited # of messages.
1636      * Stop if the total count of retrieved messages exceeds ctl->fetchlimit
1637      * (if it was nonzero).
1638      */
1639     else
1640     {
1641         int totalcount = 0;
1642         int lockouts   = 0;
1643         int expunge    = NUM_VALUE_OUT(ctl->expunge);
1644         int fetchlimit = NUM_VALUE_OUT(ctl->fetchlimit);
1645
1646         do {
1647             if (fetchlimit > 0 && (expunge == 0 || expunge > fetchlimit - totalcount))
1648                 expunge = fetchlimit - totalcount;
1649             err = do_session(ctl, proto, expunge);
1650             totalcount += expunge;
1651             if (NUM_SPECIFIED(ctl->fetchlimit) && totalcount >= fetchlimit)
1652                 break;
1653             if (err != PS_LOCKBUSY)
1654                 lockouts = 0;
1655             else if (lockouts >= MAX_LOCKOUTS)
1656                 break;
1657             else /* err == PS_LOCKBUSY */
1658             {
1659                 /*
1660                  * Allow time for the server lock to release.  if we
1661                  * don't do this, we'll often hit a locked-mailbox
1662                  * condition and fail.
1663                  */
1664                 lockouts++;
1665                 sleep(3);
1666             }
1667         } while
1668             (err == PS_MAXFETCH || err == PS_LOCKBUSY);
1669
1670         return(err);
1671     }
1672 }
1673
1674
1675 /* driver.c ends here */