Pileus Git - ~andy/linux/blob - drivers/net/wireless/iwlwifi/iwl-agn-tx.c

   1 /******************************************************************************
   2  *
   3  * GPL LICENSE SUMMARY
   4  *
   5  * Copyright(c) 2008 - 2011 Intel Corporation. All rights reserved.
   6  *
   7  * This program is free software; you can redistribute it and/or modify
   8  * it under the terms of version 2 of the GNU General Public License as
   9  * published by the Free Software Foundation.
  10  *
  11  * This program is distributed in the hope that it will be useful, but
  12  * WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * along with this program; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110,
  19  * USA
  20  *
  21  * The full GNU General Public License is included in this distribution
  22  * in the file called LICENSE.GPL.
  23  *
  24  * Contact Information:
  25  *  Intel Linux Wireless <ilw@linux.intel.com>
  26  * Intel Corporation, 5200 N.E. Elam Young Parkway, Hillsboro, OR 97124-6497
  27  *
  28  *****************************************************************************/
  29
  30 #include <linux/kernel.h>
  31 #include <linux/module.h>
  32 #include <linux/init.h>
  33 #include <linux/sched.h>
  34
  35 #include "iwl-dev.h"
  36 #include "iwl-core.h"
  37 #include "iwl-sta.h"
  38 #include "iwl-io.h"
  39 #include "iwl-helpers.h"
  40 #include "iwl-agn-hw.h"
  41 #include "iwl-agn.h"
  42 #include "iwl-trans.h"
  43
  44 /*
  45  * mac80211 queues, ACs, hardware queues, FIFOs.
  46  *
  47  * Cf. http://wireless.kernel.org/en/developers/Documentation/mac80211/queues
  48  *
  49  * Mac80211 uses the following numbers, which we get as from it
  50  * by way of skb_get_queue_mapping(skb):
  51  *
  52  *      VO      0
  53  *      VI      1
  54  *      BE      2
  55  *      BK      3
  56  *
  57  *
  58  * Regular (not A-MPDU) frames are put into hardware queues corresponding
  59  * to the FIFOs, see comments in iwl-prph.h. Aggregated frames get their
  60  * own queue per aggregation session (RA/TID combination), such queues are
  61  * set up to map into FIFOs too, for which we need an AC->FIFO mapping. In
  62  * order to map frames to the right queue, we also need an AC->hw queue
  63  * mapping. This is implemented here.
  64  *
  65  * Due to the way hw queues are set up (by the hw specific modules like
  66  * iwl-4965.c, iwl-5000.c etc.), the AC->hw queue mapping is the identity
  67  * mapping.
  68  */
  69
  70 static const u8 tid_to_ac[] = {
  71         IEEE80211_AC_BE,
  72         IEEE80211_AC_BK,
  73         IEEE80211_AC_BK,
  74         IEEE80211_AC_BE,
  75         IEEE80211_AC_VI,
  76         IEEE80211_AC_VI,
  77         IEEE80211_AC_VO,
  78         IEEE80211_AC_VO
  79 };
  80
  81 static inline int get_ac_from_tid(u16 tid)
  82 {
  83         if (likely(tid < ARRAY_SIZE(tid_to_ac)))
  84                 return tid_to_ac[tid];
  85
  86         /* no support for TIDs 8-15 yet */
  87         return -EINVAL;
  88 }
  89
  90 static inline int get_fifo_from_tid(struct iwl_rxon_context *ctx, u16 tid)
  91 {
  92         if (likely(tid < ARRAY_SIZE(tid_to_ac)))
  93                 return ctx->ac_to_fifo[tid_to_ac[tid]];
  94
  95         /* no support for TIDs 8-15 yet */
  96         return -EINVAL;
  97 }
  98
  99 static int iwlagn_txq_agg_enable(struct iwl_priv *priv, int txq_id, int sta_id,
 100                                 int tid)
 101 {
 102         if ((IWLAGN_FIRST_AMPDU_QUEUE > txq_id) ||
 103             (IWLAGN_FIRST_AMPDU_QUEUE +
 104                 priv->cfg->base_params->num_of_ampdu_queues <= txq_id)) {
 105                 IWL_WARN(priv,
 106                         "queue number out of range: %d, must be %d to %d\n",
 107                         txq_id, IWLAGN_FIRST_AMPDU_QUEUE,
 108                         IWLAGN_FIRST_AMPDU_QUEUE +
 109                         priv->cfg->base_params->num_of_ampdu_queues - 1);
 110                 return -EINVAL;
 111         }
 112
 113         /* Modify device's station table to Tx this TID */
 114         return iwl_sta_tx_modify_enable_tid(priv, sta_id, tid);
 115 }
 116
 117 static void iwlagn_tx_cmd_protection(struct iwl_priv *priv,
 118                                      struct ieee80211_tx_info *info,
 119                                      __le16 fc, __le32 *tx_flags)
 120 {
 121         if (info->control.rates[0].flags & IEEE80211_TX_RC_USE_RTS_CTS ||
 122             info->control.rates[0].flags & IEEE80211_TX_RC_USE_CTS_PROTECT ||
 123             info->flags & IEEE80211_TX_CTL_AMPDU)
 124                 *tx_flags |= TX_CMD_FLG_PROT_REQUIRE_MSK;
 125 }
 126
 127 /*
 128  * handle build REPLY_TX command notification.
 129  */
 130 static void iwlagn_tx_cmd_build_basic(struct iwl_priv *priv,
 131                                         struct sk_buff *skb,
 132                                         struct iwl_tx_cmd *tx_cmd,
 133                                         struct ieee80211_tx_info *info,
 134                                         struct ieee80211_hdr *hdr,
 135                                         u8 std_id)
 136 {
 137         __le16 fc = hdr->frame_control;
 138         __le32 tx_flags = tx_cmd->tx_flags;
 139
 140         tx_cmd->stop_time.life_time = TX_CMD_LIFE_TIME_INFINITE;
 141
 142         if (!(info->flags & IEEE80211_TX_CTL_NO_ACK))
 143                 tx_flags |= TX_CMD_FLG_ACK_MSK;
 144         else
 145                 tx_flags &= ~TX_CMD_FLG_ACK_MSK;
 146
 147         if (ieee80211_is_probe_resp(fc))
 148                 tx_flags |= TX_CMD_FLG_TSF_MSK;
 149         else if (ieee80211_is_back_req(fc))
 150                 tx_flags |= TX_CMD_FLG_ACK_MSK | TX_CMD_FLG_IMM_BA_RSP_MASK;
 151         else if (info->band == IEEE80211_BAND_2GHZ &&
 152                  priv->cfg->bt_params &&
 153                  priv->cfg->bt_params->advanced_bt_coexist &&
 154                  (ieee80211_is_auth(fc) || ieee80211_is_assoc_req(fc) ||
 155                  ieee80211_is_reassoc_req(fc) ||
 156                  skb->protocol == cpu_to_be16(ETH_P_PAE)))
 157                 tx_flags |= TX_CMD_FLG_IGNORE_BT;
 158
 159
 160         tx_cmd->sta_id = std_id;
 161         if (ieee80211_has_morefrags(fc))
 162                 tx_flags |= TX_CMD_FLG_MORE_FRAG_MSK;
 163
 164         if (ieee80211_is_data_qos(fc)) {
 165                 u8 *qc = ieee80211_get_qos_ctl(hdr);
 166                 tx_cmd->tid_tspec = qc[0] & 0xf;
 167                 tx_flags &= ~TX_CMD_FLG_SEQ_CTL_MSK;
 168         } else {
 169                 tx_flags |= TX_CMD_FLG_SEQ_CTL_MSK;
 170         }
 171
 172         iwlagn_tx_cmd_protection(priv, info, fc, &tx_flags);
 173
 174         tx_flags &= ~(TX_CMD_FLG_ANT_SEL_MSK);
 175         if (ieee80211_is_mgmt(fc)) {
 176                 if (ieee80211_is_assoc_req(fc) || ieee80211_is_reassoc_req(fc))
 177                         tx_cmd->timeout.pm_frame_timeout = cpu_to_le16(3);
 178                 else
 179                         tx_cmd->timeout.pm_frame_timeout = cpu_to_le16(2);
 180         } else {
 181                 tx_cmd->timeout.pm_frame_timeout = 0;
 182         }
 183
 184         tx_cmd->driver_txop = 0;
 185         tx_cmd->tx_flags = tx_flags;
 186         tx_cmd->next_frame_len = 0;
 187 }
 188
 189 #define RTS_DFAULT_RETRY_LIMIT          60
 190
 191 static void iwlagn_tx_cmd_build_rate(struct iwl_priv *priv,
 192                               struct iwl_tx_cmd *tx_cmd,
 193                               struct ieee80211_tx_info *info,
 194                               __le16 fc)
 195 {
 196         u32 rate_flags;
 197         int rate_idx;
 198         u8 rts_retry_limit;
 199         u8 data_retry_limit;
 200         u8 rate_plcp;
 201
 202         /* Set retry limit on DATA packets and Probe Responses*/
 203         if (ieee80211_is_probe_resp(fc))
 204                 data_retry_limit = 3;
 205         else
 206                 data_retry_limit = IWLAGN_DEFAULT_TX_RETRY;
 207         tx_cmd->data_retry_limit = data_retry_limit;
 208
 209         /* Set retry limit on RTS packets */
 210         rts_retry_limit = RTS_DFAULT_RETRY_LIMIT;
 211         if (data_retry_limit < rts_retry_limit)
 212                 rts_retry_limit = data_retry_limit;
 213         tx_cmd->rts_retry_limit = rts_retry_limit;
 214
 215         /* DATA packets will use the uCode station table for rate/antenna
 216          * selection */
 217         if (ieee80211_is_data(fc)) {
 218                 tx_cmd->initial_rate_index = 0;
 219                 tx_cmd->tx_flags |= TX_CMD_FLG_STA_RATE_MSK;
 220                 if (priv->tm_fixed_rate) {
 221                         /*
 222                          * rate overwrite by testmode
 223                          * we not only send lq command to change rate
 224                          * we also re-enforce per data pkt base.
 225                          */
 226                         tx_cmd->tx_flags &= ~TX_CMD_FLG_STA_RATE_MSK;
 227                         memcpy(&tx_cmd->rate_n_flags, &priv->tm_fixed_rate,
 228                                sizeof(tx_cmd->rate_n_flags));
 229                 }
 230                 return;
 231         }
 232
 233         /**
 234          * If the current TX rate stored in mac80211 has the MCS bit set, it's
 235          * not really a TX rate.  Thus, we use the lowest supported rate for
 236          * this band.  Also use the lowest supported rate if the stored rate
 237          * index is invalid.
 238          */
 239         rate_idx = info->control.rates[0].idx;
 240         if (info->control.rates[0].flags & IEEE80211_TX_RC_MCS ||
 241                         (rate_idx < 0) || (rate_idx > IWL_RATE_COUNT_LEGACY))
 242                 rate_idx = rate_lowest_index(&priv->bands[info->band],
 243                                 info->control.sta);
 244         /* For 5 GHZ band, remap mac80211 rate indices into driver indices */
 245         if (info->band == IEEE80211_BAND_5GHZ)
 246                 rate_idx += IWL_FIRST_OFDM_RATE;
 247         /* Get PLCP rate for tx_cmd->rate_n_flags */
 248         rate_plcp = iwl_rates[rate_idx].plcp;
 249         /* Zero out flags for this packet */
 250         rate_flags = 0;
 251
 252         /* Set CCK flag as needed */
 253         if ((rate_idx >= IWL_FIRST_CCK_RATE) && (rate_idx <= IWL_LAST_CCK_RATE))
 254                 rate_flags |= RATE_MCS_CCK_MSK;
 255
 256         /* Set up antennas */
 257          if (priv->cfg->bt_params &&
 258              priv->cfg->bt_params->advanced_bt_coexist &&
 259              priv->bt_full_concurrent) {
 260                 /* operated as 1x1 in full concurrency mode */
 261                 priv->mgmt_tx_ant = iwl_toggle_tx_ant(priv, priv->mgmt_tx_ant,
 262                                 first_antenna(priv->hw_params.valid_tx_ant));
 263         } else
 264                 priv->mgmt_tx_ant = iwl_toggle_tx_ant(priv, priv->mgmt_tx_ant,
 265                                               priv->hw_params.valid_tx_ant);
 266         rate_flags |= iwl_ant_idx_to_flags(priv->mgmt_tx_ant);
 267
 268         /* Set the rate in the TX cmd */
 269         tx_cmd->rate_n_flags = iwl_hw_set_rate_n_flags(rate_plcp, rate_flags);
 270 }
 271
 272 static void iwlagn_tx_cmd_build_hwcrypto(struct iwl_priv *priv,
 273                                       struct ieee80211_tx_info *info,
 274                                       struct iwl_tx_cmd *tx_cmd,
 275                                       struct sk_buff *skb_frag,
 276                                       int sta_id)
 277 {
 278         struct ieee80211_key_conf *keyconf = info->control.hw_key;
 279
 280         switch (keyconf->cipher) {
 281         case WLAN_CIPHER_SUITE_CCMP:
 282                 tx_cmd->sec_ctl = TX_CMD_SEC_CCM;
 283                 memcpy(tx_cmd->key, keyconf->key, keyconf->keylen);
 284                 if (info->flags & IEEE80211_TX_CTL_AMPDU)
 285                         tx_cmd->tx_flags |= TX_CMD_FLG_AGG_CCMP_MSK;
 286                 IWL_DEBUG_TX(priv, "tx_cmd with AES hwcrypto\n");
 287                 break;
 288
 289         case WLAN_CIPHER_SUITE_TKIP:
 290                 tx_cmd->sec_ctl = TX_CMD_SEC_TKIP;
 291                 ieee80211_get_tkip_p2k(keyconf, skb_frag, tx_cmd->key);
 292                 IWL_DEBUG_TX(priv, "tx_cmd with tkip hwcrypto\n");
 293                 break;
 294
 295         case WLAN_CIPHER_SUITE_WEP104:
 296                 tx_cmd->sec_ctl |= TX_CMD_SEC_KEY128;
 297                 /* fall through */
 298         case WLAN_CIPHER_SUITE_WEP40:
 299                 tx_cmd->sec_ctl |= (TX_CMD_SEC_WEP |
 300                         (keyconf->keyidx & TX_CMD_SEC_MSK) << TX_CMD_SEC_SHIFT);
 301
 302                 memcpy(&tx_cmd->key[3], keyconf->key, keyconf->keylen);
 303
 304                 IWL_DEBUG_TX(priv, "Configuring packet for WEP encryption "
 305                              "with key %d\n", keyconf->keyidx);
 306                 break;
 307
 308         default:
 309                 IWL_ERR(priv, "Unknown encode cipher %x\n", keyconf->cipher);
 310                 break;
 311         }
 312 }
 313
 314 /*
 315  * start REPLY_TX command process
 316  */
 317 int iwlagn_tx_skb(struct iwl_priv *priv, struct sk_buff *skb)
 318 {
 319         struct ieee80211_hdr *hdr = (struct ieee80211_hdr *)skb->data;
 320         struct ieee80211_tx_info *info = IEEE80211_SKB_CB(skb);
 321         struct iwl_station_priv *sta_priv = NULL;
 322         struct iwl_rxon_context *ctx = &priv->contexts[IWL_RXON_CTX_BSS];
 323         struct iwl_tx_cmd *tx_cmd;
 324         int txq_id;
 325
 326         u16 seq_number = 0;
 327         __le16 fc;
 328         u8 hdr_len;
 329         u16 len;
 330         u8 sta_id;
 331         u8 tid = 0;
 332         unsigned long flags;
 333         bool is_agg = false;
 334
 335         /*
 336          * If the frame needs to go out off-channel, then
 337          * we'll have put the PAN context to that channel,
 338          * so make the frame go out there.
 339          */
 340         if (info->flags & IEEE80211_TX_CTL_TX_OFFCHAN)
 341                 ctx = &priv->contexts[IWL_RXON_CTX_PAN];
 342         else if (info->control.vif)
 343                 ctx = iwl_rxon_ctx_from_vif(info->control.vif);
 344
 345         spin_lock_irqsave(&priv->lock, flags);
 346         if (iwl_is_rfkill(priv)) {
 347                 IWL_DEBUG_DROP(priv, "Dropping - RF KILL\n");
 348                 goto drop_unlock_priv;
 349         }
 350
 351         fc = hdr->frame_control;
 352
 353 #ifdef CONFIG_IWLWIFI_DEBUG
 354         if (ieee80211_is_auth(fc))
 355                 IWL_DEBUG_TX(priv, "Sending AUTH frame\n");
 356         else if (ieee80211_is_assoc_req(fc))
 357                 IWL_DEBUG_TX(priv, "Sending ASSOC frame\n");
 358         else if (ieee80211_is_reassoc_req(fc))
 359                 IWL_DEBUG_TX(priv, "Sending REASSOC frame\n");
 360 #endif
 361
 362         hdr_len = ieee80211_hdrlen(fc);
 363
 364         /* For management frames use broadcast id to do not break aggregation */
 365         if (!ieee80211_is_data(fc))
 366                 sta_id = ctx->bcast_sta_id;
 367         else {
 368                 /* Find index into station table for destination station */
 369                 sta_id = iwl_sta_id_or_broadcast(priv, ctx, info->control.sta);
 370                 if (sta_id == IWL_INVALID_STATION) {
 371                         IWL_DEBUG_DROP(priv, "Dropping - INVALID STATION: %pM\n",
 372                                        hdr->addr1);
 373                         goto drop_unlock_priv;
 374                 }
 375         }
 376
 377         IWL_DEBUG_TX(priv, "station Id %d\n", sta_id);
 378
 379         if (info->control.sta)
 380                 sta_priv = (void *)info->control.sta->drv_priv;
 381
 382         if (sta_priv && sta_priv->asleep &&
 383             (info->flags & IEEE80211_TX_CTL_PSPOLL_RESPONSE)) {
 384                 /*
 385                  * This sends an asynchronous command to the device,
 386                  * but we can rely on it being processed before the
 387                  * next frame is processed -- and the next frame to
 388                  * this station is the one that will consume this
 389                  * counter.
 390                  * For now set the counter to just 1 since we do not
 391                  * support uAPSD yet.
 392                  */
 393                 iwl_sta_modify_sleep_tx_count(priv, sta_id, 1);
 394         }
 395
 396         /*
 397          * Send this frame after DTIM -- there's a special queue
 398          * reserved for this for contexts that support AP mode.
 399          */
 400         if (info->flags & IEEE80211_TX_CTL_SEND_AFTER_DTIM) {
 401                 txq_id = ctx->mcast_queue;
 402                 /*
 403                  * The microcode will clear the more data
 404                  * bit in the last frame it transmits.
 405                  */
 406                 hdr->frame_control |=
 407                         cpu_to_le16(IEEE80211_FCTL_MOREDATA);
 408         } else
 409                 txq_id = ctx->ac_to_queue[skb_get_queue_mapping(skb)];
 410
 411         /* irqs already disabled/saved above when locking priv->lock */
 412         spin_lock(&priv->sta_lock);
 413
 414         if (ieee80211_is_data_qos(fc)) {
 415                 u8 *qc = NULL;
 416                 qc = ieee80211_get_qos_ctl(hdr);
 417                 tid = qc[0] & IEEE80211_QOS_CTL_TID_MASK;
 418
 419                 if (WARN_ON_ONCE(tid >= MAX_TID_COUNT))
 420                         goto drop_unlock_sta;
 421
 422                 seq_number = priv->stations[sta_id].tid[tid].seq_number;
 423                 seq_number &= IEEE80211_SCTL_SEQ;
 424                 hdr->seq_ctrl = hdr->seq_ctrl &
 425                                 cpu_to_le16(IEEE80211_SCTL_FRAG);
 426                 hdr->seq_ctrl |= cpu_to_le16(seq_number);
 427                 seq_number += 0x10;
 428                 /* aggregation is on for this <sta,tid> */
 429                 if (info->flags & IEEE80211_TX_CTL_AMPDU &&
 430                     priv->stations[sta_id].tid[tid].agg.state == IWL_AGG_ON) {
 431                         txq_id = priv->stations[sta_id].tid[tid].agg.txq_id;
 432                         is_agg = true;
 433                 }
 434         }
 435
 436         tx_cmd = trans_get_tx_cmd(&priv->trans, txq_id);
 437         if (unlikely(!tx_cmd))
 438                 goto drop_unlock_sta;
 439
 440         /* Copy MAC header from skb into command buffer */
 441         memcpy(tx_cmd->hdr, hdr, hdr_len);
 442
 443         /* Total # bytes to be transmitted */
 444         len = (u16)skb->len;
 445         tx_cmd->len = cpu_to_le16(len);
 446
 447         if (info->control.hw_key)
 448                 iwlagn_tx_cmd_build_hwcrypto(priv, info, tx_cmd, skb, sta_id);
 449
 450         /* TODO need this for burst mode later on */
 451         iwlagn_tx_cmd_build_basic(priv, skb, tx_cmd, info, hdr, sta_id);
 452         iwl_dbg_log_tx_data_frame(priv, len, hdr);
 453
 454         iwlagn_tx_cmd_build_rate(priv, tx_cmd, info, fc);
 455
 456         iwl_update_stats(priv, true, fc, len);
 457
 458         if (trans_tx(&priv->trans, skb, tx_cmd, txq_id, fc, is_agg, ctx))
 459                 goto drop_unlock_sta;
 460
 461         if (ieee80211_is_data_qos(fc)) {
 462                 priv->stations[sta_id].tid[tid].tfds_in_queue++;
 463                 if (!ieee80211_has_morefrags(fc))
 464                         priv->stations[sta_id].tid[tid].seq_number = seq_number;
 465         }
 466
 467         spin_unlock(&priv->sta_lock);
 468         spin_unlock_irqrestore(&priv->lock, flags);
 469
 470         /*
 471          * Avoid atomic ops if it isn't an associated client.
 472          * Also, if this is a packet for aggregation, don't
 473          * increase the counter because the ucode will stop
 474          * aggregation queues when their respective station
 475          * goes to sleep.
 476          */
 477         if (sta_priv && sta_priv->client && !is_agg)
 478                 atomic_inc(&sta_priv->pending_frames);
 479
 480         return 0;
 481
 482 drop_unlock_sta:
 483         spin_unlock(&priv->sta_lock);
 484 drop_unlock_priv:
 485         spin_unlock_irqrestore(&priv->lock, flags);
 486         return -1;
 487 }
 488
 489 /*
 490  * Find first available (lowest unused) Tx Queue, mark it "active".
 491  * Called only when finding queue for aggregation.
 492  * Should never return anything < 7, because they should already
 493  * be in use as EDCA AC (0-3), Command (4), reserved (5, 6)
 494  */
 495 static int iwlagn_txq_ctx_activate_free(struct iwl_priv *priv)
 496 {
 497         int txq_id;
 498
 499         for (txq_id = 0; txq_id < priv->hw_params.max_txq_num; txq_id++)
 500                 if (!test_and_set_bit(txq_id, &priv->txq_ctx_active_msk))
 501                         return txq_id;
 502         return -1;
 503 }
 504
 505 int iwlagn_tx_agg_start(struct iwl_priv *priv, struct ieee80211_vif *vif,
 506                         struct ieee80211_sta *sta, u16 tid, u16 *ssn)
 507 {
 508         int sta_id;
 509         int tx_fifo;
 510         int txq_id;
 511         int ret;
 512         unsigned long flags;
 513         struct iwl_tid_data *tid_data;
 514
 515         tx_fifo = get_fifo_from_tid(iwl_rxon_ctx_from_vif(vif), tid);
 516         if (unlikely(tx_fifo < 0))
 517                 return tx_fifo;
 518
 519         IWL_DEBUG_HT(priv, "TX AGG request on ra = %pM tid = %d\n",
 520                      sta->addr, tid);
 521
 522         sta_id = iwl_sta_id(sta);
 523         if (sta_id == IWL_INVALID_STATION) {
 524                 IWL_ERR(priv, "Start AGG on invalid station\n");
 525                 return -ENXIO;
 526         }
 527         if (unlikely(tid >= MAX_TID_COUNT))
 528                 return -EINVAL;
 529
 530         if (priv->stations[sta_id].tid[tid].agg.state != IWL_AGG_OFF) {
 531                 IWL_ERR(priv, "Start AGG when state is not IWL_AGG_OFF !\n");
 532                 return -ENXIO;
 533         }
 534
 535         txq_id = iwlagn_txq_ctx_activate_free(priv);
 536         if (txq_id == -1) {
 537                 IWL_ERR(priv, "No free aggregation queue available\n");
 538                 return -ENXIO;
 539         }
 540
 541         spin_lock_irqsave(&priv->sta_lock, flags);
 542         tid_data = &priv->stations[sta_id].tid[tid];
 543         *ssn = SEQ_TO_SN(tid_data->seq_number);
 544         tid_data->agg.txq_id = txq_id;
 545         tid_data->agg.tx_fifo = tx_fifo;
 546         iwl_set_swq_id(&priv->txq[txq_id], get_ac_from_tid(tid), txq_id);
 547         spin_unlock_irqrestore(&priv->sta_lock, flags);
 548
 549         ret = iwlagn_txq_agg_enable(priv, txq_id, sta_id, tid);
 550         if (ret)
 551                 return ret;
 552
 553         spin_lock_irqsave(&priv->sta_lock, flags);
 554         tid_data = &priv->stations[sta_id].tid[tid];
 555         if (tid_data->tfds_in_queue == 0) {
 556                 IWL_DEBUG_HT(priv, "HW queue is empty\n");
 557                 tid_data->agg.state = IWL_AGG_ON;
 558                 ieee80211_start_tx_ba_cb_irqsafe(vif, sta->addr, tid);
 559         } else {
 560                 IWL_DEBUG_HT(priv, "HW queue is NOT empty: %d packets in HW queue\n",
 561                              tid_data->tfds_in_queue);
 562                 tid_data->agg.state = IWL_EMPTYING_HW_QUEUE_ADDBA;
 563         }
 564         spin_unlock_irqrestore(&priv->sta_lock, flags);
 565         return ret;
 566 }
 567
 568 int iwlagn_tx_agg_stop(struct iwl_priv *priv, struct ieee80211_vif *vif,
 569                        struct ieee80211_sta *sta, u16 tid)
 570 {
 571         int tx_fifo_id, txq_id, sta_id, ssn;
 572         struct iwl_tid_data *tid_data;
 573         int write_ptr, read_ptr;
 574         unsigned long flags;
 575
 576         tx_fifo_id = get_fifo_from_tid(iwl_rxon_ctx_from_vif(vif), tid);
 577         if (unlikely(tx_fifo_id < 0))
 578                 return tx_fifo_id;
 579
 580         sta_id = iwl_sta_id(sta);
 581
 582         if (sta_id == IWL_INVALID_STATION) {
 583                 IWL_ERR(priv, "Invalid station for AGG tid %d\n", tid);
 584                 return -ENXIO;
 585         }
 586
 587         spin_lock_irqsave(&priv->sta_lock, flags);
 588
 589         tid_data = &priv->stations[sta_id].tid[tid];
 590         ssn = (tid_data->seq_number & IEEE80211_SCTL_SEQ) >> 4;
 591         txq_id = tid_data->agg.txq_id;
 592
 593         switch (priv->stations[sta_id].tid[tid].agg.state) {
 594         case IWL_EMPTYING_HW_QUEUE_ADDBA:
 595                 /*
 596                  * This can happen if the peer stops aggregation
 597                  * again before we've had a chance to drain the
 598                  * queue we selected previously, i.e. before the
 599                  * session was really started completely.
 600                  */
 601                 IWL_DEBUG_HT(priv, "AGG stop before setup done\n");
 602                 goto turn_off;
 603         case IWL_AGG_ON:
 604                 break;
 605         default:
 606                 IWL_WARN(priv, "Stopping AGG while state not ON or starting\n");
 607         }
 608
 609         write_ptr = priv->txq[txq_id].q.write_ptr;
 610         read_ptr = priv->txq[txq_id].q.read_ptr;
 611
 612         /* The queue is not empty */
 613         if (write_ptr != read_ptr) {
 614                 IWL_DEBUG_HT(priv, "Stopping a non empty AGG HW QUEUE\n");
 615                 priv->stations[sta_id].tid[tid].agg.state =
 616                                 IWL_EMPTYING_HW_QUEUE_DELBA;
 617                 spin_unlock_irqrestore(&priv->sta_lock, flags);
 618                 return 0;
 619         }
 620
 621         IWL_DEBUG_HT(priv, "HW queue is empty\n");
 622  turn_off:
 623         priv->stations[sta_id].tid[tid].agg.state = IWL_AGG_OFF;
 624
 625         /* do not restore/save irqs */
 626         spin_unlock(&priv->sta_lock);
 627         spin_lock(&priv->lock);
 628
 629         /*
 630          * the only reason this call can fail is queue number out of range,
 631          * which can happen if uCode is reloaded and all the station
 632          * information are lost. if it is outside the range, there is no need
 633          * to deactivate the uCode queue, just return "success" to allow
 634          *  mac80211 to clean up it own data.
 635          */
 636         trans_txq_agg_disable(&priv->trans, txq_id, ssn, tx_fifo_id);
 637         spin_unlock_irqrestore(&priv->lock, flags);
 638
 639         ieee80211_stop_tx_ba_cb_irqsafe(vif, sta->addr, tid);
 640
 641         return 0;
 642 }
 643
 644 int iwlagn_txq_check_empty(struct iwl_priv *priv,
 645                            int sta_id, u8 tid, int txq_id)
 646 {
 647         struct iwl_queue *q = &priv->txq[txq_id].q;
 648         u8 *addr = priv->stations[sta_id].sta.sta.addr;
 649         struct iwl_tid_data *tid_data = &priv->stations[sta_id].tid[tid];
 650         struct iwl_rxon_context *ctx;
 651
 652         ctx = &priv->contexts[priv->stations[sta_id].ctxid];
 653
 654         lockdep_assert_held(&priv->sta_lock);
 655
 656         switch (priv->stations[sta_id].tid[tid].agg.state) {
 657         case IWL_EMPTYING_HW_QUEUE_DELBA:
 658                 /* We are reclaiming the last packet of the */
 659                 /* aggregated HW queue */
 660                 if ((txq_id  == tid_data->agg.txq_id) &&
 661                     (q->read_ptr == q->write_ptr)) {
 662                         u16 ssn = SEQ_TO_SN(tid_data->seq_number);
 663                         int tx_fifo = get_fifo_from_tid(ctx, tid);
 664                         IWL_DEBUG_HT(priv, "HW queue empty: continue DELBA flow\n");
 665                         trans_txq_agg_disable(&priv->trans, txq_id,
 666                                 ssn, tx_fifo);
 667                         tid_data->agg.state = IWL_AGG_OFF;
 668                         ieee80211_stop_tx_ba_cb_irqsafe(ctx->vif, addr, tid);
 669                 }
 670                 break;
 671         case IWL_EMPTYING_HW_QUEUE_ADDBA:
 672                 /* We are reclaiming the last packet of the queue */
 673                 if (tid_data->tfds_in_queue == 0) {
 674                         IWL_DEBUG_HT(priv, "HW queue empty: continue ADDBA flow\n");
 675                         tid_data->agg.state = IWL_AGG_ON;
 676                         ieee80211_start_tx_ba_cb_irqsafe(ctx->vif, addr, tid);
 677                 }
 678                 break;
 679         }
 680
 681         return 0;
 682 }
 683
 684 static void iwlagn_non_agg_tx_status(struct iwl_priv *priv,
 685                                      struct iwl_rxon_context *ctx,
 686                                      const u8 *addr1)
 687 {
 688         struct ieee80211_sta *sta;
 689         struct iwl_station_priv *sta_priv;
 690
 691         rcu_read_lock();
 692         sta = ieee80211_find_sta(ctx->vif, addr1);
 693         if (sta) {
 694                 sta_priv = (void *)sta->drv_priv;
 695                 /* avoid atomic ops if this isn't a client */
 696                 if (sta_priv->client &&
 697                     atomic_dec_return(&sta_priv->pending_frames) == 0)
 698                         ieee80211_sta_block_awake(priv->hw, sta, false);
 699         }
 700         rcu_read_unlock();
 701 }
 702
 703 static void iwlagn_tx_status(struct iwl_priv *priv, struct iwl_tx_info *tx_info,
 704                              bool is_agg)
 705 {
 706         struct ieee80211_hdr *hdr = (struct ieee80211_hdr *) tx_info->skb->data;
 707
 708         if (!is_agg)
 709                 iwlagn_non_agg_tx_status(priv, tx_info->ctx, hdr->addr1);
 710
 711         ieee80211_tx_status_irqsafe(priv->hw, tx_info->skb);
 712 }
 713
 714 int iwlagn_tx_queue_reclaim(struct iwl_priv *priv, int txq_id, int index)
 715 {
 716         struct iwl_tx_queue *txq = &priv->txq[txq_id];
 717         struct iwl_queue *q = &txq->q;
 718         struct iwl_tx_info *tx_info;
 719         int nfreed = 0;
 720         struct ieee80211_hdr *hdr;
 721
 722         if ((index >= q->n_bd) || (iwl_queue_used(q, index) == 0)) {
 723                 IWL_ERR(priv, "%s: Read index for DMA queue txq id (%d), "
 724                           "index %d is out of range [0-%d] %d %d.\n", __func__,
 725                           txq_id, index, q->n_bd, q->write_ptr, q->read_ptr);
 726                 return 0;
 727         }
 728
 729         for (index = iwl_queue_inc_wrap(index, q->n_bd);
 730              q->read_ptr != index;
 731              q->read_ptr = iwl_queue_inc_wrap(q->read_ptr, q->n_bd)) {
 732
 733                 tx_info = &txq->txb[txq->q.read_ptr];
 734
 735                 if (WARN_ON_ONCE(tx_info->skb == NULL))
 736                         continue;
 737
 738                 hdr = (struct ieee80211_hdr *)tx_info->skb->data;
 739                 if (ieee80211_is_data_qos(hdr->frame_control))
 740                         nfreed++;
 741
 742                 iwlagn_tx_status(priv, tx_info,
 743                                  txq_id >= IWLAGN_FIRST_AMPDU_QUEUE);
 744                 tx_info->skb = NULL;
 745
 746                 iwlagn_txq_inval_byte_cnt_tbl(priv, txq);
 747
 748                 iwlagn_txq_free_tfd(priv, txq, txq->q.read_ptr);
 749         }
 750         return nfreed;
 751 }
 752
 753 /**
 754  * iwlagn_tx_status_reply_compressed_ba - Update tx status from block-ack
 755  *
 756  * Go through block-ack's bitmap of ACK'd frames, update driver's record of
 757  * ACK vs. not.  This gets sent to mac80211, then to rate scaling algo.
 758  */
 759 static int iwlagn_tx_status_reply_compressed_ba(struct iwl_priv *priv,
 760                                  struct iwl_ht_agg *agg,
 761                                  struct iwl_compressed_ba_resp *ba_resp)
 762
 763 {
 764         int sh;
 765         u16 seq_ctl = le16_to_cpu(ba_resp->seq_ctl);
 766         u16 scd_flow = le16_to_cpu(ba_resp->scd_flow);
 767         struct ieee80211_tx_info *info;
 768         u64 bitmap, sent_bitmap;
 769
 770         if (unlikely(!agg->wait_for_ba))  {
 771                 if (unlikely(ba_resp->bitmap))
 772                         IWL_ERR(priv, "Received BA when not expected\n");
 773                 return -EINVAL;
 774         }
 775
 776         /* Mark that the expected block-ack response arrived */
 777         agg->wait_for_ba = 0;
 778         IWL_DEBUG_TX_REPLY(priv, "BA %d %d\n", agg->start_idx, ba_resp->seq_ctl);
 779
 780         /* Calculate shift to align block-ack bits with our Tx window bits */
 781         sh = agg->start_idx - SEQ_TO_INDEX(seq_ctl >> 4);
 782         if (sh < 0)
 783                 sh += 0x100;
 784
 785         /*
 786          * Check for success or failure according to the
 787          * transmitted bitmap and block-ack bitmap
 788          */
 789         bitmap = le64_to_cpu(ba_resp->bitmap) >> sh;
 790         sent_bitmap = bitmap & agg->bitmap;
 791
 792         /* Sanity check values reported by uCode */
 793         if (ba_resp->txed_2_done > ba_resp->txed) {
 794                 IWL_DEBUG_TX_REPLY(priv,
 795                         "bogus sent(%d) and ack(%d) count\n",
 796                         ba_resp->txed, ba_resp->txed_2_done);
 797                 /*
 798                  * set txed_2_done = txed,
 799                  * so it won't impact rate scale
 800                  */
 801                 ba_resp->txed = ba_resp->txed_2_done;
 802         }
 803         IWL_DEBUG_HT(priv, "agg frames sent:%d, acked:%d\n",
 804                         ba_resp->txed, ba_resp->txed_2_done);
 805
 806         /* Find the first ACKed frame to store the TX status */
 807         while (sent_bitmap && !(sent_bitmap & 1)) {
 808                 agg->start_idx = (agg->start_idx + 1) & 0xff;
 809                 sent_bitmap >>= 1;
 810         }
 811
 812         info = IEEE80211_SKB_CB(priv->txq[scd_flow].txb[agg->start_idx].skb);
 813         memset(&info->status, 0, sizeof(info->status));
 814         info->flags |= IEEE80211_TX_STAT_ACK;
 815         info->flags |= IEEE80211_TX_STAT_AMPDU;
 816         info->status.ampdu_ack_len = ba_resp->txed_2_done;
 817         info->status.ampdu_len = ba_resp->txed;
 818         iwlagn_hwrate_to_tx_control(priv, agg->rate_n_flags, info);
 819
 820         return 0;
 821 }
 822
 823 /**
 824  * translate ucode response to mac80211 tx status control values
 825  */
 826 void iwlagn_hwrate_to_tx_control(struct iwl_priv *priv, u32 rate_n_flags,
 827                                   struct ieee80211_tx_info *info)
 828 {
 829         struct ieee80211_tx_rate *r = &info->control.rates[0];
 830
 831         info->antenna_sel_tx =
 832                 ((rate_n_flags & RATE_MCS_ANT_ABC_MSK) >> RATE_MCS_ANT_POS);
 833         if (rate_n_flags & RATE_MCS_HT_MSK)
 834                 r->flags |= IEEE80211_TX_RC_MCS;
 835         if (rate_n_flags & RATE_MCS_GF_MSK)
 836                 r->flags |= IEEE80211_TX_RC_GREEN_FIELD;
 837         if (rate_n_flags & RATE_MCS_HT40_MSK)
 838                 r->flags |= IEEE80211_TX_RC_40_MHZ_WIDTH;
 839         if (rate_n_flags & RATE_MCS_DUP_MSK)
 840                 r->flags |= IEEE80211_TX_RC_DUP_DATA;
 841         if (rate_n_flags & RATE_MCS_SGI_MSK)
 842                 r->flags |= IEEE80211_TX_RC_SHORT_GI;
 843         r->idx = iwlagn_hwrate_to_mac80211_idx(rate_n_flags, info->band);
 844 }
 845
 846 /**
 847  * iwlagn_rx_reply_compressed_ba - Handler for REPLY_COMPRESSED_BA
 848  *
 849  * Handles block-acknowledge notification from device, which reports success
 850  * of frames sent via aggregation.
 851  */
 852 void iwlagn_rx_reply_compressed_ba(struct iwl_priv *priv,
 853                                            struct iwl_rx_mem_buffer *rxb)
 854 {
 855         struct iwl_rx_packet *pkt = rxb_addr(rxb);
 856         struct iwl_compressed_ba_resp *ba_resp = &pkt->u.compressed_ba;
 857         struct iwl_tx_queue *txq = NULL;
 858         struct iwl_ht_agg *agg;
 859         int index;
 860         int sta_id;
 861         int tid;
 862         unsigned long flags;
 863
 864         /* "flow" corresponds to Tx queue */
 865         u16 scd_flow = le16_to_cpu(ba_resp->scd_flow);
 866
 867         /* "ssn" is start of block-ack Tx window, corresponds to index
 868          * (in Tx queue's circular buffer) of first TFD/frame in window */
 869         u16 ba_resp_scd_ssn = le16_to_cpu(ba_resp->scd_ssn);
 870
 871         if (scd_flow >= priv->hw_params.max_txq_num) {
 872                 IWL_ERR(priv,
 873                         "BUG_ON scd_flow is bigger than number of queues\n");
 874                 return;
 875         }
 876
 877         txq = &priv->txq[scd_flow];
 878         sta_id = ba_resp->sta_id;
 879         tid = ba_resp->tid;
 880         agg = &priv->stations[sta_id].tid[tid].agg;
 881         if (unlikely(agg->txq_id != scd_flow)) {
 882                 /*
 883                  * FIXME: this is a uCode bug which need to be addressed,
 884                  * log the information and return for now!
 885                  * since it is possible happen very often and in order
 886                  * not to fill the syslog, don't enable the logging by default
 887                  */
 888                 IWL_DEBUG_TX_REPLY(priv,
 889                         "BA scd_flow %d does not match txq_id %d\n",
 890                         scd_flow, agg->txq_id);
 891                 return;
 892         }
 893
 894         /* Find index just before block-ack window */
 895         index = iwl_queue_dec_wrap(ba_resp_scd_ssn & 0xff, txq->q.n_bd);
 896
 897         spin_lock_irqsave(&priv->sta_lock, flags);
 898
 899         IWL_DEBUG_TX_REPLY(priv, "REPLY_COMPRESSED_BA [%d] Received from %pM, "
 900                            "sta_id = %d\n",
 901                            agg->wait_for_ba,
 902                            (u8 *) &ba_resp->sta_addr_lo32,
 903                            ba_resp->sta_id);
 904         IWL_DEBUG_TX_REPLY(priv, "TID = %d, SeqCtl = %d, bitmap = 0x%llx, scd_flow = "
 905                            "%d, scd_ssn = %d\n",
 906                            ba_resp->tid,
 907                            ba_resp->seq_ctl,
 908                            (unsigned long long)le64_to_cpu(ba_resp->bitmap),
 909                            ba_resp->scd_flow,
 910                            ba_resp->scd_ssn);
 911         IWL_DEBUG_TX_REPLY(priv, "DAT start_idx = %d, bitmap = 0x%llx\n",
 912                            agg->start_idx,
 913                            (unsigned long long)agg->bitmap);
 914
 915         /* Update driver's record of ACK vs. not for each frame in window */
 916         iwlagn_tx_status_reply_compressed_ba(priv, agg, ba_resp);
 917
 918         /* Release all TFDs before the SSN, i.e. all TFDs in front of
 919          * block-ack window (we assume that they've been successfully
 920          * transmitted ... if not, it's too late anyway). */
 921         if (txq->q.read_ptr != (ba_resp_scd_ssn & 0xff)) {
 922                 /* calculate mac80211 ampdu sw queue to wake */
 923                 int freed = iwlagn_tx_queue_reclaim(priv, scd_flow, index);
 924                 iwl_free_tfds_in_queue(priv, sta_id, tid, freed);
 925
 926                 if ((iwl_queue_space(&txq->q) > txq->q.low_mark) &&
 927                     priv->mac80211_registered &&
 928                     (agg->state != IWL_EMPTYING_HW_QUEUE_DELBA))
 929                         iwl_wake_queue(priv, txq);
 930
 931                 iwlagn_txq_check_empty(priv, sta_id, tid, scd_flow);
 932         }
 933
 934         spin_unlock_irqrestore(&priv->sta_lock, flags);
 935 }
 936
 937 #ifdef CONFIG_IWLWIFI_DEBUG
 938 const char *iwl_get_tx_fail_reason(u32 status)
 939 {
 940 #define TX_STATUS_FAIL(x) case TX_STATUS_FAIL_ ## x: return #x
 941 #define TX_STATUS_POSTPONE(x) case TX_STATUS_POSTPONE_ ## x: return #x
 942
 943         switch (status & TX_STATUS_MSK) {
 944         case TX_STATUS_SUCCESS:
 945                 return "SUCCESS";
 946         TX_STATUS_POSTPONE(DELAY);
 947         TX_STATUS_POSTPONE(FEW_BYTES);
 948         TX_STATUS_POSTPONE(BT_PRIO);
 949         TX_STATUS_POSTPONE(QUIET_PERIOD);
 950         TX_STATUS_POSTPONE(CALC_TTAK);
 951         TX_STATUS_FAIL(INTERNAL_CROSSED_RETRY);
 952         TX_STATUS_FAIL(SHORT_LIMIT);
 953         TX_STATUS_FAIL(LONG_LIMIT);
 954         TX_STATUS_FAIL(FIFO_UNDERRUN);
 955         TX_STATUS_FAIL(DRAIN_FLOW);
 956         TX_STATUS_FAIL(RFKILL_FLUSH);
 957         TX_STATUS_FAIL(LIFE_EXPIRE);
 958         TX_STATUS_FAIL(DEST_PS);
 959         TX_STATUS_FAIL(HOST_ABORTED);
 960         TX_STATUS_FAIL(BT_RETRY);
 961         TX_STATUS_FAIL(STA_INVALID);
 962         TX_STATUS_FAIL(FRAG_DROPPED);
 963         TX_STATUS_FAIL(TID_DISABLE);
 964         TX_STATUS_FAIL(FIFO_FLUSHED);
 965         TX_STATUS_FAIL(INSUFFICIENT_CF_POLL);
 966         TX_STATUS_FAIL(PASSIVE_NO_RX);
 967         TX_STATUS_FAIL(NO_BEACON_ON_RADAR);
 968         }
 969
 970         return "UNKNOWN";
 971
 972 #undef TX_STATUS_FAIL
 973 #undef TX_STATUS_POSTPONE
 974 }
 975 #endif /* CONFIG_IWLWIFI_DEBUG */