netdev-provider: Apply batch object to netdev provider.
[cascardo/ovs.git] / lib / netdev.c
index 31998b3..405bf41 100644 (file)
@@ -31,6 +31,7 @@
 #include <sys/types.h>
 #endif
 
+#include "cmap.h"
 #include "coverage.h"
 #include "dpif.h"
 #include "dp-packet.h"
@@ -75,24 +76,20 @@ static struct ovs_mutex netdev_mutex = OVS_MUTEX_INITIALIZER;
 static struct shash netdev_shash OVS_GUARDED_BY(netdev_mutex)
     = SHASH_INITIALIZER(&netdev_shash);
 
-/* Protects 'netdev_classes' against insertions or deletions.
- *
- * This is a recursive mutex to allow recursive acquisition when calling into
- * providers.  For example, netdev_run() calls into provider 'run' functions,
- * which might reasonably want to call one of the netdev functions that takes
- * netdev_class_mutex. */
-static struct ovs_mutex netdev_class_mutex OVS_ACQ_BEFORE(netdev_mutex);
+/* Mutual exclusion of */
+static struct ovs_mutex netdev_class_mutex OVS_ACQ_BEFORE(netdev_mutex)
+    = OVS_MUTEX_INITIALIZER;
 
 /* Contains 'struct netdev_registered_class'es. */
-static struct hmap netdev_classes OVS_GUARDED_BY(netdev_class_mutex)
-    = HMAP_INITIALIZER(&netdev_classes);
+static struct cmap netdev_classes = CMAP_INITIALIZER;
 
 struct netdev_registered_class {
-    /* In 'netdev_classes', by class->type. */
-    struct hmap_node hmap_node OVS_GUARDED_BY(netdev_class_mutex);
-    const struct netdev_class *class OVS_GUARDED_BY(netdev_class_mutex);
-    /* Number of 'struct netdev's of this class. */
-    int ref_cnt OVS_GUARDED_BY(netdev_class_mutex);
+    struct cmap_node cmap_node; /* In 'netdev_classes', by class->type. */
+    const struct netdev_class *class;
+
+    /* Number of references: one for the class itself and one for every
+     * instance of the class. */
+    struct ovs_refcount refcnt;
 };
 
 /* This is set pretty low because we probably won't learn anything from the
@@ -114,40 +111,21 @@ netdev_n_rxq(const struct netdev *netdev)
     return netdev->n_rxq;
 }
 
-int
-netdev_requested_n_rxq(const struct netdev *netdev)
-{
-    return netdev->requested_n_rxq;
-}
-
 bool
 netdev_is_pmd(const struct netdev *netdev)
 {
     return netdev->netdev_class->is_pmd;
 }
 
-static void
-netdev_class_mutex_initialize(void)
-    OVS_EXCLUDED(netdev_class_mutex, netdev_mutex)
-{
-    static struct ovsthread_once once = OVSTHREAD_ONCE_INITIALIZER;
-
-    if (ovsthread_once_start(&once)) {
-        ovs_mutex_init_recursive(&netdev_class_mutex);
-        ovsthread_once_done(&once);
-    }
-}
-
 static void
 netdev_initialize(void)
-    OVS_EXCLUDED(netdev_class_mutex, netdev_mutex)
+    OVS_EXCLUDED(netdev_mutex)
 {
     static struct ovsthread_once once = OVSTHREAD_ONCE_INITIALIZER;
 
     if (ovsthread_once_start(&once)) {
-        netdev_class_mutex_initialize();
-
         fatal_signal_add_hook(restore_all_flags, NULL, NULL, true);
+
         netdev_vport_patch_register();
 
 #ifdef __linux__
@@ -165,8 +143,6 @@ netdev_initialize(void)
         netdev_register_provider(&netdev_internal_class);
         netdev_vport_tunnel_register();
 #endif
-        netdev_dpdk_register();
-
         ovsthread_once_done(&once);
     }
 }
@@ -177,18 +153,16 @@ netdev_initialize(void)
  * main poll loop. */
 void
 netdev_run(void)
-    OVS_EXCLUDED(netdev_class_mutex, netdev_mutex)
+    OVS_EXCLUDED(netdev_mutex)
 {
-    struct netdev_registered_class *rc;
-
     netdev_initialize();
-    ovs_mutex_lock(&netdev_class_mutex);
-    HMAP_FOR_EACH (rc, hmap_node, &netdev_classes) {
+
+    struct netdev_registered_class *rc;
+    CMAP_FOR_EACH (rc, cmap_node, &netdev_classes) {
         if (rc->class->run) {
             rc->class->run();
         }
     }
-    ovs_mutex_unlock(&netdev_class_mutex);
 }
 
 /* Arranges for poll_block() to wake up when netdev_run() needs to be called.
@@ -197,26 +171,23 @@ netdev_run(void)
  * main poll loop. */
 void
 netdev_wait(void)
-    OVS_EXCLUDED(netdev_class_mutex, netdev_mutex)
+    OVS_EXCLUDED(netdev_mutex)
 {
-    struct netdev_registered_class *rc;
+    netdev_initialize();
 
-    ovs_mutex_lock(&netdev_class_mutex);
-    HMAP_FOR_EACH (rc, hmap_node, &netdev_classes) {
+    struct netdev_registered_class *rc;
+    CMAP_FOR_EACH (rc, cmap_node, &netdev_classes) {
         if (rc->class->wait) {
             rc->class->wait();
         }
     }
-    ovs_mutex_unlock(&netdev_class_mutex);
 }
 
 static struct netdev_registered_class *
 netdev_lookup_class(const char *type)
-    OVS_REQ_RDLOCK(netdev_class_mutex)
 {
     struct netdev_registered_class *rc;
-
-    HMAP_FOR_EACH_WITH_HASH (rc, hmap_node, hash_string(type, 0),
+    CMAP_FOR_EACH_WITH_HASH (rc, cmap_node, hash_string(type, 0),
                              &netdev_classes) {
         if (!strcmp(type, rc->class->type)) {
             return rc;
@@ -233,7 +204,6 @@ netdev_register_provider(const struct netdev_class *new_class)
 {
     int error;
 
-    netdev_class_mutex_initialize();
     ovs_mutex_lock(&netdev_class_mutex);
     if (netdev_lookup_class(new_class->type)) {
         VLOG_WARN("attempted to register duplicate netdev provider: %s",
@@ -245,10 +215,10 @@ netdev_register_provider(const struct netdev_class *new_class)
             struct netdev_registered_class *rc;
 
             rc = xmalloc(sizeof *rc);
-            hmap_insert(&netdev_classes, &rc->hmap_node,
+            cmap_insert(&netdev_classes, &rc->cmap_node,
                         hash_string(new_class->type, 0));
             rc->class = new_class;
-            rc->ref_cnt = 0;
+            ovs_refcount_init(&rc->refcnt);
         } else {
             VLOG_ERR("failed to initialize %s network device class: %s",
                      new_class->type, ovs_strerror(error));
@@ -259,9 +229,12 @@ netdev_register_provider(const struct netdev_class *new_class)
     return error;
 }
 
-/* Unregisters a netdev provider.  'type' must have been previously
- * registered and not currently be in use by any netdevs.  After unregistration
- * new netdevs of that type cannot be opened using netdev_open(). */
+/* Unregisters a netdev provider.  'type' must have been previously registered
+ * and not currently be in use by any netdevs.  After unregistration new
+ * netdevs of that type cannot be opened using netdev_open().  (However, the
+ * provider may still be accessible from other threads until the next RCU grace
+ * period, so the caller must not free or re-register the same netdev_class
+ * until that has passed.) */
 int
 netdev_unregister_provider(const char *type)
     OVS_EXCLUDED(netdev_class_mutex, netdev_mutex)
@@ -277,16 +250,16 @@ netdev_unregister_provider(const char *type)
         VLOG_WARN("attempted to unregister a netdev provider that is not "
                   "registered: %s", type);
         error = EAFNOSUPPORT;
-    } else {
-        if (!rc->ref_cnt) {
-            hmap_remove(&netdev_classes, &rc->hmap_node);
-            free(rc);
-            error = 0;
-        } else {
-            VLOG_WARN("attempted to unregister in use netdev provider: %s",
-                      type);
-            error = EBUSY;
-        }
+    } else if (ovs_refcount_unref(&rc->refcnt) != 1) {
+        ovs_refcount_ref(&rc->refcnt);
+        VLOG_WARN("attempted to unregister in use netdev provider: %s",
+                  type);
+        error = EBUSY;
+    } else  {
+        cmap_remove(&netdev_classes, &rc->cmap_node,
+                    hash_string(rc->class->type, 0));
+        ovsrcu_postpone(free, rc);
+        error = 0;
     }
     ovs_mutex_unlock(&netdev_class_mutex);
 
@@ -299,16 +272,13 @@ void
 netdev_enumerate_types(struct sset *types)
     OVS_EXCLUDED(netdev_mutex)
 {
-    struct netdev_registered_class *rc;
-
     netdev_initialize();
     sset_clear(types);
 
-    ovs_mutex_lock(&netdev_class_mutex);
-    HMAP_FOR_EACH (rc, hmap_node, &netdev_classes) {
+    struct netdev_registered_class *rc;
+    CMAP_FOR_EACH (rc, cmap_node, &netdev_classes) {
         sset_add(types, rc->class->type);
     }
-    ovs_mutex_unlock(&netdev_class_mutex);
 }
 
 /* Check that the network device name is not the same as any of the registered
@@ -320,19 +290,15 @@ bool
 netdev_is_reserved_name(const char *name)
     OVS_EXCLUDED(netdev_mutex)
 {
-    struct netdev_registered_class *rc;
-
     netdev_initialize();
 
-    ovs_mutex_lock(&netdev_class_mutex);
-    HMAP_FOR_EACH (rc, hmap_node, &netdev_classes) {
+    struct netdev_registered_class *rc;
+    CMAP_FOR_EACH (rc, cmap_node, &netdev_classes) {
         const char *dpif_port = netdev_vport_class_get_dpif_port(rc->class);
         if (dpif_port && !strncmp(name, dpif_port, strlen(dpif_port))) {
-            ovs_mutex_unlock(&netdev_class_mutex);
             return true;
         }
     }
-    ovs_mutex_unlock(&netdev_class_mutex);
 
     if (!strncmp(name, "ovs-", 4)) {
         struct sset types;
@@ -368,34 +334,35 @@ netdev_open(const char *name, const char *type, struct netdev **netdevp)
 
     netdev_initialize();
 
-    ovs_mutex_lock(&netdev_class_mutex);
     ovs_mutex_lock(&netdev_mutex);
     netdev = shash_find_data(&netdev_shash, name);
     if (!netdev) {
         struct netdev_registered_class *rc;
 
         rc = netdev_lookup_class(type && type[0] ? type : "system");
-        if (rc) {
+        if (rc && ovs_refcount_try_ref_rcu(&rc->refcnt)) {
             netdev = rc->class->alloc();
             if (netdev) {
                 memset(netdev, 0, sizeof *netdev);
                 netdev->netdev_class = rc->class;
                 netdev->name = xstrdup(name);
                 netdev->change_seq = 1;
+                netdev->reconfigure_seq = seq_create();
+                netdev->last_reconfigure_seq =
+                    seq_read(netdev->reconfigure_seq);
                 netdev->node = shash_add(&netdev_shash, name, netdev);
 
                 /* By default enable one tx and rx queue per netdev. */
                 netdev->n_txq = netdev->netdev_class->send ? 1 : 0;
                 netdev->n_rxq = netdev->netdev_class->rxq_alloc ? 1 : 0;
-                netdev->requested_n_rxq = netdev->n_rxq;
 
                 ovs_list_init(&netdev->saved_flags_list);
 
                 error = rc->class->construct(netdev);
                 if (!error) {
-                    rc->ref_cnt++;
                     netdev_change_seq_changed(netdev);
                 } else {
+                    ovs_refcount_unref(&rc->refcnt);
                     free(netdev->name);
                     ovs_assert(ovs_list_is_empty(&netdev->saved_flags_list));
                     shash_delete(&netdev_shash, netdev->node);
@@ -420,7 +387,6 @@ netdev_open(const char *name, const char *type, struct netdev **netdevp)
         *netdevp = NULL;
     }
     ovs_mutex_unlock(&netdev_mutex);
-    ovs_mutex_unlock(&netdev_class_mutex);
 
     return error;
 }
@@ -530,14 +496,12 @@ netdev_unref(struct netdev *dev)
             shash_delete(&netdev_shash, dev->node);
         }
         free(dev->name);
+        seq_destroy(dev->reconfigure_seq);
         dev->netdev_class->dealloc(dev);
         ovs_mutex_unlock(&netdev_mutex);
 
-        ovs_mutex_lock(&netdev_class_mutex);
         rc = netdev_lookup_class(class->type);
-        ovs_assert(rc->ref_cnt > 0);
-        rc->ref_cnt--;
-        ovs_mutex_unlock(&netdev_class_mutex);
+        ovs_refcount_unref(&rc->refcnt);
     } else {
         ovs_mutex_unlock(&netdev_mutex);
     }
@@ -657,15 +621,15 @@ netdev_rxq_close(struct netdev_rxq *rx)
  * Returns EAGAIN immediately if no packet is ready to be received or another
  * positive errno value if an error was encountered. */
 int
-netdev_rxq_recv(struct netdev_rxq *rx, struct dp_packet **pkts, int *cnt)
+netdev_rxq_recv(struct netdev_rxq *rx, struct dp_packet_batch *batch)
 {
     int retval;
 
-    retval = rx->netdev->netdev_class->rxq_recv(rx, pkts, cnt);
+    retval = rx->netdev->netdev_class->rxq_recv(rx,  batch);
     if (!retval) {
         COVERAGE_INC(netdev_received);
     } else {
-        *cnt = 0;
+        batch->count = 0;
     }
     return retval;
 }
@@ -687,44 +651,37 @@ netdev_rxq_drain(struct netdev_rxq *rx)
             : 0);
 }
 
-/* Configures the number of tx queues and rx queues of 'netdev'.
- * Return 0 if successful, otherwise a positive errno value.
- *
- * 'n_rxq' specifies the maximum number of receive queues to create.
- * The netdev provider might choose to create less (e.g. if the hardware
- * supports only a smaller number).  The caller can check how many have been
- * actually created by calling 'netdev_n_rxq()'
+/* Configures the number of tx queues of 'netdev'. Returns 0 if successful,
+ * otherwise a positive errno value.
  *
  * 'n_txq' specifies the exact number of transmission queues to create.
  * If this function returns successfully, the caller can make 'n_txq'
  * concurrent calls to netdev_send() (each one with a different 'qid' in the
  * range [0..'n_txq'-1]).
  *
- * On error, the tx queue and rx queue configuration is indeterminant.
- * Caller should make decision on whether to restore the previous or
- * the default configuration.  Also, caller must make sure there is no
- * other thread accessing the queues at the same time. */
+ * The change might not effective immediately.  The caller must check if a
+ * reconfiguration is required with netdev_is_reconf_required() and eventually
+ * call netdev_reconfigure() before using the new queues.
+ *
+ * On error, the tx queue configuration is unchanged */
 int
-netdev_set_multiq(struct netdev *netdev, unsigned int n_txq,
-                  unsigned int n_rxq)
+netdev_set_tx_multiq(struct netdev *netdev, unsigned int n_txq)
 {
     int error;
 
-    error = (netdev->netdev_class->set_multiq
-             ? netdev->netdev_class->set_multiq(netdev,
-                                                MAX(n_txq, 1),
-                                                MAX(n_rxq, 1))
+    error = (netdev->netdev_class->set_tx_multiq
+             ? netdev->netdev_class->set_tx_multiq(netdev, MAX(n_txq, 1))
              : EOPNOTSUPP);
 
     if (error && error != EOPNOTSUPP) {
-        VLOG_DBG_RL(&rl, "failed to set tx/rx queue for network device %s:"
+        VLOG_DBG_RL(&rl, "failed to set tx queue for network device %s:"
                     "%s", netdev_get_name(netdev), ovs_strerror(error));
     }
 
     return error;
 }
 
-/* Sends 'buffers' on 'netdev'.  Returns 0 if successful (for every packet),
+/* Sends 'batch' on 'netdev'.  Returns 0 if successful (for every packet),
  * otherwise a positive errno value.  Returns EAGAIN without blocking if
  * at least one the packets cannot be queued immediately.  Returns EMSGSIZE
  * if a partial packet was transmitted or if a packet is too big or too small
@@ -746,60 +703,72 @@ netdev_set_multiq(struct netdev *netdev, unsigned int n_txq,
  * Some network devices may not implement support for this function.  In such
  * cases this function will always return EOPNOTSUPP. */
 int
-netdev_send(struct netdev *netdev, int qid, struct dp_packet **buffers,
-            int cnt, bool may_steal)
+netdev_send(struct netdev *netdev, int qid, struct dp_packet_batch *batch,
+            bool may_steal)
 {
     if (!netdev->netdev_class->send) {
-        if (may_steal) {
-            for (int i = 0; i < cnt; i++) {
-                dp_packet_delete(buffers[i]);
-            }
-        }
+        dp_packet_delete_batch(batch, may_steal);
         return EOPNOTSUPP;
     }
 
-    int error = netdev->netdev_class->send(netdev, qid, buffers, cnt,
-                                           may_steal);
+    int error = netdev->netdev_class->send(netdev, qid, batch, may_steal);
     if (!error) {
         COVERAGE_INC(netdev_sent);
+        if (!may_steal) {
+            dp_packet_batch_reset_cutlen(batch);
+        }
     }
     return error;
 }
 
-int
-netdev_pop_header(struct netdev *netdev, struct dp_packet **buffers, int cnt)
+void
+netdev_pop_header(struct netdev *netdev, struct dp_packet_batch *batch)
 {
-    int i;
+    int i, n_cnt = 0;
+    struct dp_packet **buffers = batch->packets;
 
     if (!netdev->netdev_class->pop_header) {
-        return EOPNOTSUPP;
+        dp_packet_delete_batch(batch, true);
+        batch->count = 0;
+        return;
     }
 
-    for (i = 0; i < cnt; i++) {
-        int err;
-
-        err = netdev->netdev_class->pop_header(buffers[i]);
-        if (err) {
-            dp_packet_clear(buffers[i]);
+    for (i = 0; i < batch->count; i++) {
+        buffers[i] = netdev->netdev_class->pop_header(buffers[i]);
+        if (buffers[i]) {
+            buffers[n_cnt++] = buffers[i];
         }
     }
+    batch->count = n_cnt;
+}
 
-    return 0;
+void
+netdev_init_tnl_build_header_params(struct netdev_tnl_build_header_params *params,
+                                    const struct flow *tnl_flow,
+                                    const struct in6_addr *src,
+                                    struct eth_addr dmac,
+                                    struct eth_addr smac)
+{
+    params->flow = tnl_flow;
+    params->dmac = dmac;
+    params->smac = smac;
+    params->s_ip = src;
+    params->is_ipv6 = !IN6_IS_ADDR_V4MAPPED(src);
 }
 
-int
-netdev_build_header(const struct netdev *netdev, struct ovs_action_push_tnl *data,
-                    const struct flow *tnl_flow)
+int netdev_build_header(const struct netdev *netdev,
+                        struct ovs_action_push_tnl *data,
+                        const struct netdev_tnl_build_header_params *params)
 {
     if (netdev->netdev_class->build_header) {
-        return netdev->netdev_class->build_header(netdev, data, tnl_flow);
+        return netdev->netdev_class->build_header(netdev, data, params);
     }
     return EOPNOTSUPP;
 }
 
 int
 netdev_push_header(const struct netdev *netdev,
-                   struct dp_packet **buffers, int cnt,
+                   struct dp_packet_batch *batch,
                    const struct ovs_action_push_tnl *data)
 {
     int i;
@@ -808,9 +777,9 @@ netdev_push_header(const struct netdev *netdev,
         return -EINVAL;
     }
 
-    for (i = 0; i < cnt; i++) {
-        netdev->netdev_class->push_header(buffers[i], data);
-        pkt_metadata_init(&buffers[i]->md, u32_to_odp(data->out_port));
+    for (i = 0; i < batch->count; i++) {
+        netdev->netdev_class->push_header(batch->packets[i], data);
+        pkt_metadata_init(&batch->packets[i]->md, u32_to_odp(data->out_port));
     }
 
     return 0;
@@ -1333,11 +1302,16 @@ netdev_get_stats(const struct netdev *netdev, struct netdev_stats *stats)
 {
     int error;
 
+    /* Statistics are initialized before passing it to particular device
+     * implementation so all values are filtered out by default. */
+    memset(stats, 0xFF, sizeof *stats);
+
     COVERAGE_INC(netdev_get_stats);
     error = (netdev->netdev_class->get_stats
              ? netdev->netdev_class->get_stats(netdev, stats)
              : EOPNOTSUPP);
     if (error) {
+        /* In case of error all statistics are filtered out */
         memset(stats, 0xff, sizeof *stats);
     }
     return error;
@@ -1882,12 +1856,14 @@ netdev_get_addrs(const char dev[], struct in6_addr **paddr,
     }
 
     for (ifa = if_addr_list; ifa; ifa = ifa->ifa_next) {
-        int family;
+        if (ifa->ifa_addr != NULL) {
+            int family;
 
-        family = ifa->ifa_addr->sa_family;
-        if (family == AF_INET || family == AF_INET6) {
-            if (!strncmp(ifa->ifa_name, dev, IFNAMSIZ)) {
-                cnt++;
+            family = ifa->ifa_addr->sa_family;
+            if (family == AF_INET || family == AF_INET6) {
+                if (!strncmp(ifa->ifa_name, dev, IFNAMSIZ)) {
+                    cnt++;
+                }
             }
         }
     }
@@ -1901,7 +1877,7 @@ netdev_get_addrs(const char dev[], struct in6_addr **paddr,
     for (ifa = if_addr_list; ifa; ifa = ifa->ifa_next) {
         int family;
 
-        if (strncmp(ifa->ifa_name, dev, IFNAMSIZ)) {
+        if (strncmp(ifa->ifa_name, dev, IFNAMSIZ) || ifa->ifa_addr == NULL) {
             continue;
         }
 
@@ -1936,3 +1912,38 @@ netdev_get_addrs(const char dev[], struct in6_addr **paddr,
     return 0;
 }
 #endif
+
+void
+netdev_wait_reconf_required(struct netdev *netdev)
+{
+    seq_wait(netdev->reconfigure_seq, netdev->last_reconfigure_seq);
+}
+
+bool
+netdev_is_reconf_required(struct netdev *netdev)
+{
+    return seq_read(netdev->reconfigure_seq) != netdev->last_reconfigure_seq;
+}
+
+/* Give a chance to 'netdev' to reconfigure some of its parameters.
+ *
+ * If a module uses netdev_send() and netdev_rxq_recv(), it must call this
+ * function when netdev_is_reconf_required() returns true.
+ *
+ * Return 0 if successful, otherwise a positive errno value.  If the
+ * reconfiguration fails the netdev will not be able to send or receive
+ * packets.
+ *
+ * When this function is called, no call to netdev_rxq_recv() or netdev_send()
+ * must be issued. */
+int
+netdev_reconfigure(struct netdev *netdev)
+{
+    const struct netdev_class *class = netdev->netdev_class;
+
+    netdev->last_reconfigure_seq = seq_read(netdev->reconfigure_seq);
+
+    return (class->reconfigure
+            ? class->reconfigure(netdev)
+            : EOPNOTSUPP);
+}