ofproto-dpif-xlate: Move initialization of 'in_port' closer to first use.
[cascardo/ovs.git] / ofproto / ofproto-dpif-xlate.c
1 /* Copyright (c) 2009, 2010, 2011, 2012, 2013, 2014, 2015 Nicira, Inc.
2  *
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License. */
14
15 #include <config.h>
16
17 #include "ofproto/ofproto-dpif-xlate.h"
18
19 #include <errno.h>
20 #include <arpa/inet.h>
21 #include <net/if.h>
22 #include <sys/socket.h>
23 #include <netinet/in.h>
24
25 #include "tnl-arp-cache.h"
26 #include "bfd.h"
27 #include "bitmap.h"
28 #include "bond.h"
29 #include "bundle.h"
30 #include "byte-order.h"
31 #include "cfm.h"
32 #include "connmgr.h"
33 #include "coverage.h"
34 #include "dp-packet.h"
35 #include "dpif.h"
36 #include "dynamic-string.h"
37 #include "in-band.h"
38 #include "lacp.h"
39 #include "learn.h"
40 #include "list.h"
41 #include "ovs-lldp.h"
42 #include "mac-learning.h"
43 #include "mcast-snooping.h"
44 #include "meta-flow.h"
45 #include "multipath.h"
46 #include "netdev-vport.h"
47 #include "netlink.h"
48 #include "nx-match.h"
49 #include "odp-execute.h"
50 #include "ofp-actions.h"
51 #include "ofproto/ofproto-dpif-ipfix.h"
52 #include "ofproto/ofproto-dpif-mirror.h"
53 #include "ofproto/ofproto-dpif-monitor.h"
54 #include "ofproto/ofproto-dpif-sflow.h"
55 #include "ofproto/ofproto-dpif.h"
56 #include "ofproto/ofproto-provider.h"
57 #include "ovs-router.h"
58 #include "tnl-ports.h"
59 #include "tunnel.h"
60 #include "openvswitch/vlog.h"
61
62 COVERAGE_DEFINE(xlate_actions);
63 COVERAGE_DEFINE(xlate_actions_oversize);
64 COVERAGE_DEFINE(xlate_actions_too_many_output);
65
66 VLOG_DEFINE_THIS_MODULE(ofproto_dpif_xlate);
67
68 /* Maximum depth of flow table recursion (due to resubmit actions) in a
69  * flow translation. */
70 #define MAX_RESUBMIT_RECURSION 64
71 #define MAX_INTERNAL_RESUBMITS 1   /* Max resbmits allowed using rules in
72                                       internal table. */
73
74 /* Maximum number of resubmit actions in a flow translation, whether they are
75  * recursive or not. */
76 #define MAX_RESUBMITS (MAX_RESUBMIT_RECURSION * MAX_RESUBMIT_RECURSION)
77
78 struct xbridge {
79     struct hmap_node hmap_node;   /* Node in global 'xbridges' map. */
80     struct ofproto_dpif *ofproto; /* Key in global 'xbridges' map. */
81
82     struct ovs_list xbundles;     /* Owned xbundles. */
83     struct hmap xports;           /* Indexed by ofp_port. */
84
85     char *name;                   /* Name used in log messages. */
86     struct dpif *dpif;            /* Datapath interface. */
87     struct mac_learning *ml;      /* Mac learning handle. */
88     struct mcast_snooping *ms;    /* Multicast Snooping handle. */
89     struct mbridge *mbridge;      /* Mirroring. */
90     struct dpif_sflow *sflow;     /* SFlow handle, or null. */
91     struct dpif_ipfix *ipfix;     /* Ipfix handle, or null. */
92     struct netflow *netflow;      /* Netflow handle, or null. */
93     struct stp *stp;              /* STP or null if disabled. */
94     struct rstp *rstp;            /* RSTP or null if disabled. */
95
96     bool has_in_band;             /* Bridge has in band control? */
97     bool forward_bpdu;            /* Bridge forwards STP BPDUs? */
98
99     /* Datapath feature support. */
100     struct dpif_backer_support support;
101 };
102
103 struct xbundle {
104     struct hmap_node hmap_node;    /* In global 'xbundles' map. */
105     struct ofbundle *ofbundle;     /* Key in global 'xbundles' map. */
106
107     struct ovs_list list_node;     /* In parent 'xbridges' list. */
108     struct xbridge *xbridge;       /* Parent xbridge. */
109
110     struct ovs_list xports;        /* Contains "struct xport"s. */
111
112     char *name;                    /* Name used in log messages. */
113     struct bond *bond;             /* Nonnull iff more than one port. */
114     struct lacp *lacp;             /* LACP handle or null. */
115
116     enum port_vlan_mode vlan_mode; /* VLAN mode. */
117     int vlan;                      /* -1=trunk port, else a 12-bit VLAN ID. */
118     unsigned long *trunks;         /* Bitmap of trunked VLANs, if 'vlan' == -1.
119                                     * NULL if all VLANs are trunked. */
120     bool use_priority_tags;        /* Use 802.1p tag for frames in VLAN 0? */
121     bool floodable;                /* No port has OFPUTIL_PC_NO_FLOOD set? */
122 };
123
124 struct xport {
125     struct hmap_node hmap_node;      /* Node in global 'xports' map. */
126     struct ofport_dpif *ofport;      /* Key in global 'xports map. */
127
128     struct hmap_node ofp_node;       /* Node in parent xbridge 'xports' map. */
129     ofp_port_t ofp_port;             /* Key in parent xbridge 'xports' map. */
130
131     odp_port_t odp_port;             /* Datapath port number or ODPP_NONE. */
132
133     struct ovs_list bundle_node;     /* In parent xbundle (if it exists). */
134     struct xbundle *xbundle;         /* Parent xbundle or null. */
135
136     struct netdev *netdev;           /* 'ofport''s netdev. */
137
138     struct xbridge *xbridge;         /* Parent bridge. */
139     struct xport *peer;              /* Patch port peer or null. */
140
141     enum ofputil_port_config config; /* OpenFlow port configuration. */
142     enum ofputil_port_state state;   /* OpenFlow port state. */
143     int stp_port_no;                 /* STP port number or -1 if not in use. */
144     struct rstp_port *rstp_port;     /* RSTP port or null. */
145
146     struct hmap skb_priorities;      /* Map of 'skb_priority_to_dscp's. */
147
148     bool may_enable;                 /* May be enabled in bonds. */
149     bool is_tunnel;                  /* Is a tunnel port. */
150
151     struct cfm *cfm;                 /* CFM handle or null. */
152     struct bfd *bfd;                 /* BFD handle or null. */
153     struct lldp *lldp;               /* LLDP handle or null. */
154 };
155
156 struct xlate_ctx {
157     struct xlate_in *xin;
158     struct xlate_out *xout;
159
160     const struct xbridge *xbridge;
161
162     /* Flow tables version at the beginning of the translation. */
163     cls_version_t tables_version;
164
165     /* Flow at the last commit. */
166     struct flow base_flow;
167
168     /* Tunnel IP destination address as received.  This is stored separately
169      * as the base_flow.tunnel is cleared on init to reflect the datapath
170      * behavior.  Used to make sure not to send tunneled output to ourselves,
171      * which might lead to an infinite loop.  This could happen easily
172      * if a tunnel is marked as 'ip_remote=flow', and the flow does not
173      * actually set the tun_dst field. */
174     ovs_be32 orig_tunnel_ip_dst;
175
176     /* Stack for the push and pop actions.  Each stack element is of type
177      * "union mf_subvalue". */
178     struct ofpbuf stack;
179
180     /* The rule that we are currently translating, or NULL. */
181     struct rule_dpif *rule;
182
183     /* Flow translation populates this with wildcards relevant in translation.
184      * When 'xin->wc' is nonnull, this is the same pointer.  When 'xin->wc' is
185      * null, this is a pointer to uninitialized scratch memory.  This allows
186      * code to blindly write to 'ctx->wc' without worrying about whether the
187      * caller really wants wildcards. */
188     struct flow_wildcards *wc;
189
190     /* Output buffer for datapath actions.  When 'xin->odp_actions' is nonnull,
191      * this is the same pointer.  When 'xin->odp_actions' is null, this points
192      * to a scratch ofpbuf.  This allows code to add actions to
193      * 'ctx->odp_actions' without worrying about whether the caller really
194      * wants actions. */
195     struct ofpbuf *odp_actions;
196
197     /* Resubmit statistics, via xlate_table_action(). */
198     int recurse;                /* Current resubmit nesting depth. */
199     int resubmits;              /* Total number of resubmits. */
200     bool in_group;              /* Currently translating ofgroup, if true. */
201     bool in_action_set;         /* Currently translating action_set, if true. */
202
203     uint8_t table_id;           /* OpenFlow table ID where flow was found. */
204     ovs_be64 rule_cookie;       /* Cookie of the rule being translated. */
205     uint32_t orig_skb_priority; /* Priority when packet arrived. */
206     uint32_t sflow_n_outputs;   /* Number of output ports. */
207     odp_port_t sflow_odp_port;  /* Output port for composing sFlow action. */
208     ofp_port_t nf_output_iface; /* Output interface index for NetFlow. */
209     bool exit;                  /* No further actions should be processed. */
210     mirror_mask_t mirrors;      /* Bitmap of associated mirrors. */
211
212    /* These are used for non-bond recirculation.  The recirculation IDs are
213     * stored in xout and must be associated with a datapath flow (ukey),
214     * otherwise they will be freed when the xout is uninitialized.
215     *
216     *
217     * Steps in Recirculation Translation
218     * ==================================
219     *
220     * At some point during translation, the code recognizes the need for
221     * recirculation.  For example, recirculation is necessary when, after
222     * popping the last MPLS label, an action or a match tries to examine or
223     * modify a field that has been newly revealed following the MPLS label.
224     *
225     * The simplest part of the work to be done is to commit existing changes to
226     * the packet, which produces datapath actions corresponding to the changes,
227     * and after this, add an OVS_ACTION_ATTR_RECIRC datapath action.
228     *
229     * The main problem here is preserving state.  When the datapath executes
230     * OVS_ACTION_ATTR_RECIRC, it will upcall to userspace to get a translation
231     * for the post-recirculation actions.  At this point userspace has to
232     * resume the translation where it left off, which means that it has to
233     * execute the following:
234     *
235     *     - The action that prompted recirculation, and any actions following
236     *       it within the same flow.
237     *
238     *     - If the action that prompted recirculation was invoked within a
239     *       NXAST_RESUBMIT, then any actions following the resubmit.  These
240     *       "resubmit"s can be nested, so this has to go all the way up the
241     *       control stack.
242     *
243     *     - The OpenFlow 1.1+ action set.
244     *
245     * State that actions and flow table lookups can depend on, such as the
246     * following, must also be preserved:
247     *
248     *     - Metadata fields (input port, registers, OF1.1+ metadata, ...).
249     *
250     *     - Action set, stack
251     *
252     *     - The table ID and cookie of the flow being translated at each level
253     *       of the control stack (since OFPAT_CONTROLLER actions send these to
254     *       the controller).
255     *
256     * Translation allows for the control of this state preservation via these
257     * members.  When a need for recirculation is identified, the translation
258     * process:
259     *
260     * 1. Sets 'recirc_action_offset' to the current size of 'action_set'.  The
261     *    action set is part of what needs to be preserved, so this allows the
262     *    action set and the additional state to share the 'action_set' buffer.
263     *    Later steps can tell that setup for recirculation is in progress from
264     *    the nonnegative value of 'recirc_action_offset'.
265     *
266     * 2. Sets 'exit' to true to tell later steps that we're exiting from the
267     *    translation process.
268     *
269     * 3. Adds an OFPACT_UNROLL_XLATE action to 'action_set'.  This action
270     *    holds the current table ID and cookie so that they can be restored
271     *    during a post-recirculation upcall translation.
272     *
273     * 4. Adds the action that prompted recirculation and any actions following
274     *    it within the same flow to 'action_set', so that they can be executed
275     *    during a post-recirculation upcall translation.
276     *
277     * 5. Returns.
278     *
279     * 6. The action that prompted recirculation might be nested in a stack of
280     *    nested "resubmit"s that have actions remaining.  Each of these notices
281     *    that we're exiting (from 'exit') and that recirculation setup is in
282     *    progress (from 'recirc_action_offset') and responds by adding more
283     *    OFPACT_UNROLL_XLATE actions to 'action_set', as necessary, and any
284     *    actions that were yet unprocessed.
285     *
286     * The caller stores all the state produced by this process associated with
287     * the recirculation ID.  For post-recirculation upcall translation, the
288     * caller passes it back in for the new translation to execute.  The
289     * process yielded a set of ofpacts that can be translated directly, so it
290     * is not much of a special case at that point.
291     */
292     int recirc_action_offset;   /* Offset in 'action_set' to actions to be
293                                  * executed after recirculation, or -1. */
294     int last_unroll_offset;     /* Offset in 'action_set' to the latest unroll
295                                  * action, or -1. */
296
297     /* True if a packet was but is no longer MPLS (due to an MPLS pop action).
298      * This is a trigger for recirculation in cases where translating an action
299      * or looking up a flow requires access to the fields of the packet after
300      * the MPLS label stack that was originally present. */
301     bool was_mpls;
302
303     /* OpenFlow 1.1+ action set.
304      *
305      * 'action_set' accumulates "struct ofpact"s added by OFPACT_WRITE_ACTIONS.
306      * When translation is otherwise complete, ofpacts_execute_action_set()
307      * converts it to a set of "struct ofpact"s that can be translated into
308      * datapath actions. */
309     bool action_set_has_group;  /* Action set contains OFPACT_GROUP? */
310     struct ofpbuf action_set;   /* Action set. */
311 };
312
313 static void xlate_action_set(struct xlate_ctx *ctx);
314
315 static void
316 ctx_trigger_recirculation(struct xlate_ctx *ctx)
317 {
318     ctx->exit = true;
319     ctx->recirc_action_offset = ctx->action_set.size;
320 }
321
322 static bool
323 ctx_first_recirculation_action(const struct xlate_ctx *ctx)
324 {
325     return ctx->recirc_action_offset == ctx->action_set.size;
326 }
327
328 static inline bool
329 exit_recirculates(const struct xlate_ctx *ctx)
330 {
331     /* When recirculating the 'recirc_action_offset' has a non-negative value.
332      */
333     return ctx->recirc_action_offset >= 0;
334 }
335
336 static void compose_recirculate_action(struct xlate_ctx *ctx);
337
338 /* A controller may use OFPP_NONE as the ingress port to indicate that
339  * it did not arrive on a "real" port.  'ofpp_none_bundle' exists for
340  * when an input bundle is needed for validation (e.g., mirroring or
341  * OFPP_NORMAL processing).  It is not connected to an 'ofproto' or have
342  * any 'port' structs, so care must be taken when dealing with it. */
343 static struct xbundle ofpp_none_bundle = {
344     .name      = "OFPP_NONE",
345     .vlan_mode = PORT_VLAN_TRUNK
346 };
347
348 /* Node in 'xport''s 'skb_priorities' map.  Used to maintain a map from
349  * 'priority' (the datapath's term for QoS queue) to the dscp bits which all
350  * traffic egressing the 'ofport' with that priority should be marked with. */
351 struct skb_priority_to_dscp {
352     struct hmap_node hmap_node; /* Node in 'ofport_dpif''s 'skb_priorities'. */
353     uint32_t skb_priority;      /* Priority of this queue (see struct flow). */
354
355     uint8_t dscp;               /* DSCP bits to mark outgoing traffic with. */
356 };
357
358 enum xc_type {
359     XC_RULE,
360     XC_BOND,
361     XC_NETDEV,
362     XC_NETFLOW,
363     XC_MIRROR,
364     XC_LEARN,
365     XC_NORMAL,
366     XC_FIN_TIMEOUT,
367     XC_GROUP,
368     XC_TNL_ARP,
369 };
370
371 /* xlate_cache entries hold enough information to perform the side effects of
372  * xlate_actions() for a rule, without needing to perform rule translation
373  * from scratch. The primary usage of these is to submit statistics to objects
374  * that a flow relates to, although they may be used for other effects as well
375  * (for instance, refreshing hard timeouts for learned flows). */
376 struct xc_entry {
377     enum xc_type type;
378     union {
379         struct rule_dpif *rule;
380         struct {
381             struct netdev *tx;
382             struct netdev *rx;
383             struct bfd *bfd;
384         } dev;
385         struct {
386             struct netflow *netflow;
387             struct flow *flow;
388             ofp_port_t iface;
389         } nf;
390         struct {
391             struct mbridge *mbridge;
392             mirror_mask_t mirrors;
393         } mirror;
394         struct {
395             struct bond *bond;
396             struct flow *flow;
397             uint16_t vid;
398         } bond;
399         struct {
400             struct ofproto_dpif *ofproto;
401             struct ofputil_flow_mod *fm;
402             struct ofpbuf *ofpacts;
403         } learn;
404         struct {
405             struct ofproto_dpif *ofproto;
406             struct flow *flow;
407             int vlan;
408         } normal;
409         struct {
410             struct rule_dpif *rule;
411             uint16_t idle;
412             uint16_t hard;
413         } fin;
414         struct {
415             struct group_dpif *group;
416             struct ofputil_bucket *bucket;
417         } group;
418         struct {
419             char br_name[IFNAMSIZ];
420             ovs_be32 d_ip;
421         } tnl_arp_cache;
422     } u;
423 };
424
425 #define XC_ENTRY_FOR_EACH(entry, entries, xcache)               \
426     entries = xcache->entries;                                  \
427     for (entry = ofpbuf_try_pull(&entries, sizeof *entry);      \
428          entry;                                                 \
429          entry = ofpbuf_try_pull(&entries, sizeof *entry))
430
431 struct xlate_cache {
432     struct ofpbuf entries;
433 };
434
435 /* Xlate config contains hash maps of all bridges, bundles and ports.
436  * Xcfgp contains the pointer to the current xlate configuration.
437  * When the main thread needs to change the configuration, it copies xcfgp to
438  * new_xcfg and edits new_xcfg. This enables the use of RCU locking which
439  * does not block handler and revalidator threads. */
440 struct xlate_cfg {
441     struct hmap xbridges;
442     struct hmap xbundles;
443     struct hmap xports;
444 };
445 static OVSRCU_TYPE(struct xlate_cfg *) xcfgp = OVSRCU_INITIALIZER(NULL);
446 static struct xlate_cfg *new_xcfg = NULL;
447
448 static bool may_receive(const struct xport *, struct xlate_ctx *);
449 static void do_xlate_actions(const struct ofpact *, size_t ofpacts_len,
450                              struct xlate_ctx *);
451 static void xlate_normal(struct xlate_ctx *);
452 static inline void xlate_report(struct xlate_ctx *, const char *, ...)
453     OVS_PRINTF_FORMAT(2, 3);
454 static void xlate_table_action(struct xlate_ctx *, ofp_port_t in_port,
455                                uint8_t table_id, bool may_packet_in,
456                                bool honor_table_miss);
457 static bool input_vid_is_valid(uint16_t vid, struct xbundle *, bool warn);
458 static uint16_t input_vid_to_vlan(const struct xbundle *, uint16_t vid);
459 static void output_normal(struct xlate_ctx *, const struct xbundle *,
460                           uint16_t vlan);
461
462 /* Optional bond recirculation parameter to compose_output_action(). */
463 struct xlate_bond_recirc {
464     uint32_t recirc_id;  /* !0 Use recirculation instead of output. */
465     uint8_t  hash_alg;   /* !0 Compute hash for recirc before. */
466     uint32_t hash_basis;  /* Compute hash for recirc before. */
467 };
468
469 static void compose_output_action(struct xlate_ctx *, ofp_port_t ofp_port,
470                                   const struct xlate_bond_recirc *xr);
471
472 static struct xbridge *xbridge_lookup(struct xlate_cfg *,
473                                       const struct ofproto_dpif *);
474 static struct xbundle *xbundle_lookup(struct xlate_cfg *,
475                                       const struct ofbundle *);
476 static struct xport *xport_lookup(struct xlate_cfg *,
477                                   const struct ofport_dpif *);
478 static struct xport *get_ofp_port(const struct xbridge *, ofp_port_t ofp_port);
479 static struct skb_priority_to_dscp *get_skb_priority(const struct xport *,
480                                                      uint32_t skb_priority);
481 static void clear_skb_priorities(struct xport *);
482 static size_t count_skb_priorities(const struct xport *);
483 static bool dscp_from_skb_priority(const struct xport *, uint32_t skb_priority,
484                                    uint8_t *dscp);
485
486 static struct xc_entry *xlate_cache_add_entry(struct xlate_cache *xc,
487                                               enum xc_type type);
488 static void xlate_xbridge_init(struct xlate_cfg *, struct xbridge *);
489 static void xlate_xbundle_init(struct xlate_cfg *, struct xbundle *);
490 static void xlate_xport_init(struct xlate_cfg *, struct xport *);
491 static void xlate_xbridge_set(struct xbridge *, struct dpif *,
492                               const struct mac_learning *, struct stp *,
493                               struct rstp *, const struct mcast_snooping *,
494                               const struct mbridge *,
495                               const struct dpif_sflow *,
496                               const struct dpif_ipfix *,
497                               const struct netflow *,
498                               bool forward_bpdu, bool has_in_band,
499                               const struct dpif_backer_support *);
500 static void xlate_xbundle_set(struct xbundle *xbundle,
501                               enum port_vlan_mode vlan_mode, int vlan,
502                               unsigned long *trunks, bool use_priority_tags,
503                               const struct bond *bond, const struct lacp *lacp,
504                               bool floodable);
505 static void xlate_xport_set(struct xport *xport, odp_port_t odp_port,
506                             const struct netdev *netdev, const struct cfm *cfm,
507                             const struct bfd *bfd, const struct lldp *lldp,
508                             int stp_port_no, const struct rstp_port *rstp_port,
509                             enum ofputil_port_config config,
510                             enum ofputil_port_state state, bool is_tunnel,
511                             bool may_enable);
512 static void xlate_xbridge_remove(struct xlate_cfg *, struct xbridge *);
513 static void xlate_xbundle_remove(struct xlate_cfg *, struct xbundle *);
514 static void xlate_xport_remove(struct xlate_cfg *, struct xport *);
515 static void xlate_xbridge_copy(struct xbridge *);
516 static void xlate_xbundle_copy(struct xbridge *, struct xbundle *);
517 static void xlate_xport_copy(struct xbridge *, struct xbundle *,
518                              struct xport *);
519 static void xlate_xcfg_free(struct xlate_cfg *);
520
521 static inline void
522 xlate_report(struct xlate_ctx *ctx, const char *format, ...)
523 {
524     if (OVS_UNLIKELY(ctx->xin->report_hook)) {
525         va_list args;
526
527         va_start(args, format);
528         ctx->xin->report_hook(ctx->xin, ctx->recurse, format, args);
529         va_end(args);
530     }
531 }
532
533 static void
534 xlate_xbridge_init(struct xlate_cfg *xcfg, struct xbridge *xbridge)
535 {
536     list_init(&xbridge->xbundles);
537     hmap_init(&xbridge->xports);
538     hmap_insert(&xcfg->xbridges, &xbridge->hmap_node,
539                 hash_pointer(xbridge->ofproto, 0));
540 }
541
542 static void
543 xlate_xbundle_init(struct xlate_cfg *xcfg, struct xbundle *xbundle)
544 {
545     list_init(&xbundle->xports);
546     list_insert(&xbundle->xbridge->xbundles, &xbundle->list_node);
547     hmap_insert(&xcfg->xbundles, &xbundle->hmap_node,
548                 hash_pointer(xbundle->ofbundle, 0));
549 }
550
551 static void
552 xlate_xport_init(struct xlate_cfg *xcfg, struct xport *xport)
553 {
554     hmap_init(&xport->skb_priorities);
555     hmap_insert(&xcfg->xports, &xport->hmap_node,
556                 hash_pointer(xport->ofport, 0));
557     hmap_insert(&xport->xbridge->xports, &xport->ofp_node,
558                 hash_ofp_port(xport->ofp_port));
559 }
560
561 static void
562 xlate_xbridge_set(struct xbridge *xbridge,
563                   struct dpif *dpif,
564                   const struct mac_learning *ml, struct stp *stp,
565                   struct rstp *rstp, const struct mcast_snooping *ms,
566                   const struct mbridge *mbridge,
567                   const struct dpif_sflow *sflow,
568                   const struct dpif_ipfix *ipfix,
569                   const struct netflow *netflow,
570                   bool forward_bpdu, bool has_in_band,
571                   const struct dpif_backer_support *support)
572 {
573     if (xbridge->ml != ml) {
574         mac_learning_unref(xbridge->ml);
575         xbridge->ml = mac_learning_ref(ml);
576     }
577
578     if (xbridge->ms != ms) {
579         mcast_snooping_unref(xbridge->ms);
580         xbridge->ms = mcast_snooping_ref(ms);
581     }
582
583     if (xbridge->mbridge != mbridge) {
584         mbridge_unref(xbridge->mbridge);
585         xbridge->mbridge = mbridge_ref(mbridge);
586     }
587
588     if (xbridge->sflow != sflow) {
589         dpif_sflow_unref(xbridge->sflow);
590         xbridge->sflow = dpif_sflow_ref(sflow);
591     }
592
593     if (xbridge->ipfix != ipfix) {
594         dpif_ipfix_unref(xbridge->ipfix);
595         xbridge->ipfix = dpif_ipfix_ref(ipfix);
596     }
597
598     if (xbridge->stp != stp) {
599         stp_unref(xbridge->stp);
600         xbridge->stp = stp_ref(stp);
601     }
602
603     if (xbridge->rstp != rstp) {
604         rstp_unref(xbridge->rstp);
605         xbridge->rstp = rstp_ref(rstp);
606     }
607
608     if (xbridge->netflow != netflow) {
609         netflow_unref(xbridge->netflow);
610         xbridge->netflow = netflow_ref(netflow);
611     }
612
613     xbridge->dpif = dpif;
614     xbridge->forward_bpdu = forward_bpdu;
615     xbridge->has_in_band = has_in_band;
616     xbridge->support = *support;
617 }
618
619 static void
620 xlate_xbundle_set(struct xbundle *xbundle,
621                   enum port_vlan_mode vlan_mode, int vlan,
622                   unsigned long *trunks, bool use_priority_tags,
623                   const struct bond *bond, const struct lacp *lacp,
624                   bool floodable)
625 {
626     ovs_assert(xbundle->xbridge);
627
628     xbundle->vlan_mode = vlan_mode;
629     xbundle->vlan = vlan;
630     xbundle->trunks = trunks;
631     xbundle->use_priority_tags = use_priority_tags;
632     xbundle->floodable = floodable;
633
634     if (xbundle->bond != bond) {
635         bond_unref(xbundle->bond);
636         xbundle->bond = bond_ref(bond);
637     }
638
639     if (xbundle->lacp != lacp) {
640         lacp_unref(xbundle->lacp);
641         xbundle->lacp = lacp_ref(lacp);
642     }
643 }
644
645 static void
646 xlate_xport_set(struct xport *xport, odp_port_t odp_port,
647                 const struct netdev *netdev, const struct cfm *cfm,
648                 const struct bfd *bfd, const struct lldp *lldp, int stp_port_no,
649                 const struct rstp_port* rstp_port,
650                 enum ofputil_port_config config, enum ofputil_port_state state,
651                 bool is_tunnel, bool may_enable)
652 {
653     xport->config = config;
654     xport->state = state;
655     xport->stp_port_no = stp_port_no;
656     xport->is_tunnel = is_tunnel;
657     xport->may_enable = may_enable;
658     xport->odp_port = odp_port;
659
660     if (xport->rstp_port != rstp_port) {
661         rstp_port_unref(xport->rstp_port);
662         xport->rstp_port = rstp_port_ref(rstp_port);
663     }
664
665     if (xport->cfm != cfm) {
666         cfm_unref(xport->cfm);
667         xport->cfm = cfm_ref(cfm);
668     }
669
670     if (xport->bfd != bfd) {
671         bfd_unref(xport->bfd);
672         xport->bfd = bfd_ref(bfd);
673     }
674
675     if (xport->lldp != lldp) {
676         lldp_unref(xport->lldp);
677         xport->lldp = lldp_ref(lldp);
678     }
679
680     if (xport->netdev != netdev) {
681         netdev_close(xport->netdev);
682         xport->netdev = netdev_ref(netdev);
683     }
684 }
685
686 static void
687 xlate_xbridge_copy(struct xbridge *xbridge)
688 {
689     struct xbundle *xbundle;
690     struct xport *xport;
691     struct xbridge *new_xbridge = xzalloc(sizeof *xbridge);
692     new_xbridge->ofproto = xbridge->ofproto;
693     new_xbridge->name = xstrdup(xbridge->name);
694     xlate_xbridge_init(new_xcfg, new_xbridge);
695
696     xlate_xbridge_set(new_xbridge,
697                       xbridge->dpif, xbridge->ml, xbridge->stp,
698                       xbridge->rstp, xbridge->ms, xbridge->mbridge,
699                       xbridge->sflow, xbridge->ipfix, xbridge->netflow,
700                       xbridge->forward_bpdu, xbridge->has_in_band,
701                       &xbridge->support);
702     LIST_FOR_EACH (xbundle, list_node, &xbridge->xbundles) {
703         xlate_xbundle_copy(new_xbridge, xbundle);
704     }
705
706     /* Copy xports which are not part of a xbundle */
707     HMAP_FOR_EACH (xport, ofp_node, &xbridge->xports) {
708         if (!xport->xbundle) {
709             xlate_xport_copy(new_xbridge, NULL, xport);
710         }
711     }
712 }
713
714 static void
715 xlate_xbundle_copy(struct xbridge *xbridge, struct xbundle *xbundle)
716 {
717     struct xport *xport;
718     struct xbundle *new_xbundle = xzalloc(sizeof *xbundle);
719     new_xbundle->ofbundle = xbundle->ofbundle;
720     new_xbundle->xbridge = xbridge;
721     new_xbundle->name = xstrdup(xbundle->name);
722     xlate_xbundle_init(new_xcfg, new_xbundle);
723
724     xlate_xbundle_set(new_xbundle, xbundle->vlan_mode,
725                       xbundle->vlan, xbundle->trunks,
726                       xbundle->use_priority_tags, xbundle->bond, xbundle->lacp,
727                       xbundle->floodable);
728     LIST_FOR_EACH (xport, bundle_node, &xbundle->xports) {
729         xlate_xport_copy(xbridge, new_xbundle, xport);
730     }
731 }
732
733 static void
734 xlate_xport_copy(struct xbridge *xbridge, struct xbundle *xbundle,
735                  struct xport *xport)
736 {
737     struct skb_priority_to_dscp *pdscp, *new_pdscp;
738     struct xport *new_xport = xzalloc(sizeof *xport);
739     new_xport->ofport = xport->ofport;
740     new_xport->ofp_port = xport->ofp_port;
741     new_xport->xbridge = xbridge;
742     xlate_xport_init(new_xcfg, new_xport);
743
744     xlate_xport_set(new_xport, xport->odp_port, xport->netdev, xport->cfm,
745                     xport->bfd, xport->lldp, xport->stp_port_no,
746                     xport->rstp_port, xport->config, xport->state,
747                     xport->is_tunnel, xport->may_enable);
748
749     if (xport->peer) {
750         struct xport *peer = xport_lookup(new_xcfg, xport->peer->ofport);
751         if (peer) {
752             new_xport->peer = peer;
753             new_xport->peer->peer = new_xport;
754         }
755     }
756
757     if (xbundle) {
758         new_xport->xbundle = xbundle;
759         list_insert(&new_xport->xbundle->xports, &new_xport->bundle_node);
760     }
761
762     HMAP_FOR_EACH (pdscp, hmap_node, &xport->skb_priorities) {
763         new_pdscp = xmalloc(sizeof *pdscp);
764         new_pdscp->skb_priority = pdscp->skb_priority;
765         new_pdscp->dscp = pdscp->dscp;
766         hmap_insert(&new_xport->skb_priorities, &new_pdscp->hmap_node,
767                     hash_int(new_pdscp->skb_priority, 0));
768     }
769 }
770
771 /* Sets the current xlate configuration to new_xcfg and frees the old xlate
772  * configuration in xcfgp.
773  *
774  * This needs to be called after editing the xlate configuration.
775  *
776  * Functions that edit the new xlate configuration are
777  * xlate_<ofport/bundle/ofport>_set and xlate_<ofport/bundle/ofport>_remove.
778  *
779  * A sample workflow:
780  *
781  * xlate_txn_start();
782  * ...
783  * edit_xlate_configuration();
784  * ...
785  * xlate_txn_commit(); */
786 void
787 xlate_txn_commit(void)
788 {
789     struct xlate_cfg *xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
790
791     ovsrcu_set(&xcfgp, new_xcfg);
792     ovsrcu_synchronize();
793     xlate_xcfg_free(xcfg);
794     new_xcfg = NULL;
795 }
796
797 /* Copies the current xlate configuration in xcfgp to new_xcfg.
798  *
799  * This needs to be called prior to editing the xlate configuration. */
800 void
801 xlate_txn_start(void)
802 {
803     struct xbridge *xbridge;
804     struct xlate_cfg *xcfg;
805
806     ovs_assert(!new_xcfg);
807
808     new_xcfg = xmalloc(sizeof *new_xcfg);
809     hmap_init(&new_xcfg->xbridges);
810     hmap_init(&new_xcfg->xbundles);
811     hmap_init(&new_xcfg->xports);
812
813     xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
814     if (!xcfg) {
815         return;
816     }
817
818     HMAP_FOR_EACH (xbridge, hmap_node, &xcfg->xbridges) {
819         xlate_xbridge_copy(xbridge);
820     }
821 }
822
823
824 static void
825 xlate_xcfg_free(struct xlate_cfg *xcfg)
826 {
827     struct xbridge *xbridge, *next_xbridge;
828
829     if (!xcfg) {
830         return;
831     }
832
833     HMAP_FOR_EACH_SAFE (xbridge, next_xbridge, hmap_node, &xcfg->xbridges) {
834         xlate_xbridge_remove(xcfg, xbridge);
835     }
836
837     hmap_destroy(&xcfg->xbridges);
838     hmap_destroy(&xcfg->xbundles);
839     hmap_destroy(&xcfg->xports);
840     free(xcfg);
841 }
842
843 void
844 xlate_ofproto_set(struct ofproto_dpif *ofproto, const char *name,
845                   struct dpif *dpif,
846                   const struct mac_learning *ml, struct stp *stp,
847                   struct rstp *rstp, const struct mcast_snooping *ms,
848                   const struct mbridge *mbridge,
849                   const struct dpif_sflow *sflow,
850                   const struct dpif_ipfix *ipfix,
851                   const struct netflow *netflow,
852                   bool forward_bpdu, bool has_in_band,
853                   const struct dpif_backer_support *support)
854 {
855     struct xbridge *xbridge;
856
857     ovs_assert(new_xcfg);
858
859     xbridge = xbridge_lookup(new_xcfg, ofproto);
860     if (!xbridge) {
861         xbridge = xzalloc(sizeof *xbridge);
862         xbridge->ofproto = ofproto;
863
864         xlate_xbridge_init(new_xcfg, xbridge);
865     }
866
867     free(xbridge->name);
868     xbridge->name = xstrdup(name);
869
870     xlate_xbridge_set(xbridge, dpif, ml, stp, rstp, ms, mbridge, sflow, ipfix,
871                       netflow, forward_bpdu, has_in_band, support);
872 }
873
874 static void
875 xlate_xbridge_remove(struct xlate_cfg *xcfg, struct xbridge *xbridge)
876 {
877     struct xbundle *xbundle, *next_xbundle;
878     struct xport *xport, *next_xport;
879
880     if (!xbridge) {
881         return;
882     }
883
884     HMAP_FOR_EACH_SAFE (xport, next_xport, ofp_node, &xbridge->xports) {
885         xlate_xport_remove(xcfg, xport);
886     }
887
888     LIST_FOR_EACH_SAFE (xbundle, next_xbundle, list_node, &xbridge->xbundles) {
889         xlate_xbundle_remove(xcfg, xbundle);
890     }
891
892     hmap_remove(&xcfg->xbridges, &xbridge->hmap_node);
893     mac_learning_unref(xbridge->ml);
894     mcast_snooping_unref(xbridge->ms);
895     mbridge_unref(xbridge->mbridge);
896     dpif_sflow_unref(xbridge->sflow);
897     dpif_ipfix_unref(xbridge->ipfix);
898     stp_unref(xbridge->stp);
899     rstp_unref(xbridge->rstp);
900     hmap_destroy(&xbridge->xports);
901     free(xbridge->name);
902     free(xbridge);
903 }
904
905 void
906 xlate_remove_ofproto(struct ofproto_dpif *ofproto)
907 {
908     struct xbridge *xbridge;
909
910     ovs_assert(new_xcfg);
911
912     xbridge = xbridge_lookup(new_xcfg, ofproto);
913     xlate_xbridge_remove(new_xcfg, xbridge);
914 }
915
916 void
917 xlate_bundle_set(struct ofproto_dpif *ofproto, struct ofbundle *ofbundle,
918                  const char *name, enum port_vlan_mode vlan_mode, int vlan,
919                  unsigned long *trunks, bool use_priority_tags,
920                  const struct bond *bond, const struct lacp *lacp,
921                  bool floodable)
922 {
923     struct xbundle *xbundle;
924
925     ovs_assert(new_xcfg);
926
927     xbundle = xbundle_lookup(new_xcfg, ofbundle);
928     if (!xbundle) {
929         xbundle = xzalloc(sizeof *xbundle);
930         xbundle->ofbundle = ofbundle;
931         xbundle->xbridge = xbridge_lookup(new_xcfg, ofproto);
932
933         xlate_xbundle_init(new_xcfg, xbundle);
934     }
935
936     free(xbundle->name);
937     xbundle->name = xstrdup(name);
938
939     xlate_xbundle_set(xbundle, vlan_mode, vlan, trunks,
940                       use_priority_tags, bond, lacp, floodable);
941 }
942
943 static void
944 xlate_xbundle_remove(struct xlate_cfg *xcfg, struct xbundle *xbundle)
945 {
946     struct xport *xport;
947
948     if (!xbundle) {
949         return;
950     }
951
952     LIST_FOR_EACH_POP (xport, bundle_node, &xbundle->xports) {
953         xport->xbundle = NULL;
954     }
955
956     hmap_remove(&xcfg->xbundles, &xbundle->hmap_node);
957     list_remove(&xbundle->list_node);
958     bond_unref(xbundle->bond);
959     lacp_unref(xbundle->lacp);
960     free(xbundle->name);
961     free(xbundle);
962 }
963
964 void
965 xlate_bundle_remove(struct ofbundle *ofbundle)
966 {
967     struct xbundle *xbundle;
968
969     ovs_assert(new_xcfg);
970
971     xbundle = xbundle_lookup(new_xcfg, ofbundle);
972     xlate_xbundle_remove(new_xcfg, xbundle);
973 }
974
975 void
976 xlate_ofport_set(struct ofproto_dpif *ofproto, struct ofbundle *ofbundle,
977                  struct ofport_dpif *ofport, ofp_port_t ofp_port,
978                  odp_port_t odp_port, const struct netdev *netdev,
979                  const struct cfm *cfm, const struct bfd *bfd,
980                  const struct lldp *lldp, struct ofport_dpif *peer,
981                  int stp_port_no, const struct rstp_port *rstp_port,
982                  const struct ofproto_port_queue *qdscp_list, size_t n_qdscp,
983                  enum ofputil_port_config config,
984                  enum ofputil_port_state state, bool is_tunnel,
985                  bool may_enable)
986 {
987     size_t i;
988     struct xport *xport;
989
990     ovs_assert(new_xcfg);
991
992     xport = xport_lookup(new_xcfg, ofport);
993     if (!xport) {
994         xport = xzalloc(sizeof *xport);
995         xport->ofport = ofport;
996         xport->xbridge = xbridge_lookup(new_xcfg, ofproto);
997         xport->ofp_port = ofp_port;
998
999         xlate_xport_init(new_xcfg, xport);
1000     }
1001
1002     ovs_assert(xport->ofp_port == ofp_port);
1003
1004     xlate_xport_set(xport, odp_port, netdev, cfm, bfd, lldp,
1005                     stp_port_no, rstp_port, config, state, is_tunnel,
1006                     may_enable);
1007
1008     if (xport->peer) {
1009         xport->peer->peer = NULL;
1010     }
1011     xport->peer = xport_lookup(new_xcfg, peer);
1012     if (xport->peer) {
1013         xport->peer->peer = xport;
1014     }
1015
1016     if (xport->xbundle) {
1017         list_remove(&xport->bundle_node);
1018     }
1019     xport->xbundle = xbundle_lookup(new_xcfg, ofbundle);
1020     if (xport->xbundle) {
1021         list_insert(&xport->xbundle->xports, &xport->bundle_node);
1022     }
1023
1024     clear_skb_priorities(xport);
1025     for (i = 0; i < n_qdscp; i++) {
1026         struct skb_priority_to_dscp *pdscp;
1027         uint32_t skb_priority;
1028
1029         if (dpif_queue_to_priority(xport->xbridge->dpif, qdscp_list[i].queue,
1030                                    &skb_priority)) {
1031             continue;
1032         }
1033
1034         pdscp = xmalloc(sizeof *pdscp);
1035         pdscp->skb_priority = skb_priority;
1036         pdscp->dscp = (qdscp_list[i].dscp << 2) & IP_DSCP_MASK;
1037         hmap_insert(&xport->skb_priorities, &pdscp->hmap_node,
1038                     hash_int(pdscp->skb_priority, 0));
1039     }
1040 }
1041
1042 static void
1043 xlate_xport_remove(struct xlate_cfg *xcfg, struct xport *xport)
1044 {
1045     if (!xport) {
1046         return;
1047     }
1048
1049     if (xport->peer) {
1050         xport->peer->peer = NULL;
1051         xport->peer = NULL;
1052     }
1053
1054     if (xport->xbundle) {
1055         list_remove(&xport->bundle_node);
1056     }
1057
1058     clear_skb_priorities(xport);
1059     hmap_destroy(&xport->skb_priorities);
1060
1061     hmap_remove(&xcfg->xports, &xport->hmap_node);
1062     hmap_remove(&xport->xbridge->xports, &xport->ofp_node);
1063
1064     netdev_close(xport->netdev);
1065     rstp_port_unref(xport->rstp_port);
1066     cfm_unref(xport->cfm);
1067     bfd_unref(xport->bfd);
1068     lldp_unref(xport->lldp);
1069     free(xport);
1070 }
1071
1072 void
1073 xlate_ofport_remove(struct ofport_dpif *ofport)
1074 {
1075     struct xport *xport;
1076
1077     ovs_assert(new_xcfg);
1078
1079     xport = xport_lookup(new_xcfg, ofport);
1080     xlate_xport_remove(new_xcfg, xport);
1081 }
1082
1083 static struct ofproto_dpif *
1084 xlate_lookup_ofproto_(const struct dpif_backer *backer, const struct flow *flow,
1085                       ofp_port_t *ofp_in_port, const struct xport **xportp)
1086 {
1087     struct xlate_cfg *xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
1088     const struct xport *xport;
1089
1090     xport = xport_lookup(xcfg, tnl_port_should_receive(flow)
1091                          ? tnl_port_receive(flow)
1092                          : odp_port_to_ofport(backer, flow->in_port.odp_port));
1093     if (OVS_UNLIKELY(!xport)) {
1094         return NULL;
1095     }
1096     *xportp = xport;
1097     if (ofp_in_port) {
1098         *ofp_in_port = xport->ofp_port;
1099     }
1100     return xport->xbridge->ofproto;
1101 }
1102
1103 /* Given a datapath and flow metadata ('backer', and 'flow' respectively)
1104  * returns the corresponding struct ofproto_dpif and OpenFlow port number. */
1105 struct ofproto_dpif *
1106 xlate_lookup_ofproto(const struct dpif_backer *backer, const struct flow *flow,
1107                      ofp_port_t *ofp_in_port)
1108 {
1109     const struct xport *xport;
1110
1111     return xlate_lookup_ofproto_(backer, flow, ofp_in_port, &xport);
1112 }
1113
1114 /* Given a datapath and flow metadata ('backer', and 'flow' respectively),
1115  * optionally populates 'ofproto' with the ofproto_dpif, 'ofp_in_port' with the
1116  * openflow in_port, and 'ipfix', 'sflow', and 'netflow' with the appropriate
1117  * handles for those protocols if they're enabled.  Caller may use the returned
1118  * pointers until quiescing, for longer term use additional references must
1119  * be taken.
1120  *
1121  * Returns 0 if successful, ENODEV if the parsed flow has no associated ofproto.
1122  */
1123 int
1124 xlate_lookup(const struct dpif_backer *backer, const struct flow *flow,
1125              struct ofproto_dpif **ofprotop, struct dpif_ipfix **ipfix,
1126              struct dpif_sflow **sflow, struct netflow **netflow,
1127              ofp_port_t *ofp_in_port)
1128 {
1129     struct ofproto_dpif *ofproto;
1130     const struct xport *xport;
1131
1132     ofproto = xlate_lookup_ofproto_(backer, flow, ofp_in_port, &xport);
1133
1134     if (!ofproto) {
1135         return ENODEV;
1136     }
1137
1138     if (ofprotop) {
1139         *ofprotop = ofproto;
1140     }
1141
1142     if (ipfix) {
1143         *ipfix = xport ? xport->xbridge->ipfix : NULL;
1144     }
1145
1146     if (sflow) {
1147         *sflow = xport ? xport->xbridge->sflow : NULL;
1148     }
1149
1150     if (netflow) {
1151         *netflow = xport ? xport->xbridge->netflow : NULL;
1152     }
1153
1154     return 0;
1155 }
1156
1157 static struct xbridge *
1158 xbridge_lookup(struct xlate_cfg *xcfg, const struct ofproto_dpif *ofproto)
1159 {
1160     struct hmap *xbridges;
1161     struct xbridge *xbridge;
1162
1163     if (!ofproto || !xcfg) {
1164         return NULL;
1165     }
1166
1167     xbridges = &xcfg->xbridges;
1168
1169     HMAP_FOR_EACH_IN_BUCKET (xbridge, hmap_node, hash_pointer(ofproto, 0),
1170                              xbridges) {
1171         if (xbridge->ofproto == ofproto) {
1172             return xbridge;
1173         }
1174     }
1175     return NULL;
1176 }
1177
1178 static struct xbundle *
1179 xbundle_lookup(struct xlate_cfg *xcfg, const struct ofbundle *ofbundle)
1180 {
1181     struct hmap *xbundles;
1182     struct xbundle *xbundle;
1183
1184     if (!ofbundle || !xcfg) {
1185         return NULL;
1186     }
1187
1188     xbundles = &xcfg->xbundles;
1189
1190     HMAP_FOR_EACH_IN_BUCKET (xbundle, hmap_node, hash_pointer(ofbundle, 0),
1191                              xbundles) {
1192         if (xbundle->ofbundle == ofbundle) {
1193             return xbundle;
1194         }
1195     }
1196     return NULL;
1197 }
1198
1199 static struct xport *
1200 xport_lookup(struct xlate_cfg *xcfg, const struct ofport_dpif *ofport)
1201 {
1202     struct hmap *xports;
1203     struct xport *xport;
1204
1205     if (!ofport || !xcfg) {
1206         return NULL;
1207     }
1208
1209     xports = &xcfg->xports;
1210
1211     HMAP_FOR_EACH_IN_BUCKET (xport, hmap_node, hash_pointer(ofport, 0),
1212                              xports) {
1213         if (xport->ofport == ofport) {
1214             return xport;
1215         }
1216     }
1217     return NULL;
1218 }
1219
1220 static struct stp_port *
1221 xport_get_stp_port(const struct xport *xport)
1222 {
1223     return xport->xbridge->stp && xport->stp_port_no != -1
1224         ? stp_get_port(xport->xbridge->stp, xport->stp_port_no)
1225         : NULL;
1226 }
1227
1228 static bool
1229 xport_stp_learn_state(const struct xport *xport)
1230 {
1231     struct stp_port *sp = xport_get_stp_port(xport);
1232     return sp
1233         ? stp_learn_in_state(stp_port_get_state(sp))
1234         : true;
1235 }
1236
1237 static bool
1238 xport_stp_forward_state(const struct xport *xport)
1239 {
1240     struct stp_port *sp = xport_get_stp_port(xport);
1241     return sp
1242         ? stp_forward_in_state(stp_port_get_state(sp))
1243         : true;
1244 }
1245
1246 static bool
1247 xport_stp_should_forward_bpdu(const struct xport *xport)
1248 {
1249     struct stp_port *sp = xport_get_stp_port(xport);
1250     return stp_should_forward_bpdu(sp ? stp_port_get_state(sp) : STP_DISABLED);
1251 }
1252
1253 /* Returns true if STP should process 'flow'.  Sets fields in 'wc' that
1254  * were used to make the determination.*/
1255 static bool
1256 stp_should_process_flow(const struct flow *flow, struct flow_wildcards *wc)
1257 {
1258     /* is_stp() also checks dl_type, but dl_type is always set in 'wc'. */
1259     memset(&wc->masks.dl_dst, 0xff, sizeof wc->masks.dl_dst);
1260     return is_stp(flow);
1261 }
1262
1263 static void
1264 stp_process_packet(const struct xport *xport, const struct dp_packet *packet)
1265 {
1266     struct stp_port *sp = xport_get_stp_port(xport);
1267     struct dp_packet payload = *packet;
1268     struct eth_header *eth = dp_packet_data(&payload);
1269
1270     /* Sink packets on ports that have STP disabled when the bridge has
1271      * STP enabled. */
1272     if (!sp || stp_port_get_state(sp) == STP_DISABLED) {
1273         return;
1274     }
1275
1276     /* Trim off padding on payload. */
1277     if (dp_packet_size(&payload) > ntohs(eth->eth_type) + ETH_HEADER_LEN) {
1278         dp_packet_set_size(&payload, ntohs(eth->eth_type) + ETH_HEADER_LEN);
1279     }
1280
1281     if (dp_packet_try_pull(&payload, ETH_HEADER_LEN + LLC_HEADER_LEN)) {
1282         stp_received_bpdu(sp, dp_packet_data(&payload), dp_packet_size(&payload));
1283     }
1284 }
1285
1286 static enum rstp_state
1287 xport_get_rstp_port_state(const struct xport *xport)
1288 {
1289     return xport->rstp_port
1290         ? rstp_port_get_state(xport->rstp_port)
1291         : RSTP_DISABLED;
1292 }
1293
1294 static bool
1295 xport_rstp_learn_state(const struct xport *xport)
1296 {
1297     return xport->xbridge->rstp && xport->rstp_port
1298         ? rstp_learn_in_state(xport_get_rstp_port_state(xport))
1299         : true;
1300 }
1301
1302 static bool
1303 xport_rstp_forward_state(const struct xport *xport)
1304 {
1305     return xport->xbridge->rstp && xport->rstp_port
1306         ? rstp_forward_in_state(xport_get_rstp_port_state(xport))
1307         : true;
1308 }
1309
1310 static bool
1311 xport_rstp_should_manage_bpdu(const struct xport *xport)
1312 {
1313     return rstp_should_manage_bpdu(xport_get_rstp_port_state(xport));
1314 }
1315
1316 static void
1317 rstp_process_packet(const struct xport *xport, const struct dp_packet *packet)
1318 {
1319     struct dp_packet payload = *packet;
1320     struct eth_header *eth = dp_packet_data(&payload);
1321
1322     /* Sink packets on ports that have no RSTP. */
1323     if (!xport->rstp_port) {
1324         return;
1325     }
1326
1327     /* Trim off padding on payload. */
1328     if (dp_packet_size(&payload) > ntohs(eth->eth_type) + ETH_HEADER_LEN) {
1329         dp_packet_set_size(&payload, ntohs(eth->eth_type) + ETH_HEADER_LEN);
1330     }
1331
1332     if (dp_packet_try_pull(&payload, ETH_HEADER_LEN + LLC_HEADER_LEN)) {
1333         rstp_port_received_bpdu(xport->rstp_port, dp_packet_data(&payload),
1334                                 dp_packet_size(&payload));
1335     }
1336 }
1337
1338 static struct xport *
1339 get_ofp_port(const struct xbridge *xbridge, ofp_port_t ofp_port)
1340 {
1341     struct xport *xport;
1342
1343     HMAP_FOR_EACH_IN_BUCKET (xport, ofp_node, hash_ofp_port(ofp_port),
1344                              &xbridge->xports) {
1345         if (xport->ofp_port == ofp_port) {
1346             return xport;
1347         }
1348     }
1349     return NULL;
1350 }
1351
1352 static odp_port_t
1353 ofp_port_to_odp_port(const struct xbridge *xbridge, ofp_port_t ofp_port)
1354 {
1355     const struct xport *xport = get_ofp_port(xbridge, ofp_port);
1356     return xport ? xport->odp_port : ODPP_NONE;
1357 }
1358
1359 static bool
1360 odp_port_is_alive(const struct xlate_ctx *ctx, ofp_port_t ofp_port)
1361 {
1362     struct xport *xport = get_ofp_port(ctx->xbridge, ofp_port);
1363     return xport && xport->may_enable;
1364 }
1365
1366 static struct ofputil_bucket *
1367 group_first_live_bucket(const struct xlate_ctx *, const struct group_dpif *,
1368                         int depth);
1369
1370 static bool
1371 group_is_alive(const struct xlate_ctx *ctx, uint32_t group_id, int depth)
1372 {
1373     struct group_dpif *group;
1374
1375     if (group_dpif_lookup(ctx->xbridge->ofproto, group_id, &group)) {
1376         struct ofputil_bucket *bucket;
1377
1378         bucket = group_first_live_bucket(ctx, group, depth);
1379         group_dpif_unref(group);
1380         return bucket == NULL;
1381     }
1382
1383     return false;
1384 }
1385
1386 #define MAX_LIVENESS_RECURSION 128 /* Arbitrary limit */
1387
1388 static bool
1389 bucket_is_alive(const struct xlate_ctx *ctx,
1390                 struct ofputil_bucket *bucket, int depth)
1391 {
1392     if (depth >= MAX_LIVENESS_RECURSION) {
1393         static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 1);
1394
1395         VLOG_WARN_RL(&rl, "bucket chaining exceeded %d links",
1396                      MAX_LIVENESS_RECURSION);
1397         return false;
1398     }
1399
1400     return (!ofputil_bucket_has_liveness(bucket)
1401             || (bucket->watch_port != OFPP_ANY
1402                && odp_port_is_alive(ctx, bucket->watch_port))
1403             || (bucket->watch_group != OFPG_ANY
1404                && group_is_alive(ctx, bucket->watch_group, depth + 1)));
1405 }
1406
1407 static struct ofputil_bucket *
1408 group_first_live_bucket(const struct xlate_ctx *ctx,
1409                         const struct group_dpif *group, int depth)
1410 {
1411     struct ofputil_bucket *bucket;
1412     const struct ovs_list *buckets;
1413
1414     group_dpif_get_buckets(group, &buckets);
1415     LIST_FOR_EACH (bucket, list_node, buckets) {
1416         if (bucket_is_alive(ctx, bucket, depth)) {
1417             return bucket;
1418         }
1419     }
1420
1421     return NULL;
1422 }
1423
1424 static struct ofputil_bucket *
1425 group_best_live_bucket(const struct xlate_ctx *ctx,
1426                        const struct group_dpif *group,
1427                        uint32_t basis)
1428 {
1429     struct ofputil_bucket *best_bucket = NULL;
1430     uint32_t best_score = 0;
1431     int i = 0;
1432
1433     struct ofputil_bucket *bucket;
1434     const struct ovs_list *buckets;
1435
1436     group_dpif_get_buckets(group, &buckets);
1437     LIST_FOR_EACH (bucket, list_node, buckets) {
1438         if (bucket_is_alive(ctx, bucket, 0)) {
1439             uint32_t score = (hash_int(i, basis) & 0xffff) * bucket->weight;
1440             if (score >= best_score) {
1441                 best_bucket = bucket;
1442                 best_score = score;
1443             }
1444         }
1445         i++;
1446     }
1447
1448     return best_bucket;
1449 }
1450
1451 static bool
1452 xbundle_trunks_vlan(const struct xbundle *bundle, uint16_t vlan)
1453 {
1454     return (bundle->vlan_mode != PORT_VLAN_ACCESS
1455             && (!bundle->trunks || bitmap_is_set(bundle->trunks, vlan)));
1456 }
1457
1458 static bool
1459 xbundle_includes_vlan(const struct xbundle *xbundle, uint16_t vlan)
1460 {
1461     return vlan == xbundle->vlan || xbundle_trunks_vlan(xbundle, vlan);
1462 }
1463
1464 static mirror_mask_t
1465 xbundle_mirror_out(const struct xbridge *xbridge, struct xbundle *xbundle)
1466 {
1467     return xbundle != &ofpp_none_bundle
1468         ? mirror_bundle_out(xbridge->mbridge, xbundle->ofbundle)
1469         : 0;
1470 }
1471
1472 static mirror_mask_t
1473 xbundle_mirror_src(const struct xbridge *xbridge, struct xbundle *xbundle)
1474 {
1475     return xbundle != &ofpp_none_bundle
1476         ? mirror_bundle_src(xbridge->mbridge, xbundle->ofbundle)
1477         : 0;
1478 }
1479
1480 static mirror_mask_t
1481 xbundle_mirror_dst(const struct xbridge *xbridge, struct xbundle *xbundle)
1482 {
1483     return xbundle != &ofpp_none_bundle
1484         ? mirror_bundle_dst(xbridge->mbridge, xbundle->ofbundle)
1485         : 0;
1486 }
1487
1488 static struct xbundle *
1489 lookup_input_bundle(const struct xbridge *xbridge, ofp_port_t in_port,
1490                     bool warn, struct xport **in_xportp)
1491 {
1492     struct xport *xport;
1493
1494     /* Find the port and bundle for the received packet. */
1495     xport = get_ofp_port(xbridge, in_port);
1496     if (in_xportp) {
1497         *in_xportp = xport;
1498     }
1499     if (xport && xport->xbundle) {
1500         return xport->xbundle;
1501     }
1502
1503     /* Special-case OFPP_NONE (OF1.0) and OFPP_CONTROLLER (OF1.1+),
1504      * which a controller may use as the ingress port for traffic that
1505      * it is sourcing. */
1506     if (in_port == OFPP_CONTROLLER || in_port == OFPP_NONE) {
1507         return &ofpp_none_bundle;
1508     }
1509
1510     /* Odd.  A few possible reasons here:
1511      *
1512      * - We deleted a port but there are still a few packets queued up
1513      *   from it.
1514      *
1515      * - Someone externally added a port (e.g. "ovs-dpctl add-if") that
1516      *   we don't know about.
1517      *
1518      * - The ofproto client didn't configure the port as part of a bundle.
1519      *   This is particularly likely to happen if a packet was received on the
1520      *   port after it was created, but before the client had a chance to
1521      *   configure its bundle.
1522      */
1523     if (warn) {
1524         static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
1525
1526         VLOG_WARN_RL(&rl, "bridge %s: received packet on unknown "
1527                      "port %"PRIu16, xbridge->name, in_port);
1528     }
1529     return NULL;
1530 }
1531
1532 static void
1533 add_mirror_actions(struct xlate_ctx *ctx, const struct flow *orig_flow)
1534 {
1535     const struct xbridge *xbridge = ctx->xbridge;
1536     mirror_mask_t mirrors;
1537     struct xbundle *in_xbundle;
1538     uint16_t vlan;
1539     uint16_t vid;
1540
1541     mirrors = ctx->mirrors;
1542     ctx->mirrors = 0;
1543
1544     in_xbundle = lookup_input_bundle(xbridge, orig_flow->in_port.ofp_port,
1545                                      ctx->xin->packet != NULL, NULL);
1546     if (!in_xbundle) {
1547         return;
1548     }
1549     mirrors |= xbundle_mirror_src(xbridge, in_xbundle);
1550
1551     /* Drop frames on bundles reserved for mirroring. */
1552     if (xbundle_mirror_out(xbridge, in_xbundle)) {
1553         if (ctx->xin->packet != NULL) {
1554             static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
1555             VLOG_WARN_RL(&rl, "bridge %s: dropping packet received on port "
1556                          "%s, which is reserved exclusively for mirroring",
1557                          ctx->xbridge->name, in_xbundle->name);
1558         }
1559         ofpbuf_clear(ctx->odp_actions);
1560         return;
1561     }
1562
1563     /* Check VLAN. */
1564     vid = vlan_tci_to_vid(orig_flow->vlan_tci);
1565     if (!input_vid_is_valid(vid, in_xbundle, ctx->xin->packet != NULL)) {
1566         return;
1567     }
1568     vlan = input_vid_to_vlan(in_xbundle, vid);
1569
1570     if (!mirrors) {
1571         return;
1572     }
1573
1574     /* Restore the original packet before adding the mirror actions. */
1575     ctx->xin->flow = *orig_flow;
1576
1577     while (mirrors) {
1578         mirror_mask_t dup_mirrors;
1579         struct ofbundle *out;
1580         const unsigned long *vlans;
1581         bool vlan_mirrored;
1582         bool has_mirror;
1583         int out_vlan;
1584
1585         has_mirror = mirror_get(xbridge->mbridge, raw_ctz(mirrors),
1586                                 &vlans, &dup_mirrors, &out, &out_vlan);
1587         ovs_assert(has_mirror);
1588
1589         if (vlans) {
1590             ctx->wc->masks.vlan_tci |= htons(VLAN_CFI | VLAN_VID_MASK);
1591         }
1592         vlan_mirrored = !vlans || bitmap_is_set(vlans, vlan);
1593
1594         if (!vlan_mirrored) {
1595             mirrors = zero_rightmost_1bit(mirrors);
1596             continue;
1597         }
1598
1599         mirrors &= ~dup_mirrors;
1600         ctx->mirrors |= dup_mirrors;
1601         if (out) {
1602             struct xlate_cfg *xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
1603             struct xbundle *out_xbundle = xbundle_lookup(xcfg, out);
1604             if (out_xbundle) {
1605                 output_normal(ctx, out_xbundle, vlan);
1606             }
1607         } else if (vlan != out_vlan
1608                    && !eth_addr_is_reserved(orig_flow->dl_dst)) {
1609             struct xbundle *xbundle;
1610
1611             LIST_FOR_EACH (xbundle, list_node, &xbridge->xbundles) {
1612                 if (xbundle_includes_vlan(xbundle, out_vlan)
1613                     && !xbundle_mirror_out(xbridge, xbundle)) {
1614                     output_normal(ctx, xbundle, out_vlan);
1615                 }
1616             }
1617         }
1618     }
1619 }
1620
1621 /* Given 'vid', the VID obtained from the 802.1Q header that was received as
1622  * part of a packet (specify 0 if there was no 802.1Q header), and 'in_xbundle',
1623  * the bundle on which the packet was received, returns the VLAN to which the
1624  * packet belongs.
1625  *
1626  * Both 'vid' and the return value are in the range 0...4095. */
1627 static uint16_t
1628 input_vid_to_vlan(const struct xbundle *in_xbundle, uint16_t vid)
1629 {
1630     switch (in_xbundle->vlan_mode) {
1631     case PORT_VLAN_ACCESS:
1632         return in_xbundle->vlan;
1633         break;
1634
1635     case PORT_VLAN_TRUNK:
1636         return vid;
1637
1638     case PORT_VLAN_NATIVE_UNTAGGED:
1639     case PORT_VLAN_NATIVE_TAGGED:
1640         return vid ? vid : in_xbundle->vlan;
1641
1642     default:
1643         OVS_NOT_REACHED();
1644     }
1645 }
1646
1647 /* Checks whether a packet with the given 'vid' may ingress on 'in_xbundle'.
1648  * If so, returns true.  Otherwise, returns false and, if 'warn' is true, logs
1649  * a warning.
1650  *
1651  * 'vid' should be the VID obtained from the 802.1Q header that was received as
1652  * part of a packet (specify 0 if there was no 802.1Q header), in the range
1653  * 0...4095. */
1654 static bool
1655 input_vid_is_valid(uint16_t vid, struct xbundle *in_xbundle, bool warn)
1656 {
1657     /* Allow any VID on the OFPP_NONE port. */
1658     if (in_xbundle == &ofpp_none_bundle) {
1659         return true;
1660     }
1661
1662     switch (in_xbundle->vlan_mode) {
1663     case PORT_VLAN_ACCESS:
1664         if (vid) {
1665             if (warn) {
1666                 static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
1667                 VLOG_WARN_RL(&rl, "dropping VLAN %"PRIu16" tagged "
1668                              "packet received on port %s configured as VLAN "
1669                              "%"PRIu16" access port", vid, in_xbundle->name,
1670                              in_xbundle->vlan);
1671             }
1672             return false;
1673         }
1674         return true;
1675
1676     case PORT_VLAN_NATIVE_UNTAGGED:
1677     case PORT_VLAN_NATIVE_TAGGED:
1678         if (!vid) {
1679             /* Port must always carry its native VLAN. */
1680             return true;
1681         }
1682         /* Fall through. */
1683     case PORT_VLAN_TRUNK:
1684         if (!xbundle_includes_vlan(in_xbundle, vid)) {
1685             if (warn) {
1686                 static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
1687                 VLOG_WARN_RL(&rl, "dropping VLAN %"PRIu16" packet "
1688                              "received on port %s not configured for trunking "
1689                              "VLAN %"PRIu16, vid, in_xbundle->name, vid);
1690             }
1691             return false;
1692         }
1693         return true;
1694
1695     default:
1696         OVS_NOT_REACHED();
1697     }
1698
1699 }
1700
1701 /* Given 'vlan', the VLAN that a packet belongs to, and
1702  * 'out_xbundle', a bundle on which the packet is to be output, returns the VID
1703  * that should be included in the 802.1Q header.  (If the return value is 0,
1704  * then the 802.1Q header should only be included in the packet if there is a
1705  * nonzero PCP.)
1706  *
1707  * Both 'vlan' and the return value are in the range 0...4095. */
1708 static uint16_t
1709 output_vlan_to_vid(const struct xbundle *out_xbundle, uint16_t vlan)
1710 {
1711     switch (out_xbundle->vlan_mode) {
1712     case PORT_VLAN_ACCESS:
1713         return 0;
1714
1715     case PORT_VLAN_TRUNK:
1716     case PORT_VLAN_NATIVE_TAGGED:
1717         return vlan;
1718
1719     case PORT_VLAN_NATIVE_UNTAGGED:
1720         return vlan == out_xbundle->vlan ? 0 : vlan;
1721
1722     default:
1723         OVS_NOT_REACHED();
1724     }
1725 }
1726
1727 static void
1728 output_normal(struct xlate_ctx *ctx, const struct xbundle *out_xbundle,
1729               uint16_t vlan)
1730 {
1731     ovs_be16 *flow_tci = &ctx->xin->flow.vlan_tci;
1732     uint16_t vid;
1733     ovs_be16 tci, old_tci;
1734     struct xport *xport;
1735     struct xlate_bond_recirc xr;
1736     bool use_recirc = false;
1737
1738     vid = output_vlan_to_vid(out_xbundle, vlan);
1739     if (list_is_empty(&out_xbundle->xports)) {
1740         /* Partially configured bundle with no slaves.  Drop the packet. */
1741         return;
1742     } else if (!out_xbundle->bond) {
1743         xport = CONTAINER_OF(list_front(&out_xbundle->xports), struct xport,
1744                              bundle_node);
1745     } else {
1746         struct xlate_cfg *xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
1747         struct flow_wildcards *wc = ctx->wc;
1748         struct ofport_dpif *ofport;
1749
1750         if (ctx->xbridge->support.odp.recirc) {
1751             use_recirc = bond_may_recirc(
1752                 out_xbundle->bond, &xr.recirc_id, &xr.hash_basis);
1753
1754             if (use_recirc) {
1755                 /* Only TCP mode uses recirculation. */
1756                 xr.hash_alg = OVS_HASH_ALG_L4;
1757                 bond_update_post_recirc_rules(out_xbundle->bond, false);
1758
1759                 /* Recirculation does not require unmasking hash fields. */
1760                 wc = NULL;
1761             }
1762         }
1763
1764         ofport = bond_choose_output_slave(out_xbundle->bond,
1765                                           &ctx->xin->flow, wc, vid);
1766         xport = xport_lookup(xcfg, ofport);
1767
1768         if (!xport) {
1769             /* No slaves enabled, so drop packet. */
1770             return;
1771         }
1772
1773         /* If use_recirc is set, the main thread will handle stats
1774          * accounting for this bond. */
1775         if (!use_recirc) {
1776             if (ctx->xin->resubmit_stats) {
1777                 bond_account(out_xbundle->bond, &ctx->xin->flow, vid,
1778                              ctx->xin->resubmit_stats->n_bytes);
1779             }
1780             if (ctx->xin->xcache) {
1781                 struct xc_entry *entry;
1782                 struct flow *flow;
1783
1784                 flow = &ctx->xin->flow;
1785                 entry = xlate_cache_add_entry(ctx->xin->xcache, XC_BOND);
1786                 entry->u.bond.bond = bond_ref(out_xbundle->bond);
1787                 entry->u.bond.flow = xmemdup(flow, sizeof *flow);
1788                 entry->u.bond.vid = vid;
1789             }
1790         }
1791     }
1792
1793     old_tci = *flow_tci;
1794     tci = htons(vid);
1795     if (tci || out_xbundle->use_priority_tags) {
1796         tci |= *flow_tci & htons(VLAN_PCP_MASK);
1797         if (tci) {
1798             tci |= htons(VLAN_CFI);
1799         }
1800     }
1801     *flow_tci = tci;
1802
1803     compose_output_action(ctx, xport->ofp_port, use_recirc ? &xr : NULL);
1804     *flow_tci = old_tci;
1805 }
1806
1807 /* A VM broadcasts a gratuitous ARP to indicate that it has resumed after
1808  * migration.  Older Citrix-patched Linux DomU used gratuitous ARP replies to
1809  * indicate this; newer upstream kernels use gratuitous ARP requests. */
1810 static bool
1811 is_gratuitous_arp(const struct flow *flow, struct flow_wildcards *wc)
1812 {
1813     if (flow->dl_type != htons(ETH_TYPE_ARP)) {
1814         return false;
1815     }
1816
1817     memset(&wc->masks.dl_dst, 0xff, sizeof wc->masks.dl_dst);
1818     if (!eth_addr_is_broadcast(flow->dl_dst)) {
1819         return false;
1820     }
1821
1822     memset(&wc->masks.nw_proto, 0xff, sizeof wc->masks.nw_proto);
1823     if (flow->nw_proto == ARP_OP_REPLY) {
1824         return true;
1825     } else if (flow->nw_proto == ARP_OP_REQUEST) {
1826         memset(&wc->masks.nw_src, 0xff, sizeof wc->masks.nw_src);
1827         memset(&wc->masks.nw_dst, 0xff, sizeof wc->masks.nw_dst);
1828
1829         return flow->nw_src == flow->nw_dst;
1830     } else {
1831         return false;
1832     }
1833 }
1834
1835 /* Determines whether packets in 'flow' within 'xbridge' should be forwarded or
1836  * dropped.  Returns true if they may be forwarded, false if they should be
1837  * dropped.
1838  *
1839  * 'in_port' must be the xport that corresponds to flow->in_port.
1840  * 'in_port' must be part of a bundle (e.g. in_port->bundle must be nonnull).
1841  *
1842  * 'vlan' must be the VLAN that corresponds to flow->vlan_tci on 'in_port', as
1843  * returned by input_vid_to_vlan().  It must be a valid VLAN for 'in_port', as
1844  * checked by input_vid_is_valid().
1845  *
1846  * May also add tags to '*tags', although the current implementation only does
1847  * so in one special case.
1848  */
1849 static bool
1850 is_admissible(struct xlate_ctx *ctx, struct xport *in_port,
1851               uint16_t vlan)
1852 {
1853     struct xbundle *in_xbundle = in_port->xbundle;
1854     const struct xbridge *xbridge = ctx->xbridge;
1855     struct flow *flow = &ctx->xin->flow;
1856
1857     /* Drop frames for reserved multicast addresses
1858      * only if forward_bpdu option is absent. */
1859     if (!xbridge->forward_bpdu && eth_addr_is_reserved(flow->dl_dst)) {
1860         xlate_report(ctx, "packet has reserved destination MAC, dropping");
1861         return false;
1862     }
1863
1864     if (in_xbundle->bond) {
1865         struct mac_entry *mac;
1866
1867         switch (bond_check_admissibility(in_xbundle->bond, in_port->ofport,
1868                                          flow->dl_dst)) {
1869         case BV_ACCEPT:
1870             break;
1871
1872         case BV_DROP:
1873             xlate_report(ctx, "bonding refused admissibility, dropping");
1874             return false;
1875
1876         case BV_DROP_IF_MOVED:
1877             ovs_rwlock_rdlock(&xbridge->ml->rwlock);
1878             mac = mac_learning_lookup(xbridge->ml, flow->dl_src, vlan);
1879             if (mac
1880                 && mac_entry_get_port(xbridge->ml, mac) != in_xbundle->ofbundle
1881                 && (!is_gratuitous_arp(flow, ctx->wc)
1882                     || mac_entry_is_grat_arp_locked(mac))) {
1883                 ovs_rwlock_unlock(&xbridge->ml->rwlock);
1884                 xlate_report(ctx, "SLB bond thinks this packet looped back, "
1885                              "dropping");
1886                 return false;
1887             }
1888             ovs_rwlock_unlock(&xbridge->ml->rwlock);
1889             break;
1890         }
1891     }
1892
1893     return true;
1894 }
1895
1896 /* Checks whether a MAC learning update is necessary for MAC learning table
1897  * 'ml' given that a packet matching 'flow' was received  on 'in_xbundle' in
1898  * 'vlan'.
1899  *
1900  * Most packets processed through the MAC learning table do not actually
1901  * change it in any way.  This function requires only a read lock on the MAC
1902  * learning table, so it is much cheaper in this common case.
1903  *
1904  * Keep the code here synchronized with that in update_learning_table__()
1905  * below. */
1906 static bool
1907 is_mac_learning_update_needed(const struct mac_learning *ml,
1908                               const struct flow *flow,
1909                               struct flow_wildcards *wc,
1910                               int vlan, struct xbundle *in_xbundle)
1911 OVS_REQ_RDLOCK(ml->rwlock)
1912 {
1913     struct mac_entry *mac;
1914
1915     if (!mac_learning_may_learn(ml, flow->dl_src, vlan)) {
1916         return false;
1917     }
1918
1919     mac = mac_learning_lookup(ml, flow->dl_src, vlan);
1920     if (!mac || mac_entry_age(ml, mac)) {
1921         return true;
1922     }
1923
1924     if (is_gratuitous_arp(flow, wc)) {
1925         /* We don't want to learn from gratuitous ARP packets that are
1926          * reflected back over bond slaves so we lock the learning table. */
1927         if (!in_xbundle->bond) {
1928             return true;
1929         } else if (mac_entry_is_grat_arp_locked(mac)) {
1930             return false;
1931         }
1932     }
1933
1934     return mac_entry_get_port(ml, mac) != in_xbundle->ofbundle;
1935 }
1936
1937
1938 /* Updates MAC learning table 'ml' given that a packet matching 'flow' was
1939  * received on 'in_xbundle' in 'vlan'.
1940  *
1941  * This code repeats all the checks in is_mac_learning_update_needed() because
1942  * the lock was released between there and here and thus the MAC learning state
1943  * could have changed.
1944  *
1945  * Keep the code here synchronized with that in is_mac_learning_update_needed()
1946  * above. */
1947 static void
1948 update_learning_table__(const struct xbridge *xbridge,
1949                         const struct flow *flow, struct flow_wildcards *wc,
1950                         int vlan, struct xbundle *in_xbundle)
1951 OVS_REQ_WRLOCK(xbridge->ml->rwlock)
1952 {
1953     struct mac_entry *mac;
1954
1955     if (!mac_learning_may_learn(xbridge->ml, flow->dl_src, vlan)) {
1956         return;
1957     }
1958
1959     mac = mac_learning_insert(xbridge->ml, flow->dl_src, vlan);
1960     if (is_gratuitous_arp(flow, wc)) {
1961         /* We don't want to learn from gratuitous ARP packets that are
1962          * reflected back over bond slaves so we lock the learning table. */
1963         if (!in_xbundle->bond) {
1964             mac_entry_set_grat_arp_lock(mac);
1965         } else if (mac_entry_is_grat_arp_locked(mac)) {
1966             return;
1967         }
1968     }
1969
1970     if (mac_entry_get_port(xbridge->ml, mac) != in_xbundle->ofbundle) {
1971         /* The log messages here could actually be useful in debugging,
1972          * so keep the rate limit relatively high. */
1973         static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(30, 300);
1974
1975         VLOG_DBG_RL(&rl, "bridge %s: learned that "ETH_ADDR_FMT" is "
1976                     "on port %s in VLAN %d",
1977                     xbridge->name, ETH_ADDR_ARGS(flow->dl_src),
1978                     in_xbundle->name, vlan);
1979
1980         mac_entry_set_port(xbridge->ml, mac, in_xbundle->ofbundle);
1981     }
1982 }
1983
1984 static void
1985 update_learning_table(const struct xbridge *xbridge,
1986                       const struct flow *flow, struct flow_wildcards *wc,
1987                       int vlan, struct xbundle *in_xbundle)
1988 {
1989     bool need_update;
1990
1991     /* Don't learn the OFPP_NONE port. */
1992     if (in_xbundle == &ofpp_none_bundle) {
1993         return;
1994     }
1995
1996     /* First try the common case: no change to MAC learning table. */
1997     ovs_rwlock_rdlock(&xbridge->ml->rwlock);
1998     need_update = is_mac_learning_update_needed(xbridge->ml, flow, wc, vlan,
1999                                                 in_xbundle);
2000     ovs_rwlock_unlock(&xbridge->ml->rwlock);
2001
2002     if (need_update) {
2003         /* Slow path: MAC learning table might need an update. */
2004         ovs_rwlock_wrlock(&xbridge->ml->rwlock);
2005         update_learning_table__(xbridge, flow, wc, vlan, in_xbundle);
2006         ovs_rwlock_unlock(&xbridge->ml->rwlock);
2007     }
2008 }
2009
2010 /* Updates multicast snooping table 'ms' given that a packet matching 'flow'
2011  * was received on 'in_xbundle' in 'vlan' and is either Report or Query. */
2012 static void
2013 update_mcast_snooping_table4__(const struct xbridge *xbridge,
2014                                const struct flow *flow,
2015                                struct mcast_snooping *ms, int vlan,
2016                                struct xbundle *in_xbundle,
2017                                const struct dp_packet *packet)
2018     OVS_REQ_WRLOCK(ms->rwlock)
2019 {
2020     static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(60, 30);
2021     int count;
2022     ovs_be32 ip4 = flow->igmp_group_ip4;
2023
2024     switch (ntohs(flow->tp_src)) {
2025     case IGMP_HOST_MEMBERSHIP_REPORT:
2026     case IGMPV2_HOST_MEMBERSHIP_REPORT:
2027         if (mcast_snooping_add_group4(ms, ip4, vlan, in_xbundle->ofbundle)) {
2028             VLOG_DBG_RL(&rl, "bridge %s: multicast snooping learned that "
2029                         IP_FMT" is on port %s in VLAN %d",
2030                         xbridge->name, IP_ARGS(ip4), in_xbundle->name, vlan);
2031         }
2032         break;
2033     case IGMP_HOST_LEAVE_MESSAGE:
2034         if (mcast_snooping_leave_group4(ms, ip4, vlan, in_xbundle->ofbundle)) {
2035             VLOG_DBG_RL(&rl, "bridge %s: multicast snooping leaving "
2036                         IP_FMT" is on port %s in VLAN %d",
2037                         xbridge->name, IP_ARGS(ip4), in_xbundle->name, vlan);
2038         }
2039         break;
2040     case IGMP_HOST_MEMBERSHIP_QUERY:
2041         if (flow->nw_src && mcast_snooping_add_mrouter(ms, vlan,
2042             in_xbundle->ofbundle)) {
2043             VLOG_DBG_RL(&rl, "bridge %s: multicast snooping query from "
2044                         IP_FMT" is on port %s in VLAN %d",
2045                         xbridge->name, IP_ARGS(flow->nw_src),
2046                         in_xbundle->name, vlan);
2047         }
2048         break;
2049     case IGMPV3_HOST_MEMBERSHIP_REPORT:
2050         if ((count = mcast_snooping_add_report(ms, packet, vlan,
2051                                                in_xbundle->ofbundle))) {
2052             VLOG_DBG_RL(&rl, "bridge %s: multicast snooping processed %d "
2053                         "addresses on port %s in VLAN %d",
2054                         xbridge->name, count, in_xbundle->name, vlan);
2055         }
2056         break;
2057     }
2058 }
2059
2060 static void
2061 update_mcast_snooping_table6__(const struct xbridge *xbridge,
2062                                const struct flow *flow,
2063                                struct mcast_snooping *ms, int vlan,
2064                                struct xbundle *in_xbundle,
2065                                const struct dp_packet *packet)
2066     OVS_REQ_WRLOCK(ms->rwlock)
2067 {
2068     static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(60, 30);
2069     int count;
2070
2071     switch (ntohs(flow->tp_src)) {
2072     case MLD_QUERY:
2073         if (!ipv6_addr_equals(&flow->ipv6_src, &in6addr_any)
2074             && mcast_snooping_add_mrouter(ms, vlan, in_xbundle->ofbundle)) {
2075             VLOG_DBG_RL(&rl, "bridge %s: multicast snooping query on port %s"
2076                         "in VLAN %d",
2077                         xbridge->name, in_xbundle->name, vlan);
2078         }
2079         break;
2080     case MLD_REPORT:
2081     case MLD_DONE:
2082     case MLD2_REPORT:
2083         count = mcast_snooping_add_mld(ms, packet, vlan, in_xbundle->ofbundle);
2084         if (count) {
2085             VLOG_DBG_RL(&rl, "bridge %s: multicast snooping processed %d "
2086                         "addresses on port %s in VLAN %d",
2087                         xbridge->name, count, in_xbundle->name, vlan);
2088         }
2089         break;
2090     }
2091 }
2092
2093 /* Updates multicast snooping table 'ms' given that a packet matching 'flow'
2094  * was received on 'in_xbundle' in 'vlan'. */
2095 static void
2096 update_mcast_snooping_table(const struct xbridge *xbridge,
2097                             const struct flow *flow, int vlan,
2098                             struct xbundle *in_xbundle,
2099                             const struct dp_packet *packet)
2100 {
2101     struct mcast_snooping *ms = xbridge->ms;
2102     struct xlate_cfg *xcfg;
2103     struct xbundle *mcast_xbundle;
2104     struct mcast_port_bundle *fport;
2105
2106     /* Don't learn the OFPP_NONE port. */
2107     if (in_xbundle == &ofpp_none_bundle) {
2108         return;
2109     }
2110
2111     /* Don't learn from flood ports */
2112     mcast_xbundle = NULL;
2113     ovs_rwlock_wrlock(&ms->rwlock);
2114     xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
2115     LIST_FOR_EACH(fport, node, &ms->fport_list) {
2116         mcast_xbundle = xbundle_lookup(xcfg, fport->port);
2117         if (mcast_xbundle == in_xbundle) {
2118             break;
2119         }
2120     }
2121
2122     if (!mcast_xbundle || mcast_xbundle != in_xbundle) {
2123         if (flow->dl_type == htons(ETH_TYPE_IP)) {
2124             update_mcast_snooping_table4__(xbridge, flow, ms, vlan,
2125                                            in_xbundle, packet);
2126         } else {
2127             update_mcast_snooping_table6__(xbridge, flow, ms, vlan,
2128                                            in_xbundle, packet);
2129         }
2130     }
2131     ovs_rwlock_unlock(&ms->rwlock);
2132 }
2133
2134 /* send the packet to ports having the multicast group learned */
2135 static void
2136 xlate_normal_mcast_send_group(struct xlate_ctx *ctx,
2137                               struct mcast_snooping *ms OVS_UNUSED,
2138                               struct mcast_group *grp,
2139                               struct xbundle *in_xbundle, uint16_t vlan)
2140     OVS_REQ_RDLOCK(ms->rwlock)
2141 {
2142     struct xlate_cfg *xcfg;
2143     struct mcast_group_bundle *b;
2144     struct xbundle *mcast_xbundle;
2145
2146     xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
2147     LIST_FOR_EACH(b, bundle_node, &grp->bundle_lru) {
2148         mcast_xbundle = xbundle_lookup(xcfg, b->port);
2149         if (mcast_xbundle && mcast_xbundle != in_xbundle) {
2150             xlate_report(ctx, "forwarding to mcast group port");
2151             output_normal(ctx, mcast_xbundle, vlan);
2152         } else if (!mcast_xbundle) {
2153             xlate_report(ctx, "mcast group port is unknown, dropping");
2154         } else {
2155             xlate_report(ctx, "mcast group port is input port, dropping");
2156         }
2157     }
2158 }
2159
2160 /* send the packet to ports connected to multicast routers */
2161 static void
2162 xlate_normal_mcast_send_mrouters(struct xlate_ctx *ctx,
2163                                  struct mcast_snooping *ms,
2164                                  struct xbundle *in_xbundle, uint16_t vlan)
2165     OVS_REQ_RDLOCK(ms->rwlock)
2166 {
2167     struct xlate_cfg *xcfg;
2168     struct mcast_mrouter_bundle *mrouter;
2169     struct xbundle *mcast_xbundle;
2170
2171     xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
2172     LIST_FOR_EACH(mrouter, mrouter_node, &ms->mrouter_lru) {
2173         mcast_xbundle = xbundle_lookup(xcfg, mrouter->port);
2174         if (mcast_xbundle && mcast_xbundle != in_xbundle) {
2175             xlate_report(ctx, "forwarding to mcast router port");
2176             output_normal(ctx, mcast_xbundle, vlan);
2177         } else if (!mcast_xbundle) {
2178             xlate_report(ctx, "mcast router port is unknown, dropping");
2179         } else {
2180             xlate_report(ctx, "mcast router port is input port, dropping");
2181         }
2182     }
2183 }
2184
2185 /* send the packet to ports flagged to be flooded */
2186 static void
2187 xlate_normal_mcast_send_fports(struct xlate_ctx *ctx,
2188                                struct mcast_snooping *ms,
2189                                struct xbundle *in_xbundle, uint16_t vlan)
2190     OVS_REQ_RDLOCK(ms->rwlock)
2191 {
2192     struct xlate_cfg *xcfg;
2193     struct mcast_port_bundle *fport;
2194     struct xbundle *mcast_xbundle;
2195
2196     xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
2197     LIST_FOR_EACH(fport, node, &ms->fport_list) {
2198         mcast_xbundle = xbundle_lookup(xcfg, fport->port);
2199         if (mcast_xbundle && mcast_xbundle != in_xbundle) {
2200             xlate_report(ctx, "forwarding to mcast flood port");
2201             output_normal(ctx, mcast_xbundle, vlan);
2202         } else if (!mcast_xbundle) {
2203             xlate_report(ctx, "mcast flood port is unknown, dropping");
2204         } else {
2205             xlate_report(ctx, "mcast flood port is input port, dropping");
2206         }
2207     }
2208 }
2209
2210 /* forward the Reports to configured ports */
2211 static void
2212 xlate_normal_mcast_send_rports(struct xlate_ctx *ctx,
2213                                struct mcast_snooping *ms,
2214                                struct xbundle *in_xbundle, uint16_t vlan)
2215     OVS_REQ_RDLOCK(ms->rwlock)
2216 {
2217     struct xlate_cfg *xcfg;
2218     struct mcast_port_bundle *rport;
2219     struct xbundle *mcast_xbundle;
2220
2221     xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
2222     LIST_FOR_EACH(rport, node, &ms->rport_list) {
2223         mcast_xbundle = xbundle_lookup(xcfg, rport->port);
2224         if (mcast_xbundle && mcast_xbundle != in_xbundle) {
2225             xlate_report(ctx, "forwarding Report to mcast flagged port");
2226             output_normal(ctx, mcast_xbundle, vlan);
2227         } else if (!mcast_xbundle) {
2228             xlate_report(ctx, "mcast port is unknown, dropping the Report");
2229         } else {
2230             xlate_report(ctx, "mcast port is input port, dropping the Report");
2231         }
2232     }
2233 }
2234
2235 static void
2236 xlate_normal_flood(struct xlate_ctx *ctx, struct xbundle *in_xbundle,
2237                    uint16_t vlan)
2238 {
2239     struct xbundle *xbundle;
2240
2241     LIST_FOR_EACH (xbundle, list_node, &ctx->xbridge->xbundles) {
2242         if (xbundle != in_xbundle
2243             && xbundle_includes_vlan(xbundle, vlan)
2244             && xbundle->floodable
2245             && !xbundle_mirror_out(ctx->xbridge, xbundle)) {
2246             output_normal(ctx, xbundle, vlan);
2247         }
2248     }
2249     ctx->nf_output_iface = NF_OUT_FLOOD;
2250 }
2251
2252 static void
2253 xlate_normal(struct xlate_ctx *ctx)
2254 {
2255     struct flow_wildcards *wc = ctx->wc;
2256     struct flow *flow = &ctx->xin->flow;
2257     struct xbundle *in_xbundle;
2258     struct xport *in_port;
2259     struct mac_entry *mac;
2260     void *mac_port;
2261     uint16_t vlan;
2262     uint16_t vid;
2263
2264     memset(&wc->masks.dl_src, 0xff, sizeof wc->masks.dl_src);
2265     memset(&wc->masks.dl_dst, 0xff, sizeof wc->masks.dl_dst);
2266     wc->masks.vlan_tci |= htons(VLAN_VID_MASK | VLAN_CFI);
2267
2268     in_xbundle = lookup_input_bundle(ctx->xbridge, flow->in_port.ofp_port,
2269                                      ctx->xin->packet != NULL, &in_port);
2270     if (!in_xbundle) {
2271         xlate_report(ctx, "no input bundle, dropping");
2272         return;
2273     }
2274
2275     /* Drop malformed frames. */
2276     if (flow->dl_type == htons(ETH_TYPE_VLAN) &&
2277         !(flow->vlan_tci & htons(VLAN_CFI))) {
2278         if (ctx->xin->packet != NULL) {
2279             static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
2280             VLOG_WARN_RL(&rl, "bridge %s: dropping packet with partial "
2281                          "VLAN tag received on port %s",
2282                          ctx->xbridge->name, in_xbundle->name);
2283         }
2284         xlate_report(ctx, "partial VLAN tag, dropping");
2285         return;
2286     }
2287
2288     /* Drop frames on bundles reserved for mirroring. */
2289     if (xbundle_mirror_out(ctx->xbridge, in_xbundle)) {
2290         if (ctx->xin->packet != NULL) {
2291             static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
2292             VLOG_WARN_RL(&rl, "bridge %s: dropping packet received on port "
2293                          "%s, which is reserved exclusively for mirroring",
2294                          ctx->xbridge->name, in_xbundle->name);
2295         }
2296         xlate_report(ctx, "input port is mirror output port, dropping");
2297         return;
2298     }
2299
2300     /* Check VLAN. */
2301     vid = vlan_tci_to_vid(flow->vlan_tci);
2302     if (!input_vid_is_valid(vid, in_xbundle, ctx->xin->packet != NULL)) {
2303         xlate_report(ctx, "disallowed VLAN VID for this input port, dropping");
2304         return;
2305     }
2306     vlan = input_vid_to_vlan(in_xbundle, vid);
2307
2308     /* Check other admissibility requirements. */
2309     if (in_port && !is_admissible(ctx, in_port, vlan)) {
2310         return;
2311     }
2312
2313     /* Learn source MAC. */
2314     if (ctx->xin->may_learn) {
2315         update_learning_table(ctx->xbridge, flow, wc, vlan, in_xbundle);
2316     }
2317     if (ctx->xin->xcache) {
2318         struct xc_entry *entry;
2319
2320         /* Save enough info to update mac learning table later. */
2321         entry = xlate_cache_add_entry(ctx->xin->xcache, XC_NORMAL);
2322         entry->u.normal.ofproto = ctx->xbridge->ofproto;
2323         entry->u.normal.flow = xmemdup(flow, sizeof *flow);
2324         entry->u.normal.vlan = vlan;
2325     }
2326
2327     /* Determine output bundle. */
2328     if (mcast_snooping_enabled(ctx->xbridge->ms)
2329         && !eth_addr_is_broadcast(flow->dl_dst)
2330         && eth_addr_is_multicast(flow->dl_dst)
2331         && is_ip_any(flow)) {
2332         struct mcast_snooping *ms = ctx->xbridge->ms;
2333         struct mcast_group *grp = NULL;
2334
2335         if (is_igmp(flow)) {
2336             if (mcast_snooping_is_membership(flow->tp_src) ||
2337                 mcast_snooping_is_query(flow->tp_src)) {
2338                 if (ctx->xin->may_learn) {
2339                     update_mcast_snooping_table(ctx->xbridge, flow, vlan,
2340                                                 in_xbundle, ctx->xin->packet);
2341                 }
2342                 /*
2343                  * IGMP packets need to take the slow path, in order to be
2344                  * processed for mdb updates. That will prevent expires
2345                  * firing off even after hosts have sent reports.
2346                  */
2347                 ctx->xout->slow |= SLOW_ACTION;
2348             }
2349
2350             if (mcast_snooping_is_membership(flow->tp_src)) {
2351                 ovs_rwlock_rdlock(&ms->rwlock);
2352                 xlate_normal_mcast_send_mrouters(ctx, ms, in_xbundle, vlan);
2353                 /* RFC4541: section 2.1.1, item 1: A snooping switch should
2354                  * forward IGMP Membership Reports only to those ports where
2355                  * multicast routers are attached.  Alternatively stated: a
2356                  * snooping switch should not forward IGMP Membership Reports
2357                  * to ports on which only hosts are attached.
2358                  * An administrative control may be provided to override this
2359                  * restriction, allowing the report messages to be flooded to
2360                  * other ports. */
2361                 xlate_normal_mcast_send_rports(ctx, ms, in_xbundle, vlan);
2362                 ovs_rwlock_unlock(&ms->rwlock);
2363             } else {
2364                 xlate_report(ctx, "multicast traffic, flooding");
2365                 xlate_normal_flood(ctx, in_xbundle, vlan);
2366             }
2367             return;
2368         } else if (is_mld(flow)) {
2369             ctx->xout->slow |= SLOW_ACTION;
2370             if (ctx->xin->may_learn) {
2371                 update_mcast_snooping_table(ctx->xbridge, flow, vlan,
2372                                             in_xbundle, ctx->xin->packet);
2373             }
2374             if (is_mld_report(flow)) {
2375                 ovs_rwlock_rdlock(&ms->rwlock);
2376                 xlate_normal_mcast_send_mrouters(ctx, ms, in_xbundle, vlan);
2377                 xlate_normal_mcast_send_rports(ctx, ms, in_xbundle, vlan);
2378                 ovs_rwlock_unlock(&ms->rwlock);
2379             } else {
2380                 xlate_report(ctx, "MLD query, flooding");
2381                 xlate_normal_flood(ctx, in_xbundle, vlan);
2382             }
2383         } else {
2384             if ((flow->dl_type == htons(ETH_TYPE_IP)
2385                  && ip_is_local_multicast(flow->nw_dst))
2386                 || (flow->dl_type == htons(ETH_TYPE_IPV6)
2387                     && ipv6_is_all_hosts(&flow->ipv6_dst))) {
2388                 /* RFC4541: section 2.1.2, item 2: Packets with a dst IP
2389                  * address in the 224.0.0.x range which are not IGMP must
2390                  * be forwarded on all ports */
2391                 xlate_report(ctx, "RFC4541: section 2.1.2, item 2, flooding");
2392                 xlate_normal_flood(ctx, in_xbundle, vlan);
2393                 return;
2394             }
2395         }
2396
2397         /* forwarding to group base ports */
2398         ovs_rwlock_rdlock(&ms->rwlock);
2399         if (flow->dl_type == htons(ETH_TYPE_IP)) {
2400             grp = mcast_snooping_lookup4(ms, flow->nw_dst, vlan);
2401         } else if (flow->dl_type == htons(ETH_TYPE_IPV6)) {
2402             grp = mcast_snooping_lookup(ms, &flow->ipv6_dst, vlan);
2403         }
2404         if (grp) {
2405             xlate_normal_mcast_send_group(ctx, ms, grp, in_xbundle, vlan);
2406             xlate_normal_mcast_send_fports(ctx, ms, in_xbundle, vlan);
2407             xlate_normal_mcast_send_mrouters(ctx, ms, in_xbundle, vlan);
2408         } else {
2409             if (mcast_snooping_flood_unreg(ms)) {
2410                 xlate_report(ctx, "unregistered multicast, flooding");
2411                 xlate_normal_flood(ctx, in_xbundle, vlan);
2412             } else {
2413                 xlate_normal_mcast_send_mrouters(ctx, ms, in_xbundle, vlan);
2414                 xlate_normal_mcast_send_fports(ctx, ms, in_xbundle, vlan);
2415             }
2416         }
2417         ovs_rwlock_unlock(&ms->rwlock);
2418     } else {
2419         ovs_rwlock_rdlock(&ctx->xbridge->ml->rwlock);
2420         mac = mac_learning_lookup(ctx->xbridge->ml, flow->dl_dst, vlan);
2421         mac_port = mac ? mac_entry_get_port(ctx->xbridge->ml, mac) : NULL;
2422         ovs_rwlock_unlock(&ctx->xbridge->ml->rwlock);
2423
2424         if (mac_port) {
2425             struct xlate_cfg *xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
2426             struct xbundle *mac_xbundle = xbundle_lookup(xcfg, mac_port);
2427             if (mac_xbundle && mac_xbundle != in_xbundle) {
2428                 xlate_report(ctx, "forwarding to learned port");
2429                 output_normal(ctx, mac_xbundle, vlan);
2430             } else if (!mac_xbundle) {
2431                 xlate_report(ctx, "learned port is unknown, dropping");
2432             } else {
2433                 xlate_report(ctx, "learned port is input port, dropping");
2434             }
2435         } else {
2436             xlate_report(ctx, "no learned MAC for destination, flooding");
2437             xlate_normal_flood(ctx, in_xbundle, vlan);
2438         }
2439     }
2440 }
2441
2442 /* Appends a "sample" action for sFlow or IPFIX to 'ctx->odp_actions'.  The
2443  * 'probability' is the number of packets out of UINT32_MAX to sample.  The
2444  * 'cookie' (of length 'cookie_size' bytes) is passed back in the callback for
2445  * each sampled packet.  'tunnel_out_port', if not ODPP_NONE, is added as the
2446  * OVS_USERSPACE_ATTR_EGRESS_TUN_PORT attribute.  If 'include_actions', an
2447  * OVS_USERSPACE_ATTR_ACTIONS attribute is added.
2448  */
2449 static size_t
2450 compose_sample_action(struct xlate_ctx *ctx,
2451                       const uint32_t probability,
2452                       const union user_action_cookie *cookie,
2453                       const size_t cookie_size,
2454                       const odp_port_t tunnel_out_port,
2455                       bool include_actions)
2456 {
2457     size_t sample_offset = nl_msg_start_nested(ctx->odp_actions,
2458                                                OVS_ACTION_ATTR_SAMPLE);
2459
2460     nl_msg_put_u32(ctx->odp_actions, OVS_SAMPLE_ATTR_PROBABILITY, probability);
2461
2462     size_t actions_offset = nl_msg_start_nested(ctx->odp_actions,
2463                                                 OVS_SAMPLE_ATTR_ACTIONS);
2464
2465     odp_port_t odp_port = ofp_port_to_odp_port(
2466         ctx->xbridge, ctx->xin->flow.in_port.ofp_port);
2467     uint32_t pid = dpif_port_get_pid(ctx->xbridge->dpif, odp_port,
2468                                      flow_hash_5tuple(&ctx->xin->flow, 0));
2469     int cookie_offset = odp_put_userspace_action(pid, cookie, cookie_size,
2470                                                  tunnel_out_port,
2471                                                  include_actions,
2472                                                  ctx->odp_actions);
2473
2474     nl_msg_end_nested(ctx->odp_actions, actions_offset);
2475     nl_msg_end_nested(ctx->odp_actions, sample_offset);
2476
2477     return cookie_offset;
2478 }
2479
2480 /* If sFLow is not enabled, returns 0 without doing anything.
2481  *
2482  * If sFlow is enabled, appends a template "sample" action to the ODP actions
2483  * in 'ctx'.  This action is a template because some of the information needed
2484  * to fill it out is not available until flow translation is complete.  In this
2485  * case, this functions returns an offset, which is always nonzero, to pass
2486  * later to fix_sflow_action() to fill in the rest of the template. */
2487 static size_t
2488 compose_sflow_action(struct xlate_ctx *ctx)
2489 {
2490     struct dpif_sflow *sflow = ctx->xbridge->sflow;
2491     if (!sflow || ctx->xin->flow.in_port.ofp_port == OFPP_NONE) {
2492         return 0;
2493     }
2494
2495     union user_action_cookie cookie = { .type = USER_ACTION_COOKIE_SFLOW };
2496     return compose_sample_action(ctx, dpif_sflow_get_probability(sflow),
2497                                  &cookie, sizeof cookie.sflow, ODPP_NONE,
2498                                  true);
2499 }
2500
2501 /* If IPFIX is enabled, this appends a "sample" action to implement IPFIX to
2502  * 'ctx->odp_actions'. */
2503 static void
2504 compose_ipfix_action(struct xlate_ctx *ctx, odp_port_t output_odp_port)
2505 {
2506     struct dpif_ipfix *ipfix = ctx->xbridge->ipfix;
2507     odp_port_t tunnel_out_port = ODPP_NONE;
2508
2509     if (!ipfix || ctx->xin->flow.in_port.ofp_port == OFPP_NONE) {
2510         return;
2511     }
2512
2513     /* For input case, output_odp_port is ODPP_NONE, which is an invalid port
2514      * number. */
2515     if (output_odp_port == ODPP_NONE &&
2516         !dpif_ipfix_get_bridge_exporter_input_sampling(ipfix)) {
2517         return;
2518     }
2519
2520     /* For output case, output_odp_port is valid*/
2521     if (output_odp_port != ODPP_NONE) {
2522         if (!dpif_ipfix_get_bridge_exporter_output_sampling(ipfix)) {
2523             return;
2524         }
2525         /* If tunnel sampling is enabled, put an additional option attribute:
2526          * OVS_USERSPACE_ATTR_TUNNEL_OUT_PORT
2527          */
2528         if (dpif_ipfix_get_bridge_exporter_tunnel_sampling(ipfix) &&
2529             dpif_ipfix_get_tunnel_port(ipfix, output_odp_port) ) {
2530            tunnel_out_port = output_odp_port;
2531         }
2532     }
2533
2534     union user_action_cookie cookie = {
2535         .ipfix = {
2536             .type = USER_ACTION_COOKIE_IPFIX,
2537             .output_odp_port = output_odp_port,
2538         }
2539     };
2540     compose_sample_action(ctx,
2541                           dpif_ipfix_get_bridge_exporter_probability(ipfix),
2542                           &cookie, sizeof cookie.ipfix, tunnel_out_port,
2543                           false);
2544 }
2545
2546 /* Fix "sample" action according to data collected while composing ODP actions,
2547  * as described in compose_sflow_action().
2548  *
2549  * 'user_cookie_offset' must be the offset returned by add_sflow_action(). */
2550 static void
2551 fix_sflow_action(struct xlate_ctx *ctx, unsigned int user_cookie_offset)
2552 {
2553     const struct flow *base = &ctx->base_flow;
2554     union user_action_cookie *cookie;
2555
2556     cookie = ofpbuf_at(ctx->odp_actions, user_cookie_offset,
2557                        sizeof cookie->sflow);
2558     ovs_assert(cookie->type == USER_ACTION_COOKIE_SFLOW);
2559
2560     cookie->type = USER_ACTION_COOKIE_SFLOW;
2561     cookie->sflow.vlan_tci = base->vlan_tci;
2562
2563     /* See http://www.sflow.org/sflow_version_5.txt (search for "Input/output
2564      * port information") for the interpretation of cookie->output. */
2565     switch (ctx->sflow_n_outputs) {
2566     case 0:
2567         /* 0x40000000 | 256 means "packet dropped for unknown reason". */
2568         cookie->sflow.output = 0x40000000 | 256;
2569         break;
2570
2571     case 1:
2572         cookie->sflow.output = dpif_sflow_odp_port_to_ifindex(
2573             ctx->xbridge->sflow, ctx->sflow_odp_port);
2574         if (cookie->sflow.output) {
2575             break;
2576         }
2577         /* Fall through. */
2578     default:
2579         /* 0x80000000 means "multiple output ports. */
2580         cookie->sflow.output = 0x80000000 | ctx->sflow_n_outputs;
2581         break;
2582     }
2583 }
2584
2585 static bool
2586 process_special(struct xlate_ctx *ctx, const struct xport *xport)
2587 {
2588     const struct flow *flow = &ctx->xin->flow;
2589     struct flow_wildcards *wc = ctx->wc;
2590     const struct xbridge *xbridge = ctx->xbridge;
2591     const struct dp_packet *packet = ctx->xin->packet;
2592     enum slow_path_reason slow;
2593
2594     if (!xport) {
2595         slow = 0;
2596     } else if (xport->cfm && cfm_should_process_flow(xport->cfm, flow, wc)) {
2597         if (packet) {
2598             cfm_process_heartbeat(xport->cfm, packet);
2599         }
2600         slow = SLOW_CFM;
2601     } else if (xport->bfd && bfd_should_process_flow(xport->bfd, flow, wc)) {
2602         if (packet) {
2603             bfd_process_packet(xport->bfd, flow, packet);
2604             /* If POLL received, immediately sends FINAL back. */
2605             if (bfd_should_send_packet(xport->bfd)) {
2606                 ofproto_dpif_monitor_port_send_soon(xport->ofport);
2607             }
2608         }
2609         slow = SLOW_BFD;
2610     } else if (xport->xbundle && xport->xbundle->lacp
2611                && flow->dl_type == htons(ETH_TYPE_LACP)) {
2612         if (packet) {
2613             lacp_process_packet(xport->xbundle->lacp, xport->ofport, packet);
2614         }
2615         slow = SLOW_LACP;
2616     } else if ((xbridge->stp || xbridge->rstp) &&
2617                stp_should_process_flow(flow, wc)) {
2618         if (packet) {
2619             xbridge->stp
2620                 ? stp_process_packet(xport, packet)
2621                 : rstp_process_packet(xport, packet);
2622         }
2623         slow = SLOW_STP;
2624     } else if (xport->lldp && lldp_should_process_flow(xport->lldp, flow)) {
2625         if (packet) {
2626             lldp_process_packet(xport->lldp, packet);
2627         }
2628         slow = SLOW_LLDP;
2629     } else {
2630         slow = 0;
2631     }
2632
2633     if (slow) {
2634         ctx->xout->slow |= slow;
2635         return true;
2636     } else {
2637         return false;
2638     }
2639 }
2640
2641 static int
2642 tnl_route_lookup_flow(const struct flow *oflow,
2643                       ovs_be32 *ip, struct xport **out_port)
2644 {
2645     char out_dev[IFNAMSIZ];
2646     struct xbridge *xbridge;
2647     struct xlate_cfg *xcfg;
2648     ovs_be32 gw;
2649
2650     if (!ovs_router_lookup(oflow->tunnel.ip_dst, out_dev, &gw)) {
2651         return -ENOENT;
2652     }
2653
2654     if (gw) {
2655         *ip = gw;
2656     } else {
2657         *ip = oflow->tunnel.ip_dst;
2658     }
2659
2660     xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
2661     ovs_assert(xcfg);
2662
2663     HMAP_FOR_EACH (xbridge, hmap_node, &xcfg->xbridges) {
2664         if (!strncmp(xbridge->name, out_dev, IFNAMSIZ)) {
2665             struct xport *port;
2666
2667             HMAP_FOR_EACH (port, ofp_node, &xbridge->xports) {
2668                 if (!strncmp(netdev_get_name(port->netdev), out_dev, IFNAMSIZ)) {
2669                     *out_port = port;
2670                     return 0;
2671                 }
2672             }
2673         }
2674     }
2675     return -ENOENT;
2676 }
2677
2678 static int
2679 xlate_flood_packet(struct xbridge *xbridge, struct dp_packet *packet)
2680 {
2681     struct ofpact_output output;
2682     struct flow flow;
2683
2684     ofpact_init(&output.ofpact, OFPACT_OUTPUT, sizeof output);
2685     /* Use OFPP_NONE as the in_port to avoid special packet processing. */
2686     flow_extract(packet, &flow);
2687     flow.in_port.ofp_port = OFPP_NONE;
2688     output.port = OFPP_FLOOD;
2689     output.max_len = 0;
2690
2691     return ofproto_dpif_execute_actions(xbridge->ofproto, &flow, NULL,
2692                                         &output.ofpact, sizeof output,
2693                                         packet);
2694 }
2695
2696 static void
2697 tnl_send_arp_request(const struct xport *out_dev, const uint8_t eth_src[ETH_ADDR_LEN],
2698                      ovs_be32 ip_src, ovs_be32 ip_dst)
2699 {
2700     struct xbridge *xbridge = out_dev->xbridge;
2701     struct dp_packet packet;
2702
2703     dp_packet_init(&packet, 0);
2704     compose_arp(&packet, ARP_OP_REQUEST,
2705                 eth_src, eth_addr_zero, true, ip_src, ip_dst);
2706
2707     xlate_flood_packet(xbridge, &packet);
2708     dp_packet_uninit(&packet);
2709 }
2710
2711 static int
2712 build_tunnel_send(struct xlate_ctx *ctx, const struct xport *xport,
2713                   const struct flow *flow, odp_port_t tunnel_odp_port)
2714 {
2715     struct ovs_action_push_tnl tnl_push_data;
2716     struct xport *out_dev = NULL;
2717     ovs_be32 s_ip, d_ip = 0;
2718     uint8_t smac[ETH_ADDR_LEN];
2719     uint8_t dmac[ETH_ADDR_LEN];
2720     int err;
2721
2722     err = tnl_route_lookup_flow(flow, &d_ip, &out_dev);
2723     if (err) {
2724         xlate_report(ctx, "native tunnel routing failed");
2725         return err;
2726     }
2727     xlate_report(ctx, "tunneling to "IP_FMT" via %s",
2728                  IP_ARGS(d_ip), netdev_get_name(out_dev->netdev));
2729
2730     /* Use mac addr of bridge port of the peer. */
2731     err = netdev_get_etheraddr(out_dev->netdev, smac);
2732     if (err) {
2733         xlate_report(ctx, "tunnel output device lacks Ethernet address");
2734         return err;
2735     }
2736
2737     err = netdev_get_in4(out_dev->netdev, (struct in_addr *) &s_ip, NULL);
2738     if (err) {
2739         xlate_report(ctx, "tunnel output device lacks IPv4 address");
2740         return err;
2741     }
2742
2743     err = tnl_arp_lookup(out_dev->xbridge->name, d_ip, dmac);
2744     if (err) {
2745         xlate_report(ctx, "ARP cache miss for "IP_FMT" on bridge %s, "
2746                      "sending ARP request",
2747                      IP_ARGS(d_ip), out_dev->xbridge->name);
2748         tnl_send_arp_request(out_dev, smac, s_ip, d_ip);
2749         return err;
2750     }
2751     if (ctx->xin->xcache) {
2752         struct xc_entry *entry;
2753
2754         entry = xlate_cache_add_entry(ctx->xin->xcache, XC_TNL_ARP);
2755         ovs_strlcpy(entry->u.tnl_arp_cache.br_name, out_dev->xbridge->name,
2756                     sizeof entry->u.tnl_arp_cache.br_name);
2757         entry->u.tnl_arp_cache.d_ip = d_ip;
2758     }
2759
2760     xlate_report(ctx, "tunneling from "ETH_ADDR_FMT" "IP_FMT
2761                  " to "ETH_ADDR_FMT" "IP_FMT,
2762                  ETH_ADDR_ARGS(smac), IP_ARGS(s_ip),
2763                  ETH_ADDR_ARGS(dmac), IP_ARGS(d_ip));
2764     err = tnl_port_build_header(xport->ofport, flow,
2765                                 dmac, smac, s_ip, &tnl_push_data);
2766     if (err) {
2767         return err;
2768     }
2769     tnl_push_data.tnl_port = odp_to_u32(tunnel_odp_port);
2770     tnl_push_data.out_port = odp_to_u32(out_dev->odp_port);
2771     odp_put_tnl_push_action(ctx->odp_actions, &tnl_push_data);
2772     return 0;
2773 }
2774
2775 static void
2776 compose_output_action__(struct xlate_ctx *ctx, ofp_port_t ofp_port,
2777                         const struct xlate_bond_recirc *xr, bool check_stp)
2778 {
2779     const struct xport *xport = get_ofp_port(ctx->xbridge, ofp_port);
2780     struct flow_wildcards *wc = ctx->wc;
2781     struct flow *flow = &ctx->xin->flow;
2782     struct flow_tnl flow_tnl;
2783     ovs_be16 flow_vlan_tci;
2784     uint32_t flow_pkt_mark;
2785     uint8_t flow_nw_tos;
2786     odp_port_t out_port, odp_port;
2787     bool tnl_push_pop_send = false;
2788     uint8_t dscp;
2789
2790     /* If 'struct flow' gets additional metadata, we'll need to zero it out
2791      * before traversing a patch port. */
2792     BUILD_ASSERT_DECL(FLOW_WC_SEQ == 33);
2793     memset(&flow_tnl, 0, sizeof flow_tnl);
2794
2795     if (!xport) {
2796         xlate_report(ctx, "Nonexistent output port");
2797         return;
2798     } else if (xport->config & OFPUTIL_PC_NO_FWD) {
2799         xlate_report(ctx, "OFPPC_NO_FWD set, skipping output");
2800         return;
2801     } else if (check_stp) {
2802         if (is_stp(&ctx->base_flow)) {
2803             if (!xport_stp_should_forward_bpdu(xport) &&
2804                 !xport_rstp_should_manage_bpdu(xport)) {
2805                 if (ctx->xbridge->stp != NULL) {
2806                     xlate_report(ctx, "STP not in listening state, "
2807                             "skipping bpdu output");
2808                 } else if (ctx->xbridge->rstp != NULL) {
2809                     xlate_report(ctx, "RSTP not managing BPDU in this state, "
2810                             "skipping bpdu output");
2811                 }
2812                 return;
2813             }
2814         } else if (!xport_stp_forward_state(xport) ||
2815                    !xport_rstp_forward_state(xport)) {
2816             if (ctx->xbridge->stp != NULL) {
2817                 xlate_report(ctx, "STP not in forwarding state, "
2818                         "skipping output");
2819             } else if (ctx->xbridge->rstp != NULL) {
2820                 xlate_report(ctx, "RSTP not in forwarding state, "
2821                         "skipping output");
2822             }
2823             return;
2824         }
2825     }
2826
2827     if (mbridge_has_mirrors(ctx->xbridge->mbridge) && xport->xbundle) {
2828         ctx->mirrors |= xbundle_mirror_dst(xport->xbundle->xbridge,
2829                                            xport->xbundle);
2830     }
2831
2832     if (xport->peer) {
2833         const struct xport *peer = xport->peer;
2834         struct flow old_flow = ctx->xin->flow;
2835         bool old_was_mpls = ctx->was_mpls;
2836         cls_version_t old_version = ctx->tables_version;
2837         struct ofpbuf old_stack = ctx->stack;
2838         union mf_subvalue new_stack[1024 / sizeof(union mf_subvalue)];
2839         struct ofpbuf old_action_set = ctx->action_set;
2840         uint64_t actset_stub[1024 / 8];
2841
2842         ofpbuf_use_stub(&ctx->stack, new_stack, sizeof new_stack);
2843         ofpbuf_use_stub(&ctx->action_set, actset_stub, sizeof actset_stub);
2844         ctx->xbridge = peer->xbridge;
2845         flow->in_port.ofp_port = peer->ofp_port;
2846         flow->metadata = htonll(0);
2847         memset(&flow->tunnel, 0, sizeof flow->tunnel);
2848         memset(flow->regs, 0, sizeof flow->regs);
2849         flow->actset_output = OFPP_UNSET;
2850
2851         /* The bridge is now known so obtain its table version. */
2852         ctx->tables_version
2853             = ofproto_dpif_get_tables_version(ctx->xbridge->ofproto);
2854
2855         if (!process_special(ctx, peer) && may_receive(peer, ctx)) {
2856             if (xport_stp_forward_state(peer) && xport_rstp_forward_state(peer)) {
2857                 xlate_table_action(ctx, flow->in_port.ofp_port, 0, true, true);
2858                 if (ctx->action_set.size) {
2859                     /* Translate action set only if not dropping the packet and
2860                      * not recirculating. */
2861                     if (!exit_recirculates(ctx)) {
2862                         xlate_action_set(ctx);
2863                     }
2864                 }
2865                 /* Check if need to recirculate. */
2866                 if (exit_recirculates(ctx)) {
2867                     compose_recirculate_action(ctx);
2868                 }
2869             } else {
2870                 /* Forwarding is disabled by STP and RSTP.  Let OFPP_NORMAL and
2871                  * the learning action look at the packet, then drop it. */
2872                 struct flow old_base_flow = ctx->base_flow;
2873                 size_t old_size = ctx->odp_actions->size;
2874                 mirror_mask_t old_mirrors = ctx->mirrors;
2875
2876                 xlate_table_action(ctx, flow->in_port.ofp_port, 0, true, true);
2877                 ctx->mirrors = old_mirrors;
2878                 ctx->base_flow = old_base_flow;
2879                 ctx->odp_actions->size = old_size;
2880
2881                 /* Undo changes that may have been done for recirculation. */
2882                 if (exit_recirculates(ctx)) {
2883                     ctx->action_set.size = ctx->recirc_action_offset;
2884                     ctx->recirc_action_offset = -1;
2885                     ctx->last_unroll_offset = -1;
2886                 }
2887             }
2888         }
2889
2890         ctx->xin->flow = old_flow;
2891         ctx->xbridge = xport->xbridge;
2892         ofpbuf_uninit(&ctx->action_set);
2893         ctx->action_set = old_action_set;
2894         ofpbuf_uninit(&ctx->stack);
2895         ctx->stack = old_stack;
2896
2897         /* Restore calling bridge's lookup version. */
2898         ctx->tables_version = old_version;
2899
2900         /* The peer bridge popping MPLS should have no effect on the original
2901          * bridge. */
2902         ctx->was_mpls = old_was_mpls;
2903
2904         /* The fact that the peer bridge exits (for any reason) does not mean
2905          * that the original bridge should exit.  Specifically, if the peer
2906          * bridge recirculates (which typically modifies the packet), the
2907          * original bridge must continue processing with the original, not the
2908          * recirculated packet! */
2909         ctx->exit = false;
2910
2911         if (ctx->xin->resubmit_stats) {
2912             netdev_vport_inc_tx(xport->netdev, ctx->xin->resubmit_stats);
2913             netdev_vport_inc_rx(peer->netdev, ctx->xin->resubmit_stats);
2914             if (peer->bfd) {
2915                 bfd_account_rx(peer->bfd, ctx->xin->resubmit_stats);
2916             }
2917         }
2918         if (ctx->xin->xcache) {
2919             struct xc_entry *entry;
2920
2921             entry = xlate_cache_add_entry(ctx->xin->xcache, XC_NETDEV);
2922             entry->u.dev.tx = netdev_ref(xport->netdev);
2923             entry->u.dev.rx = netdev_ref(peer->netdev);
2924             entry->u.dev.bfd = bfd_ref(peer->bfd);
2925         }
2926         return;
2927     }
2928
2929     flow_vlan_tci = flow->vlan_tci;
2930     flow_pkt_mark = flow->pkt_mark;
2931     flow_nw_tos = flow->nw_tos;
2932
2933     if (count_skb_priorities(xport)) {
2934         memset(&wc->masks.skb_priority, 0xff, sizeof wc->masks.skb_priority);
2935         if (dscp_from_skb_priority(xport, flow->skb_priority, &dscp)) {
2936             wc->masks.nw_tos |= IP_DSCP_MASK;
2937             flow->nw_tos &= ~IP_DSCP_MASK;
2938             flow->nw_tos |= dscp;
2939         }
2940     }
2941
2942     if (xport->is_tunnel) {
2943          /* Save tunnel metadata so that changes made due to
2944           * the Logical (tunnel) Port are not visible for any further
2945           * matches, while explicit set actions on tunnel metadata are.
2946           */
2947         flow_tnl = flow->tunnel;
2948         odp_port = tnl_port_send(xport->ofport, flow, ctx->wc);
2949         if (odp_port == ODPP_NONE) {
2950             xlate_report(ctx, "Tunneling decided against output");
2951             goto out; /* restore flow_nw_tos */
2952         }
2953         if (flow->tunnel.ip_dst == ctx->orig_tunnel_ip_dst) {
2954             xlate_report(ctx, "Not tunneling to our own address");
2955             goto out; /* restore flow_nw_tos */
2956         }
2957         if (ctx->xin->resubmit_stats) {
2958             netdev_vport_inc_tx(xport->netdev, ctx->xin->resubmit_stats);
2959         }
2960         if (ctx->xin->xcache) {
2961             struct xc_entry *entry;
2962
2963             entry = xlate_cache_add_entry(ctx->xin->xcache, XC_NETDEV);
2964             entry->u.dev.tx = netdev_ref(xport->netdev);
2965         }
2966         out_port = odp_port;
2967         if (ovs_native_tunneling_is_on(ctx->xbridge->ofproto)) {
2968             xlate_report(ctx, "output to native tunnel");
2969             tnl_push_pop_send = true;
2970         } else {
2971             xlate_report(ctx, "output to kernel tunnel");
2972             commit_odp_tunnel_action(flow, &ctx->base_flow, ctx->odp_actions);
2973             flow->tunnel = flow_tnl; /* Restore tunnel metadata */
2974         }
2975     } else {
2976         odp_port = xport->odp_port;
2977         out_port = odp_port;
2978         if (ofproto_has_vlan_splinters(ctx->xbridge->ofproto)) {
2979             ofp_port_t vlandev_port;
2980
2981             wc->masks.vlan_tci |= htons(VLAN_VID_MASK | VLAN_CFI);
2982             vlandev_port = vsp_realdev_to_vlandev(ctx->xbridge->ofproto,
2983                                                   ofp_port, flow->vlan_tci);
2984             if (vlandev_port != ofp_port) {
2985                 out_port = ofp_port_to_odp_port(ctx->xbridge, vlandev_port);
2986                 flow->vlan_tci = htons(0);
2987             }
2988         }
2989     }
2990
2991     if (out_port != ODPP_NONE) {
2992         bool use_masked = ctx->xbridge->support.masked_set_action;
2993
2994         ctx->xout->slow |= commit_odp_actions(flow, &ctx->base_flow,
2995                                               ctx->odp_actions,
2996                                               wc, use_masked);
2997
2998         if (xr) {
2999             struct ovs_action_hash *act_hash;
3000
3001             /* Hash action. */
3002             act_hash = nl_msg_put_unspec_uninit(ctx->odp_actions,
3003                                                 OVS_ACTION_ATTR_HASH,
3004                                                 sizeof *act_hash);
3005             act_hash->hash_alg = xr->hash_alg;
3006             act_hash->hash_basis = xr->hash_basis;
3007
3008             /* Recirc action. */
3009             nl_msg_put_u32(ctx->odp_actions, OVS_ACTION_ATTR_RECIRC,
3010                            xr->recirc_id);
3011         } else {
3012
3013             if (tnl_push_pop_send) {
3014                 build_tunnel_send(ctx, xport, flow, odp_port);
3015                 flow->tunnel = flow_tnl; /* Restore tunnel metadata */
3016             } else {
3017                 odp_port_t odp_tnl_port = ODPP_NONE;
3018
3019                 /* XXX: Write better Filter for tunnel port. We can use inport
3020                 * int tunnel-port flow to avoid these checks completely. */
3021                 if (ofp_port == OFPP_LOCAL &&
3022                     ovs_native_tunneling_is_on(ctx->xbridge->ofproto)) {
3023
3024                     odp_tnl_port = tnl_port_map_lookup(flow, wc);
3025                 }
3026
3027                 if (odp_tnl_port != ODPP_NONE) {
3028                     nl_msg_put_odp_port(ctx->odp_actions,
3029                                         OVS_ACTION_ATTR_TUNNEL_POP,
3030                                         odp_tnl_port);
3031                 } else {
3032                     /* Tunnel push-pop action is not compatible with
3033                      * IPFIX action. */
3034                     compose_ipfix_action(ctx, out_port);
3035                     nl_msg_put_odp_port(ctx->odp_actions,
3036                                         OVS_ACTION_ATTR_OUTPUT,
3037                                         out_port);
3038                }
3039            }
3040         }
3041
3042         ctx->sflow_odp_port = odp_port;
3043         ctx->sflow_n_outputs++;
3044         ctx->nf_output_iface = ofp_port;
3045     }
3046
3047  out:
3048     /* Restore flow */
3049     flow->vlan_tci = flow_vlan_tci;
3050     flow->pkt_mark = flow_pkt_mark;
3051     flow->nw_tos = flow_nw_tos;
3052 }
3053
3054 static void
3055 compose_output_action(struct xlate_ctx *ctx, ofp_port_t ofp_port,
3056                       const struct xlate_bond_recirc *xr)
3057 {
3058     compose_output_action__(ctx, ofp_port, xr, true);
3059 }
3060
3061 static void
3062 xlate_recursively(struct xlate_ctx *ctx, struct rule_dpif *rule)
3063 {
3064     struct rule_dpif *old_rule = ctx->rule;
3065     ovs_be64 old_cookie = ctx->rule_cookie;
3066     const struct rule_actions *actions;
3067
3068     if (ctx->xin->resubmit_stats) {
3069         rule_dpif_credit_stats(rule, ctx->xin->resubmit_stats);
3070     }
3071
3072     ctx->resubmits++;
3073     ctx->recurse++;
3074     ctx->rule = rule;
3075     ctx->rule_cookie = rule_dpif_get_flow_cookie(rule);
3076     actions = rule_dpif_get_actions(rule);
3077     do_xlate_actions(actions->ofpacts, actions->ofpacts_len, ctx);
3078     ctx->rule_cookie = old_cookie;
3079     ctx->rule = old_rule;
3080     ctx->recurse--;
3081 }
3082
3083 static bool
3084 xlate_resubmit_resource_check(struct xlate_ctx *ctx)
3085 {
3086     static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 1);
3087
3088     if (ctx->recurse >= MAX_RESUBMIT_RECURSION + MAX_INTERNAL_RESUBMITS) {
3089         VLOG_ERR_RL(&rl, "resubmit actions recursed over %d times",
3090                     MAX_RESUBMIT_RECURSION);
3091     } else if (ctx->resubmits >= MAX_RESUBMITS + MAX_INTERNAL_RESUBMITS) {
3092         VLOG_ERR_RL(&rl, "over %d resubmit actions", MAX_RESUBMITS);
3093     } else if (ctx->odp_actions->size > UINT16_MAX) {
3094         VLOG_ERR_RL(&rl, "resubmits yielded over 64 kB of actions");
3095     } else if (ctx->stack.size >= 65536) {
3096         VLOG_ERR_RL(&rl, "resubmits yielded over 64 kB of stack");
3097     } else {
3098         return true;
3099     }
3100
3101     return false;
3102 }
3103
3104 static void
3105 xlate_table_action(struct xlate_ctx *ctx, ofp_port_t in_port, uint8_t table_id,
3106                    bool may_packet_in, bool honor_table_miss)
3107 {
3108     /* Check if we need to recirculate before matching in a table. */
3109     if (ctx->was_mpls) {
3110         ctx_trigger_recirculation(ctx);
3111         return;
3112     }
3113     if (xlate_resubmit_resource_check(ctx)) {
3114         uint8_t old_table_id = ctx->table_id;
3115         struct rule_dpif *rule;
3116
3117         ctx->table_id = table_id;
3118
3119         rule = rule_dpif_lookup_from_table(ctx->xbridge->ofproto,
3120                                            ctx->tables_version,
3121                                            &ctx->xin->flow, ctx->xin->wc,
3122                                            ctx->xin->xcache != NULL,
3123                                            ctx->xin->resubmit_stats,
3124                                            &ctx->table_id, in_port,
3125                                            may_packet_in, honor_table_miss);
3126
3127         if (OVS_UNLIKELY(ctx->xin->resubmit_hook)) {
3128             ctx->xin->resubmit_hook(ctx->xin, rule, ctx->recurse + 1);
3129         }
3130
3131         if (rule) {
3132             /* Fill in the cache entry here instead of xlate_recursively
3133              * to make the reference counting more explicit.  We take a
3134              * reference in the lookups above if we are going to cache the
3135              * rule. */
3136             if (ctx->xin->xcache) {
3137                 struct xc_entry *entry;
3138
3139                 entry = xlate_cache_add_entry(ctx->xin->xcache, XC_RULE);
3140                 entry->u.rule = rule;
3141             }
3142             xlate_recursively(ctx, rule);
3143         }
3144
3145         ctx->table_id = old_table_id;
3146         return;
3147     }
3148
3149     ctx->exit = true;
3150 }
3151
3152 static void
3153 xlate_group_stats(struct xlate_ctx *ctx, struct group_dpif *group,
3154                   struct ofputil_bucket *bucket)
3155 {
3156     if (ctx->xin->resubmit_stats) {
3157         group_dpif_credit_stats(group, bucket, ctx->xin->resubmit_stats);
3158     }
3159     if (ctx->xin->xcache) {
3160         struct xc_entry *entry;
3161
3162         entry = xlate_cache_add_entry(ctx->xin->xcache, XC_GROUP);
3163         entry->u.group.group = group_dpif_ref(group);
3164         entry->u.group.bucket = bucket;
3165     }
3166 }
3167
3168 static void
3169 xlate_group_bucket(struct xlate_ctx *ctx, struct ofputil_bucket *bucket)
3170 {
3171     uint64_t action_list_stub[1024 / 8];
3172     struct ofpbuf action_list, action_set;
3173     struct flow old_flow = ctx->xin->flow;
3174     bool old_was_mpls = ctx->was_mpls;
3175
3176     ofpbuf_use_const(&action_set, bucket->ofpacts, bucket->ofpacts_len);
3177     ofpbuf_use_stub(&action_list, action_list_stub, sizeof action_list_stub);
3178
3179     ofpacts_execute_action_set(&action_list, &action_set);
3180     ctx->recurse++;
3181     do_xlate_actions(action_list.data, action_list.size, ctx);
3182     ctx->recurse--;
3183
3184     ofpbuf_uninit(&action_set);
3185     ofpbuf_uninit(&action_list);
3186
3187     /* Check if need to recirculate. */
3188     if (exit_recirculates(ctx)) {
3189         compose_recirculate_action(ctx);
3190     }
3191
3192     /* Roll back flow to previous state.
3193      * This is equivalent to cloning the packet for each bucket.
3194      *
3195      * As a side effect any subsequently applied actions will
3196      * also effectively be applied to a clone of the packet taken
3197      * just before applying the all or indirect group.
3198      *
3199      * Note that group buckets are action sets, hence they cannot modify the
3200      * main action set.  Also any stack actions are ignored when executing an
3201      * action set, so group buckets cannot change the stack either.
3202      * However, we do allow resubmit actions in group buckets, which could
3203      * break the above assumptions.  It is up to the controller to not mess up
3204      * with the action_set and stack in the tables resubmitted to from
3205      * group buckets. */
3206     ctx->xin->flow = old_flow;
3207
3208     /* The group bucket popping MPLS should have no effect after bucket
3209      * execution. */
3210     ctx->was_mpls = old_was_mpls;
3211
3212     /* The fact that the group bucket exits (for any reason) does not mean that
3213      * the translation after the group action should exit.  Specifically, if
3214      * the group bucket recirculates (which typically modifies the packet), the
3215      * actions after the group action must continue processing with the
3216      * original, not the recirculated packet! */
3217     ctx->exit = false;
3218 }
3219
3220 static void
3221 xlate_all_group(struct xlate_ctx *ctx, struct group_dpif *group)
3222 {
3223     struct ofputil_bucket *bucket;
3224     const struct ovs_list *buckets;
3225
3226     group_dpif_get_buckets(group, &buckets);
3227
3228     LIST_FOR_EACH (bucket, list_node, buckets) {
3229         xlate_group_bucket(ctx, bucket);
3230     }
3231     xlate_group_stats(ctx, group, NULL);
3232 }
3233
3234 static void
3235 xlate_ff_group(struct xlate_ctx *ctx, struct group_dpif *group)
3236 {
3237     struct ofputil_bucket *bucket;
3238
3239     bucket = group_first_live_bucket(ctx, group, 0);
3240     if (bucket) {
3241         xlate_group_bucket(ctx, bucket);
3242         xlate_group_stats(ctx, group, bucket);
3243     }
3244 }
3245
3246 static void
3247 xlate_default_select_group(struct xlate_ctx *ctx, struct group_dpif *group)
3248 {
3249     struct flow_wildcards *wc = ctx->wc;
3250     struct ofputil_bucket *bucket;
3251     uint32_t basis;
3252
3253     basis = flow_hash_symmetric_l4(&ctx->xin->flow, 0);
3254     flow_mask_hash_fields(&ctx->xin->flow, wc, NX_HASH_FIELDS_SYMMETRIC_L4);
3255     bucket = group_best_live_bucket(ctx, group, basis);
3256     if (bucket) {
3257         xlate_group_bucket(ctx, bucket);
3258         xlate_group_stats(ctx, group, bucket);
3259     }
3260 }
3261
3262 static void
3263 xlate_hash_fields_select_group(struct xlate_ctx *ctx, struct group_dpif *group)
3264 {
3265     struct mf_bitmap hash_fields = MF_BITMAP_INITIALIZER;
3266     const struct field_array *fields;
3267     struct ofputil_bucket *bucket;
3268     uint32_t basis;
3269     int i;
3270
3271     fields = group_dpif_get_fields(group);
3272     basis = hash_uint64(group_dpif_get_selection_method_param(group));
3273
3274     /* Determine which fields to hash */
3275     for (i = 0; i < MFF_N_IDS; i++) {
3276         if (bitmap_is_set(fields->used.bm, i)) {
3277             const struct mf_field *mf;
3278
3279             /* If the field is already present in 'hash_fields' then
3280              * this loop has already checked that it and its pre-requisites
3281              * are present in the flow and its pre-requisites have
3282              * already been added to 'hash_fields'. There is nothing more
3283              * to do here and as an optimisation the loop can continue. */
3284             if (bitmap_is_set(hash_fields.bm, i)) {
3285                 continue;
3286             }
3287
3288             mf = mf_from_id(i);
3289
3290             /* Only hash a field if it and its pre-requisites are present
3291              * in the flow. */
3292             if (!mf_are_prereqs_ok(mf, &ctx->xin->flow)) {
3293                 continue;
3294             }
3295
3296             /* Hash both the field and its pre-requisites */
3297             mf_bitmap_set_field_and_prereqs(mf, &hash_fields);
3298         }
3299     }
3300
3301     /* Hash the fields */
3302     for (i = 0; i < MFF_N_IDS; i++) {
3303         if (bitmap_is_set(hash_fields.bm, i)) {
3304             const struct mf_field *mf = mf_from_id(i);
3305             union mf_value value;
3306             int j;
3307
3308             mf_get_value(mf, &ctx->xin->flow, &value);
3309             /* This seems inefficient but so does apply_mask() */
3310             for (j = 0; j < mf->n_bytes; j++) {
3311                 ((uint8_t *) &value)[j] &= ((uint8_t *) &fields->value[i])[j];
3312             }
3313             basis = hash_bytes(&value, mf->n_bytes, basis);
3314
3315             mf_mask_field(mf, &ctx->wc->masks);
3316         }
3317     }
3318
3319     bucket = group_best_live_bucket(ctx, group, basis);
3320     if (bucket) {
3321         xlate_group_bucket(ctx, bucket);
3322         xlate_group_stats(ctx, group, bucket);
3323     }
3324 }
3325
3326 static void
3327 xlate_select_group(struct xlate_ctx *ctx, struct group_dpif *group)
3328 {
3329     const char *selection_method = group_dpif_get_selection_method(group);
3330
3331     if (selection_method[0] == '\0') {
3332         xlate_default_select_group(ctx, group);
3333     } else if (!strcasecmp("hash", selection_method)) {
3334         xlate_hash_fields_select_group(ctx, group);
3335     } else {
3336         /* Parsing of groups should ensure this never happens */
3337         OVS_NOT_REACHED();
3338     }
3339 }
3340
3341 static void
3342 xlate_group_action__(struct xlate_ctx *ctx, struct group_dpif *group)
3343 {
3344     bool was_in_group = ctx->in_group;
3345     ctx->in_group = true;
3346
3347     switch (group_dpif_get_type(group)) {
3348     case OFPGT11_ALL:
3349     case OFPGT11_INDIRECT:
3350         xlate_all_group(ctx, group);
3351         break;
3352     case OFPGT11_SELECT:
3353         xlate_select_group(ctx, group);
3354         break;
3355     case OFPGT11_FF:
3356         xlate_ff_group(ctx, group);
3357         break;
3358     default:
3359         OVS_NOT_REACHED();
3360     }
3361     group_dpif_unref(group);
3362
3363     ctx->in_group = was_in_group;
3364 }
3365
3366 static bool
3367 xlate_group_action(struct xlate_ctx *ctx, uint32_t group_id)
3368 {
3369     if (xlate_resubmit_resource_check(ctx)) {
3370         struct group_dpif *group;
3371         bool got_group;
3372
3373         got_group = group_dpif_lookup(ctx->xbridge->ofproto, group_id, &group);
3374         if (got_group) {
3375             xlate_group_action__(ctx, group);
3376         } else {
3377             return true;
3378         }
3379     }
3380
3381     return false;
3382 }
3383
3384 static void
3385 xlate_ofpact_resubmit(struct xlate_ctx *ctx,
3386                       const struct ofpact_resubmit *resubmit)
3387 {
3388     ofp_port_t in_port;
3389     uint8_t table_id;
3390     bool may_packet_in = false;
3391     bool honor_table_miss = false;
3392
3393     if (ctx->rule && rule_dpif_is_internal(ctx->rule)) {
3394         /* Still allow missed packets to be sent to the controller
3395          * if resubmitting from an internal table. */
3396         may_packet_in = true;
3397         honor_table_miss = true;
3398     }
3399
3400     in_port = resubmit->in_port;
3401     if (in_port == OFPP_IN_PORT) {
3402         in_port = ctx->xin->flow.in_port.ofp_port;
3403     }
3404
3405     table_id = resubmit->table_id;
3406     if (table_id == 255) {
3407         table_id = ctx->table_id;
3408     }
3409
3410     xlate_table_action(ctx, in_port, table_id, may_packet_in,
3411                        honor_table_miss);
3412 }
3413
3414 static void
3415 flood_packets(struct xlate_ctx *ctx, bool all)
3416 {
3417     const struct xport *xport;
3418
3419     HMAP_FOR_EACH (xport, ofp_node, &ctx->xbridge->xports) {
3420         if (xport->ofp_port == ctx->xin->flow.in_port.ofp_port) {
3421             continue;
3422         }
3423
3424         if (all) {
3425             compose_output_action__(ctx, xport->ofp_port, NULL, false);
3426         } else if (!(xport->config & OFPUTIL_PC_NO_FLOOD)) {
3427             compose_output_action(ctx, xport->ofp_port, NULL);
3428         }
3429     }
3430
3431     ctx->nf_output_iface = NF_OUT_FLOOD;
3432 }
3433
3434 static void
3435 execute_controller_action(struct xlate_ctx *ctx, int len,
3436                           enum ofp_packet_in_reason reason,
3437                           uint16_t controller_id)
3438 {
3439     struct ofproto_packet_in *pin;
3440     struct dp_packet *packet;
3441     bool use_masked;
3442
3443     ctx->xout->slow |= SLOW_CONTROLLER;
3444     if (!ctx->xin->packet) {
3445         return;
3446     }
3447
3448     packet = dp_packet_clone(ctx->xin->packet);
3449
3450     use_masked = ctx->xbridge->support.masked_set_action;
3451     ctx->xout->slow |= commit_odp_actions(&ctx->xin->flow, &ctx->base_flow,
3452                                           ctx->odp_actions,
3453                                           ctx->wc, use_masked);
3454
3455     odp_execute_actions(NULL, &packet, 1, false,
3456                         ctx->odp_actions->data, ctx->odp_actions->size, NULL);
3457
3458     pin = xmalloc(sizeof *pin);
3459     pin->up.packet_len = dp_packet_size(packet);
3460     pin->up.packet = dp_packet_steal_data(packet);
3461     pin->up.reason = reason;
3462     pin->up.table_id = ctx->table_id;
3463     pin->up.cookie = ctx->rule_cookie;
3464
3465     flow_get_metadata(&ctx->xin->flow, &pin->up.flow_metadata);
3466
3467     pin->controller_id = controller_id;
3468     pin->send_len = len;
3469     /* If a rule is a table-miss rule then this is
3470      * a table-miss handled by a table-miss rule.
3471      *
3472      * Else, if rule is internal and has a controller action,
3473      * the later being implied by the rule being processed here,
3474      * then this is a table-miss handled without a table-miss rule.
3475      *
3476      * Otherwise this is not a table-miss. */
3477     pin->miss_type = OFPROTO_PACKET_IN_NO_MISS;
3478     if (ctx->rule) {
3479         if (rule_dpif_is_table_miss(ctx->rule)) {
3480             pin->miss_type = OFPROTO_PACKET_IN_MISS_FLOW;
3481         } else if (rule_dpif_is_internal(ctx->rule)) {
3482             pin->miss_type = OFPROTO_PACKET_IN_MISS_WITHOUT_FLOW;
3483         }
3484     }
3485     ofproto_dpif_send_packet_in(ctx->xbridge->ofproto, pin);
3486     dp_packet_delete(packet);
3487 }
3488
3489 /* Called only when ctx->recirc_action_offset is set. */
3490 static void
3491 compose_recirculate_action(struct xlate_ctx *ctx)
3492 {
3493     struct recirc_metadata md;
3494     bool use_masked;
3495     uint32_t id;
3496
3497     use_masked = ctx->xbridge->support.masked_set_action;
3498     ctx->xout->slow |= commit_odp_actions(&ctx->xin->flow, &ctx->base_flow,
3499                                           ctx->odp_actions,
3500                                           ctx->wc, use_masked);
3501
3502     recirc_metadata_from_flow(&md, &ctx->xin->flow);
3503
3504     ovs_assert(ctx->recirc_action_offset >= 0);
3505
3506     /* Only allocate recirculation ID if we have a packet. */
3507     if (ctx->xin->packet) {
3508         /* Allocate a unique recirc id for the given metadata state in the
3509          * flow.  The life-cycle of this recirc id is managed by associating it
3510          * with the udpif key ('ukey') created for each new datapath flow. */
3511         id = recirc_alloc_id_ctx(ctx->xbridge->ofproto, 0, &md, &ctx->stack,
3512                                  ctx->recirc_action_offset,
3513                                  ctx->action_set.size, ctx->action_set.data);
3514         if (!id) {
3515             static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
3516             VLOG_ERR_RL(&rl, "Failed to allocate recirculation id");
3517             return;
3518         }
3519         xlate_out_add_recirc(ctx->xout, id);
3520     } else {
3521         /* Look up an existing recirc id for the given metadata state in the
3522          * flow.  No new reference is taken, as the ID is RCU protected and is
3523          * only required temporarily for verification. */
3524         id = recirc_find_id(ctx->xbridge->ofproto, 0, &md, &ctx->stack,
3525                             ctx->recirc_action_offset,
3526                             ctx->action_set.size, ctx->action_set.data);
3527         /* We let zero 'id' to be used in the RECIRC action below, which will
3528          * fail all revalidations as zero is not a valid recirculation ID. */
3529     }
3530
3531     nl_msg_put_u32(ctx->odp_actions, OVS_ACTION_ATTR_RECIRC, id);
3532
3533     /* Undo changes done by recirculation. */
3534     ctx->action_set.size = ctx->recirc_action_offset;
3535     ctx->recirc_action_offset = -1;
3536     ctx->last_unroll_offset = -1;
3537 }
3538
3539 static void
3540 compose_mpls_push_action(struct xlate_ctx *ctx, struct ofpact_push_mpls *mpls)
3541 {
3542     struct flow *flow = &ctx->xin->flow;
3543     int n;
3544
3545     ovs_assert(eth_type_mpls(mpls->ethertype));
3546
3547     n = flow_count_mpls_labels(flow, ctx->wc);
3548     if (!n) {
3549         bool use_masked = ctx->xbridge->support.masked_set_action;
3550
3551         ctx->xout->slow |= commit_odp_actions(flow, &ctx->base_flow,
3552                                               ctx->odp_actions,
3553                                               ctx->wc, use_masked);
3554     } else if (n >= FLOW_MAX_MPLS_LABELS) {
3555         if (ctx->xin->packet != NULL) {
3556             static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
3557             VLOG_WARN_RL(&rl, "bridge %s: dropping packet on which an "
3558                          "MPLS push action can't be performed as it would "
3559                          "have more MPLS LSEs than the %d supported.",
3560                          ctx->xbridge->name, FLOW_MAX_MPLS_LABELS);
3561         }
3562         ctx->exit = true;
3563         return;
3564     }
3565
3566     flow_push_mpls(flow, n, mpls->ethertype, ctx->wc);
3567 }
3568
3569 static void
3570 compose_mpls_pop_action(struct xlate_ctx *ctx, ovs_be16 eth_type)
3571 {
3572     struct flow *flow = &ctx->xin->flow;
3573     int n = flow_count_mpls_labels(flow, ctx->wc);
3574
3575     if (flow_pop_mpls(flow, n, eth_type, ctx->wc)) {
3576         if (ctx->xbridge->support.odp.recirc) {
3577             ctx->was_mpls = true;
3578         }
3579     } else if (n >= FLOW_MAX_MPLS_LABELS) {
3580         if (ctx->xin->packet != NULL) {
3581             static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
3582             VLOG_WARN_RL(&rl, "bridge %s: dropping packet on which an "
3583                          "MPLS pop action can't be performed as it has "
3584                          "more MPLS LSEs than the %d supported.",
3585                          ctx->xbridge->name, FLOW_MAX_MPLS_LABELS);
3586         }
3587         ctx->exit = true;
3588         ofpbuf_clear(ctx->odp_actions);
3589     }
3590 }
3591
3592 static bool
3593 compose_dec_ttl(struct xlate_ctx *ctx, struct ofpact_cnt_ids *ids)
3594 {
3595     struct flow *flow = &ctx->xin->flow;
3596
3597     if (!is_ip_any(flow)) {
3598         return false;
3599     }
3600
3601     ctx->wc->masks.nw_ttl = 0xff;
3602     if (flow->nw_ttl > 1) {
3603         flow->nw_ttl--;
3604         return false;
3605     } else {
3606         size_t i;
3607
3608         for (i = 0; i < ids->n_controllers; i++) {
3609             execute_controller_action(ctx, UINT16_MAX, OFPR_INVALID_TTL,
3610                                       ids->cnt_ids[i]);
3611         }
3612
3613         /* Stop processing for current table. */
3614         return true;
3615     }
3616 }
3617
3618 static void
3619 compose_set_mpls_label_action(struct xlate_ctx *ctx, ovs_be32 label)
3620 {
3621     if (eth_type_mpls(ctx->xin->flow.dl_type)) {
3622         ctx->wc->masks.mpls_lse[0] |= htonl(MPLS_LABEL_MASK);
3623         set_mpls_lse_label(&ctx->xin->flow.mpls_lse[0], label);
3624     }
3625 }
3626
3627 static void
3628 compose_set_mpls_tc_action(struct xlate_ctx *ctx, uint8_t tc)
3629 {
3630     if (eth_type_mpls(ctx->xin->flow.dl_type)) {
3631         ctx->wc->masks.mpls_lse[0] |= htonl(MPLS_TC_MASK);
3632         set_mpls_lse_tc(&ctx->xin->flow.mpls_lse[0], tc);
3633     }
3634 }
3635
3636 static void
3637 compose_set_mpls_ttl_action(struct xlate_ctx *ctx, uint8_t ttl)
3638 {
3639     if (eth_type_mpls(ctx->xin->flow.dl_type)) {
3640         ctx->wc->masks.mpls_lse[0] |= htonl(MPLS_TTL_MASK);
3641         set_mpls_lse_ttl(&ctx->xin->flow.mpls_lse[0], ttl);
3642     }
3643 }
3644
3645 static bool
3646 compose_dec_mpls_ttl_action(struct xlate_ctx *ctx)
3647 {
3648     struct flow *flow = &ctx->xin->flow;
3649
3650     if (eth_type_mpls(flow->dl_type)) {
3651         uint8_t ttl = mpls_lse_to_ttl(flow->mpls_lse[0]);
3652
3653         ctx->wc->masks.mpls_lse[0] |= htonl(MPLS_TTL_MASK);
3654         if (ttl > 1) {
3655             ttl--;
3656             set_mpls_lse_ttl(&flow->mpls_lse[0], ttl);
3657             return false;
3658         } else {
3659             execute_controller_action(ctx, UINT16_MAX, OFPR_INVALID_TTL, 0);
3660         }
3661     }
3662
3663     /* Stop processing for current table. */
3664     return true;
3665 }
3666
3667 static void
3668 xlate_output_action(struct xlate_ctx *ctx,
3669                     ofp_port_t port, uint16_t max_len, bool may_packet_in)
3670 {
3671     ofp_port_t prev_nf_output_iface = ctx->nf_output_iface;
3672
3673     ctx->nf_output_iface = NF_OUT_DROP;
3674
3675     switch (port) {
3676     case OFPP_IN_PORT:
3677         compose_output_action(ctx, ctx->xin->flow.in_port.ofp_port, NULL);
3678         break;
3679     case OFPP_TABLE:
3680         xlate_table_action(ctx, ctx->xin->flow.in_port.ofp_port,
3681                            0, may_packet_in, true);
3682         break;
3683     case OFPP_NORMAL:
3684         xlate_normal(ctx);
3685         break;
3686     case OFPP_FLOOD:
3687         flood_packets(ctx,  false);
3688         break;
3689     case OFPP_ALL:
3690         flood_packets(ctx, true);
3691         break;
3692     case OFPP_CONTROLLER:
3693         execute_controller_action(ctx, max_len,
3694                                   (ctx->in_group ? OFPR_GROUP
3695                                    : ctx->in_action_set ? OFPR_ACTION_SET
3696                                    : OFPR_ACTION),
3697                                   0);
3698         break;
3699     case OFPP_NONE:
3700         break;
3701     case OFPP_LOCAL:
3702     default:
3703         if (port != ctx->xin->flow.in_port.ofp_port) {
3704             compose_output_action(ctx, port, NULL);
3705         } else {
3706             xlate_report(ctx, "skipping output to input port");
3707         }
3708         break;
3709     }
3710
3711     if (prev_nf_output_iface == NF_OUT_FLOOD) {
3712         ctx->nf_output_iface = NF_OUT_FLOOD;
3713     } else if (ctx->nf_output_iface == NF_OUT_DROP) {
3714         ctx->nf_output_iface = prev_nf_output_iface;
3715     } else if (prev_nf_output_iface != NF_OUT_DROP &&
3716                ctx->nf_output_iface != NF_OUT_FLOOD) {
3717         ctx->nf_output_iface = NF_OUT_MULTI;
3718     }
3719 }
3720
3721 static void
3722 xlate_output_reg_action(struct xlate_ctx *ctx,
3723                         const struct ofpact_output_reg *or)
3724 {
3725     uint64_t port = mf_get_subfield(&or->src, &ctx->xin->flow);
3726     if (port <= UINT16_MAX) {
3727         union mf_subvalue value;
3728
3729         memset(&value, 0xff, sizeof value);
3730         mf_write_subfield_flow(&or->src, &value, &ctx->wc->masks);
3731         xlate_output_action(ctx, u16_to_ofp(port),
3732                             or->max_len, false);
3733     }
3734 }
3735
3736 static void
3737 xlate_enqueue_action(struct xlate_ctx *ctx,
3738                      const struct ofpact_enqueue *enqueue)
3739 {
3740     ofp_port_t ofp_port = enqueue->port;
3741     uint32_t queue_id = enqueue->queue;
3742     uint32_t flow_priority, priority;
3743     int error;
3744
3745     /* Translate queue to priority. */
3746     error = dpif_queue_to_priority(ctx->xbridge->dpif, queue_id, &priority);
3747     if (error) {
3748         /* Fall back to ordinary output action. */
3749         xlate_output_action(ctx, enqueue->port, 0, false);
3750         return;
3751     }
3752
3753     /* Check output port. */
3754     if (ofp_port == OFPP_IN_PORT) {
3755         ofp_port = ctx->xin->flow.in_port.ofp_port;
3756     } else if (ofp_port == ctx->xin->flow.in_port.ofp_port) {
3757         return;
3758     }
3759
3760     /* Add datapath actions. */
3761     flow_priority = ctx->xin->flow.skb_priority;
3762     ctx->xin->flow.skb_priority = priority;
3763     compose_output_action(ctx, ofp_port, NULL);
3764     ctx->xin->flow.skb_priority = flow_priority;
3765
3766     /* Update NetFlow output port. */
3767     if (ctx->nf_output_iface == NF_OUT_DROP) {
3768         ctx->nf_output_iface = ofp_port;
3769     } else if (ctx->nf_output_iface != NF_OUT_FLOOD) {
3770         ctx->nf_output_iface = NF_OUT_MULTI;
3771     }
3772 }
3773
3774 static void
3775 xlate_set_queue_action(struct xlate_ctx *ctx, uint32_t queue_id)
3776 {
3777     uint32_t skb_priority;
3778
3779     if (!dpif_queue_to_priority(ctx->xbridge->dpif, queue_id, &skb_priority)) {
3780         ctx->xin->flow.skb_priority = skb_priority;
3781     } else {
3782         /* Couldn't translate queue to a priority.  Nothing to do.  A warning
3783          * has already been logged. */
3784     }
3785 }
3786
3787 static bool
3788 slave_enabled_cb(ofp_port_t ofp_port, void *xbridge_)
3789 {
3790     const struct xbridge *xbridge = xbridge_;
3791     struct xport *port;
3792
3793     switch (ofp_port) {
3794     case OFPP_IN_PORT:
3795     case OFPP_TABLE:
3796     case OFPP_NORMAL:
3797     case OFPP_FLOOD:
3798     case OFPP_ALL:
3799     case OFPP_NONE:
3800         return true;
3801     case OFPP_CONTROLLER: /* Not supported by the bundle action. */
3802         return false;
3803     default:
3804         port = get_ofp_port(xbridge, ofp_port);
3805         return port ? port->may_enable : false;
3806     }
3807 }
3808
3809 static void
3810 xlate_bundle_action(struct xlate_ctx *ctx,
3811                     const struct ofpact_bundle *bundle)
3812 {
3813     ofp_port_t port;
3814
3815     port = bundle_execute(bundle, &ctx->xin->flow, ctx->wc, slave_enabled_cb,
3816                           CONST_CAST(struct xbridge *, ctx->xbridge));
3817     if (bundle->dst.field) {
3818         nxm_reg_load(&bundle->dst, ofp_to_u16(port), &ctx->xin->flow, ctx->wc);
3819     } else {
3820         xlate_output_action(ctx, port, 0, false);
3821     }
3822 }
3823
3824 static void
3825 xlate_learn_action__(struct xlate_ctx *ctx, const struct ofpact_learn *learn,
3826                      struct ofputil_flow_mod *fm, struct ofpbuf *ofpacts)
3827 {
3828     learn_execute(learn, &ctx->xin->flow, fm, ofpacts);
3829     if (ctx->xin->may_learn) {
3830         ofproto_dpif_flow_mod(ctx->xbridge->ofproto, fm);
3831     }
3832 }
3833
3834 static void
3835 xlate_learn_action(struct xlate_ctx *ctx, const struct ofpact_learn *learn)
3836 {
3837     learn_mask(learn, ctx->wc);
3838
3839     if (ctx->xin->xcache) {
3840         struct xc_entry *entry;
3841
3842         entry = xlate_cache_add_entry(ctx->xin->xcache, XC_LEARN);
3843         entry->u.learn.ofproto = ctx->xbridge->ofproto;
3844         entry->u.learn.fm = xmalloc(sizeof *entry->u.learn.fm);
3845         entry->u.learn.ofpacts = ofpbuf_new(64);
3846         xlate_learn_action__(ctx, learn, entry->u.learn.fm,
3847                              entry->u.learn.ofpacts);
3848     } else if (ctx->xin->may_learn) {
3849         uint64_t ofpacts_stub[1024 / 8];
3850         struct ofputil_flow_mod fm;
3851         struct ofpbuf ofpacts;
3852
3853         ofpbuf_use_stub(&ofpacts, ofpacts_stub, sizeof ofpacts_stub);
3854         xlate_learn_action__(ctx, learn, &fm, &ofpacts);
3855         ofpbuf_uninit(&ofpacts);
3856     }
3857 }
3858
3859 static void
3860 xlate_fin_timeout__(struct rule_dpif *rule, uint16_t tcp_flags,
3861                     uint16_t idle_timeout, uint16_t hard_timeout)
3862 {
3863     if (tcp_flags & (TCP_FIN | TCP_RST)) {
3864         rule_dpif_reduce_timeouts(rule, idle_timeout, hard_timeout);
3865     }
3866 }
3867
3868 static void
3869 xlate_fin_timeout(struct xlate_ctx *ctx,
3870                   const struct ofpact_fin_timeout *oft)
3871 {
3872     if (ctx->rule) {
3873         xlate_fin_timeout__(ctx->rule, ctx->xin->tcp_flags,
3874                             oft->fin_idle_timeout, oft->fin_hard_timeout);
3875         if (ctx->xin->xcache) {
3876             struct xc_entry *entry;
3877
3878             entry = xlate_cache_add_entry(ctx->xin->xcache, XC_FIN_TIMEOUT);
3879             /* XC_RULE already holds a reference on the rule, none is taken
3880              * here. */
3881             entry->u.fin.rule = ctx->rule;
3882             entry->u.fin.idle = oft->fin_idle_timeout;
3883             entry->u.fin.hard = oft->fin_hard_timeout;
3884         }
3885     }
3886 }
3887
3888 static void
3889 xlate_sample_action(struct xlate_ctx *ctx,
3890                     const struct ofpact_sample *os)
3891 {
3892     /* Scale the probability from 16-bit to 32-bit while representing
3893      * the same percentage. */
3894     uint32_t probability = (os->probability << 16) | os->probability;
3895     bool use_masked;
3896
3897     if (!ctx->xbridge->support.variable_length_userdata) {
3898         static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 1);
3899
3900         VLOG_ERR_RL(&rl, "ignoring NXAST_SAMPLE action because datapath "
3901                     "lacks support (needs Linux 3.10+ or kernel module from "
3902                     "OVS 1.11+)");
3903         return;
3904     }
3905
3906     use_masked = ctx->xbridge->support.masked_set_action;
3907     ctx->xout->slow |= commit_odp_actions(&ctx->xin->flow, &ctx->base_flow,
3908                                           ctx->odp_actions,
3909                                           ctx->wc, use_masked);
3910
3911     union user_action_cookie cookie = {
3912         .flow_sample = {
3913             .type = USER_ACTION_COOKIE_FLOW_SAMPLE,
3914             .probability = os->probability,
3915             .collector_set_id = os->collector_set_id,
3916             .obs_domain_id = os->obs_domain_id,
3917             .obs_point_id = os->obs_point_id,
3918         }
3919     };
3920     compose_sample_action(ctx, probability, &cookie, sizeof cookie.flow_sample,
3921                           ODPP_NONE, false);
3922 }
3923
3924 static bool
3925 may_receive(const struct xport *xport, struct xlate_ctx *ctx)
3926 {
3927     if (xport->config & (is_stp(&ctx->xin->flow)
3928                          ? OFPUTIL_PC_NO_RECV_STP
3929                          : OFPUTIL_PC_NO_RECV)) {
3930         return false;
3931     }
3932
3933     /* Only drop packets here if both forwarding and learning are
3934      * disabled.  If just learning is enabled, we need to have
3935      * OFPP_NORMAL and the learning action have a look at the packet
3936      * before we can drop it. */
3937     if ((!xport_stp_forward_state(xport) && !xport_stp_learn_state(xport)) ||
3938         (!xport_rstp_forward_state(xport) && !xport_rstp_learn_state(xport))) {
3939         return false;
3940     }
3941
3942     return true;
3943 }
3944
3945 static void
3946 xlate_write_actions(struct xlate_ctx *ctx, const struct ofpact *a)
3947 {
3948     const struct ofpact_nest *on = ofpact_get_WRITE_ACTIONS(a);
3949     size_t on_len = ofpact_nest_get_action_len(on);
3950     const struct ofpact *inner;
3951
3952     /* Maintain actset_output depending on the contents of the action set:
3953      *
3954      *   - OFPP_UNSET, if there is no "output" action.
3955      *
3956      *   - The output port, if there is an "output" action and no "group"
3957      *     action.
3958      *
3959      *   - OFPP_UNSET, if there is a "group" action.
3960      */
3961     if (!ctx->action_set_has_group) {
3962         OFPACT_FOR_EACH (inner, on->actions, on_len) {
3963             if (inner->type == OFPACT_OUTPUT) {
3964                 ctx->xin->flow.actset_output = ofpact_get_OUTPUT(inner)->port;
3965             } else if (inner->type == OFPACT_GROUP) {
3966                 ctx->xin->flow.actset_output = OFPP_UNSET;
3967                 ctx->action_set_has_group = true;
3968                 break;
3969             }
3970         }
3971     }
3972
3973     ofpbuf_put(&ctx->action_set, on->actions, on_len);
3974     ofpact_pad(&ctx->action_set);
3975 }
3976
3977 static void
3978 xlate_action_set(struct xlate_ctx *ctx)
3979 {
3980     uint64_t action_list_stub[1024 / 64];
3981     struct ofpbuf action_list;
3982
3983     ctx->in_action_set = true;
3984     ofpbuf_use_stub(&action_list, action_list_stub, sizeof action_list_stub);
3985     ofpacts_execute_action_set(&action_list, &ctx->action_set);
3986     /* Clear the action set, as it is not needed any more. */
3987     ofpbuf_clear(&ctx->action_set);
3988     do_xlate_actions(action_list.data, action_list.size, ctx);
3989     ctx->in_action_set = false;
3990     ofpbuf_uninit(&action_list);
3991 }
3992
3993 static void
3994 recirc_put_unroll_xlate(struct xlate_ctx *ctx)
3995 {
3996     struct ofpact_unroll_xlate *unroll;
3997
3998     unroll = ctx->last_unroll_offset < 0
3999         ? NULL
4000         : ALIGNED_CAST(struct ofpact_unroll_xlate *,
4001                        (char *)ctx->action_set.data + ctx->last_unroll_offset);
4002
4003     /* Restore the table_id and rule cookie for a potential PACKET
4004      * IN if needed. */
4005     if (!unroll ||
4006         (ctx->table_id != unroll->rule_table_id
4007          || ctx->rule_cookie != unroll->rule_cookie)) {
4008
4009         ctx->last_unroll_offset = ctx->action_set.size;
4010         unroll = ofpact_put_UNROLL_XLATE(&ctx->action_set);
4011         unroll->rule_table_id = ctx->table_id;
4012         unroll->rule_cookie = ctx->rule_cookie;
4013     }
4014 }
4015
4016
4017 /* Copy remaining actions to the action_set to be executed after recirculation.
4018  * UNROLL_XLATE action is inserted, if not already done so, before actions that
4019  * may generate PACKET_INs from the current table and without matching another
4020  * rule. */
4021 static void
4022 recirc_unroll_actions(const struct ofpact *ofpacts, size_t ofpacts_len,
4023                       struct xlate_ctx *ctx)
4024 {
4025     const struct ofpact *a;
4026
4027     OFPACT_FOR_EACH (a, ofpacts, ofpacts_len) {
4028         switch (a->type) {
4029             /* May generate PACKET INs. */
4030         case OFPACT_OUTPUT_REG:
4031         case OFPACT_GROUP:
4032         case OFPACT_OUTPUT:
4033         case OFPACT_CONTROLLER:
4034         case OFPACT_DEC_MPLS_TTL:
4035         case OFPACT_DEC_TTL:
4036             recirc_put_unroll_xlate(ctx);
4037             break;
4038
4039             /* These may not generate PACKET INs. */
4040         case OFPACT_SET_TUNNEL:
4041         case OFPACT_REG_MOVE:
4042         case OFPACT_SET_FIELD:
4043         case OFPACT_STACK_PUSH:
4044         case OFPACT_STACK_POP:
4045         case OFPACT_LEARN:
4046         case OFPACT_WRITE_METADATA:
4047         case OFPACT_RESUBMIT:        /* May indirectly generate PACKET INs, */
4048         case OFPACT_GOTO_TABLE:      /* but from a different table and rule. */
4049         case OFPACT_ENQUEUE:
4050         case OFPACT_SET_VLAN_VID:
4051         case OFPACT_SET_VLAN_PCP:
4052         case OFPACT_STRIP_VLAN:
4053         case OFPACT_PUSH_VLAN:
4054         case OFPACT_SET_ETH_SRC:
4055         case OFPACT_SET_ETH_DST:
4056         case OFPACT_SET_IPV4_SRC:
4057         case OFPACT_SET_IPV4_DST:
4058         case OFPACT_SET_IP_DSCP:
4059         case OFPACT_SET_IP_ECN:
4060         case OFPACT_SET_IP_TTL:
4061         case OFPACT_SET_L4_SRC_PORT:
4062         case OFPACT_SET_L4_DST_PORT:
4063         case OFPACT_SET_QUEUE:
4064         case OFPACT_POP_QUEUE:
4065         case OFPACT_PUSH_MPLS:
4066         case OFPACT_POP_MPLS:
4067         case OFPACT_SET_MPLS_LABEL:
4068         case OFPACT_SET_MPLS_TC:
4069         case OFPACT_SET_MPLS_TTL:
4070         case OFPACT_MULTIPATH:
4071         case OFPACT_BUNDLE:
4072         case OFPACT_EXIT:
4073         case OFPACT_UNROLL_XLATE:
4074         case OFPACT_FIN_TIMEOUT:
4075         case OFPACT_CLEAR_ACTIONS:
4076         case OFPACT_WRITE_ACTIONS:
4077         case OFPACT_METER:
4078         case OFPACT_SAMPLE:
4079             break;
4080
4081             /* These need not be copied for restoration. */
4082         case OFPACT_NOTE:
4083         case OFPACT_CONJUNCTION:
4084             continue;
4085         }
4086         /* Copy the action over. */
4087         ofpbuf_put(&ctx->action_set, a, OFPACT_ALIGN(a->len));
4088     }
4089 }
4090
4091 #define CHECK_MPLS_RECIRCULATION()      \
4092     if (ctx->was_mpls) {                \
4093         ctx_trigger_recirculation(ctx); \
4094         break;                          \
4095     }
4096 #define CHECK_MPLS_RECIRCULATION_IF(COND) \
4097     if (COND) {                           \
4098         CHECK_MPLS_RECIRCULATION();       \
4099     }
4100
4101 static void
4102 do_xlate_actions(const struct ofpact *ofpacts, size_t ofpacts_len,
4103                  struct xlate_ctx *ctx)
4104 {
4105     struct flow_wildcards *wc = ctx->wc;
4106     struct flow *flow = &ctx->xin->flow;
4107     const struct ofpact *a;
4108
4109     if (ovs_native_tunneling_is_on(ctx->xbridge->ofproto)) {
4110         tnl_arp_snoop(flow, wc, ctx->xbridge->name);
4111     }
4112     /* dl_type already in the mask, not set below. */
4113
4114     OFPACT_FOR_EACH (a, ofpacts, ofpacts_len) {
4115         struct ofpact_controller *controller;
4116         const struct ofpact_metadata *metadata;
4117         const struct ofpact_set_field *set_field;
4118         const struct mf_field *mf;
4119
4120         if (ctx->exit) {
4121             /* Check if need to store the remaining actions for later
4122              * execution. */
4123             if (exit_recirculates(ctx)) {
4124                 recirc_unroll_actions(a, OFPACT_ALIGN(ofpacts_len -
4125                                                       ((uint8_t *)a -
4126                                                        (uint8_t *)ofpacts)),
4127                                       ctx);
4128             }
4129             break;
4130         }
4131
4132         switch (a->type) {
4133         case OFPACT_OUTPUT:
4134             xlate_output_action(ctx, ofpact_get_OUTPUT(a)->port,
4135                                 ofpact_get_OUTPUT(a)->max_len, true);
4136             break;
4137
4138         case OFPACT_GROUP:
4139             if (xlate_group_action(ctx, ofpact_get_GROUP(a)->group_id)) {
4140                 /* Group could not be found. */
4141                 return;
4142             }
4143             break;
4144
4145         case OFPACT_CONTROLLER:
4146             controller = ofpact_get_CONTROLLER(a);
4147             execute_controller_action(ctx, controller->max_len,
4148                                       controller->reason,
4149                                       controller->controller_id);
4150             break;
4151
4152         case OFPACT_ENQUEUE:
4153             memset(&wc->masks.skb_priority, 0xff,
4154                    sizeof wc->masks.skb_priority);
4155             xlate_enqueue_action(ctx, ofpact_get_ENQUEUE(a));
4156             break;
4157
4158         case OFPACT_SET_VLAN_VID:
4159             wc->masks.vlan_tci |= htons(VLAN_VID_MASK | VLAN_CFI);
4160             if (flow->vlan_tci & htons(VLAN_CFI) ||
4161                 ofpact_get_SET_VLAN_VID(a)->push_vlan_if_needed) {
4162                 flow->vlan_tci &= ~htons(VLAN_VID_MASK);
4163                 flow->vlan_tci |= (htons(ofpact_get_SET_VLAN_VID(a)->vlan_vid)
4164                                    | htons(VLAN_CFI));
4165             }
4166             break;
4167
4168         case OFPACT_SET_VLAN_PCP:
4169             wc->masks.vlan_tci |= htons(VLAN_PCP_MASK | VLAN_CFI);
4170             if (flow->vlan_tci & htons(VLAN_CFI) ||
4171                 ofpact_get_SET_VLAN_PCP(a)->push_vlan_if_needed) {
4172                 flow->vlan_tci &= ~htons(VLAN_PCP_MASK);
4173                 flow->vlan_tci |= htons((ofpact_get_SET_VLAN_PCP(a)->vlan_pcp
4174                                          << VLAN_PCP_SHIFT) | VLAN_CFI);
4175             }
4176             break;
4177
4178         case OFPACT_STRIP_VLAN:
4179             memset(&wc->masks.vlan_tci, 0xff, sizeof wc->masks.vlan_tci);
4180             flow->vlan_tci = htons(0);
4181             break;
4182
4183         case OFPACT_PUSH_VLAN:
4184             /* XXX 802.1AD(QinQ) */
4185             memset(&wc->masks.vlan_tci, 0xff, sizeof wc->masks.vlan_tci);
4186             flow->vlan_tci = htons(VLAN_CFI);
4187             break;
4188
4189         case OFPACT_SET_ETH_SRC:
4190             memset(&wc->masks.dl_src, 0xff, sizeof wc->masks.dl_src);
4191             memcpy(flow->dl_src, ofpact_get_SET_ETH_SRC(a)->mac, ETH_ADDR_LEN);
4192             break;
4193
4194         case OFPACT_SET_ETH_DST:
4195             memset(&wc->masks.dl_dst, 0xff, sizeof wc->masks.dl_dst);
4196             memcpy(flow->dl_dst, ofpact_get_SET_ETH_DST(a)->mac, ETH_ADDR_LEN);
4197             break;
4198
4199         case OFPACT_SET_IPV4_SRC:
4200             CHECK_MPLS_RECIRCULATION();
4201             if (flow->dl_type == htons(ETH_TYPE_IP)) {
4202                 memset(&wc->masks.nw_src, 0xff, sizeof wc->masks.nw_src);
4203                 flow->nw_src = ofpact_get_SET_IPV4_SRC(a)->ipv4;
4204             }
4205             break;
4206
4207         case OFPACT_SET_IPV4_DST:
4208             CHECK_MPLS_RECIRCULATION();
4209             if (flow->dl_type == htons(ETH_TYPE_IP)) {
4210                 memset(&wc->masks.nw_dst, 0xff, sizeof wc->masks.nw_dst);
4211                 flow->nw_dst = ofpact_get_SET_IPV4_DST(a)->ipv4;
4212             }
4213             break;
4214
4215         case OFPACT_SET_IP_DSCP:
4216             CHECK_MPLS_RECIRCULATION();
4217             if (is_ip_any(flow)) {
4218                 wc->masks.nw_tos |= IP_DSCP_MASK;
4219                 flow->nw_tos &= ~IP_DSCP_MASK;
4220                 flow->nw_tos |= ofpact_get_SET_IP_DSCP(a)->dscp;
4221             }
4222             break;
4223
4224         case OFPACT_SET_IP_ECN:
4225             CHECK_MPLS_RECIRCULATION();
4226             if (is_ip_any(flow)) {
4227                 wc->masks.nw_tos |= IP_ECN_MASK;
4228                 flow->nw_tos &= ~IP_ECN_MASK;
4229                 flow->nw_tos |= ofpact_get_SET_IP_ECN(a)->ecn;
4230             }
4231             break;
4232
4233         case OFPACT_SET_IP_TTL:
4234             CHECK_MPLS_RECIRCULATION();
4235             if (is_ip_any(flow)) {
4236                 wc->masks.nw_ttl = 0xff;
4237                 flow->nw_ttl = ofpact_get_SET_IP_TTL(a)->ttl;
4238             }
4239             break;
4240
4241         case OFPACT_SET_L4_SRC_PORT:
4242             CHECK_MPLS_RECIRCULATION();
4243             if (is_ip_any(flow) && !(flow->nw_frag & FLOW_NW_FRAG_LATER)) {
4244                 memset(&wc->masks.nw_proto, 0xff, sizeof wc->masks.nw_proto);
4245                 memset(&wc->masks.tp_src, 0xff, sizeof wc->masks.tp_src);
4246                 flow->tp_src = htons(ofpact_get_SET_L4_SRC_PORT(a)->port);
4247             }
4248             break;
4249
4250         case OFPACT_SET_L4_DST_PORT:
4251             CHECK_MPLS_RECIRCULATION();
4252             if (is_ip_any(flow) && !(flow->nw_frag & FLOW_NW_FRAG_LATER)) {
4253                 memset(&wc->masks.nw_proto, 0xff, sizeof wc->masks.nw_proto);
4254                 memset(&wc->masks.tp_dst, 0xff, sizeof wc->masks.tp_dst);
4255                 flow->tp_dst = htons(ofpact_get_SET_L4_DST_PORT(a)->port);
4256             }
4257             break;
4258
4259         case OFPACT_RESUBMIT:
4260             xlate_ofpact_resubmit(ctx, ofpact_get_RESUBMIT(a));
4261             break;
4262
4263         case OFPACT_SET_TUNNEL:
4264             flow->tunnel.tun_id = htonll(ofpact_get_SET_TUNNEL(a)->tun_id);
4265             break;
4266
4267         case OFPACT_SET_QUEUE:
4268             memset(&wc->masks.skb_priority, 0xff,
4269                    sizeof wc->masks.skb_priority);
4270             xlate_set_queue_action(ctx, ofpact_get_SET_QUEUE(a)->queue_id);
4271             break;
4272
4273         case OFPACT_POP_QUEUE:
4274             memset(&wc->masks.skb_priority, 0xff,
4275                    sizeof wc->masks.skb_priority);
4276             flow->skb_priority = ctx->orig_skb_priority;
4277             break;
4278
4279         case OFPACT_REG_MOVE:
4280             CHECK_MPLS_RECIRCULATION_IF(
4281                 mf_is_l3_or_higher(ofpact_get_REG_MOVE(a)->dst.field) ||
4282                 mf_is_l3_or_higher(ofpact_get_REG_MOVE(a)->src.field));
4283             nxm_execute_reg_move(ofpact_get_REG_MOVE(a), flow, wc);
4284             break;
4285
4286         case OFPACT_SET_FIELD:
4287             CHECK_MPLS_RECIRCULATION_IF(
4288                 mf_is_l3_or_higher(ofpact_get_SET_FIELD(a)->field));
4289             set_field = ofpact_get_SET_FIELD(a);
4290             mf = set_field->field;
4291
4292             /* Set field action only ever overwrites packet's outermost
4293              * applicable header fields.  Do nothing if no header exists. */
4294             if (mf->id == MFF_VLAN_VID) {
4295                 wc->masks.vlan_tci |= htons(VLAN_CFI);
4296                 if (!(flow->vlan_tci & htons(VLAN_CFI))) {
4297                     break;
4298                 }
4299             } else if ((mf->id == MFF_MPLS_LABEL || mf->id == MFF_MPLS_TC)
4300                        /* 'dl_type' is already unwildcarded. */
4301                        && !eth_type_mpls(flow->dl_type)) {
4302                 break;
4303             }
4304             /* A flow may wildcard nw_frag.  Do nothing if setting a trasport
4305              * header field on a packet that does not have them. */
4306             mf_mask_field_and_prereqs(mf, &wc->masks);
4307             if (mf_are_prereqs_ok(mf, flow)) {
4308                 mf_set_flow_value_masked(mf, &set_field->value,
4309                                          &set_field->mask, flow);
4310             }
4311             break;
4312
4313         case OFPACT_STACK_PUSH:
4314             CHECK_MPLS_RECIRCULATION_IF(
4315                 mf_is_l3_or_higher(ofpact_get_STACK_PUSH(a)->subfield.field));
4316             nxm_execute_stack_push(ofpact_get_STACK_PUSH(a), flow, wc,
4317                                    &ctx->stack);
4318             break;
4319
4320         case OFPACT_STACK_POP:
4321             CHECK_MPLS_RECIRCULATION_IF(
4322                 mf_is_l3_or_higher(ofpact_get_STACK_POP(a)->subfield.field));
4323             nxm_execute_stack_pop(ofpact_get_STACK_POP(a), flow, wc,
4324                                   &ctx->stack);
4325             break;
4326
4327         case OFPACT_PUSH_MPLS:
4328             /* Recirculate if it is an IP packet with a zero ttl.  This may
4329              * indicate that the packet was previously MPLS and an MPLS pop
4330              * action converted it to IP. In this case recirculating should
4331              * reveal the IP TTL which is used as the basis for a new MPLS
4332              * LSE. */
4333             CHECK_MPLS_RECIRCULATION_IF(
4334                 !flow_count_mpls_labels(flow, wc)
4335                 && flow->nw_ttl == 0
4336                 && is_ip_any(flow));
4337             compose_mpls_push_action(ctx, ofpact_get_PUSH_MPLS(a));
4338             break;
4339
4340         case OFPACT_POP_MPLS:
4341             CHECK_MPLS_RECIRCULATION();
4342             compose_mpls_pop_action(ctx, ofpact_get_POP_MPLS(a)->ethertype);
4343             break;
4344
4345         case OFPACT_SET_MPLS_LABEL:
4346             CHECK_MPLS_RECIRCULATION();
4347             compose_set_mpls_label_action(
4348                 ctx, ofpact_get_SET_MPLS_LABEL(a)->label);
4349             break;
4350
4351         case OFPACT_SET_MPLS_TC:
4352             CHECK_MPLS_RECIRCULATION();
4353             compose_set_mpls_tc_action(ctx, ofpact_get_SET_MPLS_TC(a)->tc);
4354             break;
4355
4356         case OFPACT_SET_MPLS_TTL:
4357             CHECK_MPLS_RECIRCULATION();
4358             compose_set_mpls_ttl_action(ctx, ofpact_get_SET_MPLS_TTL(a)->ttl);
4359             break;
4360
4361         case OFPACT_DEC_MPLS_TTL:
4362             CHECK_MPLS_RECIRCULATION();
4363             if (compose_dec_mpls_ttl_action(ctx)) {
4364                 return;
4365             }
4366             break;
4367
4368         case OFPACT_DEC_TTL:
4369             CHECK_MPLS_RECIRCULATION();
4370             wc->masks.nw_ttl = 0xff;
4371             if (compose_dec_ttl(ctx, ofpact_get_DEC_TTL(a))) {
4372                 return;
4373             }
4374             break;
4375
4376         case OFPACT_NOTE:
4377             /* Nothing to do. */
4378             break;
4379
4380         case OFPACT_MULTIPATH:
4381             CHECK_MPLS_RECIRCULATION();
4382             multipath_execute(ofpact_get_MULTIPATH(a), flow, wc);
4383             break;
4384
4385         case OFPACT_BUNDLE:
4386             CHECK_MPLS_RECIRCULATION();
4387             xlate_bundle_action(ctx, ofpact_get_BUNDLE(a));
4388             break;
4389
4390         case OFPACT_OUTPUT_REG:
4391             xlate_output_reg_action(ctx, ofpact_get_OUTPUT_REG(a));
4392             break;
4393
4394         case OFPACT_LEARN:
4395             CHECK_MPLS_RECIRCULATION();
4396             xlate_learn_action(ctx, ofpact_get_LEARN(a));
4397             break;
4398
4399         case OFPACT_CONJUNCTION: {
4400             /* A flow with a "conjunction" action represents part of a special
4401              * kind of "set membership match".  Such a flow should not actually
4402              * get executed, but it could via, say, a "packet-out", even though
4403              * that wouldn't be useful.  Log it to help debugging. */
4404             static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 1);
4405             VLOG_INFO_RL(&rl, "executing no-op conjunction action");
4406             break;
4407         }
4408
4409         case OFPACT_EXIT:
4410             ctx->exit = true;
4411             break;
4412
4413         case OFPACT_UNROLL_XLATE: {
4414             struct ofpact_unroll_xlate *unroll = ofpact_get_UNROLL_XLATE(a);
4415
4416             /* Restore translation context data that was stored earlier. */
4417             ctx->table_id = unroll->rule_table_id;
4418             ctx->rule_cookie = unroll->rule_cookie;
4419             break;
4420         }
4421         case OFPACT_FIN_TIMEOUT:
4422             CHECK_MPLS_RECIRCULATION();
4423             memset(&wc->masks.nw_proto, 0xff, sizeof wc->masks.nw_proto);
4424             xlate_fin_timeout(ctx, ofpact_get_FIN_TIMEOUT(a));
4425             break;
4426
4427         case OFPACT_CLEAR_ACTIONS:
4428             ofpbuf_clear(&ctx->action_set);
4429             ctx->xin->flow.actset_output = OFPP_UNSET;
4430             ctx->action_set_has_group = false;
4431             break;
4432
4433         case OFPACT_WRITE_ACTIONS:
4434             xlate_write_actions(ctx, a);
4435             break;
4436
4437         case OFPACT_WRITE_METADATA:
4438             metadata = ofpact_get_WRITE_METADATA(a);
4439             flow->metadata &= ~metadata->mask;
4440             flow->metadata |= metadata->metadata & metadata->mask;
4441             break;
4442
4443         case OFPACT_METER:
4444             /* Not implemented yet. */
4445             break;
4446
4447         case OFPACT_GOTO_TABLE: {
4448             struct ofpact_goto_table *ogt = ofpact_get_GOTO_TABLE(a);
4449
4450             /* Allow ctx->table_id == TBL_INTERNAL, which will be greater
4451              * than ogt->table_id. This is to allow goto_table actions that
4452              * triggered recirculation: ctx->table_id will be TBL_INTERNAL
4453              * after recirculation. */
4454             ovs_assert(ctx->table_id == TBL_INTERNAL
4455                        || ctx->table_id < ogt->table_id);
4456             xlate_table_action(ctx, ctx->xin->flow.in_port.ofp_port,
4457                                ogt->table_id, true, true);
4458             break;
4459         }
4460
4461         case OFPACT_SAMPLE:
4462             xlate_sample_action(ctx, ofpact_get_SAMPLE(a));
4463             break;
4464         }
4465
4466         /* Check if need to store this and the remaining actions for later
4467          * execution. */
4468         if (ctx->exit && ctx_first_recirculation_action(ctx)) {
4469             recirc_unroll_actions(a, OFPACT_ALIGN(ofpacts_len -
4470                                                   ((uint8_t *)a -
4471                                                    (uint8_t *)ofpacts)),
4472                                   ctx);
4473             break;
4474         }
4475     }
4476 }
4477
4478 void
4479 xlate_in_init(struct xlate_in *xin, struct ofproto_dpif *ofproto,
4480               const struct flow *flow, ofp_port_t in_port,
4481               struct rule_dpif *rule, uint16_t tcp_flags,
4482               const struct dp_packet *packet, struct flow_wildcards *wc,
4483               struct ofpbuf *odp_actions)
4484 {
4485     xin->ofproto = ofproto;
4486     xin->flow = *flow;
4487     xin->flow.in_port.ofp_port = in_port;
4488     xin->flow.actset_output = OFPP_UNSET;
4489     xin->packet = packet;
4490     xin->may_learn = packet != NULL;
4491     xin->rule = rule;
4492     xin->xcache = NULL;
4493     xin->ofpacts = NULL;
4494     xin->ofpacts_len = 0;
4495     xin->tcp_flags = tcp_flags;
4496     xin->resubmit_hook = NULL;
4497     xin->report_hook = NULL;
4498     xin->resubmit_stats = NULL;
4499     xin->wc = wc;
4500     xin->odp_actions = odp_actions;
4501
4502     /* Do recirc lookup. */
4503     xin->recirc = flow->recirc_id
4504         ? recirc_id_node_find(flow->recirc_id)
4505         : NULL;
4506 }
4507
4508 void
4509 xlate_out_uninit(struct xlate_out *xout)
4510 {
4511     if (xout) {
4512         xlate_out_free_recircs(xout);
4513     }
4514 }
4515
4516 /* Translates the 'ofpacts_len' bytes of "struct ofpact"s starting at 'ofpacts'
4517  * into datapath actions, using 'ctx', and discards the datapath actions. */
4518 void
4519 xlate_actions_for_side_effects(struct xlate_in *xin)
4520 {
4521     struct xlate_out xout;
4522
4523     xlate_actions(xin, &xout);
4524     xlate_out_uninit(&xout);
4525 }
4526 \f
4527 static struct skb_priority_to_dscp *
4528 get_skb_priority(const struct xport *xport, uint32_t skb_priority)
4529 {
4530     struct skb_priority_to_dscp *pdscp;
4531     uint32_t hash;
4532
4533     hash = hash_int(skb_priority, 0);
4534     HMAP_FOR_EACH_IN_BUCKET (pdscp, hmap_node, hash, &xport->skb_priorities) {
4535         if (pdscp->skb_priority == skb_priority) {
4536             return pdscp;
4537         }
4538     }
4539     return NULL;
4540 }
4541
4542 static bool
4543 dscp_from_skb_priority(const struct xport *xport, uint32_t skb_priority,
4544                        uint8_t *dscp)
4545 {
4546     struct skb_priority_to_dscp *pdscp = get_skb_priority(xport, skb_priority);
4547     *dscp = pdscp ? pdscp->dscp : 0;
4548     return pdscp != NULL;
4549 }
4550
4551 static size_t
4552 count_skb_priorities(const struct xport *xport)
4553 {
4554     return hmap_count(&xport->skb_priorities);
4555 }
4556
4557 static void
4558 clear_skb_priorities(struct xport *xport)
4559 {
4560     struct skb_priority_to_dscp *pdscp, *next;
4561
4562     HMAP_FOR_EACH_SAFE (pdscp, next, hmap_node, &xport->skb_priorities) {
4563         hmap_remove(&xport->skb_priorities, &pdscp->hmap_node);
4564         free(pdscp);
4565     }
4566 }
4567
4568 static bool
4569 actions_output_to_local_port(const struct xlate_ctx *ctx)
4570 {
4571     odp_port_t local_odp_port = ofp_port_to_odp_port(ctx->xbridge, OFPP_LOCAL);
4572     const struct nlattr *a;
4573     unsigned int left;
4574
4575     NL_ATTR_FOR_EACH_UNSAFE (a, left, ctx->odp_actions->data,
4576                              ctx->odp_actions->size) {
4577         if (nl_attr_type(a) == OVS_ACTION_ATTR_OUTPUT
4578             && nl_attr_get_odp_port(a) == local_odp_port) {
4579             return true;
4580         }
4581     }
4582     return false;
4583 }
4584
4585 #if defined(__linux__)
4586 /* Returns the maximum number of packets that the Linux kernel is willing to
4587  * queue up internally to certain kinds of software-implemented ports, or the
4588  * default (and rarely modified) value if it cannot be determined. */
4589 static int
4590 netdev_max_backlog(void)
4591 {
4592     static struct ovsthread_once once = OVSTHREAD_ONCE_INITIALIZER;
4593     static int max_backlog = 1000; /* The normal default value. */
4594
4595     if (ovsthread_once_start(&once)) {
4596         static const char filename[] = "/proc/sys/net/core/netdev_max_backlog";
4597         FILE *stream;
4598         int n;
4599
4600         stream = fopen(filename, "r");
4601         if (!stream) {
4602             VLOG_WARN("%s: open failed (%s)", filename, ovs_strerror(errno));
4603         } else {
4604             if (fscanf(stream, "%d", &n) != 1) {
4605                 VLOG_WARN("%s: read error", filename);
4606             } else if (n <= 100) {
4607                 VLOG_WARN("%s: unexpectedly small value %d", filename, n);
4608             } else {
4609                 max_backlog = n;
4610             }
4611             fclose(stream);
4612         }
4613         ovsthread_once_done(&once);
4614
4615         VLOG_DBG("%s: using %d max_backlog", filename, max_backlog);
4616     }
4617
4618     return max_backlog;
4619 }
4620
4621 /* Counts and returns the number of OVS_ACTION_ATTR_OUTPUT actions in
4622  * 'odp_actions'. */
4623 static int
4624 count_output_actions(const struct ofpbuf *odp_actions)
4625 {
4626     const struct nlattr *a;
4627     size_t left;
4628     int n = 0;
4629
4630     NL_ATTR_FOR_EACH_UNSAFE (a, left, odp_actions->data, odp_actions->size) {
4631         if (a->nla_type == OVS_ACTION_ATTR_OUTPUT) {
4632             n++;
4633         }
4634     }
4635     return n;
4636 }
4637 #endif /* defined(__linux__) */
4638
4639 /* Returns true if 'odp_actions' contains more output actions than the datapath
4640  * can reliably handle in one go.  On Linux, this is the value of the
4641  * net.core.netdev_max_backlog sysctl, which limits the maximum number of
4642  * packets that the kernel is willing to queue up for processing while the
4643  * datapath is processing a set of actions. */
4644 static bool
4645 too_many_output_actions(const struct ofpbuf *odp_actions OVS_UNUSED)
4646 {
4647 #ifdef __linux__
4648     return (odp_actions->size / NL_A_U32_SIZE > netdev_max_backlog()
4649             && count_output_actions(odp_actions) > netdev_max_backlog());
4650 #else
4651     /* OSes other than Linux might have similar limits, but we don't know how
4652      * to determine them.*/
4653     return false;
4654 #endif
4655 }
4656
4657 static void
4658 xlate_wc_init(struct xlate_ctx *ctx)
4659 {
4660     flow_wildcards_init_catchall(ctx->wc);
4661
4662     /* Some fields we consider to always be examined. */
4663     memset(&ctx->wc->masks.in_port, 0xff, sizeof ctx->wc->masks.in_port);
4664     memset(&ctx->wc->masks.dl_type, 0xff, sizeof ctx->wc->masks.dl_type);
4665     if (is_ip_any(&ctx->xin->flow)) {
4666         ctx->wc->masks.nw_frag |= FLOW_NW_FRAG_MASK;
4667     }
4668
4669     if (ctx->xbridge->support.odp.recirc) {
4670         /* Always exactly match recirc_id when datapath supports
4671          * recirculation.  */
4672         ctx->wc->masks.recirc_id = UINT32_MAX;
4673     }
4674
4675     if (ctx->xbridge->netflow) {
4676         netflow_mask_wc(&ctx->xin->flow, ctx->wc);
4677     }
4678
4679     tnl_wc_init(&ctx->xin->flow, ctx->wc);
4680 }
4681
4682 static void
4683 xlate_wc_finish(struct xlate_ctx *ctx)
4684 {
4685     /* Clear the metadata and register wildcard masks, because we won't
4686      * use non-header fields as part of the cache. */
4687     flow_wildcards_clear_non_packet_fields(ctx->wc);
4688
4689     /* ICMPv4 and ICMPv6 have 8-bit "type" and "code" fields.  struct flow
4690      * uses the low 8 bits of the 16-bit tp_src and tp_dst members to
4691      * represent these fields.  The datapath interface, on the other hand,
4692      * represents them with just 8 bits each.  This means that if the high
4693      * 8 bits of the masks for these fields somehow become set, then they
4694      * will get chopped off by a round trip through the datapath, and
4695      * revalidation will spot that as an inconsistency and delete the flow.
4696      * Avoid the problem here by making sure that only the low 8 bits of
4697      * either field can be unwildcarded for ICMP.
4698      */
4699     if (is_icmpv4(&ctx->xin->flow) || is_icmpv6(&ctx->xin->flow)) {
4700         ctx->wc->masks.tp_src &= htons(UINT8_MAX);
4701         ctx->wc->masks.tp_dst &= htons(UINT8_MAX);
4702     }
4703     /* VLAN_TCI CFI bit must be matched if any of the TCI is matched. */
4704     if (ctx->wc->masks.vlan_tci) {
4705         ctx->wc->masks.vlan_tci |= htons(VLAN_CFI);
4706     }
4707 }
4708
4709 /* Translates the flow, actions, or rule in 'xin' into datapath actions in
4710  * 'xout'.
4711  * The caller must take responsibility for eventually freeing 'xout', with
4712  * xlate_out_uninit(). */
4713 void
4714 xlate_actions(struct xlate_in *xin, struct xlate_out *xout)
4715 {
4716     *xout = (struct xlate_out) {
4717         .slow = 0,
4718         .fail_open = false,
4719         .n_recircs = 0,
4720     };
4721
4722     struct xlate_cfg *xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
4723     struct xbridge *xbridge = xbridge_lookup(xcfg, xin->ofproto);
4724     if (!xbridge) {
4725         return;
4726     }
4727
4728     struct flow *flow = &xin->flow;
4729
4730     union mf_subvalue stack_stub[1024 / sizeof(union mf_subvalue)];
4731     uint64_t action_set_stub[1024 / 8];
4732     struct flow_wildcards scratch_wc;
4733     uint64_t actions_stub[256 / 8];
4734     struct ofpbuf scratch_actions = OFPBUF_STUB_INITIALIZER(actions_stub);
4735     struct xlate_ctx ctx = {
4736         .xin = xin,
4737         .xout = xout,
4738         .base_flow = *flow,
4739         .orig_tunnel_ip_dst = flow->tunnel.ip_dst,
4740         .xbridge = xbridge,
4741         .stack = OFPBUF_STUB_INITIALIZER(stack_stub),
4742         .rule = xin->rule,
4743         .wc = xin->wc ? xin->wc : &scratch_wc,
4744         .odp_actions = xin->odp_actions ? xin->odp_actions : &scratch_actions,
4745
4746         .recurse = 0,
4747         .resubmits = 0,
4748         .in_group = false,
4749         .in_action_set = false,
4750
4751         .table_id = 0,
4752         .rule_cookie = OVS_BE64_MAX,
4753         .orig_skb_priority = flow->skb_priority,
4754         .sflow_n_outputs = 0,
4755         .sflow_odp_port = 0,
4756         .nf_output_iface = NF_OUT_DROP,
4757         .exit = false,
4758         .mirrors = 0,
4759
4760         .recirc_action_offset = -1,
4761         .last_unroll_offset = -1,
4762
4763         .was_mpls = false,
4764
4765         .action_set_has_group = false,
4766         .action_set = OFPBUF_STUB_INITIALIZER(action_set_stub),
4767     };
4768
4769     /* 'base_flow' reflects the packet as it came in, but we need it to reflect
4770      * the packet as the datapath will treat it for output actions:
4771      *
4772      *     - Our datapath doesn't retain tunneling information without us
4773      *       re-setting it, so clear the tunnel data.
4774      *
4775      *     - For VLAN splinters, a higher layer may pretend that the packet
4776      *       came in on 'flow->in_port.ofp_port' with 'flow->vlan_tci'
4777      *       attached, because that's how we want to treat it from an OpenFlow
4778      *       perspective.  But from the datapath's perspective it actually came
4779      *       in on a VLAN device without any VLAN attached.  So here we put the
4780      *       datapath's view of the VLAN information in 'base_flow' to ensure
4781      *       correct treatment.
4782      */
4783     memset(&ctx.base_flow.tunnel, 0, sizeof ctx.base_flow.tunnel);
4784     if (flow->in_port.ofp_port
4785         != vsp_realdev_to_vlandev(xbridge->ofproto,
4786                                   flow->in_port.ofp_port,
4787                                   flow->vlan_tci)) {
4788         ctx.base_flow.vlan_tci = 0;
4789     }
4790
4791     ofpbuf_reserve(ctx.odp_actions, NL_A_U32_SIZE);
4792     if (xin->wc) {
4793         xlate_wc_init(&ctx);
4794     }
4795
4796     COVERAGE_INC(xlate_actions);
4797
4798     if (xin->recirc) {
4799         const struct recirc_id_node *recirc = xin->recirc;
4800
4801         if (xin->ofpacts_len > 0 || ctx.rule) {
4802             static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 1);
4803
4804             VLOG_WARN_RL(&rl, "Recirculation conflict (%s)!",
4805                          xin->ofpacts_len > 0
4806                          ? "actions"
4807                          : "rule");
4808             goto exit;
4809         }
4810
4811         /* Set the bridge for post-recirculation processing if needed. */
4812         if (ctx.xbridge->ofproto != recirc->ofproto) {
4813             struct xlate_cfg *xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
4814             const struct xbridge *new_bridge = xbridge_lookup(xcfg,
4815                                                               recirc->ofproto);
4816
4817             if (OVS_UNLIKELY(!new_bridge)) {
4818                 /* Drop the packet if the bridge cannot be found. */
4819                 static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 1);
4820                 VLOG_WARN_RL(&rl, "Recirculation bridge no longer exists.");
4821                 goto exit;
4822             }
4823             ctx.xbridge = new_bridge;
4824         }
4825
4826         /* Set the post-recirculation table id.  Note: A table lookup is done
4827          * only if there are no post-recirculation actions. */
4828         ctx.table_id = recirc->table_id;
4829
4830         /* Restore pipeline metadata. May change flow's in_port and other
4831          * metadata to the values that existed when recirculation was
4832          * triggered. */
4833         recirc_metadata_to_flow(&recirc->metadata, flow);
4834
4835         /* Restore stack, if any. */
4836         if (recirc->stack) {
4837             ofpbuf_put(&ctx.stack, recirc->stack->data, recirc->stack->size);
4838         }
4839
4840         /* Restore action set, if any. */
4841         if (recirc->action_set_len) {
4842             const struct ofpact *a;
4843
4844             ofpbuf_put(&ctx.action_set, recirc->ofpacts,
4845                        recirc->action_set_len);
4846
4847             OFPACT_FOR_EACH(a, recirc->ofpacts, recirc->action_set_len) {
4848                 if (a->type == OFPACT_GROUP) {
4849                     ctx.action_set_has_group = true;
4850                     break;
4851                 }
4852             }
4853         }
4854
4855         /* Restore recirculation actions.  If there are no actions, processing
4856          * will start with a lookup in the table set above. */
4857         if (recirc->ofpacts_len > recirc->action_set_len) {
4858             xin->ofpacts_len = recirc->ofpacts_len - recirc->action_set_len;
4859             xin->ofpacts = recirc->ofpacts +
4860                 recirc->action_set_len / sizeof *recirc->ofpacts;
4861         }
4862     } else if (OVS_UNLIKELY(flow->recirc_id)) {
4863         static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 1);
4864
4865         VLOG_WARN_RL(&rl, "Recirculation context not found for ID %"PRIx32,
4866                      flow->recirc_id);
4867         goto exit;
4868     }
4869     /* The bridge is now known so obtain its table version. */
4870     ctx.tables_version = ofproto_dpif_get_tables_version(ctx.xbridge->ofproto);
4871
4872     if (!xin->ofpacts && !ctx.rule) {
4873         ctx.rule = rule_dpif_lookup_from_table(
4874             ctx.xbridge->ofproto, ctx.tables_version, flow, xin->wc,
4875             ctx.xin->xcache != NULL, ctx.xin->resubmit_stats, &ctx.table_id,
4876             flow->in_port.ofp_port, true, true);
4877         if (ctx.xin->resubmit_stats) {
4878             rule_dpif_credit_stats(ctx.rule, ctx.xin->resubmit_stats);
4879         }
4880         if (ctx.xin->xcache) {
4881             struct xc_entry *entry;
4882
4883             entry = xlate_cache_add_entry(ctx.xin->xcache, XC_RULE);
4884             entry->u.rule = ctx.rule;
4885         }
4886
4887         if (OVS_UNLIKELY(ctx.xin->resubmit_hook)) {
4888             ctx.xin->resubmit_hook(ctx.xin, ctx.rule, 0);
4889         }
4890     }
4891     xout->fail_open = ctx.rule && rule_dpif_is_fail_open(ctx.rule);
4892
4893     struct flow orig_flow;
4894     if (mbridge_has_mirrors(xbridge->mbridge)) {
4895         /* Do this conditionally because the copy is expensive enough that it
4896          * shows up in profiles. */
4897         orig_flow = *flow;
4898     }
4899
4900     /* Get the proximate input port of the packet.  (If xin->recirc,
4901      * flow->in_port is the ultimate input port of the packet.) */
4902     struct xport *in_port = get_ofp_port(xbridge,
4903                                          ctx.base_flow.in_port.ofp_port);
4904
4905     /* Tunnel stats only for non-recirculated packets. */
4906     if (!xin->recirc && in_port && in_port->is_tunnel) {
4907         if (ctx.xin->resubmit_stats) {
4908             netdev_vport_inc_rx(in_port->netdev, ctx.xin->resubmit_stats);
4909             if (in_port->bfd) {
4910                 bfd_account_rx(in_port->bfd, ctx.xin->resubmit_stats);
4911             }
4912         }
4913         if (ctx.xin->xcache) {
4914             struct xc_entry *entry;
4915
4916             entry = xlate_cache_add_entry(ctx.xin->xcache, XC_NETDEV);
4917             entry->u.dev.rx = netdev_ref(in_port->netdev);
4918             entry->u.dev.bfd = bfd_ref(in_port->bfd);
4919         }
4920     }
4921
4922     /* Do not perform special processing on recirculated packets,
4923      * as recirculated packets are not really received by the bridge. */
4924     if (xin->recirc || !process_special(&ctx, in_port)) {
4925         /* Sampling is done only for packets really received by the bridge. */
4926         unsigned int user_cookie_offset = 0;
4927         if (!xin->recirc) {
4928             user_cookie_offset = compose_sflow_action(&ctx);
4929             compose_ipfix_action(&ctx, ODPP_NONE);
4930         }
4931         size_t sample_actions_len = ctx.odp_actions->size;
4932
4933         if (tnl_process_ecn(flow)
4934             && (!in_port || may_receive(in_port, &ctx))) {
4935             const struct ofpact *ofpacts;
4936             size_t ofpacts_len;
4937
4938             if (xin->ofpacts) {
4939                 ofpacts = xin->ofpacts;
4940                 ofpacts_len = xin->ofpacts_len;
4941             } else if (ctx.rule) {
4942                 const struct rule_actions *actions
4943                     = rule_dpif_get_actions(ctx.rule);
4944                 ofpacts = actions->ofpacts;
4945                 ofpacts_len = actions->ofpacts_len;
4946                 ctx.rule_cookie = rule_dpif_get_flow_cookie(ctx.rule);
4947             } else {
4948                 OVS_NOT_REACHED();
4949             }
4950
4951             do_xlate_actions(ofpacts, ofpacts_len, &ctx);
4952
4953             /* We've let OFPP_NORMAL and the learning action look at the
4954              * packet, so drop it now if forwarding is disabled. */
4955             if (in_port && (!xport_stp_forward_state(in_port) ||
4956                             !xport_rstp_forward_state(in_port))) {
4957                 /* Drop all actions added by do_xlate_actions() above. */
4958                 ctx.odp_actions->size = sample_actions_len;
4959
4960                 /* Undo changes that may have been done for recirculation. */
4961                 if (exit_recirculates(&ctx)) {
4962                     ctx.action_set.size = ctx.recirc_action_offset;
4963                     ctx.recirc_action_offset = -1;
4964                     ctx.last_unroll_offset = -1;
4965                 }
4966             } else if (ctx.action_set.size) {
4967                 /* Translate action set only if not dropping the packet and
4968                  * not recirculating. */
4969                 if (!exit_recirculates(&ctx)) {
4970                     xlate_action_set(&ctx);
4971                 }
4972             }
4973             /* Check if need to recirculate. */
4974             if (exit_recirculates(&ctx)) {
4975                 compose_recirculate_action(&ctx);
4976             }
4977         }
4978
4979         /* Output only fully processed packets. */
4980         if (!exit_recirculates(&ctx)
4981             && xbridge->has_in_band
4982             && in_band_must_output_to_local_port(flow)
4983             && !actions_output_to_local_port(&ctx)) {
4984             compose_output_action(&ctx, OFPP_LOCAL, NULL);
4985         }
4986
4987         if (user_cookie_offset) {
4988             fix_sflow_action(&ctx, user_cookie_offset);
4989         }
4990         /* Only mirror fully processed packets. */
4991         if (!exit_recirculates(&ctx)
4992             && mbridge_has_mirrors(xbridge->mbridge)) {
4993             add_mirror_actions(&ctx, &orig_flow);
4994         }
4995     }
4996
4997     if (nl_attr_oversized(ctx.odp_actions->size)) {
4998         /* These datapath actions are too big for a Netlink attribute, so we
4999          * can't hand them to the kernel directly.  dpif_execute() can execute
5000          * them one by one with help, so just mark the result as SLOW_ACTION to
5001          * prevent the flow from being installed. */
5002         COVERAGE_INC(xlate_actions_oversize);
5003         ctx.xout->slow |= SLOW_ACTION;
5004     } else if (too_many_output_actions(ctx.odp_actions)) {
5005         COVERAGE_INC(xlate_actions_too_many_output);
5006         ctx.xout->slow |= SLOW_ACTION;
5007     }
5008
5009     /* Update mirror stats only for packets really received by the bridge. */
5010     if (!xin->recirc && mbridge_has_mirrors(xbridge->mbridge)) {
5011         if (ctx.xin->resubmit_stats) {
5012             mirror_update_stats(xbridge->mbridge, ctx.mirrors,
5013                                 ctx.xin->resubmit_stats->n_packets,
5014                                 ctx.xin->resubmit_stats->n_bytes);
5015         }
5016         if (ctx.xin->xcache) {
5017             struct xc_entry *entry;
5018
5019             entry = xlate_cache_add_entry(ctx.xin->xcache, XC_MIRROR);
5020             entry->u.mirror.mbridge = mbridge_ref(xbridge->mbridge);
5021             entry->u.mirror.mirrors = ctx.mirrors;
5022         }
5023     }
5024
5025     /* Do netflow only for packets really received by the bridge and not sent
5026      * to the controller.  We consider packets sent to the controller to be
5027      * part of the control plane rather than the data plane. */
5028     if (!xin->recirc && xbridge->netflow && !(xout->slow & SLOW_CONTROLLER)) {
5029         if (ctx.xin->resubmit_stats) {
5030             netflow_flow_update(xbridge->netflow, flow,
5031                                 ctx.nf_output_iface,
5032                                 ctx.xin->resubmit_stats);
5033         }
5034         if (ctx.xin->xcache) {
5035             struct xc_entry *entry;
5036
5037             entry = xlate_cache_add_entry(ctx.xin->xcache, XC_NETFLOW);
5038             entry->u.nf.netflow = netflow_ref(xbridge->netflow);
5039             entry->u.nf.flow = xmemdup(flow, sizeof *flow);
5040             entry->u.nf.iface = ctx.nf_output_iface;
5041         }
5042     }
5043
5044     if (xin->wc) {
5045         xlate_wc_finish(&ctx);
5046     }
5047
5048 exit:
5049     ofpbuf_uninit(&ctx.stack);
5050     ofpbuf_uninit(&ctx.action_set);
5051     ofpbuf_uninit(&scratch_actions);
5052 }
5053
5054 /* Sends 'packet' out 'ofport'.
5055  * May modify 'packet'.
5056  * Returns 0 if successful, otherwise a positive errno value. */
5057 int
5058 xlate_send_packet(const struct ofport_dpif *ofport, struct dp_packet *packet)
5059 {
5060     struct xlate_cfg *xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
5061     struct xport *xport;
5062     struct ofpact_output output;
5063     struct flow flow;
5064
5065     ofpact_init(&output.ofpact, OFPACT_OUTPUT, sizeof output);
5066     /* Use OFPP_NONE as the in_port to avoid special packet processing. */
5067     flow_extract(packet, &flow);
5068     flow.in_port.ofp_port = OFPP_NONE;
5069
5070     xport = xport_lookup(xcfg, ofport);
5071     if (!xport) {
5072         return EINVAL;
5073     }
5074     output.port = xport->ofp_port;
5075     output.max_len = 0;
5076
5077     return ofproto_dpif_execute_actions(xport->xbridge->ofproto, &flow, NULL,
5078                                         &output.ofpact, sizeof output,
5079                                         packet);
5080 }
5081
5082 struct xlate_cache *
5083 xlate_cache_new(void)
5084 {
5085     struct xlate_cache *xcache = xmalloc(sizeof *xcache);
5086
5087     ofpbuf_init(&xcache->entries, 512);
5088     return xcache;
5089 }
5090
5091 static struct xc_entry *
5092 xlate_cache_add_entry(struct xlate_cache *xcache, enum xc_type type)
5093 {
5094     struct xc_entry *entry;
5095
5096     entry = ofpbuf_put_zeros(&xcache->entries, sizeof *entry);
5097     entry->type = type;
5098
5099     return entry;
5100 }
5101
5102 static void
5103 xlate_cache_netdev(struct xc_entry *entry, const struct dpif_flow_stats *stats)
5104 {
5105     if (entry->u.dev.tx) {
5106         netdev_vport_inc_tx(entry->u.dev.tx, stats);
5107     }
5108     if (entry->u.dev.rx) {
5109         netdev_vport_inc_rx(entry->u.dev.rx, stats);
5110     }
5111     if (entry->u.dev.bfd) {
5112         bfd_account_rx(entry->u.dev.bfd, stats);
5113     }
5114 }
5115
5116 static void
5117 xlate_cache_normal(struct ofproto_dpif *ofproto, struct flow *flow, int vlan)
5118 {
5119     struct xlate_cfg *xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
5120     struct xbridge *xbridge;
5121     struct xbundle *xbundle;
5122     struct flow_wildcards wc;
5123
5124     xbridge = xbridge_lookup(xcfg, ofproto);
5125     if (!xbridge) {
5126         return;
5127     }
5128
5129     xbundle = lookup_input_bundle(xbridge, flow->in_port.ofp_port, false,
5130                                   NULL);
5131     if (!xbundle) {
5132         return;
5133     }
5134
5135     update_learning_table(xbridge, flow, &wc, vlan, xbundle);
5136 }
5137
5138 /* Push stats and perform side effects of flow translation. */
5139 void
5140 xlate_push_stats(struct xlate_cache *xcache,
5141                  const struct dpif_flow_stats *stats)
5142 {
5143     struct xc_entry *entry;
5144     struct ofpbuf entries = xcache->entries;
5145     uint8_t dmac[ETH_ADDR_LEN];
5146
5147     if (!stats->n_packets) {
5148         return;
5149     }
5150
5151     XC_ENTRY_FOR_EACH (entry, entries, xcache) {
5152         switch (entry->type) {
5153         case XC_RULE:
5154             rule_dpif_credit_stats(entry->u.rule, stats);
5155             break;
5156         case XC_BOND:
5157             bond_account(entry->u.bond.bond, entry->u.bond.flow,
5158                          entry->u.bond.vid, stats->n_bytes);
5159             break;
5160         case XC_NETDEV:
5161             xlate_cache_netdev(entry, stats);
5162             break;
5163         case XC_NETFLOW:
5164             netflow_flow_update(entry->u.nf.netflow, entry->u.nf.flow,
5165                                 entry->u.nf.iface, stats);
5166             break;
5167         case XC_MIRROR:
5168             mirror_update_stats(entry->u.mirror.mbridge,
5169                                 entry->u.mirror.mirrors,
5170                                 stats->n_packets, stats->n_bytes);
5171             break;
5172         case XC_LEARN:
5173             ofproto_dpif_flow_mod(entry->u.learn.ofproto, entry->u.learn.fm);
5174             break;
5175         case XC_NORMAL:
5176             xlate_cache_normal(entry->u.normal.ofproto, entry->u.normal.flow,
5177                                entry->u.normal.vlan);
5178             break;
5179         case XC_FIN_TIMEOUT:
5180             xlate_fin_timeout__(entry->u.fin.rule, stats->tcp_flags,
5181                                 entry->u.fin.idle, entry->u.fin.hard);
5182             break;
5183         case XC_GROUP:
5184             group_dpif_credit_stats(entry->u.group.group, entry->u.group.bucket,
5185                                     stats);
5186             break;
5187         case XC_TNL_ARP:
5188             /* Lookup arp to avoid arp timeout. */
5189             tnl_arp_lookup(entry->u.tnl_arp_cache.br_name, entry->u.tnl_arp_cache.d_ip, dmac);
5190             break;
5191         default:
5192             OVS_NOT_REACHED();
5193         }
5194     }
5195 }
5196
5197 static void
5198 xlate_dev_unref(struct xc_entry *entry)
5199 {
5200     if (entry->u.dev.tx) {
5201         netdev_close(entry->u.dev.tx);
5202     }
5203     if (entry->u.dev.rx) {
5204         netdev_close(entry->u.dev.rx);
5205     }
5206     if (entry->u.dev.bfd) {
5207         bfd_unref(entry->u.dev.bfd);
5208     }
5209 }
5210
5211 static void
5212 xlate_cache_clear_netflow(struct netflow *netflow, struct flow *flow)
5213 {
5214     netflow_flow_clear(netflow, flow);
5215     netflow_unref(netflow);
5216     free(flow);
5217 }
5218
5219 void
5220 xlate_cache_clear(struct xlate_cache *xcache)
5221 {
5222     struct xc_entry *entry;
5223     struct ofpbuf entries;
5224
5225     if (!xcache) {
5226         return;
5227     }
5228
5229     XC_ENTRY_FOR_EACH (entry, entries, xcache) {
5230         switch (entry->type) {
5231         case XC_RULE:
5232             rule_dpif_unref(entry->u.rule);
5233             break;
5234         case XC_BOND:
5235             free(entry->u.bond.flow);
5236             bond_unref(entry->u.bond.bond);
5237             break;
5238         case XC_NETDEV:
5239             xlate_dev_unref(entry);
5240             break;
5241         case XC_NETFLOW:
5242             xlate_cache_clear_netflow(entry->u.nf.netflow, entry->u.nf.flow);
5243             break;
5244         case XC_MIRROR:
5245             mbridge_unref(entry->u.mirror.mbridge);
5246             break;
5247         case XC_LEARN:
5248             free(entry->u.learn.fm);
5249             ofpbuf_delete(entry->u.learn.ofpacts);
5250             break;
5251         case XC_NORMAL:
5252             free(entry->u.normal.flow);
5253             break;
5254         case XC_FIN_TIMEOUT:
5255             /* 'u.fin.rule' is always already held as a XC_RULE, which
5256              * has already released it's reference above. */
5257             break;
5258         case XC_GROUP:
5259             group_dpif_unref(entry->u.group.group);
5260             break;
5261         case XC_TNL_ARP:
5262             break;
5263         default:
5264             OVS_NOT_REACHED();
5265         }
5266     }
5267
5268     ofpbuf_clear(&xcache->entries);
5269 }
5270
5271 void
5272 xlate_cache_delete(struct xlate_cache *xcache)
5273 {
5274     xlate_cache_clear(xcache);
5275     ofpbuf_uninit(&xcache->entries);
5276     free(xcache);
5277 }