ofproto-dpif-xlate: Set up 'base_flow' when we initialize 'ctx'.
[cascardo/ovs.git] / ofproto / ofproto-dpif-xlate.c
1 /* Copyright (c) 2009, 2010, 2011, 2012, 2013, 2014, 2015 Nicira, Inc.
2  *
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License. */
14
15 #include <config.h>
16
17 #include "ofproto/ofproto-dpif-xlate.h"
18
19 #include <errno.h>
20 #include <arpa/inet.h>
21 #include <net/if.h>
22 #include <sys/socket.h>
23 #include <netinet/in.h>
24
25 #include "tnl-arp-cache.h"
26 #include "bfd.h"
27 #include "bitmap.h"
28 #include "bond.h"
29 #include "bundle.h"
30 #include "byte-order.h"
31 #include "cfm.h"
32 #include "connmgr.h"
33 #include "coverage.h"
34 #include "dp-packet.h"
35 #include "dpif.h"
36 #include "dynamic-string.h"
37 #include "in-band.h"
38 #include "lacp.h"
39 #include "learn.h"
40 #include "list.h"
41 #include "ovs-lldp.h"
42 #include "mac-learning.h"
43 #include "mcast-snooping.h"
44 #include "meta-flow.h"
45 #include "multipath.h"
46 #include "netdev-vport.h"
47 #include "netlink.h"
48 #include "nx-match.h"
49 #include "odp-execute.h"
50 #include "ofp-actions.h"
51 #include "ofproto/ofproto-dpif-ipfix.h"
52 #include "ofproto/ofproto-dpif-mirror.h"
53 #include "ofproto/ofproto-dpif-monitor.h"
54 #include "ofproto/ofproto-dpif-sflow.h"
55 #include "ofproto/ofproto-dpif.h"
56 #include "ofproto/ofproto-provider.h"
57 #include "ovs-router.h"
58 #include "tnl-ports.h"
59 #include "tunnel.h"
60 #include "openvswitch/vlog.h"
61
62 COVERAGE_DEFINE(xlate_actions);
63 COVERAGE_DEFINE(xlate_actions_oversize);
64 COVERAGE_DEFINE(xlate_actions_too_many_output);
65
66 VLOG_DEFINE_THIS_MODULE(ofproto_dpif_xlate);
67
68 /* Maximum depth of flow table recursion (due to resubmit actions) in a
69  * flow translation. */
70 #define MAX_RESUBMIT_RECURSION 64
71 #define MAX_INTERNAL_RESUBMITS 1   /* Max resbmits allowed using rules in
72                                       internal table. */
73
74 /* Maximum number of resubmit actions in a flow translation, whether they are
75  * recursive or not. */
76 #define MAX_RESUBMITS (MAX_RESUBMIT_RECURSION * MAX_RESUBMIT_RECURSION)
77
78 struct xbridge {
79     struct hmap_node hmap_node;   /* Node in global 'xbridges' map. */
80     struct ofproto_dpif *ofproto; /* Key in global 'xbridges' map. */
81
82     struct ovs_list xbundles;     /* Owned xbundles. */
83     struct hmap xports;           /* Indexed by ofp_port. */
84
85     char *name;                   /* Name used in log messages. */
86     struct dpif *dpif;            /* Datapath interface. */
87     struct mac_learning *ml;      /* Mac learning handle. */
88     struct mcast_snooping *ms;    /* Multicast Snooping handle. */
89     struct mbridge *mbridge;      /* Mirroring. */
90     struct dpif_sflow *sflow;     /* SFlow handle, or null. */
91     struct dpif_ipfix *ipfix;     /* Ipfix handle, or null. */
92     struct netflow *netflow;      /* Netflow handle, or null. */
93     struct stp *stp;              /* STP or null if disabled. */
94     struct rstp *rstp;            /* RSTP or null if disabled. */
95
96     bool has_in_band;             /* Bridge has in band control? */
97     bool forward_bpdu;            /* Bridge forwards STP BPDUs? */
98
99     /* Datapath feature support. */
100     struct dpif_backer_support support;
101 };
102
103 struct xbundle {
104     struct hmap_node hmap_node;    /* In global 'xbundles' map. */
105     struct ofbundle *ofbundle;     /* Key in global 'xbundles' map. */
106
107     struct ovs_list list_node;     /* In parent 'xbridges' list. */
108     struct xbridge *xbridge;       /* Parent xbridge. */
109
110     struct ovs_list xports;        /* Contains "struct xport"s. */
111
112     char *name;                    /* Name used in log messages. */
113     struct bond *bond;             /* Nonnull iff more than one port. */
114     struct lacp *lacp;             /* LACP handle or null. */
115
116     enum port_vlan_mode vlan_mode; /* VLAN mode. */
117     int vlan;                      /* -1=trunk port, else a 12-bit VLAN ID. */
118     unsigned long *trunks;         /* Bitmap of trunked VLANs, if 'vlan' == -1.
119                                     * NULL if all VLANs are trunked. */
120     bool use_priority_tags;        /* Use 802.1p tag for frames in VLAN 0? */
121     bool floodable;                /* No port has OFPUTIL_PC_NO_FLOOD set? */
122 };
123
124 struct xport {
125     struct hmap_node hmap_node;      /* Node in global 'xports' map. */
126     struct ofport_dpif *ofport;      /* Key in global 'xports map. */
127
128     struct hmap_node ofp_node;       /* Node in parent xbridge 'xports' map. */
129     ofp_port_t ofp_port;             /* Key in parent xbridge 'xports' map. */
130
131     odp_port_t odp_port;             /* Datapath port number or ODPP_NONE. */
132
133     struct ovs_list bundle_node;     /* In parent xbundle (if it exists). */
134     struct xbundle *xbundle;         /* Parent xbundle or null. */
135
136     struct netdev *netdev;           /* 'ofport''s netdev. */
137
138     struct xbridge *xbridge;         /* Parent bridge. */
139     struct xport *peer;              /* Patch port peer or null. */
140
141     enum ofputil_port_config config; /* OpenFlow port configuration. */
142     enum ofputil_port_state state;   /* OpenFlow port state. */
143     int stp_port_no;                 /* STP port number or -1 if not in use. */
144     struct rstp_port *rstp_port;     /* RSTP port or null. */
145
146     struct hmap skb_priorities;      /* Map of 'skb_priority_to_dscp's. */
147
148     bool may_enable;                 /* May be enabled in bonds. */
149     bool is_tunnel;                  /* Is a tunnel port. */
150
151     struct cfm *cfm;                 /* CFM handle or null. */
152     struct bfd *bfd;                 /* BFD handle or null. */
153     struct lldp *lldp;               /* LLDP handle or null. */
154 };
155
156 struct xlate_ctx {
157     struct xlate_in *xin;
158     struct xlate_out *xout;
159
160     const struct xbridge *xbridge;
161
162     /* Flow tables version at the beginning of the translation. */
163     cls_version_t tables_version;
164
165     /* Flow at the last commit. */
166     struct flow base_flow;
167
168     /* Tunnel IP destination address as received.  This is stored separately
169      * as the base_flow.tunnel is cleared on init to reflect the datapath
170      * behavior.  Used to make sure not to send tunneled output to ourselves,
171      * which might lead to an infinite loop.  This could happen easily
172      * if a tunnel is marked as 'ip_remote=flow', and the flow does not
173      * actually set the tun_dst field. */
174     ovs_be32 orig_tunnel_ip_dst;
175
176     /* Stack for the push and pop actions.  Each stack element is of type
177      * "union mf_subvalue". */
178     struct ofpbuf stack;
179
180     /* The rule that we are currently translating, or NULL. */
181     struct rule_dpif *rule;
182
183     /* Flow translation populates this with wildcards relevant in translation.
184      * When 'xin->wc' is nonnull, this is the same pointer.  When 'xin->wc' is
185      * null, this is a pointer to uninitialized scratch memory.  This allows
186      * code to blindly write to 'ctx->wc' without worrying about whether the
187      * caller really wants wildcards. */
188     struct flow_wildcards *wc;
189
190     /* Output buffer for datapath actions.  When 'xin->odp_actions' is nonnull,
191      * this is the same pointer.  When 'xin->odp_actions' is null, this points
192      * to a scratch ofpbuf.  This allows code to add actions to
193      * 'ctx->odp_actions' without worrying about whether the caller really
194      * wants actions. */
195     struct ofpbuf *odp_actions;
196
197     /* Resubmit statistics, via xlate_table_action(). */
198     int recurse;                /* Current resubmit nesting depth. */
199     int resubmits;              /* Total number of resubmits. */
200     bool in_group;              /* Currently translating ofgroup, if true. */
201     bool in_action_set;         /* Currently translating action_set, if true. */
202
203     uint8_t table_id;           /* OpenFlow table ID where flow was found. */
204     ovs_be64 rule_cookie;       /* Cookie of the rule being translated. */
205     uint32_t orig_skb_priority; /* Priority when packet arrived. */
206     uint32_t sflow_n_outputs;   /* Number of output ports. */
207     odp_port_t sflow_odp_port;  /* Output port for composing sFlow action. */
208     bool exit;                  /* No further actions should be processed. */
209
210    /* These are used for non-bond recirculation.  The recirculation IDs are
211     * stored in xout and must be associated with a datapath flow (ukey),
212     * otherwise they will be freed when the xout is uninitialized.
213     *
214     *
215     * Steps in Recirculation Translation
216     * ==================================
217     *
218     * At some point during translation, the code recognizes the need for
219     * recirculation.  For example, recirculation is necessary when, after
220     * popping the last MPLS label, an action or a match tries to examine or
221     * modify a field that has been newly revealed following the MPLS label.
222     *
223     * The simplest part of the work to be done is to commit existing changes to
224     * the packet, which produces datapath actions corresponding to the changes,
225     * and after this, add an OVS_ACTION_ATTR_RECIRC datapath action.
226     *
227     * The main problem here is preserving state.  When the datapath executes
228     * OVS_ACTION_ATTR_RECIRC, it will upcall to userspace to get a translation
229     * for the post-recirculation actions.  At this point userspace has to
230     * resume the translation where it left off, which means that it has to
231     * execute the following:
232     *
233     *     - The action that prompted recirculation, and any actions following
234     *       it within the same flow.
235     *
236     *     - If the action that prompted recirculation was invoked within a
237     *       NXAST_RESUBMIT, then any actions following the resubmit.  These
238     *       "resubmit"s can be nested, so this has to go all the way up the
239     *       control stack.
240     *
241     *     - The OpenFlow 1.1+ action set.
242     *
243     * State that actions and flow table lookups can depend on, such as the
244     * following, must also be preserved:
245     *
246     *     - Metadata fields (input port, registers, OF1.1+ metadata, ...).
247     *
248     *     - Action set, stack
249     *
250     *     - The table ID and cookie of the flow being translated at each level
251     *       of the control stack (since OFPAT_CONTROLLER actions send these to
252     *       the controller).
253     *
254     * Translation allows for the control of this state preservation via these
255     * members.  When a need for recirculation is identified, the translation
256     * process:
257     *
258     * 1. Sets 'recirc_action_offset' to the current size of 'action_set'.  The
259     *    action set is part of what needs to be preserved, so this allows the
260     *    action set and the additional state to share the 'action_set' buffer.
261     *    Later steps can tell that setup for recirculation is in progress from
262     *    the nonnegative value of 'recirc_action_offset'.
263     *
264     * 2. Sets 'exit' to true to tell later steps that we're exiting from the
265     *    translation process.
266     *
267     * 3. Adds an OFPACT_UNROLL_XLATE action to 'action_set'.  This action
268     *    holds the current table ID and cookie so that they can be restored
269     *    during a post-recirculation upcall translation.
270     *
271     * 4. Adds the action that prompted recirculation and any actions following
272     *    it within the same flow to 'action_set', so that they can be executed
273     *    during a post-recirculation upcall translation.
274     *
275     * 5. Returns.
276     *
277     * 6. The action that prompted recirculation might be nested in a stack of
278     *    nested "resubmit"s that have actions remaining.  Each of these notices
279     *    that we're exiting (from 'exit') and that recirculation setup is in
280     *    progress (from 'recirc_action_offset') and responds by adding more
281     *    OFPACT_UNROLL_XLATE actions to 'action_set', as necessary, and any
282     *    actions that were yet unprocessed.
283     *
284     * The caller stores all the state produced by this process associated with
285     * the recirculation ID.  For post-recirculation upcall translation, the
286     * caller passes it back in for the new translation to execute.  The
287     * process yielded a set of ofpacts that can be translated directly, so it
288     * is not much of a special case at that point.
289     */
290     int recirc_action_offset;   /* Offset in 'action_set' to actions to be
291                                  * executed after recirculation, or -1. */
292     int last_unroll_offset;     /* Offset in 'action_set' to the latest unroll
293                                  * action, or -1. */
294
295     /* True if a packet was but is no longer MPLS (due to an MPLS pop action).
296      * This is a trigger for recirculation in cases where translating an action
297      * or looking up a flow requires access to the fields of the packet after
298      * the MPLS label stack that was originally present. */
299     bool was_mpls;
300
301     /* OpenFlow 1.1+ action set.
302      *
303      * 'action_set' accumulates "struct ofpact"s added by OFPACT_WRITE_ACTIONS.
304      * When translation is otherwise complete, ofpacts_execute_action_set()
305      * converts it to a set of "struct ofpact"s that can be translated into
306      * datapath actions. */
307     bool action_set_has_group;  /* Action set contains OFPACT_GROUP? */
308     struct ofpbuf action_set;   /* Action set. */
309 };
310
311 static void xlate_action_set(struct xlate_ctx *ctx);
312
313 static void
314 ctx_trigger_recirculation(struct xlate_ctx *ctx)
315 {
316     ctx->exit = true;
317     ctx->recirc_action_offset = ctx->action_set.size;
318 }
319
320 static bool
321 ctx_first_recirculation_action(const struct xlate_ctx *ctx)
322 {
323     return ctx->recirc_action_offset == ctx->action_set.size;
324 }
325
326 static inline bool
327 exit_recirculates(const struct xlate_ctx *ctx)
328 {
329     /* When recirculating the 'recirc_action_offset' has a non-negative value.
330      */
331     return ctx->recirc_action_offset >= 0;
332 }
333
334 static void compose_recirculate_action(struct xlate_ctx *ctx);
335
336 /* A controller may use OFPP_NONE as the ingress port to indicate that
337  * it did not arrive on a "real" port.  'ofpp_none_bundle' exists for
338  * when an input bundle is needed for validation (e.g., mirroring or
339  * OFPP_NORMAL processing).  It is not connected to an 'ofproto' or have
340  * any 'port' structs, so care must be taken when dealing with it. */
341 static struct xbundle ofpp_none_bundle = {
342     .name      = "OFPP_NONE",
343     .vlan_mode = PORT_VLAN_TRUNK
344 };
345
346 /* Node in 'xport''s 'skb_priorities' map.  Used to maintain a map from
347  * 'priority' (the datapath's term for QoS queue) to the dscp bits which all
348  * traffic egressing the 'ofport' with that priority should be marked with. */
349 struct skb_priority_to_dscp {
350     struct hmap_node hmap_node; /* Node in 'ofport_dpif''s 'skb_priorities'. */
351     uint32_t skb_priority;      /* Priority of this queue (see struct flow). */
352
353     uint8_t dscp;               /* DSCP bits to mark outgoing traffic with. */
354 };
355
356 enum xc_type {
357     XC_RULE,
358     XC_BOND,
359     XC_NETDEV,
360     XC_NETFLOW,
361     XC_MIRROR,
362     XC_LEARN,
363     XC_NORMAL,
364     XC_FIN_TIMEOUT,
365     XC_GROUP,
366     XC_TNL_ARP,
367 };
368
369 /* xlate_cache entries hold enough information to perform the side effects of
370  * xlate_actions() for a rule, without needing to perform rule translation
371  * from scratch. The primary usage of these is to submit statistics to objects
372  * that a flow relates to, although they may be used for other effects as well
373  * (for instance, refreshing hard timeouts for learned flows). */
374 struct xc_entry {
375     enum xc_type type;
376     union {
377         struct rule_dpif *rule;
378         struct {
379             struct netdev *tx;
380             struct netdev *rx;
381             struct bfd *bfd;
382         } dev;
383         struct {
384             struct netflow *netflow;
385             struct flow *flow;
386             ofp_port_t iface;
387         } nf;
388         struct {
389             struct mbridge *mbridge;
390             mirror_mask_t mirrors;
391         } mirror;
392         struct {
393             struct bond *bond;
394             struct flow *flow;
395             uint16_t vid;
396         } bond;
397         struct {
398             struct ofproto_dpif *ofproto;
399             struct ofputil_flow_mod *fm;
400             struct ofpbuf *ofpacts;
401         } learn;
402         struct {
403             struct ofproto_dpif *ofproto;
404             struct flow *flow;
405             int vlan;
406         } normal;
407         struct {
408             struct rule_dpif *rule;
409             uint16_t idle;
410             uint16_t hard;
411         } fin;
412         struct {
413             struct group_dpif *group;
414             struct ofputil_bucket *bucket;
415         } group;
416         struct {
417             char br_name[IFNAMSIZ];
418             ovs_be32 d_ip;
419         } tnl_arp_cache;
420     } u;
421 };
422
423 #define XC_ENTRY_FOR_EACH(entry, entries, xcache)               \
424     entries = xcache->entries;                                  \
425     for (entry = ofpbuf_try_pull(&entries, sizeof *entry);      \
426          entry;                                                 \
427          entry = ofpbuf_try_pull(&entries, sizeof *entry))
428
429 struct xlate_cache {
430     struct ofpbuf entries;
431 };
432
433 /* Xlate config contains hash maps of all bridges, bundles and ports.
434  * Xcfgp contains the pointer to the current xlate configuration.
435  * When the main thread needs to change the configuration, it copies xcfgp to
436  * new_xcfg and edits new_xcfg. This enables the use of RCU locking which
437  * does not block handler and revalidator threads. */
438 struct xlate_cfg {
439     struct hmap xbridges;
440     struct hmap xbundles;
441     struct hmap xports;
442 };
443 static OVSRCU_TYPE(struct xlate_cfg *) xcfgp = OVSRCU_INITIALIZER(NULL);
444 static struct xlate_cfg *new_xcfg = NULL;
445
446 static bool may_receive(const struct xport *, struct xlate_ctx *);
447 static void do_xlate_actions(const struct ofpact *, size_t ofpacts_len,
448                              struct xlate_ctx *);
449 static void xlate_normal(struct xlate_ctx *);
450 static inline void xlate_report(struct xlate_ctx *, const char *, ...)
451     OVS_PRINTF_FORMAT(2, 3);
452 static void xlate_table_action(struct xlate_ctx *, ofp_port_t in_port,
453                                uint8_t table_id, bool may_packet_in,
454                                bool honor_table_miss);
455 static bool input_vid_is_valid(uint16_t vid, struct xbundle *, bool warn);
456 static uint16_t input_vid_to_vlan(const struct xbundle *, uint16_t vid);
457 static void output_normal(struct xlate_ctx *, const struct xbundle *,
458                           uint16_t vlan);
459
460 /* Optional bond recirculation parameter to compose_output_action(). */
461 struct xlate_bond_recirc {
462     uint32_t recirc_id;  /* !0 Use recirculation instead of output. */
463     uint8_t  hash_alg;   /* !0 Compute hash for recirc before. */
464     uint32_t hash_basis;  /* Compute hash for recirc before. */
465 };
466
467 static void compose_output_action(struct xlate_ctx *, ofp_port_t ofp_port,
468                                   const struct xlate_bond_recirc *xr);
469
470 static struct xbridge *xbridge_lookup(struct xlate_cfg *,
471                                       const struct ofproto_dpif *);
472 static struct xbundle *xbundle_lookup(struct xlate_cfg *,
473                                       const struct ofbundle *);
474 static struct xport *xport_lookup(struct xlate_cfg *,
475                                   const struct ofport_dpif *);
476 static struct xport *get_ofp_port(const struct xbridge *, ofp_port_t ofp_port);
477 static struct skb_priority_to_dscp *get_skb_priority(const struct xport *,
478                                                      uint32_t skb_priority);
479 static void clear_skb_priorities(struct xport *);
480 static size_t count_skb_priorities(const struct xport *);
481 static bool dscp_from_skb_priority(const struct xport *, uint32_t skb_priority,
482                                    uint8_t *dscp);
483
484 static struct xc_entry *xlate_cache_add_entry(struct xlate_cache *xc,
485                                               enum xc_type type);
486 static void xlate_xbridge_init(struct xlate_cfg *, struct xbridge *);
487 static void xlate_xbundle_init(struct xlate_cfg *, struct xbundle *);
488 static void xlate_xport_init(struct xlate_cfg *, struct xport *);
489 static void xlate_xbridge_set(struct xbridge *, struct dpif *,
490                               const struct mac_learning *, struct stp *,
491                               struct rstp *, const struct mcast_snooping *,
492                               const struct mbridge *,
493                               const struct dpif_sflow *,
494                               const struct dpif_ipfix *,
495                               const struct netflow *,
496                               bool forward_bpdu, bool has_in_band,
497                               const struct dpif_backer_support *);
498 static void xlate_xbundle_set(struct xbundle *xbundle,
499                               enum port_vlan_mode vlan_mode, int vlan,
500                               unsigned long *trunks, bool use_priority_tags,
501                               const struct bond *bond, const struct lacp *lacp,
502                               bool floodable);
503 static void xlate_xport_set(struct xport *xport, odp_port_t odp_port,
504                             const struct netdev *netdev, const struct cfm *cfm,
505                             const struct bfd *bfd, const struct lldp *lldp,
506                             int stp_port_no, const struct rstp_port *rstp_port,
507                             enum ofputil_port_config config,
508                             enum ofputil_port_state state, bool is_tunnel,
509                             bool may_enable);
510 static void xlate_xbridge_remove(struct xlate_cfg *, struct xbridge *);
511 static void xlate_xbundle_remove(struct xlate_cfg *, struct xbundle *);
512 static void xlate_xport_remove(struct xlate_cfg *, struct xport *);
513 static void xlate_xbridge_copy(struct xbridge *);
514 static void xlate_xbundle_copy(struct xbridge *, struct xbundle *);
515 static void xlate_xport_copy(struct xbridge *, struct xbundle *,
516                              struct xport *);
517 static void xlate_xcfg_free(struct xlate_cfg *);
518
519 static inline void
520 xlate_report(struct xlate_ctx *ctx, const char *format, ...)
521 {
522     if (OVS_UNLIKELY(ctx->xin->report_hook)) {
523         va_list args;
524
525         va_start(args, format);
526         ctx->xin->report_hook(ctx->xin, ctx->recurse, format, args);
527         va_end(args);
528     }
529 }
530
531 static void
532 xlate_xbridge_init(struct xlate_cfg *xcfg, struct xbridge *xbridge)
533 {
534     list_init(&xbridge->xbundles);
535     hmap_init(&xbridge->xports);
536     hmap_insert(&xcfg->xbridges, &xbridge->hmap_node,
537                 hash_pointer(xbridge->ofproto, 0));
538 }
539
540 static void
541 xlate_xbundle_init(struct xlate_cfg *xcfg, struct xbundle *xbundle)
542 {
543     list_init(&xbundle->xports);
544     list_insert(&xbundle->xbridge->xbundles, &xbundle->list_node);
545     hmap_insert(&xcfg->xbundles, &xbundle->hmap_node,
546                 hash_pointer(xbundle->ofbundle, 0));
547 }
548
549 static void
550 xlate_xport_init(struct xlate_cfg *xcfg, struct xport *xport)
551 {
552     hmap_init(&xport->skb_priorities);
553     hmap_insert(&xcfg->xports, &xport->hmap_node,
554                 hash_pointer(xport->ofport, 0));
555     hmap_insert(&xport->xbridge->xports, &xport->ofp_node,
556                 hash_ofp_port(xport->ofp_port));
557 }
558
559 static void
560 xlate_xbridge_set(struct xbridge *xbridge,
561                   struct dpif *dpif,
562                   const struct mac_learning *ml, struct stp *stp,
563                   struct rstp *rstp, const struct mcast_snooping *ms,
564                   const struct mbridge *mbridge,
565                   const struct dpif_sflow *sflow,
566                   const struct dpif_ipfix *ipfix,
567                   const struct netflow *netflow,
568                   bool forward_bpdu, bool has_in_band,
569                   const struct dpif_backer_support *support)
570 {
571     if (xbridge->ml != ml) {
572         mac_learning_unref(xbridge->ml);
573         xbridge->ml = mac_learning_ref(ml);
574     }
575
576     if (xbridge->ms != ms) {
577         mcast_snooping_unref(xbridge->ms);
578         xbridge->ms = mcast_snooping_ref(ms);
579     }
580
581     if (xbridge->mbridge != mbridge) {
582         mbridge_unref(xbridge->mbridge);
583         xbridge->mbridge = mbridge_ref(mbridge);
584     }
585
586     if (xbridge->sflow != sflow) {
587         dpif_sflow_unref(xbridge->sflow);
588         xbridge->sflow = dpif_sflow_ref(sflow);
589     }
590
591     if (xbridge->ipfix != ipfix) {
592         dpif_ipfix_unref(xbridge->ipfix);
593         xbridge->ipfix = dpif_ipfix_ref(ipfix);
594     }
595
596     if (xbridge->stp != stp) {
597         stp_unref(xbridge->stp);
598         xbridge->stp = stp_ref(stp);
599     }
600
601     if (xbridge->rstp != rstp) {
602         rstp_unref(xbridge->rstp);
603         xbridge->rstp = rstp_ref(rstp);
604     }
605
606     if (xbridge->netflow != netflow) {
607         netflow_unref(xbridge->netflow);
608         xbridge->netflow = netflow_ref(netflow);
609     }
610
611     xbridge->dpif = dpif;
612     xbridge->forward_bpdu = forward_bpdu;
613     xbridge->has_in_band = has_in_band;
614     xbridge->support = *support;
615 }
616
617 static void
618 xlate_xbundle_set(struct xbundle *xbundle,
619                   enum port_vlan_mode vlan_mode, int vlan,
620                   unsigned long *trunks, bool use_priority_tags,
621                   const struct bond *bond, const struct lacp *lacp,
622                   bool floodable)
623 {
624     ovs_assert(xbundle->xbridge);
625
626     xbundle->vlan_mode = vlan_mode;
627     xbundle->vlan = vlan;
628     xbundle->trunks = trunks;
629     xbundle->use_priority_tags = use_priority_tags;
630     xbundle->floodable = floodable;
631
632     if (xbundle->bond != bond) {
633         bond_unref(xbundle->bond);
634         xbundle->bond = bond_ref(bond);
635     }
636
637     if (xbundle->lacp != lacp) {
638         lacp_unref(xbundle->lacp);
639         xbundle->lacp = lacp_ref(lacp);
640     }
641 }
642
643 static void
644 xlate_xport_set(struct xport *xport, odp_port_t odp_port,
645                 const struct netdev *netdev, const struct cfm *cfm,
646                 const struct bfd *bfd, const struct lldp *lldp, int stp_port_no,
647                 const struct rstp_port* rstp_port,
648                 enum ofputil_port_config config, enum ofputil_port_state state,
649                 bool is_tunnel, bool may_enable)
650 {
651     xport->config = config;
652     xport->state = state;
653     xport->stp_port_no = stp_port_no;
654     xport->is_tunnel = is_tunnel;
655     xport->may_enable = may_enable;
656     xport->odp_port = odp_port;
657
658     if (xport->rstp_port != rstp_port) {
659         rstp_port_unref(xport->rstp_port);
660         xport->rstp_port = rstp_port_ref(rstp_port);
661     }
662
663     if (xport->cfm != cfm) {
664         cfm_unref(xport->cfm);
665         xport->cfm = cfm_ref(cfm);
666     }
667
668     if (xport->bfd != bfd) {
669         bfd_unref(xport->bfd);
670         xport->bfd = bfd_ref(bfd);
671     }
672
673     if (xport->lldp != lldp) {
674         lldp_unref(xport->lldp);
675         xport->lldp = lldp_ref(lldp);
676     }
677
678     if (xport->netdev != netdev) {
679         netdev_close(xport->netdev);
680         xport->netdev = netdev_ref(netdev);
681     }
682 }
683
684 static void
685 xlate_xbridge_copy(struct xbridge *xbridge)
686 {
687     struct xbundle *xbundle;
688     struct xport *xport;
689     struct xbridge *new_xbridge = xzalloc(sizeof *xbridge);
690     new_xbridge->ofproto = xbridge->ofproto;
691     new_xbridge->name = xstrdup(xbridge->name);
692     xlate_xbridge_init(new_xcfg, new_xbridge);
693
694     xlate_xbridge_set(new_xbridge,
695                       xbridge->dpif, xbridge->ml, xbridge->stp,
696                       xbridge->rstp, xbridge->ms, xbridge->mbridge,
697                       xbridge->sflow, xbridge->ipfix, xbridge->netflow,
698                       xbridge->forward_bpdu, xbridge->has_in_band,
699                       &xbridge->support);
700     LIST_FOR_EACH (xbundle, list_node, &xbridge->xbundles) {
701         xlate_xbundle_copy(new_xbridge, xbundle);
702     }
703
704     /* Copy xports which are not part of a xbundle */
705     HMAP_FOR_EACH (xport, ofp_node, &xbridge->xports) {
706         if (!xport->xbundle) {
707             xlate_xport_copy(new_xbridge, NULL, xport);
708         }
709     }
710 }
711
712 static void
713 xlate_xbundle_copy(struct xbridge *xbridge, struct xbundle *xbundle)
714 {
715     struct xport *xport;
716     struct xbundle *new_xbundle = xzalloc(sizeof *xbundle);
717     new_xbundle->ofbundle = xbundle->ofbundle;
718     new_xbundle->xbridge = xbridge;
719     new_xbundle->name = xstrdup(xbundle->name);
720     xlate_xbundle_init(new_xcfg, new_xbundle);
721
722     xlate_xbundle_set(new_xbundle, xbundle->vlan_mode,
723                       xbundle->vlan, xbundle->trunks,
724                       xbundle->use_priority_tags, xbundle->bond, xbundle->lacp,
725                       xbundle->floodable);
726     LIST_FOR_EACH (xport, bundle_node, &xbundle->xports) {
727         xlate_xport_copy(xbridge, new_xbundle, xport);
728     }
729 }
730
731 static void
732 xlate_xport_copy(struct xbridge *xbridge, struct xbundle *xbundle,
733                  struct xport *xport)
734 {
735     struct skb_priority_to_dscp *pdscp, *new_pdscp;
736     struct xport *new_xport = xzalloc(sizeof *xport);
737     new_xport->ofport = xport->ofport;
738     new_xport->ofp_port = xport->ofp_port;
739     new_xport->xbridge = xbridge;
740     xlate_xport_init(new_xcfg, new_xport);
741
742     xlate_xport_set(new_xport, xport->odp_port, xport->netdev, xport->cfm,
743                     xport->bfd, xport->lldp, xport->stp_port_no,
744                     xport->rstp_port, xport->config, xport->state,
745                     xport->is_tunnel, xport->may_enable);
746
747     if (xport->peer) {
748         struct xport *peer = xport_lookup(new_xcfg, xport->peer->ofport);
749         if (peer) {
750             new_xport->peer = peer;
751             new_xport->peer->peer = new_xport;
752         }
753     }
754
755     if (xbundle) {
756         new_xport->xbundle = xbundle;
757         list_insert(&new_xport->xbundle->xports, &new_xport->bundle_node);
758     }
759
760     HMAP_FOR_EACH (pdscp, hmap_node, &xport->skb_priorities) {
761         new_pdscp = xmalloc(sizeof *pdscp);
762         new_pdscp->skb_priority = pdscp->skb_priority;
763         new_pdscp->dscp = pdscp->dscp;
764         hmap_insert(&new_xport->skb_priorities, &new_pdscp->hmap_node,
765                     hash_int(new_pdscp->skb_priority, 0));
766     }
767 }
768
769 /* Sets the current xlate configuration to new_xcfg and frees the old xlate
770  * configuration in xcfgp.
771  *
772  * This needs to be called after editing the xlate configuration.
773  *
774  * Functions that edit the new xlate configuration are
775  * xlate_<ofport/bundle/ofport>_set and xlate_<ofport/bundle/ofport>_remove.
776  *
777  * A sample workflow:
778  *
779  * xlate_txn_start();
780  * ...
781  * edit_xlate_configuration();
782  * ...
783  * xlate_txn_commit(); */
784 void
785 xlate_txn_commit(void)
786 {
787     struct xlate_cfg *xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
788
789     ovsrcu_set(&xcfgp, new_xcfg);
790     ovsrcu_synchronize();
791     xlate_xcfg_free(xcfg);
792     new_xcfg = NULL;
793 }
794
795 /* Copies the current xlate configuration in xcfgp to new_xcfg.
796  *
797  * This needs to be called prior to editing the xlate configuration. */
798 void
799 xlate_txn_start(void)
800 {
801     struct xbridge *xbridge;
802     struct xlate_cfg *xcfg;
803
804     ovs_assert(!new_xcfg);
805
806     new_xcfg = xmalloc(sizeof *new_xcfg);
807     hmap_init(&new_xcfg->xbridges);
808     hmap_init(&new_xcfg->xbundles);
809     hmap_init(&new_xcfg->xports);
810
811     xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
812     if (!xcfg) {
813         return;
814     }
815
816     HMAP_FOR_EACH (xbridge, hmap_node, &xcfg->xbridges) {
817         xlate_xbridge_copy(xbridge);
818     }
819 }
820
821
822 static void
823 xlate_xcfg_free(struct xlate_cfg *xcfg)
824 {
825     struct xbridge *xbridge, *next_xbridge;
826
827     if (!xcfg) {
828         return;
829     }
830
831     HMAP_FOR_EACH_SAFE (xbridge, next_xbridge, hmap_node, &xcfg->xbridges) {
832         xlate_xbridge_remove(xcfg, xbridge);
833     }
834
835     hmap_destroy(&xcfg->xbridges);
836     hmap_destroy(&xcfg->xbundles);
837     hmap_destroy(&xcfg->xports);
838     free(xcfg);
839 }
840
841 void
842 xlate_ofproto_set(struct ofproto_dpif *ofproto, const char *name,
843                   struct dpif *dpif,
844                   const struct mac_learning *ml, struct stp *stp,
845                   struct rstp *rstp, const struct mcast_snooping *ms,
846                   const struct mbridge *mbridge,
847                   const struct dpif_sflow *sflow,
848                   const struct dpif_ipfix *ipfix,
849                   const struct netflow *netflow,
850                   bool forward_bpdu, bool has_in_band,
851                   const struct dpif_backer_support *support)
852 {
853     struct xbridge *xbridge;
854
855     ovs_assert(new_xcfg);
856
857     xbridge = xbridge_lookup(new_xcfg, ofproto);
858     if (!xbridge) {
859         xbridge = xzalloc(sizeof *xbridge);
860         xbridge->ofproto = ofproto;
861
862         xlate_xbridge_init(new_xcfg, xbridge);
863     }
864
865     free(xbridge->name);
866     xbridge->name = xstrdup(name);
867
868     xlate_xbridge_set(xbridge, dpif, ml, stp, rstp, ms, mbridge, sflow, ipfix,
869                       netflow, forward_bpdu, has_in_band, support);
870 }
871
872 static void
873 xlate_xbridge_remove(struct xlate_cfg *xcfg, struct xbridge *xbridge)
874 {
875     struct xbundle *xbundle, *next_xbundle;
876     struct xport *xport, *next_xport;
877
878     if (!xbridge) {
879         return;
880     }
881
882     HMAP_FOR_EACH_SAFE (xport, next_xport, ofp_node, &xbridge->xports) {
883         xlate_xport_remove(xcfg, xport);
884     }
885
886     LIST_FOR_EACH_SAFE (xbundle, next_xbundle, list_node, &xbridge->xbundles) {
887         xlate_xbundle_remove(xcfg, xbundle);
888     }
889
890     hmap_remove(&xcfg->xbridges, &xbridge->hmap_node);
891     mac_learning_unref(xbridge->ml);
892     mcast_snooping_unref(xbridge->ms);
893     mbridge_unref(xbridge->mbridge);
894     dpif_sflow_unref(xbridge->sflow);
895     dpif_ipfix_unref(xbridge->ipfix);
896     stp_unref(xbridge->stp);
897     rstp_unref(xbridge->rstp);
898     hmap_destroy(&xbridge->xports);
899     free(xbridge->name);
900     free(xbridge);
901 }
902
903 void
904 xlate_remove_ofproto(struct ofproto_dpif *ofproto)
905 {
906     struct xbridge *xbridge;
907
908     ovs_assert(new_xcfg);
909
910     xbridge = xbridge_lookup(new_xcfg, ofproto);
911     xlate_xbridge_remove(new_xcfg, xbridge);
912 }
913
914 void
915 xlate_bundle_set(struct ofproto_dpif *ofproto, struct ofbundle *ofbundle,
916                  const char *name, enum port_vlan_mode vlan_mode, int vlan,
917                  unsigned long *trunks, bool use_priority_tags,
918                  const struct bond *bond, const struct lacp *lacp,
919                  bool floodable)
920 {
921     struct xbundle *xbundle;
922
923     ovs_assert(new_xcfg);
924
925     xbundle = xbundle_lookup(new_xcfg, ofbundle);
926     if (!xbundle) {
927         xbundle = xzalloc(sizeof *xbundle);
928         xbundle->ofbundle = ofbundle;
929         xbundle->xbridge = xbridge_lookup(new_xcfg, ofproto);
930
931         xlate_xbundle_init(new_xcfg, xbundle);
932     }
933
934     free(xbundle->name);
935     xbundle->name = xstrdup(name);
936
937     xlate_xbundle_set(xbundle, vlan_mode, vlan, trunks,
938                       use_priority_tags, bond, lacp, floodable);
939 }
940
941 static void
942 xlate_xbundle_remove(struct xlate_cfg *xcfg, struct xbundle *xbundle)
943 {
944     struct xport *xport;
945
946     if (!xbundle) {
947         return;
948     }
949
950     LIST_FOR_EACH_POP (xport, bundle_node, &xbundle->xports) {
951         xport->xbundle = NULL;
952     }
953
954     hmap_remove(&xcfg->xbundles, &xbundle->hmap_node);
955     list_remove(&xbundle->list_node);
956     bond_unref(xbundle->bond);
957     lacp_unref(xbundle->lacp);
958     free(xbundle->name);
959     free(xbundle);
960 }
961
962 void
963 xlate_bundle_remove(struct ofbundle *ofbundle)
964 {
965     struct xbundle *xbundle;
966
967     ovs_assert(new_xcfg);
968
969     xbundle = xbundle_lookup(new_xcfg, ofbundle);
970     xlate_xbundle_remove(new_xcfg, xbundle);
971 }
972
973 void
974 xlate_ofport_set(struct ofproto_dpif *ofproto, struct ofbundle *ofbundle,
975                  struct ofport_dpif *ofport, ofp_port_t ofp_port,
976                  odp_port_t odp_port, const struct netdev *netdev,
977                  const struct cfm *cfm, const struct bfd *bfd,
978                  const struct lldp *lldp, struct ofport_dpif *peer,
979                  int stp_port_no, const struct rstp_port *rstp_port,
980                  const struct ofproto_port_queue *qdscp_list, size_t n_qdscp,
981                  enum ofputil_port_config config,
982                  enum ofputil_port_state state, bool is_tunnel,
983                  bool may_enable)
984 {
985     size_t i;
986     struct xport *xport;
987
988     ovs_assert(new_xcfg);
989
990     xport = xport_lookup(new_xcfg, ofport);
991     if (!xport) {
992         xport = xzalloc(sizeof *xport);
993         xport->ofport = ofport;
994         xport->xbridge = xbridge_lookup(new_xcfg, ofproto);
995         xport->ofp_port = ofp_port;
996
997         xlate_xport_init(new_xcfg, xport);
998     }
999
1000     ovs_assert(xport->ofp_port == ofp_port);
1001
1002     xlate_xport_set(xport, odp_port, netdev, cfm, bfd, lldp,
1003                     stp_port_no, rstp_port, config, state, is_tunnel,
1004                     may_enable);
1005
1006     if (xport->peer) {
1007         xport->peer->peer = NULL;
1008     }
1009     xport->peer = xport_lookup(new_xcfg, peer);
1010     if (xport->peer) {
1011         xport->peer->peer = xport;
1012     }
1013
1014     if (xport->xbundle) {
1015         list_remove(&xport->bundle_node);
1016     }
1017     xport->xbundle = xbundle_lookup(new_xcfg, ofbundle);
1018     if (xport->xbundle) {
1019         list_insert(&xport->xbundle->xports, &xport->bundle_node);
1020     }
1021
1022     clear_skb_priorities(xport);
1023     for (i = 0; i < n_qdscp; i++) {
1024         struct skb_priority_to_dscp *pdscp;
1025         uint32_t skb_priority;
1026
1027         if (dpif_queue_to_priority(xport->xbridge->dpif, qdscp_list[i].queue,
1028                                    &skb_priority)) {
1029             continue;
1030         }
1031
1032         pdscp = xmalloc(sizeof *pdscp);
1033         pdscp->skb_priority = skb_priority;
1034         pdscp->dscp = (qdscp_list[i].dscp << 2) & IP_DSCP_MASK;
1035         hmap_insert(&xport->skb_priorities, &pdscp->hmap_node,
1036                     hash_int(pdscp->skb_priority, 0));
1037     }
1038 }
1039
1040 static void
1041 xlate_xport_remove(struct xlate_cfg *xcfg, struct xport *xport)
1042 {
1043     if (!xport) {
1044         return;
1045     }
1046
1047     if (xport->peer) {
1048         xport->peer->peer = NULL;
1049         xport->peer = NULL;
1050     }
1051
1052     if (xport->xbundle) {
1053         list_remove(&xport->bundle_node);
1054     }
1055
1056     clear_skb_priorities(xport);
1057     hmap_destroy(&xport->skb_priorities);
1058
1059     hmap_remove(&xcfg->xports, &xport->hmap_node);
1060     hmap_remove(&xport->xbridge->xports, &xport->ofp_node);
1061
1062     netdev_close(xport->netdev);
1063     rstp_port_unref(xport->rstp_port);
1064     cfm_unref(xport->cfm);
1065     bfd_unref(xport->bfd);
1066     lldp_unref(xport->lldp);
1067     free(xport);
1068 }
1069
1070 void
1071 xlate_ofport_remove(struct ofport_dpif *ofport)
1072 {
1073     struct xport *xport;
1074
1075     ovs_assert(new_xcfg);
1076
1077     xport = xport_lookup(new_xcfg, ofport);
1078     xlate_xport_remove(new_xcfg, xport);
1079 }
1080
1081 static struct ofproto_dpif *
1082 xlate_lookup_ofproto_(const struct dpif_backer *backer, const struct flow *flow,
1083                       ofp_port_t *ofp_in_port, const struct xport **xportp)
1084 {
1085     struct xlate_cfg *xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
1086     const struct xport *xport;
1087
1088     xport = xport_lookup(xcfg, tnl_port_should_receive(flow)
1089                          ? tnl_port_receive(flow)
1090                          : odp_port_to_ofport(backer, flow->in_port.odp_port));
1091     if (OVS_UNLIKELY(!xport)) {
1092         return NULL;
1093     }
1094     *xportp = xport;
1095     if (ofp_in_port) {
1096         *ofp_in_port = xport->ofp_port;
1097     }
1098     return xport->xbridge->ofproto;
1099 }
1100
1101 /* Given a datapath and flow metadata ('backer', and 'flow' respectively)
1102  * returns the corresponding struct ofproto_dpif and OpenFlow port number. */
1103 struct ofproto_dpif *
1104 xlate_lookup_ofproto(const struct dpif_backer *backer, const struct flow *flow,
1105                      ofp_port_t *ofp_in_port)
1106 {
1107     const struct xport *xport;
1108
1109     return xlate_lookup_ofproto_(backer, flow, ofp_in_port, &xport);
1110 }
1111
1112 /* Given a datapath and flow metadata ('backer', and 'flow' respectively),
1113  * optionally populates 'ofproto' with the ofproto_dpif, 'ofp_in_port' with the
1114  * openflow in_port, and 'ipfix', 'sflow', and 'netflow' with the appropriate
1115  * handles for those protocols if they're enabled.  Caller may use the returned
1116  * pointers until quiescing, for longer term use additional references must
1117  * be taken.
1118  *
1119  * Returns 0 if successful, ENODEV if the parsed flow has no associated ofproto.
1120  */
1121 int
1122 xlate_lookup(const struct dpif_backer *backer, const struct flow *flow,
1123              struct ofproto_dpif **ofprotop, struct dpif_ipfix **ipfix,
1124              struct dpif_sflow **sflow, struct netflow **netflow,
1125              ofp_port_t *ofp_in_port)
1126 {
1127     struct ofproto_dpif *ofproto;
1128     const struct xport *xport;
1129
1130     ofproto = xlate_lookup_ofproto_(backer, flow, ofp_in_port, &xport);
1131
1132     if (!ofproto) {
1133         return ENODEV;
1134     }
1135
1136     if (ofprotop) {
1137         *ofprotop = ofproto;
1138     }
1139
1140     if (ipfix) {
1141         *ipfix = xport ? xport->xbridge->ipfix : NULL;
1142     }
1143
1144     if (sflow) {
1145         *sflow = xport ? xport->xbridge->sflow : NULL;
1146     }
1147
1148     if (netflow) {
1149         *netflow = xport ? xport->xbridge->netflow : NULL;
1150     }
1151
1152     return 0;
1153 }
1154
1155 static struct xbridge *
1156 xbridge_lookup(struct xlate_cfg *xcfg, const struct ofproto_dpif *ofproto)
1157 {
1158     struct hmap *xbridges;
1159     struct xbridge *xbridge;
1160
1161     if (!ofproto || !xcfg) {
1162         return NULL;
1163     }
1164
1165     xbridges = &xcfg->xbridges;
1166
1167     HMAP_FOR_EACH_IN_BUCKET (xbridge, hmap_node, hash_pointer(ofproto, 0),
1168                              xbridges) {
1169         if (xbridge->ofproto == ofproto) {
1170             return xbridge;
1171         }
1172     }
1173     return NULL;
1174 }
1175
1176 static struct xbundle *
1177 xbundle_lookup(struct xlate_cfg *xcfg, const struct ofbundle *ofbundle)
1178 {
1179     struct hmap *xbundles;
1180     struct xbundle *xbundle;
1181
1182     if (!ofbundle || !xcfg) {
1183         return NULL;
1184     }
1185
1186     xbundles = &xcfg->xbundles;
1187
1188     HMAP_FOR_EACH_IN_BUCKET (xbundle, hmap_node, hash_pointer(ofbundle, 0),
1189                              xbundles) {
1190         if (xbundle->ofbundle == ofbundle) {
1191             return xbundle;
1192         }
1193     }
1194     return NULL;
1195 }
1196
1197 static struct xport *
1198 xport_lookup(struct xlate_cfg *xcfg, const struct ofport_dpif *ofport)
1199 {
1200     struct hmap *xports;
1201     struct xport *xport;
1202
1203     if (!ofport || !xcfg) {
1204         return NULL;
1205     }
1206
1207     xports = &xcfg->xports;
1208
1209     HMAP_FOR_EACH_IN_BUCKET (xport, hmap_node, hash_pointer(ofport, 0),
1210                              xports) {
1211         if (xport->ofport == ofport) {
1212             return xport;
1213         }
1214     }
1215     return NULL;
1216 }
1217
1218 static struct stp_port *
1219 xport_get_stp_port(const struct xport *xport)
1220 {
1221     return xport->xbridge->stp && xport->stp_port_no != -1
1222         ? stp_get_port(xport->xbridge->stp, xport->stp_port_no)
1223         : NULL;
1224 }
1225
1226 static bool
1227 xport_stp_learn_state(const struct xport *xport)
1228 {
1229     struct stp_port *sp = xport_get_stp_port(xport);
1230     return sp
1231         ? stp_learn_in_state(stp_port_get_state(sp))
1232         : true;
1233 }
1234
1235 static bool
1236 xport_stp_forward_state(const struct xport *xport)
1237 {
1238     struct stp_port *sp = xport_get_stp_port(xport);
1239     return sp
1240         ? stp_forward_in_state(stp_port_get_state(sp))
1241         : true;
1242 }
1243
1244 static bool
1245 xport_stp_should_forward_bpdu(const struct xport *xport)
1246 {
1247     struct stp_port *sp = xport_get_stp_port(xport);
1248     return stp_should_forward_bpdu(sp ? stp_port_get_state(sp) : STP_DISABLED);
1249 }
1250
1251 /* Returns true if STP should process 'flow'.  Sets fields in 'wc' that
1252  * were used to make the determination.*/
1253 static bool
1254 stp_should_process_flow(const struct flow *flow, struct flow_wildcards *wc)
1255 {
1256     /* is_stp() also checks dl_type, but dl_type is always set in 'wc'. */
1257     memset(&wc->masks.dl_dst, 0xff, sizeof wc->masks.dl_dst);
1258     return is_stp(flow);
1259 }
1260
1261 static void
1262 stp_process_packet(const struct xport *xport, const struct dp_packet *packet)
1263 {
1264     struct stp_port *sp = xport_get_stp_port(xport);
1265     struct dp_packet payload = *packet;
1266     struct eth_header *eth = dp_packet_data(&payload);
1267
1268     /* Sink packets on ports that have STP disabled when the bridge has
1269      * STP enabled. */
1270     if (!sp || stp_port_get_state(sp) == STP_DISABLED) {
1271         return;
1272     }
1273
1274     /* Trim off padding on payload. */
1275     if (dp_packet_size(&payload) > ntohs(eth->eth_type) + ETH_HEADER_LEN) {
1276         dp_packet_set_size(&payload, ntohs(eth->eth_type) + ETH_HEADER_LEN);
1277     }
1278
1279     if (dp_packet_try_pull(&payload, ETH_HEADER_LEN + LLC_HEADER_LEN)) {
1280         stp_received_bpdu(sp, dp_packet_data(&payload), dp_packet_size(&payload));
1281     }
1282 }
1283
1284 static enum rstp_state
1285 xport_get_rstp_port_state(const struct xport *xport)
1286 {
1287     return xport->rstp_port
1288         ? rstp_port_get_state(xport->rstp_port)
1289         : RSTP_DISABLED;
1290 }
1291
1292 static bool
1293 xport_rstp_learn_state(const struct xport *xport)
1294 {
1295     return xport->xbridge->rstp && xport->rstp_port
1296         ? rstp_learn_in_state(xport_get_rstp_port_state(xport))
1297         : true;
1298 }
1299
1300 static bool
1301 xport_rstp_forward_state(const struct xport *xport)
1302 {
1303     return xport->xbridge->rstp && xport->rstp_port
1304         ? rstp_forward_in_state(xport_get_rstp_port_state(xport))
1305         : true;
1306 }
1307
1308 static bool
1309 xport_rstp_should_manage_bpdu(const struct xport *xport)
1310 {
1311     return rstp_should_manage_bpdu(xport_get_rstp_port_state(xport));
1312 }
1313
1314 static void
1315 rstp_process_packet(const struct xport *xport, const struct dp_packet *packet)
1316 {
1317     struct dp_packet payload = *packet;
1318     struct eth_header *eth = dp_packet_data(&payload);
1319
1320     /* Sink packets on ports that have no RSTP. */
1321     if (!xport->rstp_port) {
1322         return;
1323     }
1324
1325     /* Trim off padding on payload. */
1326     if (dp_packet_size(&payload) > ntohs(eth->eth_type) + ETH_HEADER_LEN) {
1327         dp_packet_set_size(&payload, ntohs(eth->eth_type) + ETH_HEADER_LEN);
1328     }
1329
1330     if (dp_packet_try_pull(&payload, ETH_HEADER_LEN + LLC_HEADER_LEN)) {
1331         rstp_port_received_bpdu(xport->rstp_port, dp_packet_data(&payload),
1332                                 dp_packet_size(&payload));
1333     }
1334 }
1335
1336 static struct xport *
1337 get_ofp_port(const struct xbridge *xbridge, ofp_port_t ofp_port)
1338 {
1339     struct xport *xport;
1340
1341     HMAP_FOR_EACH_IN_BUCKET (xport, ofp_node, hash_ofp_port(ofp_port),
1342                              &xbridge->xports) {
1343         if (xport->ofp_port == ofp_port) {
1344             return xport;
1345         }
1346     }
1347     return NULL;
1348 }
1349
1350 static odp_port_t
1351 ofp_port_to_odp_port(const struct xbridge *xbridge, ofp_port_t ofp_port)
1352 {
1353     const struct xport *xport = get_ofp_port(xbridge, ofp_port);
1354     return xport ? xport->odp_port : ODPP_NONE;
1355 }
1356
1357 static bool
1358 odp_port_is_alive(const struct xlate_ctx *ctx, ofp_port_t ofp_port)
1359 {
1360     struct xport *xport = get_ofp_port(ctx->xbridge, ofp_port);
1361     return xport && xport->may_enable;
1362 }
1363
1364 static struct ofputil_bucket *
1365 group_first_live_bucket(const struct xlate_ctx *, const struct group_dpif *,
1366                         int depth);
1367
1368 static bool
1369 group_is_alive(const struct xlate_ctx *ctx, uint32_t group_id, int depth)
1370 {
1371     struct group_dpif *group;
1372
1373     if (group_dpif_lookup(ctx->xbridge->ofproto, group_id, &group)) {
1374         struct ofputil_bucket *bucket;
1375
1376         bucket = group_first_live_bucket(ctx, group, depth);
1377         group_dpif_unref(group);
1378         return bucket == NULL;
1379     }
1380
1381     return false;
1382 }
1383
1384 #define MAX_LIVENESS_RECURSION 128 /* Arbitrary limit */
1385
1386 static bool
1387 bucket_is_alive(const struct xlate_ctx *ctx,
1388                 struct ofputil_bucket *bucket, int depth)
1389 {
1390     if (depth >= MAX_LIVENESS_RECURSION) {
1391         static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 1);
1392
1393         VLOG_WARN_RL(&rl, "bucket chaining exceeded %d links",
1394                      MAX_LIVENESS_RECURSION);
1395         return false;
1396     }
1397
1398     return (!ofputil_bucket_has_liveness(bucket)
1399             || (bucket->watch_port != OFPP_ANY
1400                && odp_port_is_alive(ctx, bucket->watch_port))
1401             || (bucket->watch_group != OFPG_ANY
1402                && group_is_alive(ctx, bucket->watch_group, depth + 1)));
1403 }
1404
1405 static struct ofputil_bucket *
1406 group_first_live_bucket(const struct xlate_ctx *ctx,
1407                         const struct group_dpif *group, int depth)
1408 {
1409     struct ofputil_bucket *bucket;
1410     const struct ovs_list *buckets;
1411
1412     group_dpif_get_buckets(group, &buckets);
1413     LIST_FOR_EACH (bucket, list_node, buckets) {
1414         if (bucket_is_alive(ctx, bucket, depth)) {
1415             return bucket;
1416         }
1417     }
1418
1419     return NULL;
1420 }
1421
1422 static struct ofputil_bucket *
1423 group_best_live_bucket(const struct xlate_ctx *ctx,
1424                        const struct group_dpif *group,
1425                        uint32_t basis)
1426 {
1427     struct ofputil_bucket *best_bucket = NULL;
1428     uint32_t best_score = 0;
1429     int i = 0;
1430
1431     struct ofputil_bucket *bucket;
1432     const struct ovs_list *buckets;
1433
1434     group_dpif_get_buckets(group, &buckets);
1435     LIST_FOR_EACH (bucket, list_node, buckets) {
1436         if (bucket_is_alive(ctx, bucket, 0)) {
1437             uint32_t score = (hash_int(i, basis) & 0xffff) * bucket->weight;
1438             if (score >= best_score) {
1439                 best_bucket = bucket;
1440                 best_score = score;
1441             }
1442         }
1443         i++;
1444     }
1445
1446     return best_bucket;
1447 }
1448
1449 static bool
1450 xbundle_trunks_vlan(const struct xbundle *bundle, uint16_t vlan)
1451 {
1452     return (bundle->vlan_mode != PORT_VLAN_ACCESS
1453             && (!bundle->trunks || bitmap_is_set(bundle->trunks, vlan)));
1454 }
1455
1456 static bool
1457 xbundle_includes_vlan(const struct xbundle *xbundle, uint16_t vlan)
1458 {
1459     return vlan == xbundle->vlan || xbundle_trunks_vlan(xbundle, vlan);
1460 }
1461
1462 static mirror_mask_t
1463 xbundle_mirror_out(const struct xbridge *xbridge, struct xbundle *xbundle)
1464 {
1465     return xbundle != &ofpp_none_bundle
1466         ? mirror_bundle_out(xbridge->mbridge, xbundle->ofbundle)
1467         : 0;
1468 }
1469
1470 static mirror_mask_t
1471 xbundle_mirror_src(const struct xbridge *xbridge, struct xbundle *xbundle)
1472 {
1473     return xbundle != &ofpp_none_bundle
1474         ? mirror_bundle_src(xbridge->mbridge, xbundle->ofbundle)
1475         : 0;
1476 }
1477
1478 static mirror_mask_t
1479 xbundle_mirror_dst(const struct xbridge *xbridge, struct xbundle *xbundle)
1480 {
1481     return xbundle != &ofpp_none_bundle
1482         ? mirror_bundle_dst(xbridge->mbridge, xbundle->ofbundle)
1483         : 0;
1484 }
1485
1486 static struct xbundle *
1487 lookup_input_bundle(const struct xbridge *xbridge, ofp_port_t in_port,
1488                     bool warn, struct xport **in_xportp)
1489 {
1490     struct xport *xport;
1491
1492     /* Find the port and bundle for the received packet. */
1493     xport = get_ofp_port(xbridge, in_port);
1494     if (in_xportp) {
1495         *in_xportp = xport;
1496     }
1497     if (xport && xport->xbundle) {
1498         return xport->xbundle;
1499     }
1500
1501     /* Special-case OFPP_NONE (OF1.0) and OFPP_CONTROLLER (OF1.1+),
1502      * which a controller may use as the ingress port for traffic that
1503      * it is sourcing. */
1504     if (in_port == OFPP_CONTROLLER || in_port == OFPP_NONE) {
1505         return &ofpp_none_bundle;
1506     }
1507
1508     /* Odd.  A few possible reasons here:
1509      *
1510      * - We deleted a port but there are still a few packets queued up
1511      *   from it.
1512      *
1513      * - Someone externally added a port (e.g. "ovs-dpctl add-if") that
1514      *   we don't know about.
1515      *
1516      * - The ofproto client didn't configure the port as part of a bundle.
1517      *   This is particularly likely to happen if a packet was received on the
1518      *   port after it was created, but before the client had a chance to
1519      *   configure its bundle.
1520      */
1521     if (warn) {
1522         static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
1523
1524         VLOG_WARN_RL(&rl, "bridge %s: received packet on unknown "
1525                      "port %"PRIu16, xbridge->name, in_port);
1526     }
1527     return NULL;
1528 }
1529
1530 static void
1531 add_mirror_actions(struct xlate_ctx *ctx, const struct flow *orig_flow)
1532 {
1533     const struct xbridge *xbridge = ctx->xbridge;
1534     mirror_mask_t mirrors;
1535     struct xbundle *in_xbundle;
1536     uint16_t vlan;
1537     uint16_t vid;
1538
1539     mirrors = ctx->xout->mirrors;
1540     ctx->xout->mirrors = 0;
1541
1542     in_xbundle = lookup_input_bundle(xbridge, orig_flow->in_port.ofp_port,
1543                                      ctx->xin->packet != NULL, NULL);
1544     if (!in_xbundle) {
1545         return;
1546     }
1547     mirrors |= xbundle_mirror_src(xbridge, in_xbundle);
1548
1549     /* Drop frames on bundles reserved for mirroring. */
1550     if (xbundle_mirror_out(xbridge, in_xbundle)) {
1551         if (ctx->xin->packet != NULL) {
1552             static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
1553             VLOG_WARN_RL(&rl, "bridge %s: dropping packet received on port "
1554                          "%s, which is reserved exclusively for mirroring",
1555                          ctx->xbridge->name, in_xbundle->name);
1556         }
1557         ofpbuf_clear(ctx->odp_actions);
1558         return;
1559     }
1560
1561     /* Check VLAN. */
1562     vid = vlan_tci_to_vid(orig_flow->vlan_tci);
1563     if (!input_vid_is_valid(vid, in_xbundle, ctx->xin->packet != NULL)) {
1564         return;
1565     }
1566     vlan = input_vid_to_vlan(in_xbundle, vid);
1567
1568     if (!mirrors) {
1569         return;
1570     }
1571
1572     /* Restore the original packet before adding the mirror actions. */
1573     ctx->xin->flow = *orig_flow;
1574
1575     while (mirrors) {
1576         mirror_mask_t dup_mirrors;
1577         struct ofbundle *out;
1578         const unsigned long *vlans;
1579         bool vlan_mirrored;
1580         bool has_mirror;
1581         int out_vlan;
1582
1583         has_mirror = mirror_get(xbridge->mbridge, raw_ctz(mirrors),
1584                                 &vlans, &dup_mirrors, &out, &out_vlan);
1585         ovs_assert(has_mirror);
1586
1587         if (vlans) {
1588             ctx->wc->masks.vlan_tci |= htons(VLAN_CFI | VLAN_VID_MASK);
1589         }
1590         vlan_mirrored = !vlans || bitmap_is_set(vlans, vlan);
1591
1592         if (!vlan_mirrored) {
1593             mirrors = zero_rightmost_1bit(mirrors);
1594             continue;
1595         }
1596
1597         mirrors &= ~dup_mirrors;
1598         ctx->xout->mirrors |= dup_mirrors;
1599         if (out) {
1600             struct xlate_cfg *xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
1601             struct xbundle *out_xbundle = xbundle_lookup(xcfg, out);
1602             if (out_xbundle) {
1603                 output_normal(ctx, out_xbundle, vlan);
1604             }
1605         } else if (vlan != out_vlan
1606                    && !eth_addr_is_reserved(orig_flow->dl_dst)) {
1607             struct xbundle *xbundle;
1608
1609             LIST_FOR_EACH (xbundle, list_node, &xbridge->xbundles) {
1610                 if (xbundle_includes_vlan(xbundle, out_vlan)
1611                     && !xbundle_mirror_out(xbridge, xbundle)) {
1612                     output_normal(ctx, xbundle, out_vlan);
1613                 }
1614             }
1615         }
1616     }
1617 }
1618
1619 /* Given 'vid', the VID obtained from the 802.1Q header that was received as
1620  * part of a packet (specify 0 if there was no 802.1Q header), and 'in_xbundle',
1621  * the bundle on which the packet was received, returns the VLAN to which the
1622  * packet belongs.
1623  *
1624  * Both 'vid' and the return value are in the range 0...4095. */
1625 static uint16_t
1626 input_vid_to_vlan(const struct xbundle *in_xbundle, uint16_t vid)
1627 {
1628     switch (in_xbundle->vlan_mode) {
1629     case PORT_VLAN_ACCESS:
1630         return in_xbundle->vlan;
1631         break;
1632
1633     case PORT_VLAN_TRUNK:
1634         return vid;
1635
1636     case PORT_VLAN_NATIVE_UNTAGGED:
1637     case PORT_VLAN_NATIVE_TAGGED:
1638         return vid ? vid : in_xbundle->vlan;
1639
1640     default:
1641         OVS_NOT_REACHED();
1642     }
1643 }
1644
1645 /* Checks whether a packet with the given 'vid' may ingress on 'in_xbundle'.
1646  * If so, returns true.  Otherwise, returns false and, if 'warn' is true, logs
1647  * a warning.
1648  *
1649  * 'vid' should be the VID obtained from the 802.1Q header that was received as
1650  * part of a packet (specify 0 if there was no 802.1Q header), in the range
1651  * 0...4095. */
1652 static bool
1653 input_vid_is_valid(uint16_t vid, struct xbundle *in_xbundle, bool warn)
1654 {
1655     /* Allow any VID on the OFPP_NONE port. */
1656     if (in_xbundle == &ofpp_none_bundle) {
1657         return true;
1658     }
1659
1660     switch (in_xbundle->vlan_mode) {
1661     case PORT_VLAN_ACCESS:
1662         if (vid) {
1663             if (warn) {
1664                 static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
1665                 VLOG_WARN_RL(&rl, "dropping VLAN %"PRIu16" tagged "
1666                              "packet received on port %s configured as VLAN "
1667                              "%"PRIu16" access port", vid, in_xbundle->name,
1668                              in_xbundle->vlan);
1669             }
1670             return false;
1671         }
1672         return true;
1673
1674     case PORT_VLAN_NATIVE_UNTAGGED:
1675     case PORT_VLAN_NATIVE_TAGGED:
1676         if (!vid) {
1677             /* Port must always carry its native VLAN. */
1678             return true;
1679         }
1680         /* Fall through. */
1681     case PORT_VLAN_TRUNK:
1682         if (!xbundle_includes_vlan(in_xbundle, vid)) {
1683             if (warn) {
1684                 static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
1685                 VLOG_WARN_RL(&rl, "dropping VLAN %"PRIu16" packet "
1686                              "received on port %s not configured for trunking "
1687                              "VLAN %"PRIu16, vid, in_xbundle->name, vid);
1688             }
1689             return false;
1690         }
1691         return true;
1692
1693     default:
1694         OVS_NOT_REACHED();
1695     }
1696
1697 }
1698
1699 /* Given 'vlan', the VLAN that a packet belongs to, and
1700  * 'out_xbundle', a bundle on which the packet is to be output, returns the VID
1701  * that should be included in the 802.1Q header.  (If the return value is 0,
1702  * then the 802.1Q header should only be included in the packet if there is a
1703  * nonzero PCP.)
1704  *
1705  * Both 'vlan' and the return value are in the range 0...4095. */
1706 static uint16_t
1707 output_vlan_to_vid(const struct xbundle *out_xbundle, uint16_t vlan)
1708 {
1709     switch (out_xbundle->vlan_mode) {
1710     case PORT_VLAN_ACCESS:
1711         return 0;
1712
1713     case PORT_VLAN_TRUNK:
1714     case PORT_VLAN_NATIVE_TAGGED:
1715         return vlan;
1716
1717     case PORT_VLAN_NATIVE_UNTAGGED:
1718         return vlan == out_xbundle->vlan ? 0 : vlan;
1719
1720     default:
1721         OVS_NOT_REACHED();
1722     }
1723 }
1724
1725 static void
1726 output_normal(struct xlate_ctx *ctx, const struct xbundle *out_xbundle,
1727               uint16_t vlan)
1728 {
1729     ovs_be16 *flow_tci = &ctx->xin->flow.vlan_tci;
1730     uint16_t vid;
1731     ovs_be16 tci, old_tci;
1732     struct xport *xport;
1733     struct xlate_bond_recirc xr;
1734     bool use_recirc = false;
1735
1736     vid = output_vlan_to_vid(out_xbundle, vlan);
1737     if (list_is_empty(&out_xbundle->xports)) {
1738         /* Partially configured bundle with no slaves.  Drop the packet. */
1739         return;
1740     } else if (!out_xbundle->bond) {
1741         xport = CONTAINER_OF(list_front(&out_xbundle->xports), struct xport,
1742                              bundle_node);
1743     } else {
1744         struct xlate_cfg *xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
1745         struct flow_wildcards *wc = ctx->wc;
1746         struct ofport_dpif *ofport;
1747
1748         if (ctx->xbridge->support.odp.recirc) {
1749             use_recirc = bond_may_recirc(
1750                 out_xbundle->bond, &xr.recirc_id, &xr.hash_basis);
1751
1752             if (use_recirc) {
1753                 /* Only TCP mode uses recirculation. */
1754                 xr.hash_alg = OVS_HASH_ALG_L4;
1755                 bond_update_post_recirc_rules(out_xbundle->bond, false);
1756
1757                 /* Recirculation does not require unmasking hash fields. */
1758                 wc = NULL;
1759             }
1760         }
1761
1762         ofport = bond_choose_output_slave(out_xbundle->bond,
1763                                           &ctx->xin->flow, wc, vid);
1764         xport = xport_lookup(xcfg, ofport);
1765
1766         if (!xport) {
1767             /* No slaves enabled, so drop packet. */
1768             return;
1769         }
1770
1771         /* If use_recirc is set, the main thread will handle stats
1772          * accounting for this bond. */
1773         if (!use_recirc) {
1774             if (ctx->xin->resubmit_stats) {
1775                 bond_account(out_xbundle->bond, &ctx->xin->flow, vid,
1776                              ctx->xin->resubmit_stats->n_bytes);
1777             }
1778             if (ctx->xin->xcache) {
1779                 struct xc_entry *entry;
1780                 struct flow *flow;
1781
1782                 flow = &ctx->xin->flow;
1783                 entry = xlate_cache_add_entry(ctx->xin->xcache, XC_BOND);
1784                 entry->u.bond.bond = bond_ref(out_xbundle->bond);
1785                 entry->u.bond.flow = xmemdup(flow, sizeof *flow);
1786                 entry->u.bond.vid = vid;
1787             }
1788         }
1789     }
1790
1791     old_tci = *flow_tci;
1792     tci = htons(vid);
1793     if (tci || out_xbundle->use_priority_tags) {
1794         tci |= *flow_tci & htons(VLAN_PCP_MASK);
1795         if (tci) {
1796             tci |= htons(VLAN_CFI);
1797         }
1798     }
1799     *flow_tci = tci;
1800
1801     compose_output_action(ctx, xport->ofp_port, use_recirc ? &xr : NULL);
1802     *flow_tci = old_tci;
1803 }
1804
1805 /* A VM broadcasts a gratuitous ARP to indicate that it has resumed after
1806  * migration.  Older Citrix-patched Linux DomU used gratuitous ARP replies to
1807  * indicate this; newer upstream kernels use gratuitous ARP requests. */
1808 static bool
1809 is_gratuitous_arp(const struct flow *flow, struct flow_wildcards *wc)
1810 {
1811     if (flow->dl_type != htons(ETH_TYPE_ARP)) {
1812         return false;
1813     }
1814
1815     memset(&wc->masks.dl_dst, 0xff, sizeof wc->masks.dl_dst);
1816     if (!eth_addr_is_broadcast(flow->dl_dst)) {
1817         return false;
1818     }
1819
1820     memset(&wc->masks.nw_proto, 0xff, sizeof wc->masks.nw_proto);
1821     if (flow->nw_proto == ARP_OP_REPLY) {
1822         return true;
1823     } else if (flow->nw_proto == ARP_OP_REQUEST) {
1824         memset(&wc->masks.nw_src, 0xff, sizeof wc->masks.nw_src);
1825         memset(&wc->masks.nw_dst, 0xff, sizeof wc->masks.nw_dst);
1826
1827         return flow->nw_src == flow->nw_dst;
1828     } else {
1829         return false;
1830     }
1831 }
1832
1833 /* Determines whether packets in 'flow' within 'xbridge' should be forwarded or
1834  * dropped.  Returns true if they may be forwarded, false if they should be
1835  * dropped.
1836  *
1837  * 'in_port' must be the xport that corresponds to flow->in_port.
1838  * 'in_port' must be part of a bundle (e.g. in_port->bundle must be nonnull).
1839  *
1840  * 'vlan' must be the VLAN that corresponds to flow->vlan_tci on 'in_port', as
1841  * returned by input_vid_to_vlan().  It must be a valid VLAN for 'in_port', as
1842  * checked by input_vid_is_valid().
1843  *
1844  * May also add tags to '*tags', although the current implementation only does
1845  * so in one special case.
1846  */
1847 static bool
1848 is_admissible(struct xlate_ctx *ctx, struct xport *in_port,
1849               uint16_t vlan)
1850 {
1851     struct xbundle *in_xbundle = in_port->xbundle;
1852     const struct xbridge *xbridge = ctx->xbridge;
1853     struct flow *flow = &ctx->xin->flow;
1854
1855     /* Drop frames for reserved multicast addresses
1856      * only if forward_bpdu option is absent. */
1857     if (!xbridge->forward_bpdu && eth_addr_is_reserved(flow->dl_dst)) {
1858         xlate_report(ctx, "packet has reserved destination MAC, dropping");
1859         return false;
1860     }
1861
1862     if (in_xbundle->bond) {
1863         struct mac_entry *mac;
1864
1865         switch (bond_check_admissibility(in_xbundle->bond, in_port->ofport,
1866                                          flow->dl_dst)) {
1867         case BV_ACCEPT:
1868             break;
1869
1870         case BV_DROP:
1871             xlate_report(ctx, "bonding refused admissibility, dropping");
1872             return false;
1873
1874         case BV_DROP_IF_MOVED:
1875             ovs_rwlock_rdlock(&xbridge->ml->rwlock);
1876             mac = mac_learning_lookup(xbridge->ml, flow->dl_src, vlan);
1877             if (mac
1878                 && mac_entry_get_port(xbridge->ml, mac) != in_xbundle->ofbundle
1879                 && (!is_gratuitous_arp(flow, ctx->wc)
1880                     || mac_entry_is_grat_arp_locked(mac))) {
1881                 ovs_rwlock_unlock(&xbridge->ml->rwlock);
1882                 xlate_report(ctx, "SLB bond thinks this packet looped back, "
1883                              "dropping");
1884                 return false;
1885             }
1886             ovs_rwlock_unlock(&xbridge->ml->rwlock);
1887             break;
1888         }
1889     }
1890
1891     return true;
1892 }
1893
1894 /* Checks whether a MAC learning update is necessary for MAC learning table
1895  * 'ml' given that a packet matching 'flow' was received  on 'in_xbundle' in
1896  * 'vlan'.
1897  *
1898  * Most packets processed through the MAC learning table do not actually
1899  * change it in any way.  This function requires only a read lock on the MAC
1900  * learning table, so it is much cheaper in this common case.
1901  *
1902  * Keep the code here synchronized with that in update_learning_table__()
1903  * below. */
1904 static bool
1905 is_mac_learning_update_needed(const struct mac_learning *ml,
1906                               const struct flow *flow,
1907                               struct flow_wildcards *wc,
1908                               int vlan, struct xbundle *in_xbundle)
1909 OVS_REQ_RDLOCK(ml->rwlock)
1910 {
1911     struct mac_entry *mac;
1912
1913     if (!mac_learning_may_learn(ml, flow->dl_src, vlan)) {
1914         return false;
1915     }
1916
1917     mac = mac_learning_lookup(ml, flow->dl_src, vlan);
1918     if (!mac || mac_entry_age(ml, mac)) {
1919         return true;
1920     }
1921
1922     if (is_gratuitous_arp(flow, wc)) {
1923         /* We don't want to learn from gratuitous ARP packets that are
1924          * reflected back over bond slaves so we lock the learning table. */
1925         if (!in_xbundle->bond) {
1926             return true;
1927         } else if (mac_entry_is_grat_arp_locked(mac)) {
1928             return false;
1929         }
1930     }
1931
1932     return mac_entry_get_port(ml, mac) != in_xbundle->ofbundle;
1933 }
1934
1935
1936 /* Updates MAC learning table 'ml' given that a packet matching 'flow' was
1937  * received on 'in_xbundle' in 'vlan'.
1938  *
1939  * This code repeats all the checks in is_mac_learning_update_needed() because
1940  * the lock was released between there and here and thus the MAC learning state
1941  * could have changed.
1942  *
1943  * Keep the code here synchronized with that in is_mac_learning_update_needed()
1944  * above. */
1945 static void
1946 update_learning_table__(const struct xbridge *xbridge,
1947                         const struct flow *flow, struct flow_wildcards *wc,
1948                         int vlan, struct xbundle *in_xbundle)
1949 OVS_REQ_WRLOCK(xbridge->ml->rwlock)
1950 {
1951     struct mac_entry *mac;
1952
1953     if (!mac_learning_may_learn(xbridge->ml, flow->dl_src, vlan)) {
1954         return;
1955     }
1956
1957     mac = mac_learning_insert(xbridge->ml, flow->dl_src, vlan);
1958     if (is_gratuitous_arp(flow, wc)) {
1959         /* We don't want to learn from gratuitous ARP packets that are
1960          * reflected back over bond slaves so we lock the learning table. */
1961         if (!in_xbundle->bond) {
1962             mac_entry_set_grat_arp_lock(mac);
1963         } else if (mac_entry_is_grat_arp_locked(mac)) {
1964             return;
1965         }
1966     }
1967
1968     if (mac_entry_get_port(xbridge->ml, mac) != in_xbundle->ofbundle) {
1969         /* The log messages here could actually be useful in debugging,
1970          * so keep the rate limit relatively high. */
1971         static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(30, 300);
1972
1973         VLOG_DBG_RL(&rl, "bridge %s: learned that "ETH_ADDR_FMT" is "
1974                     "on port %s in VLAN %d",
1975                     xbridge->name, ETH_ADDR_ARGS(flow->dl_src),
1976                     in_xbundle->name, vlan);
1977
1978         mac_entry_set_port(xbridge->ml, mac, in_xbundle->ofbundle);
1979     }
1980 }
1981
1982 static void
1983 update_learning_table(const struct xbridge *xbridge,
1984                       const struct flow *flow, struct flow_wildcards *wc,
1985                       int vlan, struct xbundle *in_xbundle)
1986 {
1987     bool need_update;
1988
1989     /* Don't learn the OFPP_NONE port. */
1990     if (in_xbundle == &ofpp_none_bundle) {
1991         return;
1992     }
1993
1994     /* First try the common case: no change to MAC learning table. */
1995     ovs_rwlock_rdlock(&xbridge->ml->rwlock);
1996     need_update = is_mac_learning_update_needed(xbridge->ml, flow, wc, vlan,
1997                                                 in_xbundle);
1998     ovs_rwlock_unlock(&xbridge->ml->rwlock);
1999
2000     if (need_update) {
2001         /* Slow path: MAC learning table might need an update. */
2002         ovs_rwlock_wrlock(&xbridge->ml->rwlock);
2003         update_learning_table__(xbridge, flow, wc, vlan, in_xbundle);
2004         ovs_rwlock_unlock(&xbridge->ml->rwlock);
2005     }
2006 }
2007
2008 /* Updates multicast snooping table 'ms' given that a packet matching 'flow'
2009  * was received on 'in_xbundle' in 'vlan' and is either Report or Query. */
2010 static void
2011 update_mcast_snooping_table4__(const struct xbridge *xbridge,
2012                                const struct flow *flow,
2013                                struct mcast_snooping *ms, int vlan,
2014                                struct xbundle *in_xbundle,
2015                                const struct dp_packet *packet)
2016     OVS_REQ_WRLOCK(ms->rwlock)
2017 {
2018     static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(60, 30);
2019     int count;
2020     ovs_be32 ip4 = flow->igmp_group_ip4;
2021
2022     switch (ntohs(flow->tp_src)) {
2023     case IGMP_HOST_MEMBERSHIP_REPORT:
2024     case IGMPV2_HOST_MEMBERSHIP_REPORT:
2025         if (mcast_snooping_add_group4(ms, ip4, vlan, in_xbundle->ofbundle)) {
2026             VLOG_DBG_RL(&rl, "bridge %s: multicast snooping learned that "
2027                         IP_FMT" is on port %s in VLAN %d",
2028                         xbridge->name, IP_ARGS(ip4), in_xbundle->name, vlan);
2029         }
2030         break;
2031     case IGMP_HOST_LEAVE_MESSAGE:
2032         if (mcast_snooping_leave_group4(ms, ip4, vlan, in_xbundle->ofbundle)) {
2033             VLOG_DBG_RL(&rl, "bridge %s: multicast snooping leaving "
2034                         IP_FMT" is on port %s in VLAN %d",
2035                         xbridge->name, IP_ARGS(ip4), in_xbundle->name, vlan);
2036         }
2037         break;
2038     case IGMP_HOST_MEMBERSHIP_QUERY:
2039         if (flow->nw_src && mcast_snooping_add_mrouter(ms, vlan,
2040             in_xbundle->ofbundle)) {
2041             VLOG_DBG_RL(&rl, "bridge %s: multicast snooping query from "
2042                         IP_FMT" is on port %s in VLAN %d",
2043                         xbridge->name, IP_ARGS(flow->nw_src),
2044                         in_xbundle->name, vlan);
2045         }
2046         break;
2047     case IGMPV3_HOST_MEMBERSHIP_REPORT:
2048         if ((count = mcast_snooping_add_report(ms, packet, vlan,
2049                                                in_xbundle->ofbundle))) {
2050             VLOG_DBG_RL(&rl, "bridge %s: multicast snooping processed %d "
2051                         "addresses on port %s in VLAN %d",
2052                         xbridge->name, count, in_xbundle->name, vlan);
2053         }
2054         break;
2055     }
2056 }
2057
2058 static void
2059 update_mcast_snooping_table6__(const struct xbridge *xbridge,
2060                                const struct flow *flow,
2061                                struct mcast_snooping *ms, int vlan,
2062                                struct xbundle *in_xbundle,
2063                                const struct dp_packet *packet)
2064     OVS_REQ_WRLOCK(ms->rwlock)
2065 {
2066     static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(60, 30);
2067     int count;
2068
2069     switch (ntohs(flow->tp_src)) {
2070     case MLD_QUERY:
2071         if (!ipv6_addr_equals(&flow->ipv6_src, &in6addr_any)
2072             && mcast_snooping_add_mrouter(ms, vlan, in_xbundle->ofbundle)) {
2073             VLOG_DBG_RL(&rl, "bridge %s: multicast snooping query on port %s"
2074                         "in VLAN %d",
2075                         xbridge->name, in_xbundle->name, vlan);
2076         }
2077         break;
2078     case MLD_REPORT:
2079     case MLD_DONE:
2080     case MLD2_REPORT:
2081         count = mcast_snooping_add_mld(ms, packet, vlan, in_xbundle->ofbundle);
2082         if (count) {
2083             VLOG_DBG_RL(&rl, "bridge %s: multicast snooping processed %d "
2084                         "addresses on port %s in VLAN %d",
2085                         xbridge->name, count, in_xbundle->name, vlan);
2086         }
2087         break;
2088     }
2089 }
2090
2091 /* Updates multicast snooping table 'ms' given that a packet matching 'flow'
2092  * was received on 'in_xbundle' in 'vlan'. */
2093 static void
2094 update_mcast_snooping_table(const struct xbridge *xbridge,
2095                             const struct flow *flow, int vlan,
2096                             struct xbundle *in_xbundle,
2097                             const struct dp_packet *packet)
2098 {
2099     struct mcast_snooping *ms = xbridge->ms;
2100     struct xlate_cfg *xcfg;
2101     struct xbundle *mcast_xbundle;
2102     struct mcast_port_bundle *fport;
2103
2104     /* Don't learn the OFPP_NONE port. */
2105     if (in_xbundle == &ofpp_none_bundle) {
2106         return;
2107     }
2108
2109     /* Don't learn from flood ports */
2110     mcast_xbundle = NULL;
2111     ovs_rwlock_wrlock(&ms->rwlock);
2112     xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
2113     LIST_FOR_EACH(fport, node, &ms->fport_list) {
2114         mcast_xbundle = xbundle_lookup(xcfg, fport->port);
2115         if (mcast_xbundle == in_xbundle) {
2116             break;
2117         }
2118     }
2119
2120     if (!mcast_xbundle || mcast_xbundle != in_xbundle) {
2121         if (flow->dl_type == htons(ETH_TYPE_IP)) {
2122             update_mcast_snooping_table4__(xbridge, flow, ms, vlan,
2123                                            in_xbundle, packet);
2124         } else {
2125             update_mcast_snooping_table6__(xbridge, flow, ms, vlan,
2126                                            in_xbundle, packet);
2127         }
2128     }
2129     ovs_rwlock_unlock(&ms->rwlock);
2130 }
2131
2132 /* send the packet to ports having the multicast group learned */
2133 static void
2134 xlate_normal_mcast_send_group(struct xlate_ctx *ctx,
2135                               struct mcast_snooping *ms OVS_UNUSED,
2136                               struct mcast_group *grp,
2137                               struct xbundle *in_xbundle, uint16_t vlan)
2138     OVS_REQ_RDLOCK(ms->rwlock)
2139 {
2140     struct xlate_cfg *xcfg;
2141     struct mcast_group_bundle *b;
2142     struct xbundle *mcast_xbundle;
2143
2144     xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
2145     LIST_FOR_EACH(b, bundle_node, &grp->bundle_lru) {
2146         mcast_xbundle = xbundle_lookup(xcfg, b->port);
2147         if (mcast_xbundle && mcast_xbundle != in_xbundle) {
2148             xlate_report(ctx, "forwarding to mcast group port");
2149             output_normal(ctx, mcast_xbundle, vlan);
2150         } else if (!mcast_xbundle) {
2151             xlate_report(ctx, "mcast group port is unknown, dropping");
2152         } else {
2153             xlate_report(ctx, "mcast group port is input port, dropping");
2154         }
2155     }
2156 }
2157
2158 /* send the packet to ports connected to multicast routers */
2159 static void
2160 xlate_normal_mcast_send_mrouters(struct xlate_ctx *ctx,
2161                                  struct mcast_snooping *ms,
2162                                  struct xbundle *in_xbundle, uint16_t vlan)
2163     OVS_REQ_RDLOCK(ms->rwlock)
2164 {
2165     struct xlate_cfg *xcfg;
2166     struct mcast_mrouter_bundle *mrouter;
2167     struct xbundle *mcast_xbundle;
2168
2169     xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
2170     LIST_FOR_EACH(mrouter, mrouter_node, &ms->mrouter_lru) {
2171         mcast_xbundle = xbundle_lookup(xcfg, mrouter->port);
2172         if (mcast_xbundle && mcast_xbundle != in_xbundle) {
2173             xlate_report(ctx, "forwarding to mcast router port");
2174             output_normal(ctx, mcast_xbundle, vlan);
2175         } else if (!mcast_xbundle) {
2176             xlate_report(ctx, "mcast router port is unknown, dropping");
2177         } else {
2178             xlate_report(ctx, "mcast router port is input port, dropping");
2179         }
2180     }
2181 }
2182
2183 /* send the packet to ports flagged to be flooded */
2184 static void
2185 xlate_normal_mcast_send_fports(struct xlate_ctx *ctx,
2186                                struct mcast_snooping *ms,
2187                                struct xbundle *in_xbundle, uint16_t vlan)
2188     OVS_REQ_RDLOCK(ms->rwlock)
2189 {
2190     struct xlate_cfg *xcfg;
2191     struct mcast_port_bundle *fport;
2192     struct xbundle *mcast_xbundle;
2193
2194     xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
2195     LIST_FOR_EACH(fport, node, &ms->fport_list) {
2196         mcast_xbundle = xbundle_lookup(xcfg, fport->port);
2197         if (mcast_xbundle && mcast_xbundle != in_xbundle) {
2198             xlate_report(ctx, "forwarding to mcast flood port");
2199             output_normal(ctx, mcast_xbundle, vlan);
2200         } else if (!mcast_xbundle) {
2201             xlate_report(ctx, "mcast flood port is unknown, dropping");
2202         } else {
2203             xlate_report(ctx, "mcast flood port is input port, dropping");
2204         }
2205     }
2206 }
2207
2208 /* forward the Reports to configured ports */
2209 static void
2210 xlate_normal_mcast_send_rports(struct xlate_ctx *ctx,
2211                                struct mcast_snooping *ms,
2212                                struct xbundle *in_xbundle, uint16_t vlan)
2213     OVS_REQ_RDLOCK(ms->rwlock)
2214 {
2215     struct xlate_cfg *xcfg;
2216     struct mcast_port_bundle *rport;
2217     struct xbundle *mcast_xbundle;
2218
2219     xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
2220     LIST_FOR_EACH(rport, node, &ms->rport_list) {
2221         mcast_xbundle = xbundle_lookup(xcfg, rport->port);
2222         if (mcast_xbundle && mcast_xbundle != in_xbundle) {
2223             xlate_report(ctx, "forwarding Report to mcast flagged port");
2224             output_normal(ctx, mcast_xbundle, vlan);
2225         } else if (!mcast_xbundle) {
2226             xlate_report(ctx, "mcast port is unknown, dropping the Report");
2227         } else {
2228             xlate_report(ctx, "mcast port is input port, dropping the Report");
2229         }
2230     }
2231 }
2232
2233 static void
2234 xlate_normal_flood(struct xlate_ctx *ctx, struct xbundle *in_xbundle,
2235                    uint16_t vlan)
2236 {
2237     struct xbundle *xbundle;
2238
2239     LIST_FOR_EACH (xbundle, list_node, &ctx->xbridge->xbundles) {
2240         if (xbundle != in_xbundle
2241             && xbundle_includes_vlan(xbundle, vlan)
2242             && xbundle->floodable
2243             && !xbundle_mirror_out(ctx->xbridge, xbundle)) {
2244             output_normal(ctx, xbundle, vlan);
2245         }
2246     }
2247     ctx->xout->nf_output_iface = NF_OUT_FLOOD;
2248 }
2249
2250 static void
2251 xlate_normal(struct xlate_ctx *ctx)
2252 {
2253     struct flow_wildcards *wc = ctx->wc;
2254     struct flow *flow = &ctx->xin->flow;
2255     struct xbundle *in_xbundle;
2256     struct xport *in_port;
2257     struct mac_entry *mac;
2258     void *mac_port;
2259     uint16_t vlan;
2260     uint16_t vid;
2261
2262     ctx->xout->has_normal = true;
2263
2264     memset(&wc->masks.dl_src, 0xff, sizeof wc->masks.dl_src);
2265     memset(&wc->masks.dl_dst, 0xff, sizeof wc->masks.dl_dst);
2266     wc->masks.vlan_tci |= htons(VLAN_VID_MASK | VLAN_CFI);
2267
2268     in_xbundle = lookup_input_bundle(ctx->xbridge, flow->in_port.ofp_port,
2269                                      ctx->xin->packet != NULL, &in_port);
2270     if (!in_xbundle) {
2271         xlate_report(ctx, "no input bundle, dropping");
2272         return;
2273     }
2274
2275     /* Drop malformed frames. */
2276     if (flow->dl_type == htons(ETH_TYPE_VLAN) &&
2277         !(flow->vlan_tci & htons(VLAN_CFI))) {
2278         if (ctx->xin->packet != NULL) {
2279             static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
2280             VLOG_WARN_RL(&rl, "bridge %s: dropping packet with partial "
2281                          "VLAN tag received on port %s",
2282                          ctx->xbridge->name, in_xbundle->name);
2283         }
2284         xlate_report(ctx, "partial VLAN tag, dropping");
2285         return;
2286     }
2287
2288     /* Drop frames on bundles reserved for mirroring. */
2289     if (xbundle_mirror_out(ctx->xbridge, in_xbundle)) {
2290         if (ctx->xin->packet != NULL) {
2291             static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
2292             VLOG_WARN_RL(&rl, "bridge %s: dropping packet received on port "
2293                          "%s, which is reserved exclusively for mirroring",
2294                          ctx->xbridge->name, in_xbundle->name);
2295         }
2296         xlate_report(ctx, "input port is mirror output port, dropping");
2297         return;
2298     }
2299
2300     /* Check VLAN. */
2301     vid = vlan_tci_to_vid(flow->vlan_tci);
2302     if (!input_vid_is_valid(vid, in_xbundle, ctx->xin->packet != NULL)) {
2303         xlate_report(ctx, "disallowed VLAN VID for this input port, dropping");
2304         return;
2305     }
2306     vlan = input_vid_to_vlan(in_xbundle, vid);
2307
2308     /* Check other admissibility requirements. */
2309     if (in_port && !is_admissible(ctx, in_port, vlan)) {
2310         return;
2311     }
2312
2313     /* Learn source MAC. */
2314     if (ctx->xin->may_learn) {
2315         update_learning_table(ctx->xbridge, flow, wc, vlan, in_xbundle);
2316     }
2317     if (ctx->xin->xcache) {
2318         struct xc_entry *entry;
2319
2320         /* Save enough info to update mac learning table later. */
2321         entry = xlate_cache_add_entry(ctx->xin->xcache, XC_NORMAL);
2322         entry->u.normal.ofproto = ctx->xbridge->ofproto;
2323         entry->u.normal.flow = xmemdup(flow, sizeof *flow);
2324         entry->u.normal.vlan = vlan;
2325     }
2326
2327     /* Determine output bundle. */
2328     if (mcast_snooping_enabled(ctx->xbridge->ms)
2329         && !eth_addr_is_broadcast(flow->dl_dst)
2330         && eth_addr_is_multicast(flow->dl_dst)
2331         && is_ip_any(flow)) {
2332         struct mcast_snooping *ms = ctx->xbridge->ms;
2333         struct mcast_group *grp = NULL;
2334
2335         if (is_igmp(flow)) {
2336             if (mcast_snooping_is_membership(flow->tp_src) ||
2337                 mcast_snooping_is_query(flow->tp_src)) {
2338                 if (ctx->xin->may_learn) {
2339                     update_mcast_snooping_table(ctx->xbridge, flow, vlan,
2340                                                 in_xbundle, ctx->xin->packet);
2341                 }
2342                 /*
2343                  * IGMP packets need to take the slow path, in order to be
2344                  * processed for mdb updates. That will prevent expires
2345                  * firing off even after hosts have sent reports.
2346                  */
2347                 ctx->xout->slow |= SLOW_ACTION;
2348             }
2349
2350             if (mcast_snooping_is_membership(flow->tp_src)) {
2351                 ovs_rwlock_rdlock(&ms->rwlock);
2352                 xlate_normal_mcast_send_mrouters(ctx, ms, in_xbundle, vlan);
2353                 /* RFC4541: section 2.1.1, item 1: A snooping switch should
2354                  * forward IGMP Membership Reports only to those ports where
2355                  * multicast routers are attached.  Alternatively stated: a
2356                  * snooping switch should not forward IGMP Membership Reports
2357                  * to ports on which only hosts are attached.
2358                  * An administrative control may be provided to override this
2359                  * restriction, allowing the report messages to be flooded to
2360                  * other ports. */
2361                 xlate_normal_mcast_send_rports(ctx, ms, in_xbundle, vlan);
2362                 ovs_rwlock_unlock(&ms->rwlock);
2363             } else {
2364                 xlate_report(ctx, "multicast traffic, flooding");
2365                 xlate_normal_flood(ctx, in_xbundle, vlan);
2366             }
2367             return;
2368         } else if (is_mld(flow)) {
2369             ctx->xout->slow |= SLOW_ACTION;
2370             if (ctx->xin->may_learn) {
2371                 update_mcast_snooping_table(ctx->xbridge, flow, vlan,
2372                                             in_xbundle, ctx->xin->packet);
2373             }
2374             if (is_mld_report(flow)) {
2375                 ovs_rwlock_rdlock(&ms->rwlock);
2376                 xlate_normal_mcast_send_mrouters(ctx, ms, in_xbundle, vlan);
2377                 xlate_normal_mcast_send_rports(ctx, ms, in_xbundle, vlan);
2378                 ovs_rwlock_unlock(&ms->rwlock);
2379             } else {
2380                 xlate_report(ctx, "MLD query, flooding");
2381                 xlate_normal_flood(ctx, in_xbundle, vlan);
2382             }
2383         } else {
2384             if ((flow->dl_type == htons(ETH_TYPE_IP)
2385                  && ip_is_local_multicast(flow->nw_dst))
2386                 || (flow->dl_type == htons(ETH_TYPE_IPV6)
2387                     && ipv6_is_all_hosts(&flow->ipv6_dst))) {
2388                 /* RFC4541: section 2.1.2, item 2: Packets with a dst IP
2389                  * address in the 224.0.0.x range which are not IGMP must
2390                  * be forwarded on all ports */
2391                 xlate_report(ctx, "RFC4541: section 2.1.2, item 2, flooding");
2392                 xlate_normal_flood(ctx, in_xbundle, vlan);
2393                 return;
2394             }
2395         }
2396
2397         /* forwarding to group base ports */
2398         ovs_rwlock_rdlock(&ms->rwlock);
2399         if (flow->dl_type == htons(ETH_TYPE_IP)) {
2400             grp = mcast_snooping_lookup4(ms, flow->nw_dst, vlan);
2401         } else if (flow->dl_type == htons(ETH_TYPE_IPV6)) {
2402             grp = mcast_snooping_lookup(ms, &flow->ipv6_dst, vlan);
2403         }
2404         if (grp) {
2405             xlate_normal_mcast_send_group(ctx, ms, grp, in_xbundle, vlan);
2406             xlate_normal_mcast_send_fports(ctx, ms, in_xbundle, vlan);
2407             xlate_normal_mcast_send_mrouters(ctx, ms, in_xbundle, vlan);
2408         } else {
2409             if (mcast_snooping_flood_unreg(ms)) {
2410                 xlate_report(ctx, "unregistered multicast, flooding");
2411                 xlate_normal_flood(ctx, in_xbundle, vlan);
2412             } else {
2413                 xlate_normal_mcast_send_mrouters(ctx, ms, in_xbundle, vlan);
2414                 xlate_normal_mcast_send_fports(ctx, ms, in_xbundle, vlan);
2415             }
2416         }
2417         ovs_rwlock_unlock(&ms->rwlock);
2418     } else {
2419         ovs_rwlock_rdlock(&ctx->xbridge->ml->rwlock);
2420         mac = mac_learning_lookup(ctx->xbridge->ml, flow->dl_dst, vlan);
2421         mac_port = mac ? mac_entry_get_port(ctx->xbridge->ml, mac) : NULL;
2422         ovs_rwlock_unlock(&ctx->xbridge->ml->rwlock);
2423
2424         if (mac_port) {
2425             struct xlate_cfg *xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
2426             struct xbundle *mac_xbundle = xbundle_lookup(xcfg, mac_port);
2427             if (mac_xbundle && mac_xbundle != in_xbundle) {
2428                 xlate_report(ctx, "forwarding to learned port");
2429                 output_normal(ctx, mac_xbundle, vlan);
2430             } else if (!mac_xbundle) {
2431                 xlate_report(ctx, "learned port is unknown, dropping");
2432             } else {
2433                 xlate_report(ctx, "learned port is input port, dropping");
2434             }
2435         } else {
2436             xlate_report(ctx, "no learned MAC for destination, flooding");
2437             xlate_normal_flood(ctx, in_xbundle, vlan);
2438         }
2439     }
2440 }
2441
2442 /* Appends a "sample" action for sFlow or IPFIX to 'ctx->odp_actions'.  The
2443  * 'probability' is the number of packets out of UINT32_MAX to sample.  The
2444  * 'cookie' (of length 'cookie_size' bytes) is passed back in the callback for
2445  * each sampled packet.  'tunnel_out_port', if not ODPP_NONE, is added as the
2446  * OVS_USERSPACE_ATTR_EGRESS_TUN_PORT attribute.  If 'include_actions', an
2447  * OVS_USERSPACE_ATTR_ACTIONS attribute is added.
2448  */
2449 static size_t
2450 compose_sample_action(struct xlate_ctx *ctx,
2451                       const uint32_t probability,
2452                       const union user_action_cookie *cookie,
2453                       const size_t cookie_size,
2454                       const odp_port_t tunnel_out_port,
2455                       bool include_actions)
2456 {
2457     size_t sample_offset = nl_msg_start_nested(ctx->odp_actions,
2458                                                OVS_ACTION_ATTR_SAMPLE);
2459
2460     nl_msg_put_u32(ctx->odp_actions, OVS_SAMPLE_ATTR_PROBABILITY, probability);
2461
2462     size_t actions_offset = nl_msg_start_nested(ctx->odp_actions,
2463                                                 OVS_SAMPLE_ATTR_ACTIONS);
2464
2465     odp_port_t odp_port = ofp_port_to_odp_port(
2466         ctx->xbridge, ctx->xin->flow.in_port.ofp_port);
2467     uint32_t pid = dpif_port_get_pid(ctx->xbridge->dpif, odp_port,
2468                                      flow_hash_5tuple(&ctx->xin->flow, 0));
2469     int cookie_offset = odp_put_userspace_action(pid, cookie, cookie_size,
2470                                                  tunnel_out_port,
2471                                                  include_actions,
2472                                                  ctx->odp_actions);
2473
2474     nl_msg_end_nested(ctx->odp_actions, actions_offset);
2475     nl_msg_end_nested(ctx->odp_actions, sample_offset);
2476
2477     return cookie_offset;
2478 }
2479
2480 /* If sFLow is not enabled, returns 0 without doing anything.
2481  *
2482  * If sFlow is enabled, appends a template "sample" action to the ODP actions
2483  * in 'ctx'.  This action is a template because some of the information needed
2484  * to fill it out is not available until flow translation is complete.  In this
2485  * case, this functions returns an offset, which is always nonzero, to pass
2486  * later to fix_sflow_action() to fill in the rest of the template. */
2487 static size_t
2488 compose_sflow_action(struct xlate_ctx *ctx)
2489 {
2490     struct dpif_sflow *sflow = ctx->xbridge->sflow;
2491     if (!sflow || ctx->xin->flow.in_port.ofp_port == OFPP_NONE) {
2492         return 0;
2493     }
2494
2495     union user_action_cookie cookie = { .type = USER_ACTION_COOKIE_SFLOW };
2496     return compose_sample_action(ctx, dpif_sflow_get_probability(sflow),
2497                                  &cookie, sizeof cookie.sflow, ODPP_NONE,
2498                                  true);
2499 }
2500
2501 /* If IPFIX is enabled, this appends a "sample" action to implement IPFIX to
2502  * 'ctx->odp_actions'. */
2503 static void
2504 compose_ipfix_action(struct xlate_ctx *ctx, odp_port_t output_odp_port)
2505 {
2506     struct dpif_ipfix *ipfix = ctx->xbridge->ipfix;
2507     odp_port_t tunnel_out_port = ODPP_NONE;
2508
2509     if (!ipfix || ctx->xin->flow.in_port.ofp_port == OFPP_NONE) {
2510         return;
2511     }
2512
2513     /* For input case, output_odp_port is ODPP_NONE, which is an invalid port
2514      * number. */
2515     if (output_odp_port == ODPP_NONE &&
2516         !dpif_ipfix_get_bridge_exporter_input_sampling(ipfix)) {
2517         return;
2518     }
2519
2520     /* For output case, output_odp_port is valid*/
2521     if (output_odp_port != ODPP_NONE) {
2522         if (!dpif_ipfix_get_bridge_exporter_output_sampling(ipfix)) {
2523             return;
2524         }
2525         /* If tunnel sampling is enabled, put an additional option attribute:
2526          * OVS_USERSPACE_ATTR_TUNNEL_OUT_PORT
2527          */
2528         if (dpif_ipfix_get_bridge_exporter_tunnel_sampling(ipfix) &&
2529             dpif_ipfix_get_tunnel_port(ipfix, output_odp_port) ) {
2530            tunnel_out_port = output_odp_port;
2531         }
2532     }
2533
2534     union user_action_cookie cookie = {
2535         .ipfix = {
2536             .type = USER_ACTION_COOKIE_IPFIX,
2537             .output_odp_port = output_odp_port,
2538         }
2539     };
2540     compose_sample_action(ctx,
2541                           dpif_ipfix_get_bridge_exporter_probability(ipfix),
2542                           &cookie, sizeof cookie.ipfix, tunnel_out_port,
2543                           false);
2544 }
2545
2546 /* Fix "sample" action according to data collected while composing ODP actions,
2547  * as described in compose_sflow_action().
2548  *
2549  * 'user_cookie_offset' must be the offset returned by add_sflow_action(). */
2550 static void
2551 fix_sflow_action(struct xlate_ctx *ctx, unsigned int user_cookie_offset)
2552 {
2553     const struct flow *base = &ctx->base_flow;
2554     union user_action_cookie *cookie;
2555
2556     cookie = ofpbuf_at(ctx->odp_actions, user_cookie_offset,
2557                        sizeof cookie->sflow);
2558     ovs_assert(cookie->type == USER_ACTION_COOKIE_SFLOW);
2559
2560     cookie->type = USER_ACTION_COOKIE_SFLOW;
2561     cookie->sflow.vlan_tci = base->vlan_tci;
2562
2563     /* See http://www.sflow.org/sflow_version_5.txt (search for "Input/output
2564      * port information") for the interpretation of cookie->output. */
2565     switch (ctx->sflow_n_outputs) {
2566     case 0:
2567         /* 0x40000000 | 256 means "packet dropped for unknown reason". */
2568         cookie->sflow.output = 0x40000000 | 256;
2569         break;
2570
2571     case 1:
2572         cookie->sflow.output = dpif_sflow_odp_port_to_ifindex(
2573             ctx->xbridge->sflow, ctx->sflow_odp_port);
2574         if (cookie->sflow.output) {
2575             break;
2576         }
2577         /* Fall through. */
2578     default:
2579         /* 0x80000000 means "multiple output ports. */
2580         cookie->sflow.output = 0x80000000 | ctx->sflow_n_outputs;
2581         break;
2582     }
2583 }
2584
2585 static bool
2586 process_special(struct xlate_ctx *ctx, const struct xport *xport)
2587 {
2588     const struct flow *flow = &ctx->xin->flow;
2589     struct flow_wildcards *wc = ctx->wc;
2590     const struct xbridge *xbridge = ctx->xbridge;
2591     const struct dp_packet *packet = ctx->xin->packet;
2592     enum slow_path_reason slow;
2593
2594     if (!xport) {
2595         slow = 0;
2596     } else if (xport->cfm && cfm_should_process_flow(xport->cfm, flow, wc)) {
2597         if (packet) {
2598             cfm_process_heartbeat(xport->cfm, packet);
2599         }
2600         slow = SLOW_CFM;
2601     } else if (xport->bfd && bfd_should_process_flow(xport->bfd, flow, wc)) {
2602         if (packet) {
2603             bfd_process_packet(xport->bfd, flow, packet);
2604             /* If POLL received, immediately sends FINAL back. */
2605             if (bfd_should_send_packet(xport->bfd)) {
2606                 ofproto_dpif_monitor_port_send_soon(xport->ofport);
2607             }
2608         }
2609         slow = SLOW_BFD;
2610     } else if (xport->xbundle && xport->xbundle->lacp
2611                && flow->dl_type == htons(ETH_TYPE_LACP)) {
2612         if (packet) {
2613             lacp_process_packet(xport->xbundle->lacp, xport->ofport, packet);
2614         }
2615         slow = SLOW_LACP;
2616     } else if ((xbridge->stp || xbridge->rstp) &&
2617                stp_should_process_flow(flow, wc)) {
2618         if (packet) {
2619             xbridge->stp
2620                 ? stp_process_packet(xport, packet)
2621                 : rstp_process_packet(xport, packet);
2622         }
2623         slow = SLOW_STP;
2624     } else if (xport->lldp && lldp_should_process_flow(xport->lldp, flow)) {
2625         if (packet) {
2626             lldp_process_packet(xport->lldp, packet);
2627         }
2628         slow = SLOW_LLDP;
2629     } else {
2630         slow = 0;
2631     }
2632
2633     if (slow) {
2634         ctx->xout->slow |= slow;
2635         return true;
2636     } else {
2637         return false;
2638     }
2639 }
2640
2641 static int
2642 tnl_route_lookup_flow(const struct flow *oflow,
2643                       ovs_be32 *ip, struct xport **out_port)
2644 {
2645     char out_dev[IFNAMSIZ];
2646     struct xbridge *xbridge;
2647     struct xlate_cfg *xcfg;
2648     ovs_be32 gw;
2649
2650     if (!ovs_router_lookup(oflow->tunnel.ip_dst, out_dev, &gw)) {
2651         return -ENOENT;
2652     }
2653
2654     if (gw) {
2655         *ip = gw;
2656     } else {
2657         *ip = oflow->tunnel.ip_dst;
2658     }
2659
2660     xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
2661     ovs_assert(xcfg);
2662
2663     HMAP_FOR_EACH (xbridge, hmap_node, &xcfg->xbridges) {
2664         if (!strncmp(xbridge->name, out_dev, IFNAMSIZ)) {
2665             struct xport *port;
2666
2667             HMAP_FOR_EACH (port, ofp_node, &xbridge->xports) {
2668                 if (!strncmp(netdev_get_name(port->netdev), out_dev, IFNAMSIZ)) {
2669                     *out_port = port;
2670                     return 0;
2671                 }
2672             }
2673         }
2674     }
2675     return -ENOENT;
2676 }
2677
2678 static int
2679 xlate_flood_packet(struct xbridge *xbridge, struct dp_packet *packet)
2680 {
2681     struct ofpact_output output;
2682     struct flow flow;
2683
2684     ofpact_init(&output.ofpact, OFPACT_OUTPUT, sizeof output);
2685     /* Use OFPP_NONE as the in_port to avoid special packet processing. */
2686     flow_extract(packet, &flow);
2687     flow.in_port.ofp_port = OFPP_NONE;
2688     output.port = OFPP_FLOOD;
2689     output.max_len = 0;
2690
2691     return ofproto_dpif_execute_actions(xbridge->ofproto, &flow, NULL,
2692                                         &output.ofpact, sizeof output,
2693                                         packet);
2694 }
2695
2696 static void
2697 tnl_send_arp_request(const struct xport *out_dev, const uint8_t eth_src[ETH_ADDR_LEN],
2698                      ovs_be32 ip_src, ovs_be32 ip_dst)
2699 {
2700     struct xbridge *xbridge = out_dev->xbridge;
2701     struct dp_packet packet;
2702
2703     dp_packet_init(&packet, 0);
2704     compose_arp(&packet, ARP_OP_REQUEST,
2705                 eth_src, eth_addr_zero, true, ip_src, ip_dst);
2706
2707     xlate_flood_packet(xbridge, &packet);
2708     dp_packet_uninit(&packet);
2709 }
2710
2711 static int
2712 build_tunnel_send(struct xlate_ctx *ctx, const struct xport *xport,
2713                   const struct flow *flow, odp_port_t tunnel_odp_port)
2714 {
2715     struct ovs_action_push_tnl tnl_push_data;
2716     struct xport *out_dev = NULL;
2717     ovs_be32 s_ip, d_ip = 0;
2718     uint8_t smac[ETH_ADDR_LEN];
2719     uint8_t dmac[ETH_ADDR_LEN];
2720     int err;
2721
2722     err = tnl_route_lookup_flow(flow, &d_ip, &out_dev);
2723     if (err) {
2724         xlate_report(ctx, "native tunnel routing failed");
2725         return err;
2726     }
2727     xlate_report(ctx, "tunneling to "IP_FMT" via %s",
2728                  IP_ARGS(d_ip), netdev_get_name(out_dev->netdev));
2729
2730     /* Use mac addr of bridge port of the peer. */
2731     err = netdev_get_etheraddr(out_dev->netdev, smac);
2732     if (err) {
2733         xlate_report(ctx, "tunnel output device lacks Ethernet address");
2734         return err;
2735     }
2736
2737     err = netdev_get_in4(out_dev->netdev, (struct in_addr *) &s_ip, NULL);
2738     if (err) {
2739         xlate_report(ctx, "tunnel output device lacks IPv4 address");
2740         return err;
2741     }
2742
2743     err = tnl_arp_lookup(out_dev->xbridge->name, d_ip, dmac);
2744     if (err) {
2745         xlate_report(ctx, "ARP cache miss for "IP_FMT" on bridge %s, "
2746                      "sending ARP request",
2747                      IP_ARGS(d_ip), out_dev->xbridge->name);
2748         tnl_send_arp_request(out_dev, smac, s_ip, d_ip);
2749         return err;
2750     }
2751     if (ctx->xin->xcache) {
2752         struct xc_entry *entry;
2753
2754         entry = xlate_cache_add_entry(ctx->xin->xcache, XC_TNL_ARP);
2755         ovs_strlcpy(entry->u.tnl_arp_cache.br_name, out_dev->xbridge->name,
2756                     sizeof entry->u.tnl_arp_cache.br_name);
2757         entry->u.tnl_arp_cache.d_ip = d_ip;
2758     }
2759
2760     xlate_report(ctx, "tunneling from "ETH_ADDR_FMT" "IP_FMT
2761                  " to "ETH_ADDR_FMT" "IP_FMT,
2762                  ETH_ADDR_ARGS(smac), IP_ARGS(s_ip),
2763                  ETH_ADDR_ARGS(dmac), IP_ARGS(d_ip));
2764     err = tnl_port_build_header(xport->ofport, flow,
2765                                 dmac, smac, s_ip, &tnl_push_data);
2766     if (err) {
2767         return err;
2768     }
2769     tnl_push_data.tnl_port = odp_to_u32(tunnel_odp_port);
2770     tnl_push_data.out_port = odp_to_u32(out_dev->odp_port);
2771     odp_put_tnl_push_action(ctx->odp_actions, &tnl_push_data);
2772     return 0;
2773 }
2774
2775 static void
2776 compose_output_action__(struct xlate_ctx *ctx, ofp_port_t ofp_port,
2777                         const struct xlate_bond_recirc *xr, bool check_stp)
2778 {
2779     const struct xport *xport = get_ofp_port(ctx->xbridge, ofp_port);
2780     struct flow_wildcards *wc = ctx->wc;
2781     struct flow *flow = &ctx->xin->flow;
2782     struct flow_tnl flow_tnl;
2783     ovs_be16 flow_vlan_tci;
2784     uint32_t flow_pkt_mark;
2785     uint8_t flow_nw_tos;
2786     odp_port_t out_port, odp_port;
2787     bool tnl_push_pop_send = false;
2788     uint8_t dscp;
2789
2790     /* If 'struct flow' gets additional metadata, we'll need to zero it out
2791      * before traversing a patch port. */
2792     BUILD_ASSERT_DECL(FLOW_WC_SEQ == 33);
2793     memset(&flow_tnl, 0, sizeof flow_tnl);
2794
2795     if (!xport) {
2796         xlate_report(ctx, "Nonexistent output port");
2797         return;
2798     } else if (xport->config & OFPUTIL_PC_NO_FWD) {
2799         xlate_report(ctx, "OFPPC_NO_FWD set, skipping output");
2800         return;
2801     } else if (check_stp) {
2802         if (is_stp(&ctx->base_flow)) {
2803             if (!xport_stp_should_forward_bpdu(xport) &&
2804                 !xport_rstp_should_manage_bpdu(xport)) {
2805                 if (ctx->xbridge->stp != NULL) {
2806                     xlate_report(ctx, "STP not in listening state, "
2807                             "skipping bpdu output");
2808                 } else if (ctx->xbridge->rstp != NULL) {
2809                     xlate_report(ctx, "RSTP not managing BPDU in this state, "
2810                             "skipping bpdu output");
2811                 }
2812                 return;
2813             }
2814         } else if (!xport_stp_forward_state(xport) ||
2815                    !xport_rstp_forward_state(xport)) {
2816             if (ctx->xbridge->stp != NULL) {
2817                 xlate_report(ctx, "STP not in forwarding state, "
2818                         "skipping output");
2819             } else if (ctx->xbridge->rstp != NULL) {
2820                 xlate_report(ctx, "RSTP not in forwarding state, "
2821                         "skipping output");
2822             }
2823             return;
2824         }
2825     }
2826
2827     if (mbridge_has_mirrors(ctx->xbridge->mbridge) && xport->xbundle) {
2828         ctx->xout->mirrors |= xbundle_mirror_dst(xport->xbundle->xbridge,
2829                                                  xport->xbundle);
2830     }
2831
2832     if (xport->peer) {
2833         const struct xport *peer = xport->peer;
2834         struct flow old_flow = ctx->xin->flow;
2835         bool old_was_mpls = ctx->was_mpls;
2836         cls_version_t old_version = ctx->tables_version;
2837         struct ofpbuf old_stack = ctx->stack;
2838         union mf_subvalue new_stack[1024 / sizeof(union mf_subvalue)];
2839         struct ofpbuf old_action_set = ctx->action_set;
2840         uint64_t actset_stub[1024 / 8];
2841
2842         ofpbuf_use_stub(&ctx->stack, new_stack, sizeof new_stack);
2843         ofpbuf_use_stub(&ctx->action_set, actset_stub, sizeof actset_stub);
2844         ctx->xbridge = peer->xbridge;
2845         flow->in_port.ofp_port = peer->ofp_port;
2846         flow->metadata = htonll(0);
2847         memset(&flow->tunnel, 0, sizeof flow->tunnel);
2848         memset(flow->regs, 0, sizeof flow->regs);
2849         flow->actset_output = OFPP_UNSET;
2850
2851         /* The bridge is now known so obtain its table version. */
2852         ctx->tables_version
2853             = ofproto_dpif_get_tables_version(ctx->xbridge->ofproto);
2854
2855         if (!process_special(ctx, peer) && may_receive(peer, ctx)) {
2856             if (xport_stp_forward_state(peer) && xport_rstp_forward_state(peer)) {
2857                 xlate_table_action(ctx, flow->in_port.ofp_port, 0, true, true);
2858                 if (ctx->action_set.size) {
2859                     /* Translate action set only if not dropping the packet and
2860                      * not recirculating. */
2861                     if (!exit_recirculates(ctx)) {
2862                         xlate_action_set(ctx);
2863                     }
2864                 }
2865                 /* Check if need to recirculate. */
2866                 if (exit_recirculates(ctx)) {
2867                     compose_recirculate_action(ctx);
2868                 }
2869             } else {
2870                 /* Forwarding is disabled by STP and RSTP.  Let OFPP_NORMAL and
2871                  * the learning action look at the packet, then drop it. */
2872                 struct flow old_base_flow = ctx->base_flow;
2873                 size_t old_size = ctx->odp_actions->size;
2874                 mirror_mask_t old_mirrors = ctx->xout->mirrors;
2875
2876                 xlate_table_action(ctx, flow->in_port.ofp_port, 0, true, true);
2877                 ctx->xout->mirrors = old_mirrors;
2878                 ctx->base_flow = old_base_flow;
2879                 ctx->odp_actions->size = old_size;
2880
2881                 /* Undo changes that may have been done for recirculation. */
2882                 if (exit_recirculates(ctx)) {
2883                     ctx->action_set.size = ctx->recirc_action_offset;
2884                     ctx->recirc_action_offset = -1;
2885                     ctx->last_unroll_offset = -1;
2886                 }
2887             }
2888         }
2889
2890         ctx->xin->flow = old_flow;
2891         ctx->xbridge = xport->xbridge;
2892         ofpbuf_uninit(&ctx->action_set);
2893         ctx->action_set = old_action_set;
2894         ofpbuf_uninit(&ctx->stack);
2895         ctx->stack = old_stack;
2896
2897         /* Restore calling bridge's lookup version. */
2898         ctx->tables_version = old_version;
2899
2900         /* The peer bridge popping MPLS should have no effect on the original
2901          * bridge. */
2902         ctx->was_mpls = old_was_mpls;
2903
2904         /* The fact that the peer bridge exits (for any reason) does not mean
2905          * that the original bridge should exit.  Specifically, if the peer
2906          * bridge recirculates (which typically modifies the packet), the
2907          * original bridge must continue processing with the original, not the
2908          * recirculated packet! */
2909         ctx->exit = false;
2910
2911         if (ctx->xin->resubmit_stats) {
2912             netdev_vport_inc_tx(xport->netdev, ctx->xin->resubmit_stats);
2913             netdev_vport_inc_rx(peer->netdev, ctx->xin->resubmit_stats);
2914             if (peer->bfd) {
2915                 bfd_account_rx(peer->bfd, ctx->xin->resubmit_stats);
2916             }
2917         }
2918         if (ctx->xin->xcache) {
2919             struct xc_entry *entry;
2920
2921             entry = xlate_cache_add_entry(ctx->xin->xcache, XC_NETDEV);
2922             entry->u.dev.tx = netdev_ref(xport->netdev);
2923             entry->u.dev.rx = netdev_ref(peer->netdev);
2924             entry->u.dev.bfd = bfd_ref(peer->bfd);
2925         }
2926         return;
2927     }
2928
2929     flow_vlan_tci = flow->vlan_tci;
2930     flow_pkt_mark = flow->pkt_mark;
2931     flow_nw_tos = flow->nw_tos;
2932
2933     if (count_skb_priorities(xport)) {
2934         memset(&wc->masks.skb_priority, 0xff, sizeof wc->masks.skb_priority);
2935         if (dscp_from_skb_priority(xport, flow->skb_priority, &dscp)) {
2936             wc->masks.nw_tos |= IP_DSCP_MASK;
2937             flow->nw_tos &= ~IP_DSCP_MASK;
2938             flow->nw_tos |= dscp;
2939         }
2940     }
2941
2942     if (xport->is_tunnel) {
2943          /* Save tunnel metadata so that changes made due to
2944           * the Logical (tunnel) Port are not visible for any further
2945           * matches, while explicit set actions on tunnel metadata are.
2946           */
2947         flow_tnl = flow->tunnel;
2948         odp_port = tnl_port_send(xport->ofport, flow, ctx->wc);
2949         if (odp_port == ODPP_NONE) {
2950             xlate_report(ctx, "Tunneling decided against output");
2951             goto out; /* restore flow_nw_tos */
2952         }
2953         if (flow->tunnel.ip_dst == ctx->orig_tunnel_ip_dst) {
2954             xlate_report(ctx, "Not tunneling to our own address");
2955             goto out; /* restore flow_nw_tos */
2956         }
2957         if (ctx->xin->resubmit_stats) {
2958             netdev_vport_inc_tx(xport->netdev, ctx->xin->resubmit_stats);
2959         }
2960         if (ctx->xin->xcache) {
2961             struct xc_entry *entry;
2962
2963             entry = xlate_cache_add_entry(ctx->xin->xcache, XC_NETDEV);
2964             entry->u.dev.tx = netdev_ref(xport->netdev);
2965         }
2966         out_port = odp_port;
2967         if (ovs_native_tunneling_is_on(ctx->xbridge->ofproto)) {
2968             xlate_report(ctx, "output to native tunnel");
2969             tnl_push_pop_send = true;
2970         } else {
2971             xlate_report(ctx, "output to kernel tunnel");
2972             commit_odp_tunnel_action(flow, &ctx->base_flow, ctx->odp_actions);
2973             flow->tunnel = flow_tnl; /* Restore tunnel metadata */
2974         }
2975     } else {
2976         odp_port = xport->odp_port;
2977         out_port = odp_port;
2978         if (ofproto_has_vlan_splinters(ctx->xbridge->ofproto)) {
2979             ofp_port_t vlandev_port;
2980
2981             wc->masks.vlan_tci |= htons(VLAN_VID_MASK | VLAN_CFI);
2982             vlandev_port = vsp_realdev_to_vlandev(ctx->xbridge->ofproto,
2983                                                   ofp_port, flow->vlan_tci);
2984             if (vlandev_port != ofp_port) {
2985                 out_port = ofp_port_to_odp_port(ctx->xbridge, vlandev_port);
2986                 flow->vlan_tci = htons(0);
2987             }
2988         }
2989     }
2990
2991     if (out_port != ODPP_NONE) {
2992         bool use_masked = ctx->xbridge->support.masked_set_action;
2993
2994         ctx->xout->slow |= commit_odp_actions(flow, &ctx->base_flow,
2995                                               ctx->odp_actions,
2996                                               wc, use_masked);
2997
2998         if (xr) {
2999             struct ovs_action_hash *act_hash;
3000
3001             /* Hash action. */
3002             act_hash = nl_msg_put_unspec_uninit(ctx->odp_actions,
3003                                                 OVS_ACTION_ATTR_HASH,
3004                                                 sizeof *act_hash);
3005             act_hash->hash_alg = xr->hash_alg;
3006             act_hash->hash_basis = xr->hash_basis;
3007
3008             /* Recirc action. */
3009             nl_msg_put_u32(ctx->odp_actions, OVS_ACTION_ATTR_RECIRC,
3010                            xr->recirc_id);
3011         } else {
3012
3013             if (tnl_push_pop_send) {
3014                 build_tunnel_send(ctx, xport, flow, odp_port);
3015                 flow->tunnel = flow_tnl; /* Restore tunnel metadata */
3016             } else {
3017                 odp_port_t odp_tnl_port = ODPP_NONE;
3018
3019                 /* XXX: Write better Filter for tunnel port. We can use inport
3020                 * int tunnel-port flow to avoid these checks completely. */
3021                 if (ofp_port == OFPP_LOCAL &&
3022                     ovs_native_tunneling_is_on(ctx->xbridge->ofproto)) {
3023
3024                     odp_tnl_port = tnl_port_map_lookup(flow, wc);
3025                 }
3026
3027                 if (odp_tnl_port != ODPP_NONE) {
3028                     nl_msg_put_odp_port(ctx->odp_actions,
3029                                         OVS_ACTION_ATTR_TUNNEL_POP,
3030                                         odp_tnl_port);
3031                 } else {
3032                     /* Tunnel push-pop action is not compatible with
3033                      * IPFIX action. */
3034                     compose_ipfix_action(ctx, out_port);
3035                     nl_msg_put_odp_port(ctx->odp_actions,
3036                                         OVS_ACTION_ATTR_OUTPUT,
3037                                         out_port);
3038                }
3039            }
3040         }
3041
3042         ctx->sflow_odp_port = odp_port;
3043         ctx->sflow_n_outputs++;
3044         ctx->xout->nf_output_iface = ofp_port;
3045     }
3046
3047  out:
3048     /* Restore flow */
3049     flow->vlan_tci = flow_vlan_tci;
3050     flow->pkt_mark = flow_pkt_mark;
3051     flow->nw_tos = flow_nw_tos;
3052 }
3053
3054 static void
3055 compose_output_action(struct xlate_ctx *ctx, ofp_port_t ofp_port,
3056                       const struct xlate_bond_recirc *xr)
3057 {
3058     compose_output_action__(ctx, ofp_port, xr, true);
3059 }
3060
3061 static void
3062 xlate_recursively(struct xlate_ctx *ctx, struct rule_dpif *rule)
3063 {
3064     struct rule_dpif *old_rule = ctx->rule;
3065     ovs_be64 old_cookie = ctx->rule_cookie;
3066     const struct rule_actions *actions;
3067
3068     if (ctx->xin->resubmit_stats) {
3069         rule_dpif_credit_stats(rule, ctx->xin->resubmit_stats);
3070     }
3071
3072     ctx->resubmits++;
3073     ctx->recurse++;
3074     ctx->rule = rule;
3075     ctx->rule_cookie = rule_dpif_get_flow_cookie(rule);
3076     actions = rule_dpif_get_actions(rule);
3077     do_xlate_actions(actions->ofpacts, actions->ofpacts_len, ctx);
3078     ctx->rule_cookie = old_cookie;
3079     ctx->rule = old_rule;
3080     ctx->recurse--;
3081 }
3082
3083 static bool
3084 xlate_resubmit_resource_check(struct xlate_ctx *ctx)
3085 {
3086     static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 1);
3087
3088     if (ctx->recurse >= MAX_RESUBMIT_RECURSION + MAX_INTERNAL_RESUBMITS) {
3089         VLOG_ERR_RL(&rl, "resubmit actions recursed over %d times",
3090                     MAX_RESUBMIT_RECURSION);
3091     } else if (ctx->resubmits >= MAX_RESUBMITS + MAX_INTERNAL_RESUBMITS) {
3092         VLOG_ERR_RL(&rl, "over %d resubmit actions", MAX_RESUBMITS);
3093     } else if (ctx->odp_actions->size > UINT16_MAX) {
3094         VLOG_ERR_RL(&rl, "resubmits yielded over 64 kB of actions");
3095     } else if (ctx->stack.size >= 65536) {
3096         VLOG_ERR_RL(&rl, "resubmits yielded over 64 kB of stack");
3097     } else {
3098         return true;
3099     }
3100
3101     return false;
3102 }
3103
3104 static void
3105 xlate_table_action(struct xlate_ctx *ctx, ofp_port_t in_port, uint8_t table_id,
3106                    bool may_packet_in, bool honor_table_miss)
3107 {
3108     /* Check if we need to recirculate before matching in a table. */
3109     if (ctx->was_mpls) {
3110         ctx_trigger_recirculation(ctx);
3111         return;
3112     }
3113     if (xlate_resubmit_resource_check(ctx)) {
3114         uint8_t old_table_id = ctx->table_id;
3115         struct rule_dpif *rule;
3116
3117         ctx->table_id = table_id;
3118
3119         rule = rule_dpif_lookup_from_table(ctx->xbridge->ofproto,
3120                                            ctx->tables_version,
3121                                            &ctx->xin->flow, ctx->xin->wc,
3122                                            ctx->xin->xcache != NULL,
3123                                            ctx->xin->resubmit_stats,
3124                                            &ctx->table_id, in_port,
3125                                            may_packet_in, honor_table_miss);
3126
3127         if (OVS_UNLIKELY(ctx->xin->resubmit_hook)) {
3128             ctx->xin->resubmit_hook(ctx->xin, rule, ctx->recurse + 1);
3129         }
3130
3131         if (rule) {
3132             /* Fill in the cache entry here instead of xlate_recursively
3133              * to make the reference counting more explicit.  We take a
3134              * reference in the lookups above if we are going to cache the
3135              * rule. */
3136             if (ctx->xin->xcache) {
3137                 struct xc_entry *entry;
3138
3139                 entry = xlate_cache_add_entry(ctx->xin->xcache, XC_RULE);
3140                 entry->u.rule = rule;
3141             }
3142             xlate_recursively(ctx, rule);
3143         }
3144
3145         ctx->table_id = old_table_id;
3146         return;
3147     }
3148
3149     ctx->exit = true;
3150 }
3151
3152 static void
3153 xlate_group_stats(struct xlate_ctx *ctx, struct group_dpif *group,
3154                   struct ofputil_bucket *bucket)
3155 {
3156     if (ctx->xin->resubmit_stats) {
3157         group_dpif_credit_stats(group, bucket, ctx->xin->resubmit_stats);
3158     }
3159     if (ctx->xin->xcache) {
3160         struct xc_entry *entry;
3161
3162         entry = xlate_cache_add_entry(ctx->xin->xcache, XC_GROUP);
3163         entry->u.group.group = group_dpif_ref(group);
3164         entry->u.group.bucket = bucket;
3165     }
3166 }
3167
3168 static void
3169 xlate_group_bucket(struct xlate_ctx *ctx, struct ofputil_bucket *bucket)
3170 {
3171     uint64_t action_list_stub[1024 / 8];
3172     struct ofpbuf action_list, action_set;
3173     struct flow old_flow = ctx->xin->flow;
3174     bool old_was_mpls = ctx->was_mpls;
3175
3176     ofpbuf_use_const(&action_set, bucket->ofpacts, bucket->ofpacts_len);
3177     ofpbuf_use_stub(&action_list, action_list_stub, sizeof action_list_stub);
3178
3179     ofpacts_execute_action_set(&action_list, &action_set);
3180     ctx->recurse++;
3181     do_xlate_actions(action_list.data, action_list.size, ctx);
3182     ctx->recurse--;
3183
3184     ofpbuf_uninit(&action_set);
3185     ofpbuf_uninit(&action_list);
3186
3187     /* Check if need to recirculate. */
3188     if (exit_recirculates(ctx)) {
3189         compose_recirculate_action(ctx);
3190     }
3191
3192     /* Roll back flow to previous state.
3193      * This is equivalent to cloning the packet for each bucket.
3194      *
3195      * As a side effect any subsequently applied actions will
3196      * also effectively be applied to a clone of the packet taken
3197      * just before applying the all or indirect group.
3198      *
3199      * Note that group buckets are action sets, hence they cannot modify the
3200      * main action set.  Also any stack actions are ignored when executing an
3201      * action set, so group buckets cannot change the stack either.
3202      * However, we do allow resubmit actions in group buckets, which could
3203      * break the above assumptions.  It is up to the controller to not mess up
3204      * with the action_set and stack in the tables resubmitted to from
3205      * group buckets. */
3206     ctx->xin->flow = old_flow;
3207
3208     /* The group bucket popping MPLS should have no effect after bucket
3209      * execution. */
3210     ctx->was_mpls = old_was_mpls;
3211
3212     /* The fact that the group bucket exits (for any reason) does not mean that
3213      * the translation after the group action should exit.  Specifically, if
3214      * the group bucket recirculates (which typically modifies the packet), the
3215      * actions after the group action must continue processing with the
3216      * original, not the recirculated packet! */
3217     ctx->exit = false;
3218 }
3219
3220 static void
3221 xlate_all_group(struct xlate_ctx *ctx, struct group_dpif *group)
3222 {
3223     struct ofputil_bucket *bucket;
3224     const struct ovs_list *buckets;
3225
3226     group_dpif_get_buckets(group, &buckets);
3227
3228     LIST_FOR_EACH (bucket, list_node, buckets) {
3229         xlate_group_bucket(ctx, bucket);
3230     }
3231     xlate_group_stats(ctx, group, NULL);
3232 }
3233
3234 static void
3235 xlate_ff_group(struct xlate_ctx *ctx, struct group_dpif *group)
3236 {
3237     struct ofputil_bucket *bucket;
3238
3239     bucket = group_first_live_bucket(ctx, group, 0);
3240     if (bucket) {
3241         xlate_group_bucket(ctx, bucket);
3242         xlate_group_stats(ctx, group, bucket);
3243     }
3244 }
3245
3246 static void
3247 xlate_default_select_group(struct xlate_ctx *ctx, struct group_dpif *group)
3248 {
3249     struct flow_wildcards *wc = ctx->wc;
3250     struct ofputil_bucket *bucket;
3251     uint32_t basis;
3252
3253     basis = flow_hash_symmetric_l4(&ctx->xin->flow, 0);
3254     flow_mask_hash_fields(&ctx->xin->flow, wc, NX_HASH_FIELDS_SYMMETRIC_L4);
3255     bucket = group_best_live_bucket(ctx, group, basis);
3256     if (bucket) {
3257         xlate_group_bucket(ctx, bucket);
3258         xlate_group_stats(ctx, group, bucket);
3259     }
3260 }
3261
3262 static void
3263 xlate_hash_fields_select_group(struct xlate_ctx *ctx, struct group_dpif *group)
3264 {
3265     struct mf_bitmap hash_fields = MF_BITMAP_INITIALIZER;
3266     const struct field_array *fields;
3267     struct ofputil_bucket *bucket;
3268     uint32_t basis;
3269     int i;
3270
3271     fields = group_dpif_get_fields(group);
3272     basis = hash_uint64(group_dpif_get_selection_method_param(group));
3273
3274     /* Determine which fields to hash */
3275     for (i = 0; i < MFF_N_IDS; i++) {
3276         if (bitmap_is_set(fields->used.bm, i)) {
3277             const struct mf_field *mf;
3278
3279             /* If the field is already present in 'hash_fields' then
3280              * this loop has already checked that it and its pre-requisites
3281              * are present in the flow and its pre-requisites have
3282              * already been added to 'hash_fields'. There is nothing more
3283              * to do here and as an optimisation the loop can continue. */
3284             if (bitmap_is_set(hash_fields.bm, i)) {
3285                 continue;
3286             }
3287
3288             mf = mf_from_id(i);
3289
3290             /* Only hash a field if it and its pre-requisites are present
3291              * in the flow. */
3292             if (!mf_are_prereqs_ok(mf, &ctx->xin->flow)) {
3293                 continue;
3294             }
3295
3296             /* Hash both the field and its pre-requisites */
3297             mf_bitmap_set_field_and_prereqs(mf, &hash_fields);
3298         }
3299     }
3300
3301     /* Hash the fields */
3302     for (i = 0; i < MFF_N_IDS; i++) {
3303         if (bitmap_is_set(hash_fields.bm, i)) {
3304             const struct mf_field *mf = mf_from_id(i);
3305             union mf_value value;
3306             int j;
3307
3308             mf_get_value(mf, &ctx->xin->flow, &value);
3309             /* This seems inefficient but so does apply_mask() */
3310             for (j = 0; j < mf->n_bytes; j++) {
3311                 ((uint8_t *) &value)[j] &= ((uint8_t *) &fields->value[i])[j];
3312             }
3313             basis = hash_bytes(&value, mf->n_bytes, basis);
3314
3315             mf_mask_field(mf, &ctx->wc->masks);
3316         }
3317     }
3318
3319     bucket = group_best_live_bucket(ctx, group, basis);
3320     if (bucket) {
3321         xlate_group_bucket(ctx, bucket);
3322         xlate_group_stats(ctx, group, bucket);
3323     }
3324 }
3325
3326 static void
3327 xlate_select_group(struct xlate_ctx *ctx, struct group_dpif *group)
3328 {
3329     const char *selection_method = group_dpif_get_selection_method(group);
3330
3331     if (selection_method[0] == '\0') {
3332         xlate_default_select_group(ctx, group);
3333     } else if (!strcasecmp("hash", selection_method)) {
3334         xlate_hash_fields_select_group(ctx, group);
3335     } else {
3336         /* Parsing of groups should ensure this never happens */
3337         OVS_NOT_REACHED();
3338     }
3339 }
3340
3341 static void
3342 xlate_group_action__(struct xlate_ctx *ctx, struct group_dpif *group)
3343 {
3344     bool was_in_group = ctx->in_group;
3345     ctx->in_group = true;
3346
3347     switch (group_dpif_get_type(group)) {
3348     case OFPGT11_ALL:
3349     case OFPGT11_INDIRECT:
3350         xlate_all_group(ctx, group);
3351         break;
3352     case OFPGT11_SELECT:
3353         xlate_select_group(ctx, group);
3354         break;
3355     case OFPGT11_FF:
3356         xlate_ff_group(ctx, group);
3357         break;
3358     default:
3359         OVS_NOT_REACHED();
3360     }
3361     group_dpif_unref(group);
3362
3363     ctx->in_group = was_in_group;
3364 }
3365
3366 static bool
3367 xlate_group_action(struct xlate_ctx *ctx, uint32_t group_id)
3368 {
3369     if (xlate_resubmit_resource_check(ctx)) {
3370         struct group_dpif *group;
3371         bool got_group;
3372
3373         got_group = group_dpif_lookup(ctx->xbridge->ofproto, group_id, &group);
3374         if (got_group) {
3375             xlate_group_action__(ctx, group);
3376         } else {
3377             return true;
3378         }
3379     }
3380
3381     return false;
3382 }
3383
3384 static void
3385 xlate_ofpact_resubmit(struct xlate_ctx *ctx,
3386                       const struct ofpact_resubmit *resubmit)
3387 {
3388     ofp_port_t in_port;
3389     uint8_t table_id;
3390     bool may_packet_in = false;
3391     bool honor_table_miss = false;
3392
3393     if (ctx->rule && rule_dpif_is_internal(ctx->rule)) {
3394         /* Still allow missed packets to be sent to the controller
3395          * if resubmitting from an internal table. */
3396         may_packet_in = true;
3397         honor_table_miss = true;
3398     }
3399
3400     in_port = resubmit->in_port;
3401     if (in_port == OFPP_IN_PORT) {
3402         in_port = ctx->xin->flow.in_port.ofp_port;
3403     }
3404
3405     table_id = resubmit->table_id;
3406     if (table_id == 255) {
3407         table_id = ctx->table_id;
3408     }
3409
3410     xlate_table_action(ctx, in_port, table_id, may_packet_in,
3411                        honor_table_miss);
3412 }
3413
3414 static void
3415 flood_packets(struct xlate_ctx *ctx, bool all)
3416 {
3417     const struct xport *xport;
3418
3419     HMAP_FOR_EACH (xport, ofp_node, &ctx->xbridge->xports) {
3420         if (xport->ofp_port == ctx->xin->flow.in_port.ofp_port) {
3421             continue;
3422         }
3423
3424         if (all) {
3425             compose_output_action__(ctx, xport->ofp_port, NULL, false);
3426         } else if (!(xport->config & OFPUTIL_PC_NO_FLOOD)) {
3427             compose_output_action(ctx, xport->ofp_port, NULL);
3428         }
3429     }
3430
3431     ctx->xout->nf_output_iface = NF_OUT_FLOOD;
3432 }
3433
3434 static void
3435 execute_controller_action(struct xlate_ctx *ctx, int len,
3436                           enum ofp_packet_in_reason reason,
3437                           uint16_t controller_id)
3438 {
3439     struct ofproto_packet_in *pin;
3440     struct dp_packet *packet;
3441     bool use_masked;
3442
3443     ctx->xout->slow |= SLOW_CONTROLLER;
3444     if (!ctx->xin->packet) {
3445         return;
3446     }
3447
3448     packet = dp_packet_clone(ctx->xin->packet);
3449
3450     use_masked = ctx->xbridge->support.masked_set_action;
3451     ctx->xout->slow |= commit_odp_actions(&ctx->xin->flow, &ctx->base_flow,
3452                                           ctx->odp_actions,
3453                                           ctx->wc, use_masked);
3454
3455     odp_execute_actions(NULL, &packet, 1, false,
3456                         ctx->odp_actions->data, ctx->odp_actions->size, NULL);
3457
3458     pin = xmalloc(sizeof *pin);
3459     pin->up.packet_len = dp_packet_size(packet);
3460     pin->up.packet = dp_packet_steal_data(packet);
3461     pin->up.reason = reason;
3462     pin->up.table_id = ctx->table_id;
3463     pin->up.cookie = ctx->rule_cookie;
3464
3465     flow_get_metadata(&ctx->xin->flow, &pin->up.flow_metadata);
3466
3467     pin->controller_id = controller_id;
3468     pin->send_len = len;
3469     /* If a rule is a table-miss rule then this is
3470      * a table-miss handled by a table-miss rule.
3471      *
3472      * Else, if rule is internal and has a controller action,
3473      * the later being implied by the rule being processed here,
3474      * then this is a table-miss handled without a table-miss rule.
3475      *
3476      * Otherwise this is not a table-miss. */
3477     pin->miss_type = OFPROTO_PACKET_IN_NO_MISS;
3478     if (ctx->rule) {
3479         if (rule_dpif_is_table_miss(ctx->rule)) {
3480             pin->miss_type = OFPROTO_PACKET_IN_MISS_FLOW;
3481         } else if (rule_dpif_is_internal(ctx->rule)) {
3482             pin->miss_type = OFPROTO_PACKET_IN_MISS_WITHOUT_FLOW;
3483         }
3484     }
3485     ofproto_dpif_send_packet_in(ctx->xbridge->ofproto, pin);
3486     dp_packet_delete(packet);
3487 }
3488
3489 /* Called only when ctx->recirc_action_offset is set. */
3490 static void
3491 compose_recirculate_action(struct xlate_ctx *ctx)
3492 {
3493     struct recirc_metadata md;
3494     bool use_masked;
3495     uint32_t id;
3496
3497     use_masked = ctx->xbridge->support.masked_set_action;
3498     ctx->xout->slow |= commit_odp_actions(&ctx->xin->flow, &ctx->base_flow,
3499                                           ctx->odp_actions,
3500                                           ctx->wc, use_masked);
3501
3502     recirc_metadata_from_flow(&md, &ctx->xin->flow);
3503
3504     ovs_assert(ctx->recirc_action_offset >= 0);
3505
3506     /* Only allocate recirculation ID if we have a packet. */
3507     if (ctx->xin->packet) {
3508         /* Allocate a unique recirc id for the given metadata state in the
3509          * flow.  The life-cycle of this recirc id is managed by associating it
3510          * with the udpif key ('ukey') created for each new datapath flow. */
3511         id = recirc_alloc_id_ctx(ctx->xbridge->ofproto, 0, &md, &ctx->stack,
3512                                  ctx->recirc_action_offset,
3513                                  ctx->action_set.size, ctx->action_set.data);
3514         if (!id) {
3515             static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
3516             VLOG_ERR_RL(&rl, "Failed to allocate recirculation id");
3517             return;
3518         }
3519         xlate_out_add_recirc(ctx->xout, id);
3520     } else {
3521         /* Look up an existing recirc id for the given metadata state in the
3522          * flow.  No new reference is taken, as the ID is RCU protected and is
3523          * only required temporarily for verification. */
3524         id = recirc_find_id(ctx->xbridge->ofproto, 0, &md, &ctx->stack,
3525                             ctx->recirc_action_offset,
3526                             ctx->action_set.size, ctx->action_set.data);
3527         /* We let zero 'id' to be used in the RECIRC action below, which will
3528          * fail all revalidations as zero is not a valid recirculation ID. */
3529     }
3530
3531     nl_msg_put_u32(ctx->odp_actions, OVS_ACTION_ATTR_RECIRC, id);
3532
3533     /* Undo changes done by recirculation. */
3534     ctx->action_set.size = ctx->recirc_action_offset;
3535     ctx->recirc_action_offset = -1;
3536     ctx->last_unroll_offset = -1;
3537 }
3538
3539 static void
3540 compose_mpls_push_action(struct xlate_ctx *ctx, struct ofpact_push_mpls *mpls)
3541 {
3542     struct flow *flow = &ctx->xin->flow;
3543     int n;
3544
3545     ovs_assert(eth_type_mpls(mpls->ethertype));
3546
3547     n = flow_count_mpls_labels(flow, ctx->wc);
3548     if (!n) {
3549         bool use_masked = ctx->xbridge->support.masked_set_action;
3550
3551         ctx->xout->slow |= commit_odp_actions(flow, &ctx->base_flow,
3552                                               ctx->odp_actions,
3553                                               ctx->wc, use_masked);
3554     } else if (n >= FLOW_MAX_MPLS_LABELS) {
3555         if (ctx->xin->packet != NULL) {
3556             static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
3557             VLOG_WARN_RL(&rl, "bridge %s: dropping packet on which an "
3558                          "MPLS push action can't be performed as it would "
3559                          "have more MPLS LSEs than the %d supported.",
3560                          ctx->xbridge->name, FLOW_MAX_MPLS_LABELS);
3561         }
3562         ctx->exit = true;
3563         return;
3564     }
3565
3566     flow_push_mpls(flow, n, mpls->ethertype, ctx->wc);
3567 }
3568
3569 static void
3570 compose_mpls_pop_action(struct xlate_ctx *ctx, ovs_be16 eth_type)
3571 {
3572     struct flow *flow = &ctx->xin->flow;
3573     int n = flow_count_mpls_labels(flow, ctx->wc);
3574
3575     if (flow_pop_mpls(flow, n, eth_type, ctx->wc)) {
3576         if (ctx->xbridge->support.odp.recirc) {
3577             ctx->was_mpls = true;
3578         }
3579     } else if (n >= FLOW_MAX_MPLS_LABELS) {
3580         if (ctx->xin->packet != NULL) {
3581             static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
3582             VLOG_WARN_RL(&rl, "bridge %s: dropping packet on which an "
3583                          "MPLS pop action can't be performed as it has "
3584                          "more MPLS LSEs than the %d supported.",
3585                          ctx->xbridge->name, FLOW_MAX_MPLS_LABELS);
3586         }
3587         ctx->exit = true;
3588         ofpbuf_clear(ctx->odp_actions);
3589     }
3590 }
3591
3592 static bool
3593 compose_dec_ttl(struct xlate_ctx *ctx, struct ofpact_cnt_ids *ids)
3594 {
3595     struct flow *flow = &ctx->xin->flow;
3596
3597     if (!is_ip_any(flow)) {
3598         return false;
3599     }
3600
3601     ctx->wc->masks.nw_ttl = 0xff;
3602     if (flow->nw_ttl > 1) {
3603         flow->nw_ttl--;
3604         return false;
3605     } else {
3606         size_t i;
3607
3608         for (i = 0; i < ids->n_controllers; i++) {
3609             execute_controller_action(ctx, UINT16_MAX, OFPR_INVALID_TTL,
3610                                       ids->cnt_ids[i]);
3611         }
3612
3613         /* Stop processing for current table. */
3614         return true;
3615     }
3616 }
3617
3618 static void
3619 compose_set_mpls_label_action(struct xlate_ctx *ctx, ovs_be32 label)
3620 {
3621     if (eth_type_mpls(ctx->xin->flow.dl_type)) {
3622         ctx->wc->masks.mpls_lse[0] |= htonl(MPLS_LABEL_MASK);
3623         set_mpls_lse_label(&ctx->xin->flow.mpls_lse[0], label);
3624     }
3625 }
3626
3627 static void
3628 compose_set_mpls_tc_action(struct xlate_ctx *ctx, uint8_t tc)
3629 {
3630     if (eth_type_mpls(ctx->xin->flow.dl_type)) {
3631         ctx->wc->masks.mpls_lse[0] |= htonl(MPLS_TC_MASK);
3632         set_mpls_lse_tc(&ctx->xin->flow.mpls_lse[0], tc);
3633     }
3634 }
3635
3636 static void
3637 compose_set_mpls_ttl_action(struct xlate_ctx *ctx, uint8_t ttl)
3638 {
3639     if (eth_type_mpls(ctx->xin->flow.dl_type)) {
3640         ctx->wc->masks.mpls_lse[0] |= htonl(MPLS_TTL_MASK);
3641         set_mpls_lse_ttl(&ctx->xin->flow.mpls_lse[0], ttl);
3642     }
3643 }
3644
3645 static bool
3646 compose_dec_mpls_ttl_action(struct xlate_ctx *ctx)
3647 {
3648     struct flow *flow = &ctx->xin->flow;
3649
3650     if (eth_type_mpls(flow->dl_type)) {
3651         uint8_t ttl = mpls_lse_to_ttl(flow->mpls_lse[0]);
3652
3653         ctx->wc->masks.mpls_lse[0] |= htonl(MPLS_TTL_MASK);
3654         if (ttl > 1) {
3655             ttl--;
3656             set_mpls_lse_ttl(&flow->mpls_lse[0], ttl);
3657             return false;
3658         } else {
3659             execute_controller_action(ctx, UINT16_MAX, OFPR_INVALID_TTL, 0);
3660         }
3661     }
3662
3663     /* Stop processing for current table. */
3664     return true;
3665 }
3666
3667 static void
3668 xlate_output_action(struct xlate_ctx *ctx,
3669                     ofp_port_t port, uint16_t max_len, bool may_packet_in)
3670 {
3671     ofp_port_t prev_nf_output_iface = ctx->xout->nf_output_iface;
3672
3673     ctx->xout->nf_output_iface = NF_OUT_DROP;
3674
3675     switch (port) {
3676     case OFPP_IN_PORT:
3677         compose_output_action(ctx, ctx->xin->flow.in_port.ofp_port, NULL);
3678         break;
3679     case OFPP_TABLE:
3680         xlate_table_action(ctx, ctx->xin->flow.in_port.ofp_port,
3681                            0, may_packet_in, true);
3682         break;
3683     case OFPP_NORMAL:
3684         xlate_normal(ctx);
3685         break;
3686     case OFPP_FLOOD:
3687         flood_packets(ctx,  false);
3688         break;
3689     case OFPP_ALL:
3690         flood_packets(ctx, true);
3691         break;
3692     case OFPP_CONTROLLER:
3693         execute_controller_action(ctx, max_len,
3694                                   (ctx->in_group ? OFPR_GROUP
3695                                    : ctx->in_action_set ? OFPR_ACTION_SET
3696                                    : OFPR_ACTION),
3697                                   0);
3698         break;
3699     case OFPP_NONE:
3700         break;
3701     case OFPP_LOCAL:
3702     default:
3703         if (port != ctx->xin->flow.in_port.ofp_port) {
3704             compose_output_action(ctx, port, NULL);
3705         } else {
3706             xlate_report(ctx, "skipping output to input port");
3707         }
3708         break;
3709     }
3710
3711     if (prev_nf_output_iface == NF_OUT_FLOOD) {
3712         ctx->xout->nf_output_iface = NF_OUT_FLOOD;
3713     } else if (ctx->xout->nf_output_iface == NF_OUT_DROP) {
3714         ctx->xout->nf_output_iface = prev_nf_output_iface;
3715     } else if (prev_nf_output_iface != NF_OUT_DROP &&
3716                ctx->xout->nf_output_iface != NF_OUT_FLOOD) {
3717         ctx->xout->nf_output_iface = NF_OUT_MULTI;
3718     }
3719 }
3720
3721 static void
3722 xlate_output_reg_action(struct xlate_ctx *ctx,
3723                         const struct ofpact_output_reg *or)
3724 {
3725     uint64_t port = mf_get_subfield(&or->src, &ctx->xin->flow);
3726     if (port <= UINT16_MAX) {
3727         union mf_subvalue value;
3728
3729         memset(&value, 0xff, sizeof value);
3730         mf_write_subfield_flow(&or->src, &value, &ctx->wc->masks);
3731         xlate_output_action(ctx, u16_to_ofp(port),
3732                             or->max_len, false);
3733     }
3734 }
3735
3736 static void
3737 xlate_enqueue_action(struct xlate_ctx *ctx,
3738                      const struct ofpact_enqueue *enqueue)
3739 {
3740     ofp_port_t ofp_port = enqueue->port;
3741     uint32_t queue_id = enqueue->queue;
3742     uint32_t flow_priority, priority;
3743     int error;
3744
3745     /* Translate queue to priority. */
3746     error = dpif_queue_to_priority(ctx->xbridge->dpif, queue_id, &priority);
3747     if (error) {
3748         /* Fall back to ordinary output action. */
3749         xlate_output_action(ctx, enqueue->port, 0, false);
3750         return;
3751     }
3752
3753     /* Check output port. */
3754     if (ofp_port == OFPP_IN_PORT) {
3755         ofp_port = ctx->xin->flow.in_port.ofp_port;
3756     } else if (ofp_port == ctx->xin->flow.in_port.ofp_port) {
3757         return;
3758     }
3759
3760     /* Add datapath actions. */
3761     flow_priority = ctx->xin->flow.skb_priority;
3762     ctx->xin->flow.skb_priority = priority;
3763     compose_output_action(ctx, ofp_port, NULL);
3764     ctx->xin->flow.skb_priority = flow_priority;
3765
3766     /* Update NetFlow output port. */
3767     if (ctx->xout->nf_output_iface == NF_OUT_DROP) {
3768         ctx->xout->nf_output_iface = ofp_port;
3769     } else if (ctx->xout->nf_output_iface != NF_OUT_FLOOD) {
3770         ctx->xout->nf_output_iface = NF_OUT_MULTI;
3771     }
3772 }
3773
3774 static void
3775 xlate_set_queue_action(struct xlate_ctx *ctx, uint32_t queue_id)
3776 {
3777     uint32_t skb_priority;
3778
3779     if (!dpif_queue_to_priority(ctx->xbridge->dpif, queue_id, &skb_priority)) {
3780         ctx->xin->flow.skb_priority = skb_priority;
3781     } else {
3782         /* Couldn't translate queue to a priority.  Nothing to do.  A warning
3783          * has already been logged. */
3784     }
3785 }
3786
3787 static bool
3788 slave_enabled_cb(ofp_port_t ofp_port, void *xbridge_)
3789 {
3790     const struct xbridge *xbridge = xbridge_;
3791     struct xport *port;
3792
3793     switch (ofp_port) {
3794     case OFPP_IN_PORT:
3795     case OFPP_TABLE:
3796     case OFPP_NORMAL:
3797     case OFPP_FLOOD:
3798     case OFPP_ALL:
3799     case OFPP_NONE:
3800         return true;
3801     case OFPP_CONTROLLER: /* Not supported by the bundle action. */
3802         return false;
3803     default:
3804         port = get_ofp_port(xbridge, ofp_port);
3805         return port ? port->may_enable : false;
3806     }
3807 }
3808
3809 static void
3810 xlate_bundle_action(struct xlate_ctx *ctx,
3811                     const struct ofpact_bundle *bundle)
3812 {
3813     ofp_port_t port;
3814
3815     port = bundle_execute(bundle, &ctx->xin->flow, ctx->wc, slave_enabled_cb,
3816                           CONST_CAST(struct xbridge *, ctx->xbridge));
3817     if (bundle->dst.field) {
3818         nxm_reg_load(&bundle->dst, ofp_to_u16(port), &ctx->xin->flow, ctx->wc);
3819     } else {
3820         xlate_output_action(ctx, port, 0, false);
3821     }
3822 }
3823
3824 static void
3825 xlate_learn_action__(struct xlate_ctx *ctx, const struct ofpact_learn *learn,
3826                      struct ofputil_flow_mod *fm, struct ofpbuf *ofpacts)
3827 {
3828     learn_execute(learn, &ctx->xin->flow, fm, ofpacts);
3829     if (ctx->xin->may_learn) {
3830         ofproto_dpif_flow_mod(ctx->xbridge->ofproto, fm);
3831     }
3832 }
3833
3834 static void
3835 xlate_learn_action(struct xlate_ctx *ctx, const struct ofpact_learn *learn)
3836 {
3837     ctx->xout->has_learn = true;
3838     learn_mask(learn, ctx->wc);
3839
3840     if (ctx->xin->xcache) {
3841         struct xc_entry *entry;
3842
3843         entry = xlate_cache_add_entry(ctx->xin->xcache, XC_LEARN);
3844         entry->u.learn.ofproto = ctx->xbridge->ofproto;
3845         entry->u.learn.fm = xmalloc(sizeof *entry->u.learn.fm);
3846         entry->u.learn.ofpacts = ofpbuf_new(64);
3847         xlate_learn_action__(ctx, learn, entry->u.learn.fm,
3848                              entry->u.learn.ofpacts);
3849     } else if (ctx->xin->may_learn) {
3850         uint64_t ofpacts_stub[1024 / 8];
3851         struct ofputil_flow_mod fm;
3852         struct ofpbuf ofpacts;
3853
3854         ofpbuf_use_stub(&ofpacts, ofpacts_stub, sizeof ofpacts_stub);
3855         xlate_learn_action__(ctx, learn, &fm, &ofpacts);
3856         ofpbuf_uninit(&ofpacts);
3857     }
3858 }
3859
3860 static void
3861 xlate_fin_timeout__(struct rule_dpif *rule, uint16_t tcp_flags,
3862                     uint16_t idle_timeout, uint16_t hard_timeout)
3863 {
3864     if (tcp_flags & (TCP_FIN | TCP_RST)) {
3865         rule_dpif_reduce_timeouts(rule, idle_timeout, hard_timeout);
3866     }
3867 }
3868
3869 static void
3870 xlate_fin_timeout(struct xlate_ctx *ctx,
3871                   const struct ofpact_fin_timeout *oft)
3872 {
3873     if (ctx->rule) {
3874         xlate_fin_timeout__(ctx->rule, ctx->xin->tcp_flags,
3875                             oft->fin_idle_timeout, oft->fin_hard_timeout);
3876         if (ctx->xin->xcache) {
3877             struct xc_entry *entry;
3878
3879             entry = xlate_cache_add_entry(ctx->xin->xcache, XC_FIN_TIMEOUT);
3880             /* XC_RULE already holds a reference on the rule, none is taken
3881              * here. */
3882             entry->u.fin.rule = ctx->rule;
3883             entry->u.fin.idle = oft->fin_idle_timeout;
3884             entry->u.fin.hard = oft->fin_hard_timeout;
3885         }
3886     }
3887 }
3888
3889 static void
3890 xlate_sample_action(struct xlate_ctx *ctx,
3891                     const struct ofpact_sample *os)
3892 {
3893     /* Scale the probability from 16-bit to 32-bit while representing
3894      * the same percentage. */
3895     uint32_t probability = (os->probability << 16) | os->probability;
3896     bool use_masked;
3897
3898     if (!ctx->xbridge->support.variable_length_userdata) {
3899         static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 1);
3900
3901         VLOG_ERR_RL(&rl, "ignoring NXAST_SAMPLE action because datapath "
3902                     "lacks support (needs Linux 3.10+ or kernel module from "
3903                     "OVS 1.11+)");
3904         return;
3905     }
3906
3907     use_masked = ctx->xbridge->support.masked_set_action;
3908     ctx->xout->slow |= commit_odp_actions(&ctx->xin->flow, &ctx->base_flow,
3909                                           ctx->odp_actions,
3910                                           ctx->wc, use_masked);
3911
3912     union user_action_cookie cookie = {
3913         .flow_sample = {
3914             .type = USER_ACTION_COOKIE_FLOW_SAMPLE,
3915             .probability = os->probability,
3916             .collector_set_id = os->collector_set_id,
3917             .obs_domain_id = os->obs_domain_id,
3918             .obs_point_id = os->obs_point_id,
3919         }
3920     };
3921     compose_sample_action(ctx, probability, &cookie, sizeof cookie.flow_sample,
3922                           ODPP_NONE, false);
3923 }
3924
3925 static bool
3926 may_receive(const struct xport *xport, struct xlate_ctx *ctx)
3927 {
3928     if (xport->config & (is_stp(&ctx->xin->flow)
3929                          ? OFPUTIL_PC_NO_RECV_STP
3930                          : OFPUTIL_PC_NO_RECV)) {
3931         return false;
3932     }
3933
3934     /* Only drop packets here if both forwarding and learning are
3935      * disabled.  If just learning is enabled, we need to have
3936      * OFPP_NORMAL and the learning action have a look at the packet
3937      * before we can drop it. */
3938     if ((!xport_stp_forward_state(xport) && !xport_stp_learn_state(xport)) ||
3939         (!xport_rstp_forward_state(xport) && !xport_rstp_learn_state(xport))) {
3940         return false;
3941     }
3942
3943     return true;
3944 }
3945
3946 static void
3947 xlate_write_actions(struct xlate_ctx *ctx, const struct ofpact *a)
3948 {
3949     const struct ofpact_nest *on = ofpact_get_WRITE_ACTIONS(a);
3950     size_t on_len = ofpact_nest_get_action_len(on);
3951     const struct ofpact *inner;
3952
3953     /* Maintain actset_output depending on the contents of the action set:
3954      *
3955      *   - OFPP_UNSET, if there is no "output" action.
3956      *
3957      *   - The output port, if there is an "output" action and no "group"
3958      *     action.
3959      *
3960      *   - OFPP_UNSET, if there is a "group" action.
3961      */
3962     if (!ctx->action_set_has_group) {
3963         OFPACT_FOR_EACH (inner, on->actions, on_len) {
3964             if (inner->type == OFPACT_OUTPUT) {
3965                 ctx->xin->flow.actset_output = ofpact_get_OUTPUT(inner)->port;
3966             } else if (inner->type == OFPACT_GROUP) {
3967                 ctx->xin->flow.actset_output = OFPP_UNSET;
3968                 ctx->action_set_has_group = true;
3969                 break;
3970             }
3971         }
3972     }
3973
3974     ofpbuf_put(&ctx->action_set, on->actions, on_len);
3975     ofpact_pad(&ctx->action_set);
3976 }
3977
3978 static void
3979 xlate_action_set(struct xlate_ctx *ctx)
3980 {
3981     uint64_t action_list_stub[1024 / 64];
3982     struct ofpbuf action_list;
3983
3984     ctx->in_action_set = true;
3985     ofpbuf_use_stub(&action_list, action_list_stub, sizeof action_list_stub);
3986     ofpacts_execute_action_set(&action_list, &ctx->action_set);
3987     /* Clear the action set, as it is not needed any more. */
3988     ofpbuf_clear(&ctx->action_set);
3989     do_xlate_actions(action_list.data, action_list.size, ctx);
3990     ctx->in_action_set = false;
3991     ofpbuf_uninit(&action_list);
3992 }
3993
3994 static void
3995 recirc_put_unroll_xlate(struct xlate_ctx *ctx)
3996 {
3997     struct ofpact_unroll_xlate *unroll;
3998
3999     unroll = ctx->last_unroll_offset < 0
4000         ? NULL
4001         : ALIGNED_CAST(struct ofpact_unroll_xlate *,
4002                        (char *)ctx->action_set.data + ctx->last_unroll_offset);
4003
4004     /* Restore the table_id and rule cookie for a potential PACKET
4005      * IN if needed. */
4006     if (!unroll ||
4007         (ctx->table_id != unroll->rule_table_id
4008          || ctx->rule_cookie != unroll->rule_cookie)) {
4009
4010         ctx->last_unroll_offset = ctx->action_set.size;
4011         unroll = ofpact_put_UNROLL_XLATE(&ctx->action_set);
4012         unroll->rule_table_id = ctx->table_id;
4013         unroll->rule_cookie = ctx->rule_cookie;
4014     }
4015 }
4016
4017
4018 /* Copy remaining actions to the action_set to be executed after recirculation.
4019  * UNROLL_XLATE action is inserted, if not already done so, before actions that
4020  * may generate PACKET_INs from the current table and without matching another
4021  * rule. */
4022 static void
4023 recirc_unroll_actions(const struct ofpact *ofpacts, size_t ofpacts_len,
4024                       struct xlate_ctx *ctx)
4025 {
4026     const struct ofpact *a;
4027
4028     OFPACT_FOR_EACH (a, ofpacts, ofpacts_len) {
4029         switch (a->type) {
4030             /* May generate PACKET INs. */
4031         case OFPACT_OUTPUT_REG:
4032         case OFPACT_GROUP:
4033         case OFPACT_OUTPUT:
4034         case OFPACT_CONTROLLER:
4035         case OFPACT_DEC_MPLS_TTL:
4036         case OFPACT_DEC_TTL:
4037             recirc_put_unroll_xlate(ctx);
4038             break;
4039
4040             /* These may not generate PACKET INs. */
4041         case OFPACT_SET_TUNNEL:
4042         case OFPACT_REG_MOVE:
4043         case OFPACT_SET_FIELD:
4044         case OFPACT_STACK_PUSH:
4045         case OFPACT_STACK_POP:
4046         case OFPACT_LEARN:
4047         case OFPACT_WRITE_METADATA:
4048         case OFPACT_RESUBMIT:        /* May indirectly generate PACKET INs, */
4049         case OFPACT_GOTO_TABLE:      /* but from a different table and rule. */
4050         case OFPACT_ENQUEUE:
4051         case OFPACT_SET_VLAN_VID:
4052         case OFPACT_SET_VLAN_PCP:
4053         case OFPACT_STRIP_VLAN:
4054         case OFPACT_PUSH_VLAN:
4055         case OFPACT_SET_ETH_SRC:
4056         case OFPACT_SET_ETH_DST:
4057         case OFPACT_SET_IPV4_SRC:
4058         case OFPACT_SET_IPV4_DST:
4059         case OFPACT_SET_IP_DSCP:
4060         case OFPACT_SET_IP_ECN:
4061         case OFPACT_SET_IP_TTL:
4062         case OFPACT_SET_L4_SRC_PORT:
4063         case OFPACT_SET_L4_DST_PORT:
4064         case OFPACT_SET_QUEUE:
4065         case OFPACT_POP_QUEUE:
4066         case OFPACT_PUSH_MPLS:
4067         case OFPACT_POP_MPLS:
4068         case OFPACT_SET_MPLS_LABEL:
4069         case OFPACT_SET_MPLS_TC:
4070         case OFPACT_SET_MPLS_TTL:
4071         case OFPACT_MULTIPATH:
4072         case OFPACT_BUNDLE:
4073         case OFPACT_EXIT:
4074         case OFPACT_UNROLL_XLATE:
4075         case OFPACT_FIN_TIMEOUT:
4076         case OFPACT_CLEAR_ACTIONS:
4077         case OFPACT_WRITE_ACTIONS:
4078         case OFPACT_METER:
4079         case OFPACT_SAMPLE:
4080             break;
4081
4082             /* These need not be copied for restoration. */
4083         case OFPACT_NOTE:
4084         case OFPACT_CONJUNCTION:
4085             continue;
4086         }
4087         /* Copy the action over. */
4088         ofpbuf_put(&ctx->action_set, a, OFPACT_ALIGN(a->len));
4089     }
4090 }
4091
4092 #define CHECK_MPLS_RECIRCULATION()      \
4093     if (ctx->was_mpls) {                \
4094         ctx_trigger_recirculation(ctx); \
4095         break;                          \
4096     }
4097 #define CHECK_MPLS_RECIRCULATION_IF(COND) \
4098     if (COND) {                           \
4099         CHECK_MPLS_RECIRCULATION();       \
4100     }
4101
4102 static void
4103 do_xlate_actions(const struct ofpact *ofpacts, size_t ofpacts_len,
4104                  struct xlate_ctx *ctx)
4105 {
4106     struct flow_wildcards *wc = ctx->wc;
4107     struct flow *flow = &ctx->xin->flow;
4108     const struct ofpact *a;
4109
4110     if (ovs_native_tunneling_is_on(ctx->xbridge->ofproto)) {
4111         tnl_arp_snoop(flow, wc, ctx->xbridge->name);
4112     }
4113     /* dl_type already in the mask, not set below. */
4114
4115     OFPACT_FOR_EACH (a, ofpacts, ofpacts_len) {
4116         struct ofpact_controller *controller;
4117         const struct ofpact_metadata *metadata;
4118         const struct ofpact_set_field *set_field;
4119         const struct mf_field *mf;
4120
4121         if (ctx->exit) {
4122             /* Check if need to store the remaining actions for later
4123              * execution. */
4124             if (exit_recirculates(ctx)) {
4125                 recirc_unroll_actions(a, OFPACT_ALIGN(ofpacts_len -
4126                                                       ((uint8_t *)a -
4127                                                        (uint8_t *)ofpacts)),
4128                                       ctx);
4129             }
4130             break;
4131         }
4132
4133         switch (a->type) {
4134         case OFPACT_OUTPUT:
4135             xlate_output_action(ctx, ofpact_get_OUTPUT(a)->port,
4136                                 ofpact_get_OUTPUT(a)->max_len, true);
4137             break;
4138
4139         case OFPACT_GROUP:
4140             if (xlate_group_action(ctx, ofpact_get_GROUP(a)->group_id)) {
4141                 /* Group could not be found. */
4142                 return;
4143             }
4144             break;
4145
4146         case OFPACT_CONTROLLER:
4147             controller = ofpact_get_CONTROLLER(a);
4148             execute_controller_action(ctx, controller->max_len,
4149                                       controller->reason,
4150                                       controller->controller_id);
4151             break;
4152
4153         case OFPACT_ENQUEUE:
4154             memset(&wc->masks.skb_priority, 0xff,
4155                    sizeof wc->masks.skb_priority);
4156             xlate_enqueue_action(ctx, ofpact_get_ENQUEUE(a));
4157             break;
4158
4159         case OFPACT_SET_VLAN_VID:
4160             wc->masks.vlan_tci |= htons(VLAN_VID_MASK | VLAN_CFI);
4161             if (flow->vlan_tci & htons(VLAN_CFI) ||
4162                 ofpact_get_SET_VLAN_VID(a)->push_vlan_if_needed) {
4163                 flow->vlan_tci &= ~htons(VLAN_VID_MASK);
4164                 flow->vlan_tci |= (htons(ofpact_get_SET_VLAN_VID(a)->vlan_vid)
4165                                    | htons(VLAN_CFI));
4166             }
4167             break;
4168
4169         case OFPACT_SET_VLAN_PCP:
4170             wc->masks.vlan_tci |= htons(VLAN_PCP_MASK | VLAN_CFI);
4171             if (flow->vlan_tci & htons(VLAN_CFI) ||
4172                 ofpact_get_SET_VLAN_PCP(a)->push_vlan_if_needed) {
4173                 flow->vlan_tci &= ~htons(VLAN_PCP_MASK);
4174                 flow->vlan_tci |= htons((ofpact_get_SET_VLAN_PCP(a)->vlan_pcp
4175                                          << VLAN_PCP_SHIFT) | VLAN_CFI);
4176             }
4177             break;
4178
4179         case OFPACT_STRIP_VLAN:
4180             memset(&wc->masks.vlan_tci, 0xff, sizeof wc->masks.vlan_tci);
4181             flow->vlan_tci = htons(0);
4182             break;
4183
4184         case OFPACT_PUSH_VLAN:
4185             /* XXX 802.1AD(QinQ) */
4186             memset(&wc->masks.vlan_tci, 0xff, sizeof wc->masks.vlan_tci);
4187             flow->vlan_tci = htons(VLAN_CFI);
4188             break;
4189
4190         case OFPACT_SET_ETH_SRC:
4191             memset(&wc->masks.dl_src, 0xff, sizeof wc->masks.dl_src);
4192             memcpy(flow->dl_src, ofpact_get_SET_ETH_SRC(a)->mac, ETH_ADDR_LEN);
4193             break;
4194
4195         case OFPACT_SET_ETH_DST:
4196             memset(&wc->masks.dl_dst, 0xff, sizeof wc->masks.dl_dst);
4197             memcpy(flow->dl_dst, ofpact_get_SET_ETH_DST(a)->mac, ETH_ADDR_LEN);
4198             break;
4199
4200         case OFPACT_SET_IPV4_SRC:
4201             CHECK_MPLS_RECIRCULATION();
4202             if (flow->dl_type == htons(ETH_TYPE_IP)) {
4203                 memset(&wc->masks.nw_src, 0xff, sizeof wc->masks.nw_src);
4204                 flow->nw_src = ofpact_get_SET_IPV4_SRC(a)->ipv4;
4205             }
4206             break;
4207
4208         case OFPACT_SET_IPV4_DST:
4209             CHECK_MPLS_RECIRCULATION();
4210             if (flow->dl_type == htons(ETH_TYPE_IP)) {
4211                 memset(&wc->masks.nw_dst, 0xff, sizeof wc->masks.nw_dst);
4212                 flow->nw_dst = ofpact_get_SET_IPV4_DST(a)->ipv4;
4213             }
4214             break;
4215
4216         case OFPACT_SET_IP_DSCP:
4217             CHECK_MPLS_RECIRCULATION();
4218             if (is_ip_any(flow)) {
4219                 wc->masks.nw_tos |= IP_DSCP_MASK;
4220                 flow->nw_tos &= ~IP_DSCP_MASK;
4221                 flow->nw_tos |= ofpact_get_SET_IP_DSCP(a)->dscp;
4222             }
4223             break;
4224
4225         case OFPACT_SET_IP_ECN:
4226             CHECK_MPLS_RECIRCULATION();
4227             if (is_ip_any(flow)) {
4228                 wc->masks.nw_tos |= IP_ECN_MASK;
4229                 flow->nw_tos &= ~IP_ECN_MASK;
4230                 flow->nw_tos |= ofpact_get_SET_IP_ECN(a)->ecn;
4231             }
4232             break;
4233
4234         case OFPACT_SET_IP_TTL:
4235             CHECK_MPLS_RECIRCULATION();
4236             if (is_ip_any(flow)) {
4237                 wc->masks.nw_ttl = 0xff;
4238                 flow->nw_ttl = ofpact_get_SET_IP_TTL(a)->ttl;
4239             }
4240             break;
4241
4242         case OFPACT_SET_L4_SRC_PORT:
4243             CHECK_MPLS_RECIRCULATION();
4244             if (is_ip_any(flow) && !(flow->nw_frag & FLOW_NW_FRAG_LATER)) {
4245                 memset(&wc->masks.nw_proto, 0xff, sizeof wc->masks.nw_proto);
4246                 memset(&wc->masks.tp_src, 0xff, sizeof wc->masks.tp_src);
4247                 flow->tp_src = htons(ofpact_get_SET_L4_SRC_PORT(a)->port);
4248             }
4249             break;
4250
4251         case OFPACT_SET_L4_DST_PORT:
4252             CHECK_MPLS_RECIRCULATION();
4253             if (is_ip_any(flow) && !(flow->nw_frag & FLOW_NW_FRAG_LATER)) {
4254                 memset(&wc->masks.nw_proto, 0xff, sizeof wc->masks.nw_proto);
4255                 memset(&wc->masks.tp_dst, 0xff, sizeof wc->masks.tp_dst);
4256                 flow->tp_dst = htons(ofpact_get_SET_L4_DST_PORT(a)->port);
4257             }
4258             break;
4259
4260         case OFPACT_RESUBMIT:
4261             xlate_ofpact_resubmit(ctx, ofpact_get_RESUBMIT(a));
4262             break;
4263
4264         case OFPACT_SET_TUNNEL:
4265             flow->tunnel.tun_id = htonll(ofpact_get_SET_TUNNEL(a)->tun_id);
4266             break;
4267
4268         case OFPACT_SET_QUEUE:
4269             memset(&wc->masks.skb_priority, 0xff,
4270                    sizeof wc->masks.skb_priority);
4271             xlate_set_queue_action(ctx, ofpact_get_SET_QUEUE(a)->queue_id);
4272             break;
4273
4274         case OFPACT_POP_QUEUE:
4275             memset(&wc->masks.skb_priority, 0xff,
4276                    sizeof wc->masks.skb_priority);
4277             flow->skb_priority = ctx->orig_skb_priority;
4278             break;
4279
4280         case OFPACT_REG_MOVE:
4281             CHECK_MPLS_RECIRCULATION_IF(
4282                 mf_is_l3_or_higher(ofpact_get_REG_MOVE(a)->dst.field) ||
4283                 mf_is_l3_or_higher(ofpact_get_REG_MOVE(a)->src.field));
4284             nxm_execute_reg_move(ofpact_get_REG_MOVE(a), flow, wc);
4285             break;
4286
4287         case OFPACT_SET_FIELD:
4288             CHECK_MPLS_RECIRCULATION_IF(
4289                 mf_is_l3_or_higher(ofpact_get_SET_FIELD(a)->field));
4290             set_field = ofpact_get_SET_FIELD(a);
4291             mf = set_field->field;
4292
4293             /* Set field action only ever overwrites packet's outermost
4294              * applicable header fields.  Do nothing if no header exists. */
4295             if (mf->id == MFF_VLAN_VID) {
4296                 wc->masks.vlan_tci |= htons(VLAN_CFI);
4297                 if (!(flow->vlan_tci & htons(VLAN_CFI))) {
4298                     break;
4299                 }
4300             } else if ((mf->id == MFF_MPLS_LABEL || mf->id == MFF_MPLS_TC)
4301                        /* 'dl_type' is already unwildcarded. */
4302                        && !eth_type_mpls(flow->dl_type)) {
4303                 break;
4304             }
4305             /* A flow may wildcard nw_frag.  Do nothing if setting a trasport
4306              * header field on a packet that does not have them. */
4307             mf_mask_field_and_prereqs(mf, &wc->masks);
4308             if (mf_are_prereqs_ok(mf, flow)) {
4309                 mf_set_flow_value_masked(mf, &set_field->value,
4310                                          &set_field->mask, flow);
4311             }
4312             break;
4313
4314         case OFPACT_STACK_PUSH:
4315             CHECK_MPLS_RECIRCULATION_IF(
4316                 mf_is_l3_or_higher(ofpact_get_STACK_PUSH(a)->subfield.field));
4317             nxm_execute_stack_push(ofpact_get_STACK_PUSH(a), flow, wc,
4318                                    &ctx->stack);
4319             break;
4320
4321         case OFPACT_STACK_POP:
4322             CHECK_MPLS_RECIRCULATION_IF(
4323                 mf_is_l3_or_higher(ofpact_get_STACK_POP(a)->subfield.field));
4324             nxm_execute_stack_pop(ofpact_get_STACK_POP(a), flow, wc,
4325                                   &ctx->stack);
4326             break;
4327
4328         case OFPACT_PUSH_MPLS:
4329             /* Recirculate if it is an IP packet with a zero ttl.  This may
4330              * indicate that the packet was previously MPLS and an MPLS pop
4331              * action converted it to IP. In this case recirculating should
4332              * reveal the IP TTL which is used as the basis for a new MPLS
4333              * LSE. */
4334             CHECK_MPLS_RECIRCULATION_IF(
4335                 !flow_count_mpls_labels(flow, wc)
4336                 && flow->nw_ttl == 0
4337                 && is_ip_any(flow));
4338             compose_mpls_push_action(ctx, ofpact_get_PUSH_MPLS(a));
4339             break;
4340
4341         case OFPACT_POP_MPLS:
4342             CHECK_MPLS_RECIRCULATION();
4343             compose_mpls_pop_action(ctx, ofpact_get_POP_MPLS(a)->ethertype);
4344             break;
4345
4346         case OFPACT_SET_MPLS_LABEL:
4347             CHECK_MPLS_RECIRCULATION();
4348             compose_set_mpls_label_action(
4349                 ctx, ofpact_get_SET_MPLS_LABEL(a)->label);
4350             break;
4351
4352         case OFPACT_SET_MPLS_TC:
4353             CHECK_MPLS_RECIRCULATION();
4354             compose_set_mpls_tc_action(ctx, ofpact_get_SET_MPLS_TC(a)->tc);
4355             break;
4356
4357         case OFPACT_SET_MPLS_TTL:
4358             CHECK_MPLS_RECIRCULATION();
4359             compose_set_mpls_ttl_action(ctx, ofpact_get_SET_MPLS_TTL(a)->ttl);
4360             break;
4361
4362         case OFPACT_DEC_MPLS_TTL:
4363             CHECK_MPLS_RECIRCULATION();
4364             if (compose_dec_mpls_ttl_action(ctx)) {
4365                 return;
4366             }
4367             break;
4368
4369         case OFPACT_DEC_TTL:
4370             CHECK_MPLS_RECIRCULATION();
4371             wc->masks.nw_ttl = 0xff;
4372             if (compose_dec_ttl(ctx, ofpact_get_DEC_TTL(a))) {
4373                 return;
4374             }
4375             break;
4376
4377         case OFPACT_NOTE:
4378             /* Nothing to do. */
4379             break;
4380
4381         case OFPACT_MULTIPATH:
4382             CHECK_MPLS_RECIRCULATION();
4383             multipath_execute(ofpact_get_MULTIPATH(a), flow, wc);
4384             break;
4385
4386         case OFPACT_BUNDLE:
4387             CHECK_MPLS_RECIRCULATION();
4388             xlate_bundle_action(ctx, ofpact_get_BUNDLE(a));
4389             break;
4390
4391         case OFPACT_OUTPUT_REG:
4392             xlate_output_reg_action(ctx, ofpact_get_OUTPUT_REG(a));
4393             break;
4394
4395         case OFPACT_LEARN:
4396             CHECK_MPLS_RECIRCULATION();
4397             xlate_learn_action(ctx, ofpact_get_LEARN(a));
4398             break;
4399
4400         case OFPACT_CONJUNCTION: {
4401             /* A flow with a "conjunction" action represents part of a special
4402              * kind of "set membership match".  Such a flow should not actually
4403              * get executed, but it could via, say, a "packet-out", even though
4404              * that wouldn't be useful.  Log it to help debugging. */
4405             static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 1);
4406             VLOG_INFO_RL(&rl, "executing no-op conjunction action");
4407             break;
4408         }
4409
4410         case OFPACT_EXIT:
4411             ctx->exit = true;
4412             break;
4413
4414         case OFPACT_UNROLL_XLATE: {
4415             struct ofpact_unroll_xlate *unroll = ofpact_get_UNROLL_XLATE(a);
4416
4417             /* Restore translation context data that was stored earlier. */
4418             ctx->table_id = unroll->rule_table_id;
4419             ctx->rule_cookie = unroll->rule_cookie;
4420             break;
4421         }
4422         case OFPACT_FIN_TIMEOUT:
4423             CHECK_MPLS_RECIRCULATION();
4424             memset(&wc->masks.nw_proto, 0xff, sizeof wc->masks.nw_proto);
4425             ctx->xout->has_fin_timeout = true;
4426             xlate_fin_timeout(ctx, ofpact_get_FIN_TIMEOUT(a));
4427             break;
4428
4429         case OFPACT_CLEAR_ACTIONS:
4430             ofpbuf_clear(&ctx->action_set);
4431             ctx->xin->flow.actset_output = OFPP_UNSET;
4432             ctx->action_set_has_group = false;
4433             break;
4434
4435         case OFPACT_WRITE_ACTIONS:
4436             xlate_write_actions(ctx, a);
4437             break;
4438
4439         case OFPACT_WRITE_METADATA:
4440             metadata = ofpact_get_WRITE_METADATA(a);
4441             flow->metadata &= ~metadata->mask;
4442             flow->metadata |= metadata->metadata & metadata->mask;
4443             break;
4444
4445         case OFPACT_METER:
4446             /* Not implemented yet. */
4447             break;
4448
4449         case OFPACT_GOTO_TABLE: {
4450             struct ofpact_goto_table *ogt = ofpact_get_GOTO_TABLE(a);
4451
4452             /* Allow ctx->table_id == TBL_INTERNAL, which will be greater
4453              * than ogt->table_id. This is to allow goto_table actions that
4454              * triggered recirculation: ctx->table_id will be TBL_INTERNAL
4455              * after recirculation. */
4456             ovs_assert(ctx->table_id == TBL_INTERNAL
4457                        || ctx->table_id < ogt->table_id);
4458             xlate_table_action(ctx, ctx->xin->flow.in_port.ofp_port,
4459                                ogt->table_id, true, true);
4460             break;
4461         }
4462
4463         case OFPACT_SAMPLE:
4464             xlate_sample_action(ctx, ofpact_get_SAMPLE(a));
4465             break;
4466         }
4467
4468         /* Check if need to store this and the remaining actions for later
4469          * execution. */
4470         if (ctx->exit && ctx_first_recirculation_action(ctx)) {
4471             recirc_unroll_actions(a, OFPACT_ALIGN(ofpacts_len -
4472                                                   ((uint8_t *)a -
4473                                                    (uint8_t *)ofpacts)),
4474                                   ctx);
4475             break;
4476         }
4477     }
4478 }
4479
4480 void
4481 xlate_in_init(struct xlate_in *xin, struct ofproto_dpif *ofproto,
4482               const struct flow *flow, ofp_port_t in_port,
4483               struct rule_dpif *rule, uint16_t tcp_flags,
4484               const struct dp_packet *packet, struct flow_wildcards *wc,
4485               struct ofpbuf *odp_actions)
4486 {
4487     xin->ofproto = ofproto;
4488     xin->flow = *flow;
4489     xin->flow.in_port.ofp_port = in_port;
4490     xin->flow.actset_output = OFPP_UNSET;
4491     xin->packet = packet;
4492     xin->may_learn = packet != NULL;
4493     xin->rule = rule;
4494     xin->xcache = NULL;
4495     xin->ofpacts = NULL;
4496     xin->ofpacts_len = 0;
4497     xin->tcp_flags = tcp_flags;
4498     xin->resubmit_hook = NULL;
4499     xin->report_hook = NULL;
4500     xin->resubmit_stats = NULL;
4501     xin->wc = wc;
4502     xin->odp_actions = odp_actions;
4503
4504     /* Do recirc lookup. */
4505     xin->recirc = flow->recirc_id
4506         ? recirc_id_node_find(flow->recirc_id)
4507         : NULL;
4508 }
4509
4510 void
4511 xlate_out_uninit(struct xlate_out *xout)
4512 {
4513     if (xout) {
4514         xlate_out_free_recircs(xout);
4515     }
4516 }
4517
4518 /* Translates the 'ofpacts_len' bytes of "struct ofpact"s starting at 'ofpacts'
4519  * into datapath actions, using 'ctx', and discards the datapath actions. */
4520 void
4521 xlate_actions_for_side_effects(struct xlate_in *xin)
4522 {
4523     struct xlate_out xout;
4524
4525     xlate_actions(xin, &xout);
4526     xlate_out_uninit(&xout);
4527 }
4528 \f
4529 static struct skb_priority_to_dscp *
4530 get_skb_priority(const struct xport *xport, uint32_t skb_priority)
4531 {
4532     struct skb_priority_to_dscp *pdscp;
4533     uint32_t hash;
4534
4535     hash = hash_int(skb_priority, 0);
4536     HMAP_FOR_EACH_IN_BUCKET (pdscp, hmap_node, hash, &xport->skb_priorities) {
4537         if (pdscp->skb_priority == skb_priority) {
4538             return pdscp;
4539         }
4540     }
4541     return NULL;
4542 }
4543
4544 static bool
4545 dscp_from_skb_priority(const struct xport *xport, uint32_t skb_priority,
4546                        uint8_t *dscp)
4547 {
4548     struct skb_priority_to_dscp *pdscp = get_skb_priority(xport, skb_priority);
4549     *dscp = pdscp ? pdscp->dscp : 0;
4550     return pdscp != NULL;
4551 }
4552
4553 static size_t
4554 count_skb_priorities(const struct xport *xport)
4555 {
4556     return hmap_count(&xport->skb_priorities);
4557 }
4558
4559 static void
4560 clear_skb_priorities(struct xport *xport)
4561 {
4562     struct skb_priority_to_dscp *pdscp, *next;
4563
4564     HMAP_FOR_EACH_SAFE (pdscp, next, hmap_node, &xport->skb_priorities) {
4565         hmap_remove(&xport->skb_priorities, &pdscp->hmap_node);
4566         free(pdscp);
4567     }
4568 }
4569
4570 static bool
4571 actions_output_to_local_port(const struct xlate_ctx *ctx)
4572 {
4573     odp_port_t local_odp_port = ofp_port_to_odp_port(ctx->xbridge, OFPP_LOCAL);
4574     const struct nlattr *a;
4575     unsigned int left;
4576
4577     NL_ATTR_FOR_EACH_UNSAFE (a, left, ctx->odp_actions->data,
4578                              ctx->odp_actions->size) {
4579         if (nl_attr_type(a) == OVS_ACTION_ATTR_OUTPUT
4580             && nl_attr_get_odp_port(a) == local_odp_port) {
4581             return true;
4582         }
4583     }
4584     return false;
4585 }
4586
4587 #if defined(__linux__)
4588 /* Returns the maximum number of packets that the Linux kernel is willing to
4589  * queue up internally to certain kinds of software-implemented ports, or the
4590  * default (and rarely modified) value if it cannot be determined. */
4591 static int
4592 netdev_max_backlog(void)
4593 {
4594     static struct ovsthread_once once = OVSTHREAD_ONCE_INITIALIZER;
4595     static int max_backlog = 1000; /* The normal default value. */
4596
4597     if (ovsthread_once_start(&once)) {
4598         static const char filename[] = "/proc/sys/net/core/netdev_max_backlog";
4599         FILE *stream;
4600         int n;
4601
4602         stream = fopen(filename, "r");
4603         if (!stream) {
4604             VLOG_WARN("%s: open failed (%s)", filename, ovs_strerror(errno));
4605         } else {
4606             if (fscanf(stream, "%d", &n) != 1) {
4607                 VLOG_WARN("%s: read error", filename);
4608             } else if (n <= 100) {
4609                 VLOG_WARN("%s: unexpectedly small value %d", filename, n);
4610             } else {
4611                 max_backlog = n;
4612             }
4613             fclose(stream);
4614         }
4615         ovsthread_once_done(&once);
4616
4617         VLOG_DBG("%s: using %d max_backlog", filename, max_backlog);
4618     }
4619
4620     return max_backlog;
4621 }
4622
4623 /* Counts and returns the number of OVS_ACTION_ATTR_OUTPUT actions in
4624  * 'odp_actions'. */
4625 static int
4626 count_output_actions(const struct ofpbuf *odp_actions)
4627 {
4628     const struct nlattr *a;
4629     size_t left;
4630     int n = 0;
4631
4632     NL_ATTR_FOR_EACH_UNSAFE (a, left, odp_actions->data, odp_actions->size) {
4633         if (a->nla_type == OVS_ACTION_ATTR_OUTPUT) {
4634             n++;
4635         }
4636     }
4637     return n;
4638 }
4639 #endif /* defined(__linux__) */
4640
4641 /* Returns true if 'odp_actions' contains more output actions than the datapath
4642  * can reliably handle in one go.  On Linux, this is the value of the
4643  * net.core.netdev_max_backlog sysctl, which limits the maximum number of
4644  * packets that the kernel is willing to queue up for processing while the
4645  * datapath is processing a set of actions. */
4646 static bool
4647 too_many_output_actions(const struct ofpbuf *odp_actions OVS_UNUSED)
4648 {
4649 #ifdef __linux__
4650     return (odp_actions->size / NL_A_U32_SIZE > netdev_max_backlog()
4651             && count_output_actions(odp_actions) > netdev_max_backlog());
4652 #else
4653     /* OSes other than Linux might have similar limits, but we don't know how
4654      * to determine them.*/
4655     return false;
4656 #endif
4657 }
4658
4659 static void
4660 xlate_wc_init(struct xlate_ctx *ctx)
4661 {
4662     flow_wildcards_init_catchall(ctx->wc);
4663
4664     /* Some fields we consider to always be examined. */
4665     memset(&ctx->wc->masks.in_port, 0xff, sizeof ctx->wc->masks.in_port);
4666     memset(&ctx->wc->masks.dl_type, 0xff, sizeof ctx->wc->masks.dl_type);
4667     if (is_ip_any(&ctx->xin->flow)) {
4668         ctx->wc->masks.nw_frag |= FLOW_NW_FRAG_MASK;
4669     }
4670
4671     if (ctx->xbridge->support.odp.recirc) {
4672         /* Always exactly match recirc_id when datapath supports
4673          * recirculation.  */
4674         ctx->wc->masks.recirc_id = UINT32_MAX;
4675     }
4676
4677     if (ctx->xbridge->netflow) {
4678         netflow_mask_wc(&ctx->xin->flow, ctx->wc);
4679     }
4680
4681     tnl_wc_init(&ctx->xin->flow, ctx->wc);
4682 }
4683
4684 static void
4685 xlate_wc_finish(struct xlate_ctx *ctx)
4686 {
4687     /* Clear the metadata and register wildcard masks, because we won't
4688      * use non-header fields as part of the cache. */
4689     flow_wildcards_clear_non_packet_fields(ctx->wc);
4690
4691     /* ICMPv4 and ICMPv6 have 8-bit "type" and "code" fields.  struct flow
4692      * uses the low 8 bits of the 16-bit tp_src and tp_dst members to
4693      * represent these fields.  The datapath interface, on the other hand,
4694      * represents them with just 8 bits each.  This means that if the high
4695      * 8 bits of the masks for these fields somehow become set, then they
4696      * will get chopped off by a round trip through the datapath, and
4697      * revalidation will spot that as an inconsistency and delete the flow.
4698      * Avoid the problem here by making sure that only the low 8 bits of
4699      * either field can be unwildcarded for ICMP.
4700      */
4701     if (is_icmpv4(&ctx->xin->flow) || is_icmpv6(&ctx->xin->flow)) {
4702         ctx->wc->masks.tp_src &= htons(UINT8_MAX);
4703         ctx->wc->masks.tp_dst &= htons(UINT8_MAX);
4704     }
4705     /* VLAN_TCI CFI bit must be matched if any of the TCI is matched. */
4706     if (ctx->wc->masks.vlan_tci) {
4707         ctx->wc->masks.vlan_tci |= htons(VLAN_CFI);
4708     }
4709 }
4710
4711 /* Translates the flow, actions, or rule in 'xin' into datapath actions in
4712  * 'xout'.
4713  * The caller must take responsibility for eventually freeing 'xout', with
4714  * xlate_out_uninit(). */
4715 void
4716 xlate_actions(struct xlate_in *xin, struct xlate_out *xout)
4717 {
4718     *xout = (struct xlate_out) {
4719         .slow = 0,
4720         .fail_open = false,
4721         .has_learn = false,
4722         .has_normal = false,
4723         .has_fin_timeout = false,
4724         .nf_output_iface = NF_OUT_DROP,
4725         .mirrors = 0,
4726         .n_recircs = 0,
4727     };
4728
4729     struct xlate_cfg *xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
4730     struct xbridge *xbridge = xbridge_lookup(xcfg, xin->ofproto);
4731     if (!xbridge) {
4732         return;
4733     }
4734
4735     struct flow *flow = &xin->flow;
4736
4737     union mf_subvalue stack_stub[1024 / sizeof(union mf_subvalue)];
4738     uint64_t action_set_stub[1024 / 8];
4739     struct flow_wildcards scratch_wc;
4740     uint64_t actions_stub[256 / 8];
4741     struct ofpbuf scratch_actions = OFPBUF_STUB_INITIALIZER(actions_stub);
4742     struct xlate_ctx ctx = {
4743         .xin = xin,
4744         .xout = xout,
4745         .base_flow = *flow,
4746         .orig_tunnel_ip_dst = flow->tunnel.ip_dst,
4747         .xbridge = xbridge,
4748         .stack = OFPBUF_STUB_INITIALIZER(stack_stub),
4749         .rule = xin->rule,
4750         .wc = xin->wc ? xin->wc : &scratch_wc,
4751         .odp_actions = xin->odp_actions ? xin->odp_actions : &scratch_actions,
4752
4753         .recurse = 0,
4754         .resubmits = 0,
4755         .in_group = false,
4756         .in_action_set = false,
4757
4758         .table_id = 0,
4759         .rule_cookie = OVS_BE64_MAX,
4760         .orig_skb_priority = flow->skb_priority,
4761         .sflow_n_outputs = 0,
4762         .sflow_odp_port = 0,
4763         .exit = false,
4764
4765         .recirc_action_offset = -1,
4766         .last_unroll_offset = -1,
4767
4768         .was_mpls = false,
4769
4770         .action_set_has_group = false,
4771         .action_set = OFPBUF_STUB_INITIALIZER(action_set_stub),
4772     };
4773
4774     /* 'base_flow' reflects the packet as it came in, but we need it to reflect
4775      * the packet as the datapath will treat it for output actions:
4776      *
4777      *     - Our datapath doesn't retain tunneling information without us
4778      *       re-setting it, so clear the tunnel data.
4779      *
4780      *     - For VLAN splinters, a higher layer may pretend that the packet
4781      *       came in on 'flow->in_port.ofp_port' with 'flow->vlan_tci'
4782      *       attached, because that's how we want to treat it from an OpenFlow
4783      *       perspective.  But from the datapath's perspective it actually came
4784      *       in on a VLAN device without any VLAN attached.  So here we put the
4785      *       datapath's view of the VLAN information in 'base_flow' to ensure
4786      *       correct treatment.
4787      */
4788     memset(&ctx.base_flow.tunnel, 0, sizeof ctx.base_flow.tunnel);
4789     if (flow->in_port.ofp_port
4790         != vsp_realdev_to_vlandev(xbridge->ofproto,
4791                                   flow->in_port.ofp_port,
4792                                   flow->vlan_tci)) {
4793         ctx.base_flow.vlan_tci = 0;
4794     }
4795
4796     ofpbuf_reserve(ctx.odp_actions, NL_A_U32_SIZE);
4797     if (xin->wc) {
4798         xlate_wc_init(&ctx);
4799     }
4800
4801     struct xport *in_port;
4802
4803     COVERAGE_INC(xlate_actions);
4804
4805     /* The in_port of the original packet before recirculation. */
4806     in_port = get_ofp_port(xbridge, flow->in_port.ofp_port);
4807
4808     if (xin->recirc) {
4809         const struct recirc_id_node *recirc = xin->recirc;
4810
4811         if (xin->ofpacts_len > 0 || ctx.rule) {
4812             static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 1);
4813
4814             VLOG_WARN_RL(&rl, "Recirculation conflict (%s)!",
4815                          xin->ofpacts_len > 0
4816                          ? "actions"
4817                          : "rule");
4818             goto exit;
4819         }
4820
4821         /* Set the bridge for post-recirculation processing if needed. */
4822         if (ctx.xbridge->ofproto != recirc->ofproto) {
4823             struct xlate_cfg *xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
4824             const struct xbridge *new_bridge = xbridge_lookup(xcfg,
4825                                                               recirc->ofproto);
4826
4827             if (OVS_UNLIKELY(!new_bridge)) {
4828                 /* Drop the packet if the bridge cannot be found. */
4829                 static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 1);
4830                 VLOG_WARN_RL(&rl, "Recirculation bridge no longer exists.");
4831                 goto exit;
4832             }
4833             ctx.xbridge = new_bridge;
4834         }
4835
4836         /* Set the post-recirculation table id.  Note: A table lookup is done
4837          * only if there are no post-recirculation actions. */
4838         ctx.table_id = recirc->table_id;
4839
4840         /* Restore pipeline metadata. May change flow's in_port and other
4841          * metadata to the values that existed when recirculation was
4842          * triggered. */
4843         recirc_metadata_to_flow(&recirc->metadata, flow);
4844
4845         /* Restore stack, if any. */
4846         if (recirc->stack) {
4847             ofpbuf_put(&ctx.stack, recirc->stack->data, recirc->stack->size);
4848         }
4849
4850         /* Restore action set, if any. */
4851         if (recirc->action_set_len) {
4852             const struct ofpact *a;
4853
4854             ofpbuf_put(&ctx.action_set, recirc->ofpacts,
4855                        recirc->action_set_len);
4856
4857             OFPACT_FOR_EACH(a, recirc->ofpacts, recirc->action_set_len) {
4858                 if (a->type == OFPACT_GROUP) {
4859                     ctx.action_set_has_group = true;
4860                     break;
4861                 }
4862             }
4863         }
4864
4865         /* Restore recirculation actions.  If there are no actions, processing
4866          * will start with a lookup in the table set above. */
4867         if (recirc->ofpacts_len > recirc->action_set_len) {
4868             xin->ofpacts_len = recirc->ofpacts_len - recirc->action_set_len;
4869             xin->ofpacts = recirc->ofpacts +
4870                 recirc->action_set_len / sizeof *recirc->ofpacts;
4871         }
4872     } else if (OVS_UNLIKELY(flow->recirc_id)) {
4873         static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 1);
4874
4875         VLOG_WARN_RL(&rl, "Recirculation context not found for ID %"PRIx32,
4876                      flow->recirc_id);
4877         goto exit;
4878     }
4879     /* The bridge is now known so obtain its table version. */
4880     ctx.tables_version = ofproto_dpif_get_tables_version(ctx.xbridge->ofproto);
4881
4882     if (!xin->ofpacts && !ctx.rule) {
4883         ctx.rule = rule_dpif_lookup_from_table(
4884             ctx.xbridge->ofproto, ctx.tables_version, flow, xin->wc,
4885             ctx.xin->xcache != NULL, ctx.xin->resubmit_stats, &ctx.table_id,
4886             flow->in_port.ofp_port, true, true);
4887         if (ctx.xin->resubmit_stats) {
4888             rule_dpif_credit_stats(ctx.rule, ctx.xin->resubmit_stats);
4889         }
4890         if (ctx.xin->xcache) {
4891             struct xc_entry *entry;
4892
4893             entry = xlate_cache_add_entry(ctx.xin->xcache, XC_RULE);
4894             entry->u.rule = ctx.rule;
4895         }
4896
4897         if (OVS_UNLIKELY(ctx.xin->resubmit_hook)) {
4898             ctx.xin->resubmit_hook(ctx.xin, ctx.rule, 0);
4899         }
4900     }
4901     xout->fail_open = ctx.rule && rule_dpif_is_fail_open(ctx.rule);
4902
4903     struct flow orig_flow;
4904     if (mbridge_has_mirrors(xbridge->mbridge)) {
4905         /* Do this conditionally because the copy is expensive enough that it
4906          * shows up in profiles. */
4907         orig_flow = *flow;
4908     }
4909
4910     /* Tunnel stats only for non-recirculated packets. */
4911     if (!xin->recirc && in_port && in_port->is_tunnel) {
4912         if (ctx.xin->resubmit_stats) {
4913             netdev_vport_inc_rx(in_port->netdev, ctx.xin->resubmit_stats);
4914             if (in_port->bfd) {
4915                 bfd_account_rx(in_port->bfd, ctx.xin->resubmit_stats);
4916             }
4917         }
4918         if (ctx.xin->xcache) {
4919             struct xc_entry *entry;
4920
4921             entry = xlate_cache_add_entry(ctx.xin->xcache, XC_NETDEV);
4922             entry->u.dev.rx = netdev_ref(in_port->netdev);
4923             entry->u.dev.bfd = bfd_ref(in_port->bfd);
4924         }
4925     }
4926
4927     /* Do not perform special processing on recirculated packets,
4928      * as recirculated packets are not really received by the bridge. */
4929     if (xin->recirc || !process_special(&ctx, in_port)) {
4930         /* Sampling is done only for packets really received by the bridge. */
4931         unsigned int user_cookie_offset = 0;
4932         if (!xin->recirc) {
4933             user_cookie_offset = compose_sflow_action(&ctx);
4934             compose_ipfix_action(&ctx, ODPP_NONE);
4935         }
4936         size_t sample_actions_len = ctx.odp_actions->size;
4937
4938         if (tnl_process_ecn(flow)
4939             && (!in_port || may_receive(in_port, &ctx))) {
4940             const struct ofpact *ofpacts;
4941             size_t ofpacts_len;
4942
4943             if (xin->ofpacts) {
4944                 ofpacts = xin->ofpacts;
4945                 ofpacts_len = xin->ofpacts_len;
4946             } else if (ctx.rule) {
4947                 const struct rule_actions *actions
4948                     = rule_dpif_get_actions(ctx.rule);
4949                 ofpacts = actions->ofpacts;
4950                 ofpacts_len = actions->ofpacts_len;
4951                 ctx.rule_cookie = rule_dpif_get_flow_cookie(ctx.rule);
4952             } else {
4953                 OVS_NOT_REACHED();
4954             }
4955
4956             do_xlate_actions(ofpacts, ofpacts_len, &ctx);
4957
4958             /* We've let OFPP_NORMAL and the learning action look at the
4959              * packet, so drop it now if forwarding is disabled. */
4960             if (in_port && (!xport_stp_forward_state(in_port) ||
4961                             !xport_rstp_forward_state(in_port))) {
4962                 /* Drop all actions added by do_xlate_actions() above. */
4963                 ctx.odp_actions->size = sample_actions_len;
4964
4965                 /* Undo changes that may have been done for recirculation. */
4966                 if (exit_recirculates(&ctx)) {
4967                     ctx.action_set.size = ctx.recirc_action_offset;
4968                     ctx.recirc_action_offset = -1;
4969                     ctx.last_unroll_offset = -1;
4970                 }
4971             } else if (ctx.action_set.size) {
4972                 /* Translate action set only if not dropping the packet and
4973                  * not recirculating. */
4974                 if (!exit_recirculates(&ctx)) {
4975                     xlate_action_set(&ctx);
4976                 }
4977             }
4978             /* Check if need to recirculate. */
4979             if (exit_recirculates(&ctx)) {
4980                 compose_recirculate_action(&ctx);
4981             }
4982         }
4983
4984         /* Output only fully processed packets. */
4985         if (!exit_recirculates(&ctx)
4986             && xbridge->has_in_band
4987             && in_band_must_output_to_local_port(flow)
4988             && !actions_output_to_local_port(&ctx)) {
4989             compose_output_action(&ctx, OFPP_LOCAL, NULL);
4990         }
4991
4992         if (user_cookie_offset) {
4993             fix_sflow_action(&ctx, user_cookie_offset);
4994         }
4995         /* Only mirror fully processed packets. */
4996         if (!exit_recirculates(&ctx)
4997             && mbridge_has_mirrors(xbridge->mbridge)) {
4998             add_mirror_actions(&ctx, &orig_flow);
4999         }
5000     }
5001
5002     if (nl_attr_oversized(ctx.odp_actions->size)) {
5003         /* These datapath actions are too big for a Netlink attribute, so we
5004          * can't hand them to the kernel directly.  dpif_execute() can execute
5005          * them one by one with help, so just mark the result as SLOW_ACTION to
5006          * prevent the flow from being installed. */
5007         COVERAGE_INC(xlate_actions_oversize);
5008         ctx.xout->slow |= SLOW_ACTION;
5009     } else if (too_many_output_actions(ctx.odp_actions)) {
5010         COVERAGE_INC(xlate_actions_too_many_output);
5011         ctx.xout->slow |= SLOW_ACTION;
5012     }
5013
5014     /* Update mirror stats only for packets really received by the bridge. */
5015     if (!xin->recirc && mbridge_has_mirrors(xbridge->mbridge)) {
5016         if (ctx.xin->resubmit_stats) {
5017             mirror_update_stats(xbridge->mbridge, xout->mirrors,
5018                                 ctx.xin->resubmit_stats->n_packets,
5019                                 ctx.xin->resubmit_stats->n_bytes);
5020         }
5021         if (ctx.xin->xcache) {
5022             struct xc_entry *entry;
5023
5024             entry = xlate_cache_add_entry(ctx.xin->xcache, XC_MIRROR);
5025             entry->u.mirror.mbridge = mbridge_ref(xbridge->mbridge);
5026             entry->u.mirror.mirrors = xout->mirrors;
5027         }
5028     }
5029
5030     /* Do netflow only for packets really received by the bridge and not sent
5031      * to the controller.  We consider packets sent to the controller to be
5032      * part of the control plane rather than the data plane. */
5033     if (!xin->recirc && xbridge->netflow && !(xout->slow & SLOW_CONTROLLER)) {
5034         if (ctx.xin->resubmit_stats) {
5035             netflow_flow_update(xbridge->netflow, flow,
5036                                 xout->nf_output_iface,
5037                                 ctx.xin->resubmit_stats);
5038         }
5039         if (ctx.xin->xcache) {
5040             struct xc_entry *entry;
5041
5042             entry = xlate_cache_add_entry(ctx.xin->xcache, XC_NETFLOW);
5043             entry->u.nf.netflow = netflow_ref(xbridge->netflow);
5044             entry->u.nf.flow = xmemdup(flow, sizeof *flow);
5045             entry->u.nf.iface = xout->nf_output_iface;
5046         }
5047     }
5048
5049     if (xin->wc) {
5050         xlate_wc_finish(&ctx);
5051     }
5052
5053 exit:
5054     ofpbuf_uninit(&ctx.stack);
5055     ofpbuf_uninit(&ctx.action_set);
5056     ofpbuf_uninit(&scratch_actions);
5057 }
5058
5059 /* Sends 'packet' out 'ofport'.
5060  * May modify 'packet'.
5061  * Returns 0 if successful, otherwise a positive errno value. */
5062 int
5063 xlate_send_packet(const struct ofport_dpif *ofport, struct dp_packet *packet)
5064 {
5065     struct xlate_cfg *xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
5066     struct xport *xport;
5067     struct ofpact_output output;
5068     struct flow flow;
5069
5070     ofpact_init(&output.ofpact, OFPACT_OUTPUT, sizeof output);
5071     /* Use OFPP_NONE as the in_port to avoid special packet processing. */
5072     flow_extract(packet, &flow);
5073     flow.in_port.ofp_port = OFPP_NONE;
5074
5075     xport = xport_lookup(xcfg, ofport);
5076     if (!xport) {
5077         return EINVAL;
5078     }
5079     output.port = xport->ofp_port;
5080     output.max_len = 0;
5081
5082     return ofproto_dpif_execute_actions(xport->xbridge->ofproto, &flow, NULL,
5083                                         &output.ofpact, sizeof output,
5084                                         packet);
5085 }
5086
5087 struct xlate_cache *
5088 xlate_cache_new(void)
5089 {
5090     struct xlate_cache *xcache = xmalloc(sizeof *xcache);
5091
5092     ofpbuf_init(&xcache->entries, 512);
5093     return xcache;
5094 }
5095
5096 static struct xc_entry *
5097 xlate_cache_add_entry(struct xlate_cache *xcache, enum xc_type type)
5098 {
5099     struct xc_entry *entry;
5100
5101     entry = ofpbuf_put_zeros(&xcache->entries, sizeof *entry);
5102     entry->type = type;
5103
5104     return entry;
5105 }
5106
5107 static void
5108 xlate_cache_netdev(struct xc_entry *entry, const struct dpif_flow_stats *stats)
5109 {
5110     if (entry->u.dev.tx) {
5111         netdev_vport_inc_tx(entry->u.dev.tx, stats);
5112     }
5113     if (entry->u.dev.rx) {
5114         netdev_vport_inc_rx(entry->u.dev.rx, stats);
5115     }
5116     if (entry->u.dev.bfd) {
5117         bfd_account_rx(entry->u.dev.bfd, stats);
5118     }
5119 }
5120
5121 static void
5122 xlate_cache_normal(struct ofproto_dpif *ofproto, struct flow *flow, int vlan)
5123 {
5124     struct xlate_cfg *xcfg = ovsrcu_get(struct xlate_cfg *, &xcfgp);
5125     struct xbridge *xbridge;
5126     struct xbundle *xbundle;
5127     struct flow_wildcards wc;
5128
5129     xbridge = xbridge_lookup(xcfg, ofproto);
5130     if (!xbridge) {
5131         return;
5132     }
5133
5134     xbundle = lookup_input_bundle(xbridge, flow->in_port.ofp_port, false,
5135                                   NULL);
5136     if (!xbundle) {
5137         return;
5138     }
5139
5140     update_learning_table(xbridge, flow, &wc, vlan, xbundle);
5141 }
5142
5143 /* Push stats and perform side effects of flow translation. */
5144 void
5145 xlate_push_stats(struct xlate_cache *xcache,
5146                  const struct dpif_flow_stats *stats)
5147 {
5148     struct xc_entry *entry;
5149     struct ofpbuf entries = xcache->entries;
5150     uint8_t dmac[ETH_ADDR_LEN];
5151
5152     if (!stats->n_packets) {
5153         return;
5154     }
5155
5156     XC_ENTRY_FOR_EACH (entry, entries, xcache) {
5157         switch (entry->type) {
5158         case XC_RULE:
5159             rule_dpif_credit_stats(entry->u.rule, stats);
5160             break;
5161         case XC_BOND:
5162             bond_account(entry->u.bond.bond, entry->u.bond.flow,
5163                          entry->u.bond.vid, stats->n_bytes);
5164             break;
5165         case XC_NETDEV:
5166             xlate_cache_netdev(entry, stats);
5167             break;
5168         case XC_NETFLOW:
5169             netflow_flow_update(entry->u.nf.netflow, entry->u.nf.flow,
5170                                 entry->u.nf.iface, stats);
5171             break;
5172         case XC_MIRROR:
5173             mirror_update_stats(entry->u.mirror.mbridge,
5174                                 entry->u.mirror.mirrors,
5175                                 stats->n_packets, stats->n_bytes);
5176             break;
5177         case XC_LEARN:
5178             ofproto_dpif_flow_mod(entry->u.learn.ofproto, entry->u.learn.fm);
5179             break;
5180         case XC_NORMAL:
5181             xlate_cache_normal(entry->u.normal.ofproto, entry->u.normal.flow,
5182                                entry->u.normal.vlan);
5183             break;
5184         case XC_FIN_TIMEOUT:
5185             xlate_fin_timeout__(entry->u.fin.rule, stats->tcp_flags,
5186                                 entry->u.fin.idle, entry->u.fin.hard);
5187             break;
5188         case XC_GROUP:
5189             group_dpif_credit_stats(entry->u.group.group, entry->u.group.bucket,
5190                                     stats);
5191             break;
5192         case XC_TNL_ARP:
5193             /* Lookup arp to avoid arp timeout. */
5194             tnl_arp_lookup(entry->u.tnl_arp_cache.br_name, entry->u.tnl_arp_cache.d_ip, dmac);
5195             break;
5196         default:
5197             OVS_NOT_REACHED();
5198         }
5199     }
5200 }
5201
5202 static void
5203 xlate_dev_unref(struct xc_entry *entry)
5204 {
5205     if (entry->u.dev.tx) {
5206         netdev_close(entry->u.dev.tx);
5207     }
5208     if (entry->u.dev.rx) {
5209         netdev_close(entry->u.dev.rx);
5210     }
5211     if (entry->u.dev.bfd) {
5212         bfd_unref(entry->u.dev.bfd);
5213     }
5214 }
5215
5216 static void
5217 xlate_cache_clear_netflow(struct netflow *netflow, struct flow *flow)
5218 {
5219     netflow_flow_clear(netflow, flow);
5220     netflow_unref(netflow);
5221     free(flow);
5222 }
5223
5224 void
5225 xlate_cache_clear(struct xlate_cache *xcache)
5226 {
5227     struct xc_entry *entry;
5228     struct ofpbuf entries;
5229
5230     if (!xcache) {
5231         return;
5232     }
5233
5234     XC_ENTRY_FOR_EACH (entry, entries, xcache) {
5235         switch (entry->type) {
5236         case XC_RULE:
5237             rule_dpif_unref(entry->u.rule);
5238             break;
5239         case XC_BOND:
5240             free(entry->u.bond.flow);
5241             bond_unref(entry->u.bond.bond);
5242             break;
5243         case XC_NETDEV:
5244             xlate_dev_unref(entry);
5245             break;
5246         case XC_NETFLOW:
5247             xlate_cache_clear_netflow(entry->u.nf.netflow, entry->u.nf.flow);
5248             break;
5249         case XC_MIRROR:
5250             mbridge_unref(entry->u.mirror.mbridge);
5251             break;
5252         case XC_LEARN:
5253             free(entry->u.learn.fm);
5254             ofpbuf_delete(entry->u.learn.ofpacts);
5255             break;
5256         case XC_NORMAL:
5257             free(entry->u.normal.flow);
5258             break;
5259         case XC_FIN_TIMEOUT:
5260             /* 'u.fin.rule' is always already held as a XC_RULE, which
5261              * has already released it's reference above. */
5262             break;
5263         case XC_GROUP:
5264             group_dpif_unref(entry->u.group.group);
5265             break;
5266         case XC_TNL_ARP:
5267             break;
5268         default:
5269             OVS_NOT_REACHED();
5270         }
5271     }
5272
5273     ofpbuf_clear(&xcache->entries);
5274 }
5275
5276 void
5277 xlate_cache_delete(struct xlate_cache *xcache)
5278 {
5279     xlate_cache_clear(xcache);
5280     ofpbuf_uninit(&xcache->entries);
5281     free(xcache);
5282 }