tunnel: Recreate tunnel port only when the netdev status change.
[cascardo/ovs.git] / ofproto / tunnel.c
1 /* Copyright (c) 2013, 2014 Nicira, Inc.
2  *
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License. */
14
15 #include <config.h>
16 #include "tunnel.h"
17
18 #include <errno.h>
19
20 #include "byte-order.h"
21 #include "connectivity.h"
22 #include "dynamic-string.h"
23 #include "hash.h"
24 #include "hmap.h"
25 #include "netdev.h"
26 #include "odp-util.h"
27 #include "packets.h"
28 #include "seq.h"
29 #include "smap.h"
30 #include "socket-util.h"
31 #include "tunnel.h"
32 #include "vlog.h"
33
34 VLOG_DEFINE_THIS_MODULE(tunnel);
35
36 /* skb mark used for IPsec tunnel packets */
37 #define IPSEC_MARK 1
38
39 struct tnl_match {
40     ovs_be64 in_key;
41     ovs_be32 ip_src;
42     ovs_be32 ip_dst;
43     odp_port_t odp_port;
44     uint32_t pkt_mark;
45     bool in_key_flow;
46     bool ip_src_flow;
47     bool ip_dst_flow;
48 };
49
50 struct tnl_port {
51     struct hmap_node ofport_node;
52     struct hmap_node match_node;
53
54     const struct ofport_dpif *ofport;
55     uint64_t change_seq;
56     struct netdev *netdev;
57
58     struct tnl_match match;
59 };
60
61 static struct ovs_rwlock rwlock = OVS_RWLOCK_INITIALIZER;
62
63 /* Tunnel matches.
64  *
65  * This module maps packets received over tunnel protocols to vports.  The
66  * tunnel protocol and, for some protocols, tunnel-specific information (e.g.,
67  * for VXLAN, the UDP destination port number) are always use as part of the
68  * mapping.  Which other fields are used for the mapping depends on the vports
69  * themselves (the parenthesized notations refer to "struct tnl_match" fields):
70  *
71  *     - in_key: A vport may match a specific tunnel ID (in_key_flow == false)
72  *       or arrange for the tunnel ID to be matched as tunnel.tun_id in the
73  *       OpenFlow flow (in_key_flow == true).
74  *
75  *     - ip_dst: A vport may match a specific destination IP address
76  *       (ip_dst_flow == false) or arrange for the destination IP to be matched
77  *       as tunnel.ip_dst in the OpenFlow flow (ip_dst_flow == true).
78  *
79  *     - ip_src: A vport may match a specific IP source address (ip_src_flow ==
80  *       false, ip_src != 0), wildcard all source addresses (ip_src_flow ==
81  *       false, ip_src == 0), or arrange for the IP source address to be
82  *       handled in the OpenFlow flow table (ip_src_flow == true).
83  *
84  * Thus, there are 2 * 2 * 3 == 12 possible ways a vport can match against a
85  * tunnel packet.  We number the possibilities for each field in increasing
86  * order as listed in each bullet above.  We order the 12 overall combinations
87  * in lexicographic order considering in_key first, then ip_dst, then
88  * ip_src. */
89 #define N_MATCH_TYPES (2 * 2 * 3)
90
91 /* The three possibilities (see above) for vport ip_src matches. */
92 enum ip_src_type {
93     IP_SRC_CFG,             /* ip_src must equal configured address. */
94     IP_SRC_ANY,             /* Any ip_src is acceptable. */
95     IP_SRC_FLOW             /* ip_src is handled in flow table. */
96 };
97
98 /* Each hmap contains "struct tnl_port"s.
99  * The index is a combination of how each of the fields listed under "Tunnel
100  * matches" above matches, see the final paragraph for ordering. */
101 static struct hmap *tnl_match_maps[N_MATCH_TYPES] OVS_GUARDED_BY(rwlock);
102 static struct hmap **tnl_match_map(const struct tnl_match *);
103
104 static struct hmap ofport_map__ = HMAP_INITIALIZER(&ofport_map__);
105 static struct hmap *ofport_map OVS_GUARDED_BY(rwlock) = &ofport_map__;
106
107 static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
108 static struct vlog_rate_limit dbg_rl = VLOG_RATE_LIMIT_INIT(60, 60);
109
110 static struct tnl_port *tnl_find(const struct flow *) OVS_REQ_RDLOCK(rwlock);
111 static struct tnl_port *tnl_find_exact(struct tnl_match *, struct hmap *)
112     OVS_REQ_RDLOCK(rwlock);
113 static struct tnl_port *tnl_find_ofport(const struct ofport_dpif *)
114     OVS_REQ_RDLOCK(rwlock);
115
116 static uint32_t tnl_hash(struct tnl_match *);
117 static void tnl_match_fmt(const struct tnl_match *, struct ds *);
118 static char *tnl_port_fmt(const struct tnl_port *) OVS_REQ_RDLOCK(rwlock);
119 static void tnl_port_mod_log(const struct tnl_port *, const char *action)
120     OVS_REQ_RDLOCK(rwlock);
121 static const char *tnl_port_get_name(const struct tnl_port *)
122     OVS_REQ_RDLOCK(rwlock);
123 static void tnl_port_del__(const struct ofport_dpif *) OVS_REQ_WRLOCK(rwlock);
124
125 static bool
126 tnl_port_add__(const struct ofport_dpif *ofport, const struct netdev *netdev,
127                odp_port_t odp_port, bool warn)
128     OVS_REQ_WRLOCK(rwlock)
129 {
130     const struct netdev_tunnel_config *cfg;
131     struct tnl_port *existing_port;
132     struct tnl_port *tnl_port;
133     struct hmap **map;
134
135     cfg = netdev_get_tunnel_config(netdev);
136     ovs_assert(cfg);
137
138     tnl_port = xzalloc(sizeof *tnl_port);
139     tnl_port->ofport = ofport;
140     tnl_port->netdev = netdev_ref(netdev);
141     tnl_port->change_seq = netdev_get_change_seq(tnl_port->netdev);
142
143     tnl_port->match.in_key = cfg->in_key;
144     tnl_port->match.ip_src = cfg->ip_src;
145     tnl_port->match.ip_dst = cfg->ip_dst;
146     tnl_port->match.ip_src_flow = cfg->ip_src_flow;
147     tnl_port->match.ip_dst_flow = cfg->ip_dst_flow;
148     tnl_port->match.pkt_mark = cfg->ipsec ? IPSEC_MARK : 0;
149     tnl_port->match.in_key_flow = cfg->in_key_flow;
150     tnl_port->match.odp_port = odp_port;
151
152     map = tnl_match_map(&tnl_port->match);
153     existing_port = tnl_find_exact(&tnl_port->match, *map);
154     if (existing_port) {
155         if (warn) {
156             struct ds ds = DS_EMPTY_INITIALIZER;
157             tnl_match_fmt(&tnl_port->match, &ds);
158             VLOG_WARN("%s: attempting to add tunnel port with same config as "
159                       "port '%s' (%s)", tnl_port_get_name(tnl_port),
160                       tnl_port_get_name(existing_port), ds_cstr(&ds));
161             ds_destroy(&ds);
162         }
163         netdev_close(tnl_port->netdev);
164         free(tnl_port);
165         return false;
166     }
167
168     hmap_insert(ofport_map, &tnl_port->ofport_node, hash_pointer(ofport, 0));
169
170     if (!*map) {
171         *map = xmalloc(sizeof **map);
172         hmap_init(*map);
173     }
174     hmap_insert(*map, &tnl_port->match_node, tnl_hash(&tnl_port->match));
175     tnl_port_mod_log(tnl_port, "adding");
176     return true;
177 }
178
179 /* Adds 'ofport' to the module with datapath port number 'odp_port'. 'ofport's
180  * must be added before they can be used by the module. 'ofport' must be a
181  * tunnel. */
182 void
183 tnl_port_add(const struct ofport_dpif *ofport, const struct netdev *netdev,
184              odp_port_t odp_port) OVS_EXCLUDED(rwlock)
185 {
186     ovs_rwlock_wrlock(&rwlock);
187     tnl_port_add__(ofport, netdev, odp_port, true);
188     ovs_rwlock_unlock(&rwlock);
189 }
190
191 /* Checks if the tunnel represented by 'ofport' reconfiguration due to changes
192  * in its netdev_tunnel_config.  If it does, returns true. Otherwise, returns
193  * false.  'ofport' and 'odp_port' should be the same as would be passed to
194  * tnl_port_add(). */
195 bool
196 tnl_port_reconfigure(const struct ofport_dpif *ofport,
197                      const struct netdev *netdev, odp_port_t odp_port)
198     OVS_EXCLUDED(rwlock)
199 {
200     struct tnl_port *tnl_port;
201     bool changed = false;
202
203     ovs_rwlock_wrlock(&rwlock);
204     tnl_port = tnl_find_ofport(ofport);
205     if (!tnl_port) {
206         changed = tnl_port_add__(ofport, netdev, odp_port, false);
207     } else if (tnl_port->netdev != netdev
208                || tnl_port->match.odp_port != odp_port
209                || tnl_port->change_seq != netdev_get_change_seq(tnl_port->netdev)) {
210         VLOG_DBG("reconfiguring %s", tnl_port_get_name(tnl_port));
211         tnl_port_del__(ofport);
212         tnl_port_add__(ofport, netdev, odp_port, true);
213         changed = true;
214     }
215     ovs_rwlock_unlock(&rwlock);
216     return changed;
217 }
218
219 static void
220 tnl_port_del__(const struct ofport_dpif *ofport) OVS_REQ_WRLOCK(rwlock)
221 {
222     struct tnl_port *tnl_port;
223
224     if (!ofport) {
225         return;
226     }
227
228     tnl_port = tnl_find_ofport(ofport);
229     if (tnl_port) {
230         struct hmap **map;
231
232         tnl_port_mod_log(tnl_port, "removing");
233         map = tnl_match_map(&tnl_port->match);
234         hmap_remove(*map, &tnl_port->match_node);
235         if (hmap_is_empty(*map)) {
236             hmap_destroy(*map);
237             free(*map);
238             *map = NULL;
239         }
240         hmap_remove(ofport_map, &tnl_port->ofport_node);
241         netdev_close(tnl_port->netdev);
242         free(tnl_port);
243     }
244 }
245
246 /* Removes 'ofport' from the module. */
247 void
248 tnl_port_del(const struct ofport_dpif *ofport) OVS_EXCLUDED(rwlock)
249 {
250     ovs_rwlock_wrlock(&rwlock);
251     tnl_port_del__(ofport);
252     ovs_rwlock_unlock(&rwlock);
253 }
254
255 /* Looks in the table of tunnels for a tunnel matching the metadata in 'flow'.
256  * Returns the 'ofport' corresponding to the new in_port, or a null pointer if
257  * none is found.
258  *
259  * Callers should verify that 'flow' needs to be received by calling
260  * tnl_port_should_receive() before this function. */
261 const struct ofport_dpif *
262 tnl_port_receive(const struct flow *flow) OVS_EXCLUDED(rwlock)
263 {
264     char *pre_flow_str = NULL;
265     const struct ofport_dpif *ofport;
266     struct tnl_port *tnl_port;
267
268     ovs_rwlock_rdlock(&rwlock);
269     tnl_port = tnl_find(flow);
270     ofport = tnl_port ? tnl_port->ofport : NULL;
271     if (!tnl_port) {
272         char *flow_str = flow_to_string(flow);
273
274         VLOG_WARN_RL(&rl, "receive tunnel port not found (%s)", flow_str);
275         free(flow_str);
276         goto out;
277     }
278
279     if (!VLOG_DROP_DBG(&dbg_rl)) {
280         pre_flow_str = flow_to_string(flow);
281     }
282
283     if (pre_flow_str) {
284         char *post_flow_str = flow_to_string(flow);
285         char *tnl_str = tnl_port_fmt(tnl_port);
286         VLOG_DBG("flow received\n"
287                  "%s"
288                  " pre: %s\n"
289                  "post: %s",
290                  tnl_str, pre_flow_str, post_flow_str);
291         free(tnl_str);
292         free(pre_flow_str);
293         free(post_flow_str);
294     }
295
296 out:
297     ovs_rwlock_unlock(&rwlock);
298     return ofport;
299 }
300
301 static bool
302 tnl_ecn_ok(const struct flow *base_flow, struct flow *flow,
303            struct flow_wildcards *wc)
304 {
305     if (is_ip_any(base_flow)) {
306         if ((flow->tunnel.ip_tos & IP_ECN_MASK) == IP_ECN_CE) {
307             wc->masks.nw_tos |= IP_ECN_MASK;
308             if ((base_flow->nw_tos & IP_ECN_MASK) == IP_ECN_NOT_ECT) {
309                 VLOG_WARN_RL(&rl, "dropping tunnel packet marked ECN CE"
310                              " but is not ECN capable");
311                 return false;
312             } else {
313                 /* Set the ECN CE value in the tunneled packet. */
314                 flow->nw_tos |= IP_ECN_CE;
315             }
316         }
317     }
318
319     return true;
320 }
321
322 /* Should be called at the beginning of action translation to initialize
323  * wildcards and perform any actions based on receiving on tunnel port.
324  *
325  * Returns false if the packet must be dropped. */
326 bool
327 tnl_xlate_init(const struct flow *base_flow, struct flow *flow,
328                struct flow_wildcards *wc)
329 {
330     /* tnl_port_should_receive() examines the 'tunnel.ip_dst' field to
331      * determine the presence of the tunnel metadata.  However, since tunnels'
332      * datapath port numbers are different from the non-tunnel ports, and we
333      * always unwildcard the 'in_port', we do not need to unwildcard
334      * the 'tunnel.ip_dst' for non-tunneled packets. */
335     if (tnl_port_should_receive(flow)) {
336         wc->masks.tunnel.tun_id = OVS_BE64_MAX;
337         wc->masks.tunnel.ip_src = OVS_BE32_MAX;
338         wc->masks.tunnel.ip_dst = OVS_BE32_MAX;
339         wc->masks.tunnel.flags = (FLOW_TNL_F_DONT_FRAGMENT |
340                                   FLOW_TNL_F_CSUM |
341                                   FLOW_TNL_F_KEY);
342         wc->masks.tunnel.ip_tos = UINT8_MAX;
343         wc->masks.tunnel.ip_ttl = UINT8_MAX;
344
345         memset(&wc->masks.pkt_mark, 0xff, sizeof wc->masks.pkt_mark);
346
347         if (!tnl_ecn_ok(base_flow, flow, wc)) {
348             return false;
349         }
350
351         flow->pkt_mark &= ~IPSEC_MARK;
352     }
353
354     return true;
355 }
356
357 /* Given that 'flow' should be output to the ofport corresponding to
358  * 'tnl_port', updates 'flow''s tunnel headers and returns the actual datapath
359  * port that the output should happen on.  May return ODPP_NONE if the output
360  * shouldn't occur. */
361 odp_port_t
362 tnl_port_send(const struct ofport_dpif *ofport, struct flow *flow,
363               struct flow_wildcards *wc) OVS_EXCLUDED(rwlock)
364 {
365     const struct netdev_tunnel_config *cfg;
366     struct tnl_port *tnl_port;
367     char *pre_flow_str = NULL;
368     odp_port_t out_port;
369
370     ovs_rwlock_rdlock(&rwlock);
371     tnl_port = tnl_find_ofport(ofport);
372     out_port = tnl_port ? tnl_port->match.odp_port : ODPP_NONE;
373     if (!tnl_port) {
374         goto out;
375     }
376
377     cfg = netdev_get_tunnel_config(tnl_port->netdev);
378     ovs_assert(cfg);
379
380     if (!VLOG_DROP_DBG(&dbg_rl)) {
381         pre_flow_str = flow_to_string(flow);
382     }
383
384     if (!cfg->ip_src_flow) {
385         flow->tunnel.ip_src = tnl_port->match.ip_src;
386     }
387     if (!cfg->ip_dst_flow) {
388         flow->tunnel.ip_dst = tnl_port->match.ip_dst;
389     }
390     flow->pkt_mark = tnl_port->match.pkt_mark;
391
392     if (!cfg->out_key_flow) {
393         flow->tunnel.tun_id = cfg->out_key;
394     }
395
396     if (cfg->ttl_inherit && is_ip_any(flow)) {
397         wc->masks.nw_ttl = 0xff;
398         flow->tunnel.ip_ttl = flow->nw_ttl;
399     } else {
400         flow->tunnel.ip_ttl = cfg->ttl;
401     }
402
403     if (cfg->tos_inherit && is_ip_any(flow)) {
404         wc->masks.nw_tos = IP_DSCP_MASK;
405         flow->tunnel.ip_tos = flow->nw_tos & IP_DSCP_MASK;
406     } else {
407         flow->tunnel.ip_tos = cfg->tos;
408     }
409
410     /* ECN fields are always inherited. */
411     if (is_ip_any(flow)) {
412         wc->masks.nw_tos |= IP_ECN_MASK;
413
414         if ((flow->nw_tos & IP_ECN_MASK) == IP_ECN_CE) {
415             flow->tunnel.ip_tos |= IP_ECN_ECT_0;
416         } else {
417             flow->tunnel.ip_tos |= flow->nw_tos & IP_ECN_MASK;
418         }
419     }
420
421     flow->tunnel.flags = (cfg->dont_fragment ? FLOW_TNL_F_DONT_FRAGMENT : 0)
422         | (cfg->csum ? FLOW_TNL_F_CSUM : 0)
423         | (cfg->out_key_present ? FLOW_TNL_F_KEY : 0);
424
425     if (pre_flow_str) {
426         char *post_flow_str = flow_to_string(flow);
427         char *tnl_str = tnl_port_fmt(tnl_port);
428         VLOG_DBG("flow sent\n"
429                  "%s"
430                  " pre: %s\n"
431                  "post: %s",
432                  tnl_str, pre_flow_str, post_flow_str);
433         free(tnl_str);
434         free(pre_flow_str);
435         free(post_flow_str);
436     }
437
438 out:
439     ovs_rwlock_unlock(&rwlock);
440     return out_port;
441 }
442
443 static uint32_t
444 tnl_hash(struct tnl_match *match)
445 {
446     BUILD_ASSERT_DECL(sizeof *match % sizeof(uint32_t) == 0);
447     return hash_words((uint32_t *) match, sizeof *match / sizeof(uint32_t), 0);
448 }
449
450 static struct tnl_port *
451 tnl_find_ofport(const struct ofport_dpif *ofport) OVS_REQ_RDLOCK(rwlock)
452 {
453     struct tnl_port *tnl_port;
454
455     HMAP_FOR_EACH_IN_BUCKET (tnl_port, ofport_node, hash_pointer(ofport, 0),
456                              ofport_map) {
457         if (tnl_port->ofport == ofport) {
458             return tnl_port;
459         }
460     }
461     return NULL;
462 }
463
464 static struct tnl_port *
465 tnl_find_exact(struct tnl_match *match, struct hmap *map)
466     OVS_REQ_RDLOCK(rwlock)
467 {
468     if (map) {
469         struct tnl_port *tnl_port;
470
471         HMAP_FOR_EACH_WITH_HASH (tnl_port, match_node, tnl_hash(match), map) {
472             if (!memcmp(match, &tnl_port->match, sizeof *match)) {
473                 return tnl_port;
474             }
475         }
476     }
477     return NULL;
478 }
479
480 /* Returns the tnl_port that is the best match for the tunnel data in 'flow',
481  * or NULL if no tnl_port matches 'flow'. */
482 static struct tnl_port *
483 tnl_find(const struct flow *flow) OVS_REQ_RDLOCK(rwlock)
484 {
485     enum ip_src_type ip_src;
486     int in_key_flow;
487     int ip_dst_flow;
488     int i;
489
490     i = 0;
491     for (in_key_flow = 0; in_key_flow < 2; in_key_flow++) {
492         for (ip_dst_flow = 0; ip_dst_flow < 2; ip_dst_flow++) {
493             for (ip_src = 0; ip_src < 3; ip_src++) {
494                 struct hmap *map = tnl_match_maps[i];
495
496                 if (map) {
497                     struct tnl_port *tnl_port;
498                     struct tnl_match match;
499
500                     memset(&match, 0, sizeof match);
501
502                     /* The apparent mix-up of 'ip_dst' and 'ip_src' below is
503                      * correct, because "struct tnl_match" is expressed in
504                      * terms of packets being sent out, but we are using it
505                      * here as a description of how to treat received
506                      * packets. */
507                     match.in_key = in_key_flow ? 0 : flow->tunnel.tun_id;
508                     match.ip_src = (ip_src == IP_SRC_CFG
509                                     ? flow->tunnel.ip_dst
510                                     : 0);
511                     match.ip_dst = ip_dst_flow ? 0 : flow->tunnel.ip_src;
512                     match.odp_port = flow->in_port.odp_port;
513                     match.pkt_mark = flow->pkt_mark;
514                     match.in_key_flow = in_key_flow;
515                     match.ip_dst_flow = ip_dst_flow;
516                     match.ip_src_flow = ip_src == IP_SRC_FLOW;
517
518                     tnl_port = tnl_find_exact(&match, map);
519                     if (tnl_port) {
520                         return tnl_port;
521                     }
522                 }
523
524                 i++;
525             }
526         }
527     }
528
529     return NULL;
530 }
531
532 /* Returns a pointer to the 'tnl_match_maps' element corresponding to 'm''s
533  * matching criteria. */
534 static struct hmap **
535 tnl_match_map(const struct tnl_match *m)
536 {
537     enum ip_src_type ip_src;
538
539     ip_src = (m->ip_src_flow ? IP_SRC_FLOW
540               : m->ip_src ? IP_SRC_CFG
541               : IP_SRC_ANY);
542
543     return &tnl_match_maps[6 * m->in_key_flow + 3 * m->ip_dst_flow + ip_src];
544 }
545
546 static void
547 tnl_match_fmt(const struct tnl_match *match, struct ds *ds)
548     OVS_REQ_RDLOCK(rwlock)
549 {
550     if (!match->ip_dst_flow) {
551         ds_put_format(ds, IP_FMT"->"IP_FMT, IP_ARGS(match->ip_src),
552                       IP_ARGS(match->ip_dst));
553     } else if (!match->ip_src_flow) {
554         ds_put_format(ds, IP_FMT"->flow", IP_ARGS(match->ip_src));
555     } else {
556         ds_put_cstr(ds, "flow->flow");
557     }
558
559     if (match->in_key_flow) {
560         ds_put_cstr(ds, ", key=flow");
561     } else {
562         ds_put_format(ds, ", key=%#"PRIx64, ntohll(match->in_key));
563     }
564
565     ds_put_format(ds, ", dp port=%"PRIu32, match->odp_port);
566     ds_put_format(ds, ", pkt mark=%"PRIu32, match->pkt_mark);
567 }
568
569 static void
570 tnl_port_mod_log(const struct tnl_port *tnl_port, const char *action)
571     OVS_REQ_RDLOCK(rwlock)
572 {
573     if (VLOG_IS_DBG_ENABLED()) {
574         struct ds ds = DS_EMPTY_INITIALIZER;
575
576         tnl_match_fmt(&tnl_port->match, &ds);
577         VLOG_INFO("%s tunnel port %s (%s)", action,
578                   tnl_port_get_name(tnl_port), ds_cstr(&ds));
579         ds_destroy(&ds);
580     }
581 }
582
583 static char *
584 tnl_port_fmt(const struct tnl_port *tnl_port) OVS_REQ_RDLOCK(rwlock)
585 {
586     const struct netdev_tunnel_config *cfg =
587         netdev_get_tunnel_config(tnl_port->netdev);
588     struct ds ds = DS_EMPTY_INITIALIZER;
589
590     ds_put_format(&ds, "port %"PRIu32": %s (%s: ", tnl_port->match.odp_port,
591                   tnl_port_get_name(tnl_port),
592                   netdev_get_type(tnl_port->netdev));
593     tnl_match_fmt(&tnl_port->match, &ds);
594
595     if (cfg->out_key != cfg->in_key ||
596         cfg->out_key_present != cfg->in_key_present ||
597         cfg->out_key_flow != cfg->in_key_flow) {
598         ds_put_cstr(&ds, ", out_key=");
599         if (!cfg->out_key_present) {
600             ds_put_cstr(&ds, "none");
601         } else if (cfg->out_key_flow) {
602             ds_put_cstr(&ds, "flow");
603         } else {
604             ds_put_format(&ds, "%#"PRIx64, ntohll(cfg->out_key));
605         }
606     }
607
608     if (cfg->ttl_inherit) {
609         ds_put_cstr(&ds, ", ttl=inherit");
610     } else {
611         ds_put_format(&ds, ", ttl=%"PRIu8, cfg->ttl);
612     }
613
614     if (cfg->tos_inherit) {
615         ds_put_cstr(&ds, ", tos=inherit");
616     } else if (cfg->tos) {
617         ds_put_format(&ds, ", tos=%#"PRIx8, cfg->tos);
618     }
619
620     if (!cfg->dont_fragment) {
621         ds_put_cstr(&ds, ", df=false");
622     }
623
624     if (cfg->csum) {
625         ds_put_cstr(&ds, ", csum=true");
626     }
627
628     ds_put_cstr(&ds, ")\n");
629
630     return ds_steal_cstr(&ds);
631 }
632
633 static const char *
634 tnl_port_get_name(const struct tnl_port *tnl_port) OVS_REQ_RDLOCK(rwlock)
635 {
636     return netdev_get_name(tnl_port->netdev);
637 }