Lehekülje Open vSwitch kasutamine operatsioonisüsteemiga Debian v. 8 Jessie lähteteksti vaatamine

===Sissejuhatus===

Open vSwitch (OVS) http://openvswitch.org/ on vaba tarkvaraline tarvaraline kommutaator. OVS puhul on üheks aktsendiks kasutamine virtualiseerimise lahenduste juures.

===Mõisted===

* repeater - põhimõtteliselt kahepordine seade liinil sumbuva signaali võimendamiseks
* hub - moodustab ühe collision domeeni (mis on tavaliselt ka broadcast domain); võib kujutleda kui mitmepordist repeaterit
* bridge - põhimõtteliselt kahepordine seade, aitab eraldada collision domeene, aga bridge mõlemad pooled on samas broadcast domeenis
* switch - tekitab collision-vaba võrgu; võib kujutleda kui mitmepordist bridge't
* collision domeen - sama traadi peal käivad signaalid on kõigile seadmetele (nt arvutite võrguseadmetele) nähtavad, st iga üksik etherneti frame ja seal sees olev ip pakette vms); switchisid kasutades on iga pordi taga oma collision domeen, domeenis on üks arvuti
* broadcast domeen - võrgus olevad osalised, kellele jõuavad arp jms broadcastitud paketid (mille nt bridge ja switch läbi lasevad)

===Tööpõhimõte===

OVS esineb tuuma moodulite ja userspece haldusutiliitide kujul kasutades võimalikult palju ära Linux tuumas juba olemasolevaid võimalusi, nt QoS. Töödavad kaks deemonit

* ovs-vswitchd - tegeleb pakettide switchimisega
* ovsdb-server - tegeleb switchi seadistamisega ja teda juhitakse ovs-vsctl programmiga

Asjasse puutuvad failid

* logi - /var/log/openvswitch/ovs-vswitchd.log
* andmebaas - /var/lib/openvswitch/conf.db

OVS kasutamisel otseselt seaditusfaili midagi ei tule kirjutada, erinevate ovs_* käsude tulemusena kirjutatakse andmebaasi sisu ja koheselt vastav muudatus ka kehtestatakse; see sisu nö elab arvuti reboodi üle.

Switchi seadistamist kirjeldatakse järgmistes punktides, eriti maksab tähelepanu pöörata punktis NetFlow kirjeldatud viisile anda ühe korraga mitut kästu kasutades käskude vahel ühiseid muutujaid

===Paigaldamine===

====Debian v. 7 Wheezy====

Debian v. 7 Wheezy paketihaldus sisealdab 2014 aasta suve seisuga üsna vana tarvkara v. 1.4.2

 # apt-get install openvswitch-switch
 ...
 [FAIL] Inserting openvswitch module ... failed!
 Module has probably not been built for this kernel.
 Install the openvswitch-datapath-source package, then read
 /usr/share/doc/openvswitch-datapath-source/README.Debian

ning edasi nagu arvuti õpetab

 # apt-get install openvswitch-datapath-source
 # module-assistant auto-install openvswitch-datapath

Tulemusena tekitavad kaks tuuma moodulit

 /lib/modules/3.2.0-4-amd64/kernel/openvswitch_mod.ko
 /lib/modules/3.2.0-4-amd64/kernel/brcompat_mod.ko

Lisaks võiks paigaldada kaks paketti

 # apt-get install openvswitch-brcompat openvswitch-controller

====Debian Jessie (testing)====

Debian Jessie (testing) paketihaldus sisaldab 2014 suve seisuga v. 2.1.4 tarkvara

 # apt-get install openvswitch-switch
 ..
 Inserting openvswitch module.
 /etc/openvswitch/conf.db does not exist ... (warning).
 Creating empty database /etc/openvswitch/conf.db.
 Starting ovsdb-server.
 Configuring Open vSwitch system IDs.
 Starting ovs-vswitchd.
 Enabling remote OVSDB managers.

kusjuures paistab, et 2014 suvel on tuumaga sobiv moodul kaasas

 # lsmod | grep openvswitch
 openvswitch            63887  0 
 gre                    12777  1 openvswitch
 vxlan                  35023  1 openvswitch
 libcrc32c              12426  1 openvswitch

====Ubuntu v. 14.04====

Praktiliselt nagu Debian Jessie.

===Käivitamine===

Käivitamiseks tuleb öelda

 # /etc/init.d/openvswitch-switch start

Tulemusena Ubuntu keskkonnas

 # /etc/init.d/openvswitch-switch status
 ovsdb-server is running with pid 28633
 ovs-vswitchd is running with pid 28684

ja töötavad sellised protsessid

 # ps -ea | grep ovs
 2601 ?        00:00:00 ovsdb-server
 2602 ?        00:00:00 ovsdb-server
 2652 ?        00:00:00 ovs-vswitchd
 2653 ?        00:00:00 ovs-vswitchd

===Kasutamine===

====Switchi tekitamine====

Switchi tekitamiseks

 # ovs-vsctl add-br ovsbr0
 # ovs-vsctl add-port ovsbr0 eth1

Omaduste küsimiseks

 # ovs-vsctl show
 bc34235e-cf7a-4c4f-b8e5-c59b4b9fea5c
    Bridge "ovsbr0"
        Port "ovsbr0"
            Interface "ovsbr0"
                type: internal
        Port "eth1"
            Interface "eth1"
    ovs_version: "2.1.4"

Seejärel saab ovsbr0 seadmele omistada ip aadressi ja kasutada võrku.

 # ovs-appctl fdb/show ovsbr0
  port  VLAN  MAC                Age
     1     0  00:04:23:bd:17:d9  269
     1     0  00:04:23:c8:fa:eb  116
     1     0  00:16:17:ab:d4:b7   47
     1     0  6c:50:4d:53:6a:da   35
     1     0  12:bd:eb:f8:bc:15   27
     1     0  00:00:5e:00:01:0b    1

Switchi portide nimekirja küsimiseks

 # ovs-vsctl list port

Pordi lisamiseks switchile

 # ovs-vsctl add-port ovsbr0 tep0

Pordi kustutamiseks

 # ovs-vsctl del-port ovsbr0 tep0

Switchi omaduste küsimiseks

 # ovs-vsctl list bridge ovsbr0

====VLAN kasutamine====

=====VLAN sildi kasutamine=====

Kahe füüsilise liidesega ovsbr0 switch seadistus paistab nt selline

 # ovs-vsctl show
 c94cbdcf-2c25-4c02-ae93-f8d68ddce07d
    Bridge "ovsbr0"
        Port "eth2"
            tag: 400
            Interface "eth2"
        Port "ovsbr0"
            Interface "ovsbr0"
                type: internal
        Port "eth3"
            Interface "eth3"
    ovs_version: "2.1.0"

kus

* Port eth2 koosneb ühest füüsilisest samanimelisest liidesest ja see on nn mode access režiimis port, st sealt lähevad välja ilma vlan siltideta vlan 200 paketid, mis on kuskilt muud kaudu switchi sisenenud

Sellise tulemuse saavutamiseks sobib

* moodustada nö tavaline eth2 ja eth3 liidestega switch
* täpsustada eth2 port seadistust, et ta on mode access

 # ovs-vsctl set port eth2 tag=400

Üksiku parameetri väärtust saab küsida

 # ovs-vsctl get port eth2 tag
 400

Sildi eemaldamine

 # ovs-vsctl remove port eth2 tag 400

=====VLAN trunk kasutamine=====

Vaikimisi on Open vSwitch pordid selliste omadustega, et sealt saavad läbi igasugused paketid

* vlan siltidega
* ilma vlan siltideta

Olgu kahe füüsilise liidesega ovsbr0 switch seadistus nt selline

 # ovs-vsctl show
 c94cbdcf-2c25-4c02-ae93-f8d68ddce07d
    Bridge "ovsbr0"
        Port "eth2"
            tag: 400
            Interface "eth2"
        Port "ovsbr0"
            Interface "ovsbr0"
                type: internal
        Port "eth3"
            trunks: [400, 401, 402]
            Interface "eth3"
    ovs_version: "2.1.0"

kus

* port eth3 on trunk port ja tegeleb ainult vlan 400, 401 ja 402 siltidega pakettidega
* tulemusena saavad switchi eth3 kaudu sisse vlan 400 sildiga paketid ja eth2 kaudu välja sama vlan paketid, millelt on vlan silt eemaldatud

====Internal pordi tekitamine====

Internal pordi tekitamiseks vlan 1005 peale sobib öelda

 # ovs-vsctl add-port ovsbr0 vlan1005 tag=1005 -- set interface vlan1005 type=internal

====Pordi shutdown olekusse viimine====

Tundub, et nö port administrativ shutdown jaoks on samaväärne öelda

 # ifconfig vlan1005 down
 # ifconfig vlan1005 up

====NetFlow====

NetFlow seadistamiseks sobib öelda nt (viimane rida 6b... on antud käsu väljund)

 # ovs-vsctl -- set Bridge xenbr0 netflow=@nf -- \
   --id=@nf create NetFlow targets=\"192.168.10.123:9910\" active-timeout=30
 6b0b6bfd-5a8e-4bbe-aec3-77939db1ac4b

kus

* OVS'iga seotud objektidel on oma id väärtused, tavaliselt on see objekti loomisel antud käsu väljundiks
* -- märkidega eristatakse ühe korraga sisuliselt antavaid mitmeid käske (NetFlow objekti loomine ja objecti ühendamine bridega)
* --id=@nf omistab järgneva käsu tulemusena tekkiva objekti id väärtuse näidatud muutujale (@nf), mida saab mõnes muus käsus kasutada

Tulemuse vaatamiseks sobib öelda

 # ovs-vsctl list NetFlow
 _uuid               : 6b0b6bfd-5a8e-4bbe-aec3-77939db1ac4b
 active_timeout      : 30
 add_id_to_interface : false
 engine_id           : []
 engine_type         : []
 external_ids        : {}
 targets             : ["192.168.10.123:9910"]

kus

* TODO

ning

 # tcpdump -ni eth0 port 9910
 ...
 09:51:36.436933 IP 192.168.10.9.58324 > 192.168.10.123.9910: UDP, length 264
 09:51:39.438722 IP 192.168.10.9.58324 > 192.168.10.123.9910: UDP, length 408

Eemaldamiseks

 # ovs-vsctl clear Bridge xenbr0 netflow

Kasulikud lisamaterjalid

* man ovs-vsctl
* http://www.flowtraq.com/corporate/configuring-netflow-export-on-open-vswitch-sdn
* http://www.admin-magazine.com/CloudAge/Articles/Virtual-switching-with-Open-vSwitch

====Port mirror====

Eeldame, et on olemas switch ovsbr0 ning selle küljes portid eth2 ja eth4, kusjuures port eth2 sisenev ja väljuv liiklus peegeldakse porti eth4. Port mirrori tekitamiseks sobib öelda üks käsk

 # ovs-vsctl -- set Bridge ovsbr0 mirrors=@m \
   -- --id=@eth2 get Port eth2 \
   -- --id=@eth4 get Port eth4 \
   -- --id=@m create Mirror name=mymirror \
   select-dst-port=@eth2 select-src-port=@eth2 \
   output-port=@eth4

kus

* --id=@eth2 get Port eth2 - küsib swithi port eth2 id väärtuse ja omistab muutujale @eth2
* --id=@eth4 get Port eth4 - küsib swithi port eth4 id väärtuse ja omistab muutujale @eth4
* --id=@m create Mirror name=mymirror select-dst-port=@eth2 select-src-port=@eth2 output-port=@eth4 - tekitad mirrori mymirror, seostab sellega port eth2 switchi suhtes siseneva ja väljauva liikluse ja mirrordab ta porti eth4
* set Bridge ovsbr0 mirrors=@m - ühendab mirror objekti bridgega

Mirrorite andmete esitamiseks

 # ovs-vsctl list mirror mymirror

Switchi ühe konkreetse mirrori kustutamiseks sobib öelda

 # ovs-vsctl -- --id=@m get mirror mymirror -- remove bridge ovsbr0 mirrors @m

Switchi kõige mirrorite kustutamiseks sobib öelda

 # ovs-vsctl clear Bridge ovsbr0 mirrors

Kasulikud lisamaterjalid

* http://backreference.org/2014/06/17/port-mirroring-with-linux-bridges/

====Kahe switchi ühendamine====

Tundub, et kahe switchi nö patch abil ühendamisel käib seal kõik liiklus läbi. Eeldusel, et lähtepunktiks on kahe switchi olemasolu, sobib öelda

 # ovs-vsctl \
           -- add-port br0 patch0 \
           -- set interface patch0 type=patch options:peer=patch1 \
           -- add-port br1 patch1 \
           -- set interface patch1 type=patch options:peer=patch0

Kasulikud lisamaterjalid

* http://blog.scottlowe.org/2012/11/27/connecting-ovs-bridges-with-patch-ports/

====Bonding kasutamine====

<pre>
# ovs-vsctl add-br vmbr0
# ovs-vsctl add-bond vmbr0 bond0 eno1 eno2 lacp=active
# ovs-appctl bond/show bond0
# ovs-vsctl add-port vmbr0 vlan200 tag=200 -- set interface vlan200 type=internal
# ip addr add 10.1.200.54/24 dev vlan200
# ip link set dev eno1 up
# ip link set dev eno2 up
</pre>

tulemusena

<pre>
# ovs-vsctl show
fc246670-71d4-4962-b3d7-3a745b8a8215
    Bridge "vmbr0"
        Port "bond0"
            Interface "eno2"
            Interface "eno1"
        Port "vmbr0"
            Interface "vmbr0"
                type: internal
        Port "vlan200"
            tag: 200
            Interface "vlan200"
                type: internal
    ovs_version: "2.10.1"
</pre>

ja

<pre>
# ovs-appctl bond/show bond0
---- bond0 ----
bond_mode: active-backup
bond may use recirculation: no, Recirc-ID : -1
bond-hash-basis: 0
updelay: 0 ms
downdelay: 0 ms
lacp_status: negotiated
lacp_fallback_ab: false
active slave mac: 18:66:da:4c:db:cc(eno1)

slave eno1: enabled
  active slave
  may_enable: true

slave eno2: enabled
  may_enable: true
</pre>

Kasulikud lisamaterjalid

* https://blog.scottlowe.org/2012/10/19/link-aggregation-and-lacp-with-open-vswitch/
* https://pve.proxmox.com/wiki/Open_vSwitch

====GRE tunnel====

GRE tunnel on üks mitmetest nö üldotstarbelistest tunnelitest, mida võiks iseloomustada nii nagu ikka tunnelit: mis pannakse ühest otsast sisse, tuleb teisest otsast välja. Open vSwitch kontekstis sobib GRE tunnelit kasutada selleks, et kahes füüsilises virtuaalsete arvutite pidamisega tegelevas arvutis töötavaid sisemise võrke ühendada kokku üheks ethernetiks. Kui need kaks füüsilist arvutit asuvad üksteisest kaugemal, siis võib olla asjakohane kapseldada GRE paketid omakorda IPSec sisse.

Eeldusel, et kaks arvutit on juba võrku ühendatud mingil viisil, nt 

 arvuti-1                                                             arvuti-2
  ____                                                                 ____ 
 |    |  eth0                                                   eth0  |    |
 |    |---------- andmekeskuse sisene ruuditud võrk ------------------|    |
 |____|  192.168.10.11                                 192.168.40.12  |____|

sobib GRE tunneldamisega seotud bridge'de moodustamiseks sobib öelda ühes arvutis ja teises arvutis

 arvuti-1 # ovs-vsctl add-br grebr0
 arvuti-2 # ovs-vsctl add-br grebr0

Mille tulemusena moodustatakse vastavastes arvutites midagi sellist

 arvuti-1 # ovs-vsctl show
 ad1affc3-ba05-4019-b344-e9bbbfc2f68e
    Bridge "grebr0"
        Port "grebr0"
            Interface "grebr0"
                type: internal

GRE tunneli moodustamiseks öelda

 arvuti-1 # ovs-vsctl add-port grebr0 gre0 -- set interface gre0 type=gre options:remote_ip=192.168.40.12
 arvuti-2 # ovs-vsctl add-port grebr0 gre0 -- set interface gre0 type=gre options:remote_ip=192.168.10.11

ja moodustatakse juurde midagi sellist

 arvuti-1 # ovs-vsctl show
 ad1affc3-ba05-4019-b344-e9bbbfc2f68e
    Bridge "grebr0"
        Port "gre0"
            Interface "gre0"
                type: gre
                options: {remote_ip="192.168.40.12"}
        Port "grebr0"
            Interface "grebr0"
                type: internal

Tulemusena töötavad kaks grebr0 bridge't nö sama ethernet peal, nt arp paketid kostavad ühest teise jne. Sellise asjakorralduse kasutamiseks sobib nt virtuaalsete serverite seadistamisel näidata nende võrguseadmete jaoks kasutatavaks bridgeks grebr0 ja need virtuaalsed arvutid on praktiliselt samas ethernetis.

Lihtsalt GRE tunneliga moodustatud etherneti testimiseks sobib tekitada kummaski switchis täiendav OVS internal port

 arvuti-1 # ovs-vsctl add-port grebr0 test0 -- set interface test0 type=internal
 arvuti-2 # ovs-vsctl add-port grebr0 test0 -- set interface test0 type=internal
 arvuti-1 # ifconfig test0 10.100.100.11/24
 arvuti-2 # ifconfig test0 10.100.100.12/24

ning veenduda, et ühest saab teist pingida

 arvuti-1 # ping 10.100.100.12

Tulemust võiks kujutada selliselt

         arvuti-1                                                            arvuti-2
          ____                                                                 ____ 
         |    |  eth0                                                   eth0  |    |
         |    |---------- andmekeskuse sisene ruuditud võrk ------------------|    |
         |____|  192.168.10.11                                  192.168.40.12 |____|
 
    grebr0 -> test0 (10.100.100.11)                                      grebr0 -> test0 (10.100.100.12)

kus

* arvutite füüsilised võrguseadmed on erinevates ethernetides ja subnetides
* mõlemas arvutis on grebr0 bridge sees test0 nimeline virtuaalne võrguliides
* test0 võrguliidesed asuvad samas virtuaalses ethernetis

Kasulikud lisamaterjalid

* http://blog.scottlowe.org/2013/05/07/using-gre-tunnels-with-open-vswitch/
* http://trickycloud.wordpress.com/2014/05/02/multiple-private-networks-with-open-vswitch-gre-tunnels-and-libvirt/

===OpenFlow kontroller===

OpenFlow kontroller on võrgus töötav teenus, mida saab Open vSwitch kasutada, selleks, et keegi teda nö juhiks (õpetaks ACL'i jms). Tundub, et prkatiliseks kasutamiseks seda tingimata vaja ei ole ja vaikimisi käivad ka andmed switchist läbi. Paistab, et Ubuntu paketihalduses on ka OpenFlow kontroller

 # apt-get install openvswitch-controller

Flow nimekirja küsimine

 # ovs-ofctl dump-flows ovsbr0
 NXST_FLOW reply (xid=0x4):
 cookie=0x0, duration=7877.116s, table=0, n_packets=12241, n_bytes=1250181, idle_age=1, \
   priority=0 actions=NORMAL

===Switchi haldamine===

Switchi portide ja vastavate interface'ide vastavuse küsimiseks sobib öelda

 # ovs-ofctl show ovsbr0
 OFPT_FEATURES_REPLY (xid=0x2): dpid:0000000c42071a46
 n_tables:254, n_buffers:256
 capabilities: FLOW_STATS TABLE_STATS PORT_STATS QUEUE_STATS ARP_MATCH_IP
 actions: OUTPUT SET_VLAN_VID SET_VLAN_PCP STRIP_VLAN SET_DL_SRC SET_DL_DST SET_NW_SRC \
   SET_NW_DST  SET_NW_TOS SET_TP_SRC SET_TP_DST ENQUEUE
 1(eth2): addr:00:0c:42:07:1a:46
     config:     0
     state:      0
     current:    1GB-FD AUTO_NEG
     advertised: 10MB-HD 10MB-FD 100MB-HD 100MB-FD 1GB-HD 1GB-FD COPPER AUTO_NEG \
    AUTO_PAUSE AUTO_PAUSE_ASYM
     supported:  10MB-HD 10MB-FD 100MB-HD 100MB-FD 1GB-HD 1GB-FD COPPER AUTO_NEG
     speed: 1000 Mbps now, 1000 Mbps max
 2(eth3): addr:00:0c:42:07:1a:47
     config:     0
     state:      0
     current:    1GB-FD AUTO_NEG
     advertised: 10MB-HD 10MB-FD 100MB-HD 100MB-FD 1GB-HD 1GB-FD COPPER AUTO_NEG \
    AUTO_PAUSE AUTO_PAUSE_ASYM
     supported:  10MB-HD 10MB-FD 100MB-HD 100MB-FD 1GB-HD 1GB-FD COPPER AUTO_NEG
     speed: 1000 Mbps now, 1000 Mbps max
 LOCAL(ovsbr0): addr:00:0c:42:07:1a:46
     config:     0
     state:      0
     speed: 0 Mbps now, 0 Mbps max
 OFPT_GET_CONFIG_REPLY (xid=0x4): frags=normal miss_send_len=0

===Debian /etc/network/interfaces kasutamine===

Olgu tarvis ühendada arvuti sedasi

* eth0 on ühendatud mode access režiimis switchi porti ja seal käib 192.168.10.0/24 võrgu liiklus
* arvuti poole peab saama pöörduda 192.168.10.48 ip aadressiga

 # cat /etc/network/interfaces
 allow-ovs ovsbr0
 iface ovsbr0 inet manual
   ovs_type OVSBridge
   ovs_ports eth0 vlan10
 
 allow-ovsbr0 eth0
 iface eth0 inet manual
   ovs_bridge ovsbr0
   ovs_type OVSPort
   ovs_options tag=10
 
 allow-ovsbr0 vlan10
 iface vlan10 inet static
   ovs_bridge ovsbr0
   ovs_type OVSIntPort
   ovs_options tag=10
   ovs_extra set interface ${IFACE} external-ids:iface-id=$(hostname -s)
   address 192.168.10.48
   netmask 255.255.255.0
   gateway 192.168.10.254

kus

* toodud seadistusfaili tõttu moodustatakse (ja kustutatakse) kogu ovsbr0 seade (selle asjaolu tõttu võib olla mõislik kasutada ühes arvutis kahte OVS switchi, st teise konfiguratsioon elab arvuti reboodid üle)
* allow-ovs seadmete juhitmiseks sobib öelda

 # ifup --allow=ovs ovsbr0
 # ifdown --allow=ovs ovsbr0

Käisitsi saab vlan10 seadme tekitada öelda

 # ovs−vsctl add−port br0 vlan10 tag=10 −− set Interface vlan10 type=internal
 # ifconfig vlan10 192.168.10.48

Kasulikud lisamaterjalid

* zless /usr/share/doc/openvswitch-switch/README.Debian.gz
* http://git.openvswitch.org/cgi-bin/gitweb.cgi?p=openvswitch;a=blob;f=debian/openvswitch-switch.README.Debian;h=8617e77103eadb55a5083de6400efde53109b29e;hb=HEAD

===Märkused===

* Tundub, et Ubuntu v. 14.04 juurde on tekkinud biosdevname süsteem, selle väljalülitamiseks sobib kasutada tuuma argumendina

 biosdevname=0

Vastasel korral võivad tekida em1 nimelised võrguseadmed ja see võib eksitada.

* Virtuaalse ethernet liidese tekitamiseks sobib öelda

 # ip tuntap add dev liides1 mode tap

* Tundub, et tüüpiline probleem Open vSwitch kasutamisel on, et sealt kus oodatakse ilma vlan siltideta pakette on nad siltidega ja vastupidi, uurimisel aitab tcpdump -e võtme kasutamine, nt

 # tcpdump -nei seadmenimi

* Võrgu debugimisel peab arvestama, et switchi enda nimelisel seadmel (st mis vastab ovs-vsctl add-br seadmenimi) ei ole eriti liiklust näha, ainult vahel arp jms pakette

* Tundub, et kunagi (v. 1.4 kandis?) oli probleemiks, et muud kompnendid (nt libvirt) ei töötanud otseselt Open vSwitch tarkvraaga ja kasutamiseks olid ettevalmistatud nn workaroundid, fake bridge ja ühilduvuseks brctl süsteemiga sai näidata failis /etc/default/openvswitch-switch rida

 BRCOMPAT=yes

2.x versioonidel ja 2014 aasta suvel enam neid probleeme reegline pole (brcompat arendamisest on üldse loobutud).

===Kasulikud lisamaterjalid===

* http://en.wikipedia.org/wiki/Open_vSwitch
* http://blog.scottlowe.org/2012/08/17/installing-kvm-and-open-vswitch-on-ubuntu/
* http://www.oneunified.net/blog/Virtualization/OpenVSwitchInstall.article
* http://networkstatic.net/openflow-openvswitch-lab/
* http://floodlight.openflowhub.org/
* How OpenFlow Changes Networking - https://www.youtube.com/watch?v=oFek19ZYpPs
* http://www.youtube.com/watch?v=rYW7kQRyUvA
* https://raw.githubusercontent.com/openvswitch/ovs/master/FAQ
* [[:QEMU-KVM ja virt-manager kasutamine operatsioonisüsteemiga Ubuntu v. 14.04]]