Chào tất cả các bạn, trong bài viết này Nguyễn Văn Hiếu Blog tiếp tục trình bày series khóa học về thư viện Tensorflow. Nếu bạn chưa nắm được thông tin tutorial này, bạn hãy xem bài viết giới thiệu trước tiên nhé. Bài đầu tiên sẽ mô tả chi tiết thông tin về khóa học này, các yêu cầu với người học, cài đặt môi trường và danh sách các bài học từ đầu đến cuối.
Trong bài viết ngày hôm nay, mình sẽ trình bày tổng quan về thư viện Tensorflow, bao gồm các nội dung sau:
Giới thiệu tổng quan về Tensorflow
Graph và Session
Giới thiệu tổng quan về thư viện Tensorflow
Thư viện Tensorflow là gì?
Thư viện Tensorfow là thư viện mã nguồn mở dùng cho tính toán số học sử dụng đồ thị luồng dữ liệu.
Biểu đồ dưới đây cho thấy mức độ phổ biến của thư viện này.
Mức độ phổ biến của Tensorflow tính từ lúc được Opensource
Tại sao lại là thư viện Tensorflow?
Tích hợp sẵn rất nhiều các thư viện machine learning
Có khả năng tương thích và mở rộng tốt. Được Google phát triển cho machine learning phục vụ cả nghiên cứu lẫn xây dựng các ứng dụng thực tế
Phổ biến
Biểu đồ lượt star và repos trên github sử dụng TF
Thống kê nhu cầu tensorflow của các nhà tuyển dụng
Một số project nổi tiếng sử dụng thư viện Tensorflow
Phân loại ung thư da – Dermatologist-level classification of skin cancer with deep neural networks (Esteva et al., Nature 2017)
WaveNet: Text to speech – Wavenet: A generative model for raw audio (Oord et al., 2016)
Vẽ hình – Draw Together with a Neural Network (Ha et al., 2017)
Image Style Transfer Using Convolutional Neural Networks (Gatys et al., 2016) Tensorflow adaptation by Cameroon Smith (cysmith@github)
Để bắt đầu sử dụng thư viện Tensorflow, bạn cần import thư viện này
0
1
2
importtensorflow astf
Graph và Session trong Tensorflow
Data flow grpahs
Tensorflow phân biệt rạch ròi việc định nghĩa và tính toán trong quá trình thực thi. Bao gồm:
Xây dựng, định nghĩa đồ thị(Graph)
Sử dụng một Session để thực thi các tính toán trong đồ thị
Mô phỏng một đồ thị xây dựng bởi TF
Khái niệm Tensor
Tensor là một mảng có n chiều (n-dimensional array). Chẳng hạn như:
0-d tensor, còn được gọi là scalar hay chỉ là một số. Ví dụ: 1, 2, -5
1-d tensor, còn được gọi là vector. Ví dụ: [1 2 3 4], [5 8 7 9]
2-d tensor, còn được gọi là ma trận(matrix). Ví dụ: [1 2 3; 4 5 6; 7 8 9]
…
n-D tensor
Định nghĩa một Graph
Dưới đây là code python định nghĩa một graph đơn giản nhất
0
1
2
3
4
5
6
7
8
import tensorflow astf
a=tf.add(3,5)
// Hoặc
import tensorflow astf
x=tf.constant(3)
y=tf.constant(5)
a=tf.add(x,y)
Và bạn sẽ có biểu diễn trên TensorBoard như sau:
Như bạn đã biết, một đồ thị thì sẽ có đỉnh(node) và các cạnh(edge). Trong TF, node có thể là các toán tử, hằng số, biến còn cạnh sẽ là các Tensor.
Như vậy, Tensor chính là dữ liệu(data): TensorFlow = tensor + flow = data + flow => luồng của các dữ liệu.
Nếu chúng ta thử in giá trị của a ra thì sao?
0
1
2
3
4
5
6
import tensorflow astf
a=tf.add(3,5)
print(a)
>>Tensor("Add:0",shape=(),dtype=int32)
Oh, không phải là con số 8 mà chúng ta đang nghĩ. Đó là bởi chúng ta mới chỉ đang xây dựng graph chứ chưa hề đến bước tính toán.
Làm sao để lấy được giá trị ở a?
Tạo một Session và gán nó vào một biến(sess) để có thể sử dụng về sau.
Trong Session đó, thực thi bước tính toán của đồ thị để lấy ra giá trị của a.
0
1
2
3
4
5
6
7
8
importtensorflow astf
a=tf.add(3,5)
sess=tf.Session()
print(sess.run(a))
sess.close()
>>8
Khi thực thi câu lệnh sess.run(a) session sẽ tự động tìm kiếm và tính toán trên tất cả các node cần để có được kết quả của a.
Bạn có thể sửa lại đoạn code trên để session tự đóng sau khi xong việc
0
1
2
3
4
5
import tensorflow astf
a=tf.add(3,5)
with tf.Session()assess:
print(sess.run(a))
tf.Session()
Session là môi trường để TF thực thi. Và đó cũng là nơi để các Tensor object được tính toán
Session cũng đồng thời cấp phát bộ nhớ để lưu giữ giá trị của các biến(Variables)
Một ví dụ Graph khác
0
1
2
3
4
5
6
7
8
x=2
y=3
op1=tf.add(x,y)
op2=tf.multiply(x,y)
op3=tf.pow(op2,op1)
withtf.Session()assess:
op3=sess.run(op3)
Sẽ có biểu diễn trên TensorBoard như sau:
SubGraphs
Nhìn hình phía trên, bởi vì chúng ta chỉ cần giá trị của pow_op mà pow_op lại không phụ thuộc gì vào useless . Do đó, session trong trường hợp này sẽ không tính giá trị của useless -> Tiết kiệm cho việc tính toán
Nhưng nếu bạn muốn lấy cả giá trị của pow_op và uselessthì phải làm sao? Đây là giải pháp
0
1
2
3
4
5
6
7
8
9
x=2
y=3
add_op=tf.add(x,y)
mul_op=tf.multiply(x,y)
useless=tf.multiply(x,add_op)
pow_op=tf.pow(add_op,mul_op)
withtf.Session()assess:
z,not_useless=sess.run([pow_op,useless])
Bạn chỉ cần truyền vào list các tensor mà bạn cần tính toán giá trị của nó. Chính là tham số fetches trong cú pháp của Session.run()
0
1
2
3
4
5
tf.Session.run(fetches,
feed_dict=None,
options=None,
run_metadata=None)
tf.Graph()
Lưu ý: Khi import thư viện tensorflow, một graph mặc định đã được tạo ra
Tạo mới 1 graph
0
1
2
g=tf.Graph()
Quản lý graph default
0
1
2
g=tf.get_default_graph()
Thêm 1 node vào graph vừa tạo
Cần set graph đó là graph default trước khi thêm
0
1
2
3
4
5
6
g=tf.Graph()
withg.as_default():
x=tf.add(3,5)
with tf.Session()assess:
sess.run(x)
Tránh nhầm lẫn giữa graph default và graph được tạo bởi người dùng => gây phát sinh lỗi về sau. Xem ví dụ sau:
0
1
2
3
4
5
6
7
g=tf.Graph()// Tạo mới graph
# thêm vào default graph
a=tf.constant(3)
# Thêm vào graph tạo bởi người dùng
withg.as_default():
b=tf.constant(5)
Trong trường hợp có 2 graph, hãy lưu ý khi thêm các ops(operations):
0
1
2
3
4
5
6
7
8
9
g1=tf.get_default_graph()
g2=tf.Graph()
# add ops to the default graph
with g1.as_default():
a=tf.Constant(3)
# add ops to the user created graph
with g2.as_default():
b=tf.Constant(5)
Tuy nhiên, KHÔNG NÊN tạo 2 graph nếu không thực sự cần thiết. Bởi:
Nhiều graph cũng sẽ cần nhiều session, mỗi session lại sử dụng các tài nguyên gây lãng phí
Không thể chia sẻ dữ liệu giữa các graph
Giải pháp sử dụng subgraph trong 1 graph là tốt hơn
Tại sao TF sử dụng Graph?
Tối ưu trong tính toán. Cho phép chỉ tính toán các node cần để có được giá trị bạn muốn
Chia bài toán thành các module nhỏ, giúp graph nhận biết module nào cần cho bài toán
Tính toán phân tán, song song trên nhiều CPU, TPU, GPU hoặc trên nhiều máy
Nhiều mô hình máy học sử dụng graph để học và biểu diễn(visualize)
Blogger Comment
Facebook Comment