import numpy as np from scipy.optimize import minimize class MaxEntIRL: def init(self,…
- User
import numpy as np from scipy.optimize import minimize
class MaxEntIRL: def init(self, num_states, num_actions, discount_factor=0.99, learning_rate=0.01, num_iterations=100): self.num_states = num_states self.num_actions = num_actions self.discount_factor = discount_factor self.learning_rate = learning_rate self.num_iterations = num_iterations
# Initialize transition probabilities self.P = np.zeros((num_states, num_actions, num_states)) # Initialize feature expectations self.feature_expectations = np.zeros(num_states) # Initialize rewards self.rewards = np.zeros(num_states) def set_transition_probabilities(self, transitions): for (s, a, s_next) in transitions: self.P[s, a, s_next] += 1 # Normalize self.P = self.P / (np.sum(self.P, axis=2, keepdims=True) + 1e-8) # Add small epsilon to avoid division by zero def compute_state_visitation_freq(self, policy): T = 1000 # Time horizon mu = np.zeros((T, self.num_states)) mu[0] = np.ones(self.num_states) / self.num_states # Initial state distribution for t in range(1, T): for s in range(self.num_states): for a in range(self.num_actions): mu[t, s] += np.sum(mu[t-1] * self.P[:, a, s] * policy[:, a]) return np.sum(mu, axis=0) def compute_expected_svf(self, policy): svf = self.compute_state_visitation_freq(policy) return np.dot(svf, np.eye(self.num_states)) def compute_gradient(self, rewards, expert_feature_expectations, policy): expected_svf = self.compute_expected_svf(policy) gradient = expert_feature_expectations - expected_svf return gradient def optimize_rewards(self, expert_feature_expectations): def objective(rewards): policy = self.compute_policy(rewards) expected_svf = self.compute_expected_svf(policy) return -np.dot(expert_feature_expectations, rewards) + np.dot(expected_svf, rewards) def gradient(rewards): policy = self.compute_policy(rewards) return self.compute_gradient(rewards, expert_feature_expectations, policy) initial_rewards = np.random.rand(self.num_states) result = minimize(objective, initial_rewards, method='L-BFGS-B', jac=gradient) return result.x def compute_policy(self, rewards): Q = np.zeros((self.num_states, self.num_actions)) for _ in range(1000): # Value iteration for s in range(self.num_states): for a in range(self.num_actions): Q[s, a] = rewards[s] + self.discount_factor * np.sum(self.P[s, a] * np.max(Q, axis=1)) return np.exp(Q) / np.sum(np.exp(Q), axis=1, keepdims=True) def fit(self, expert_trajectories): # Compute expert feature expectations expert_feature_expectations = np.zeros(self.num_states) for trajectory in expert_trajectories: for state in trajectory: expert_feature_expectations[state] += 1 expert_feature_expectations /= len(expert_trajectories) # Optimize rewards self.rewards = self.optimize_rewards(expert_feature_expectations) return self.rewards def get_optimal_policy(self): return self.compute_policy(self.rewards)def load_data(file_path): data = np.loadtxt(file_path, dtype=int, delimiter=',', skiprows=1)[:, 1:] return data
def process_data(data): transitions = [(s, a, s_next) for s, a, s_next in data] expert_trajectories = [] current_trajectory = [data[0, 0]]
for i in range(1, len(data)): if data[i, 0] == data[i-1, 2]: # If current state is the same as previous next state current_trajectory.append(data[i, 0]) else: expert_trajectories.append(current_trajectory) current_trajectory = [data[i, 0]] expert_trajectories.append(current_trajectory) return transitions, expert_trajectoriesAna program
num_states = 15 num_actions = 3
Veriyi yükle
data = load_data('/content/drive/MyDrive/BIST_10/MDP_IRL/MLB/AKBNK.csv')
Veriyi işle
transitions, expert_trajectories = process_data(data)
MaxEnt IRL modelini oluştur
model = MaxEntIRL(num_states, num_actions)
Geçiş olasılıklarını ayarla
model.set_transition_probabilities(transitions)
Modeli eğit
learned_rewards = model.fit(expert_trajectories)
print("Öğrenilen Ödül Fonksiyonu:") for state, reward in enumerate(learned_rewards): print(f"Durum {state}: Ödül {reward:.4f}")
Optimal politikayı hesapla
optimal_policy = model.get_optimal_policy()
print("\nOptimal Politika:") for state in range(num_states): action = np.argmax(optimal_policy[state]) print(f"Durum {state}: Eylem {action} ({'Sat' if action == 0 else 'Nötr' if action == 1 else 'Satın Al'})")
Bu kodu MaxEnt IRL uygulaması için kontrol et. Ayrıca elimde sadece 587 günlük veri var kodu buna göre düzenle. Trajectories ve time horizon kısımlarına dikkat et ve öneriler sun.
- Assistant
Merhaba,
MaxEnt IRL uygulamanız için yazdığınız kodu inceleyip, elinizdeki 587 günlük veriye uygun olacak şekilde düzenleme ve öneriler sunmaya çalışacağım. Özellikle trajektori ve zaman ufku (time horizon) kısımlarına dikkat edeceğim.
1. Kodu İnceleme ve Doğrulama:
Öncelikle, kodunuz genel olarak MaxEnt IRL algoritmasının temel adımlarını içeriyor. Ancak bazı kısımlarda düzeltmeler ve iyileştirmeler yapmak faydalı olacaktır.
a. Geçiş Olasılıklarının Ayarlanması (
set_transition_probabilities):Geçiş olasılıklarının doğru bir şekilde hesaplanması, modelinizin performansı için kritiktir. Kodunuzda şunları yapıyorsunuz:
def set_transition_probabilities(self, transitions): for (s, a, s_next) in transitions: self.P[s, a, s_next] += 1 # Normalize self.P = self.P / (np.sum(self.P, axis=2, keepdims=True) + 1e-8)Bu yöntemde, her geçiş için sayım yapıyorsunuz ve ardından normalizasyon yaparak geçiş olasılıklarını elde ediyorsunuz. Burada dikkat etmeniz gereken noktalar:
- Eğer bazı durum-eylem çiftleri için hiç geçiş yoksa, bu durumda o olasılıklar sıfır olacaktır ve bazı problemlere yol açabilir.
+ 1e-8eklemeniz, sıfıra bölünmeyi engellemek için iyi bir yaklaşım; ancak yine de eğer bir durum-eylem çiftinin toplam geçiş sayısı sıfırsa, bu durumda geçiş olasılıkları tanımsız olacaktır.
Öneri:
- Geçiş olasılıklarını hesaplarken, eğer bir durum-eylem çifti hiç gözlemlenmediyse, küçük bir olasılık değeri atayabilirsiniz (örneğin, Laplace düzeltmesi kullanarak).
- Alternatif olarak, modelinizde sadece gözlemlenen durum-eylem çiftlerini dikkate alabilirsiniz, ancak bu durumda eksik olabilecek geçişler için dikkatli olmalısınız.
b. Durum Ziyaret Frekanslarının Hesaplanması (
compute_state_visitation_freq):Burada, durum ziyaret frekanslarını zaman ufku boyunca hesaplıyorsunuz. Kodunuzda:
def compute_state_visitation_freq(self, policy): T = 1000 # Time horizon mu = np.zeros((T, self.num_states)) mu[0] = np.ones(self.num_states) / self.num_states # Initial state distribution for t in range(1, T): for s in range(self.num_states): for a in range(self.num_actions): mu[t, s] += np.sum(mu[t-1] * self.P[:, a, s] * policy[:, a]) return np.sum(mu, axis=0)Sorunlar:
T = 1000olarak sabitlenmiş, ancak elinizde sadece 587 günlük veri var. Zaman ufku, verinizin uzunluğuna uygun olmalıdır.- Başlangıçtaki
mu[0]tüm durumlar için eşit olasılıkta başlatılmış. Eğer başlangıç durumlarının dağılımı biliniyorsa, bu dağılımı kullanmak daha doğru olacaktır.
Öneri:
-
Tdeğerini verinizin uzunluğuna (örneğin, 587) ayarlayın.T = len(expert_trajectories[0]) # veya verinizin uzunluğuna uygun bir değer -
Eğer başlangıç durumları biliniyorsa,
mu[0]'ı o dağılıma göre ayarlayın.
c. Beklenen Durum Ziyaret Frekanslarının Hesaplanması (
compute_expected_svf):def compute_expected_svf(self, policy): svf = self.compute_state_visitation_freq(policy) return np.dot(svf, np.eye(self.num_states))Burada
svfzaten durum ziyaret frekanslarını veriyor.np.dot(svf, np.eye(self.num_states))işlemi,svf'yi olduğu gibi döndürmek demektir.Öneri:
-
Bu fonksiyonu basitçe şöyle yazabilirsiniz:
def compute_expected_svf(self, policy): return self.compute_state_visitation_freq(policy)
d. Politika Hesaplaması (
compute_policy):def compute_policy(self, rewards): Q = np.zeros((self.num_states, self.num_actions)) for _ in range(1000): # Value iteration for s in range(self.num_states): for a in range(self.num_actions): Q[s, a] = rewards[s] + self.discount_factor * np.sum(self.P[s, a] * np.max(Q, axis=1)) return np.exp(Q) / np.sum(np.exp(Q), axis=1, keepdims=True)Sorunlar:
- Değer iterasyonunda
Qdeğerlerini güncellerken, aynıQmatrisini kullanıyorsunuz, bu da yönteminizin yakınsamamasına neden olabilir. - Ayrıca,
Qdeğerlerini hesapladıktan sonra politika hesaplamadasoftmaxfonksiyonu kullanıyorsunuz, bu MaxEnt IRL için uygundur.
Öneri:
- Değer iterasyonunda, eski ve yeni
Qmatrislerini ayırmak ve güncelleme formülünü doğru bir şekilde uygulamak önemlidir. - Değer iterasyonu için
V(değer fonksiyonu) kullanmak veQ'yu ona göre hesaplamak daha standart bir yaklaşımdır.
İşte düzeltilmiş bir değer iterasyonu ve politika hesaplaması:
def compute_policy(self, rewards): V = np.zeros(self.num_states) for _ in range(1000): # Value iteration V_prev = V.copy() for s in range(self.num_states): V[s] = np.log(np.sum(np.exp(rewards[s] + self.discount_factor * np.sum(self.P[s] * V_prev, axis=1)))) if np.max(np.abs(V - V_prev)) < 1e-4: break # Politika hesaplaması policy = np.zeros((self.num_states, self.num_actions)) for s in range(self.num_states): for a in range(self.num_actions): Q_sa = rewards[s] + self.discount_factor * np.sum(self.P[s, a] * V) policy[s, a] = np.exp(Q_sa - V[s]) return policye. Ödül Fonksiyonunun Optimize Edilmesi (
optimize_rewards):Burada amaç, uzman trajektorilerden elde edilen özellik beklentilerine uygun bir ödül fonksiyonu bulmaktır.
Kodunuzda,
scipy.optimize.minimizefonksiyonunu kullanarak ödül fonksiyonunu optimize ediyorsunuz. Ancak, amaç fonksiyonunuz ve gradyan hesaplamanız doğru olmayabilir.Öneri:
- Amaç fonksiyonunuzun MaxEnt IRL'nin amaç fonksiyonuyla uyumlu olduğundan emin olun.
- Gradyan hesaplamasında hatalar olabilir; bunları kontrol edin.
2. Veriye Göre Kodun Düzenlenmesi:
Elinizde 587 günlük veri olduğuna göre, aşağıdaki düzenlemeleri yapabilirsiniz:
a. Zaman Ufku (
T) Ayarı:-
compute_state_visitation_freqfonksiyonundaTdeğerini 587 olarak ayarlayın veya trajektorilerinizin ortalama uzunluğuna göre belirleyin.T = max(len(traj) for traj in expert_trajectories)
b. Trajektorilerin İşlenmesi:
process_datafonksiyonunda trajektorileri oluştururken, şu anki yönteminiz her bir kesintiyi yeni bir trajektori olarak alıyor. Verinizin yapısına göre, trajektorileri daha doğru bir şekilde oluşturabilirsiniz.Öneri:
- Eğer her gün yeni bir epizod olarak düşünülüyorsa, her günün verisini ayrı bir trajektori olarak alın.
- Eğer veriniz sürekli bir zaman serisi ise, belirli periyotlara bölerek trajektoriler oluşturabilirsiniz.
c. Başlangıç Durum Dağılımı:
mu[0]değerini, başlangıç durumlarınızın gerçek dağılımına göre ayarlayın. Bu, modelinizin daha doğru sonuçlar üretmesine yardımcı olacaktır.
3. Genel Öneriler:
-
Veri Ön İşleme: Verinizi dikkatlice inceleyin ve modelinize uygun bir şekilde ön işlemden geçirin. Örneğin, durum ve eylem uzaylarınızı net bir şekilde tanımlayın.
-
Model Parametrelerinin Ayarlanması: İndirim faktörü (
discount_factor), öğrenme oranı (learning_rate), iterasyon sayısı (num_iterations) gibi parametreleri verinize ve problem yapınıza göre ayarlayın. -
Doğrulama ve Test Etme: Modelinizi küçük bir veri seti üzerinde test edin ve sonuçlarını doğrulayın. Hataları tespit etmek ve düzeltmek için bu önemli bir adımdır.
-
Kütüphane ve Fonksiyonların Doğru Kullanımı: Hesaplamalarınızda numPy ve scipy fonksiyonlarını doğru bir şekilde kullandığınızdan emin olun. Örneğin, matris çarpımları ve toplamlarda boyut uyuşmazlıklarını kontrol edin.
-
Dokümantasyon ve Yorumlar Ekleme: Kodu daha okunabilir ve anlaşılır kılmak için fonksiyonlara ve önemli kod bloklarına açıklayıcı yorumlar ekleyin.
4. Sonuç:
Kodunuzu verinizle uyumlu hale getirmek için yukarıdaki önerileri uygulayabilirsiniz. Özellikle zaman ufkunu verinizin uzunluğuna uygun şekilde ayarlamak ve trajektorileri doğru bir şekilde oluşturmak önemlidir.
Ayrıca, MaxEnt IRL algoritmasının teorik temelini ve uygulamasını daha iyi anlamak için ilgili literatürü incelemeniz faydalı olacaktır. Örneğin, Ziebart ve arkadaşlarının orijinal MaxEnt IRL makalesi (2008) ve ilgili kaynaklar.
Umarım bu öneriler yardımcı olur!
Eğer daha fazla sorunuz veya ihtiyacınız varsa, lütfen çekinmeden sorun.