私の運営するサイトは読み込むのに若干時間がかかります。Googleがサイトの読み込み速度も順位の決定要素に用いるようになったという話を聞いたのですが、このままだと私のサイトは順位がさがってしまうのでしょうか？

「若干」の程度によりますが、ユーザとしてストレスを感じない程度の時間であれば、順位低下の心配はほぼありません。

その理由として、サイトの読み込み速度はGoogleが順位決定要素に用いている200以上のシグナルの中の1つにすぎず、キーワードとの関連性が何より重要であること、また全クエリの1%程度にしかこの基準が適用されないこと等が挙げられます。キーワードとの関連性が低くても読み込み速度が速いページが上位に表示されても、ユーザは満足しないからです。

ただし読み込みに1分以上かかる等、ユーザにストレスを与えかねないほど遅い場合はSEO云々の観点は関係なく、ユーザビリティの観点からも改善をおすすめします。しかし読み込み速度が改善されたとしても順位が上昇するわけではありません。